INCRT: An Incremental Transformer That Determines Its Own Architecture

이 논문은 훈련 중 과부족 여부에 따라 스스로 아키텍처를 진화시켜 과잉 파라미터를 제거하고, BERT-base 와 동등하거나 더 나은 성능을 훨씬 적은 매개변수로 달성하는 새로운 'INCRT' 아키텍처를 제안합니다.

핵심

1. 기존 방식의 문제점: "너무 큰 아파트를 지어놓고 빈 방을 버리는 것"

지금까지 우리가 만든 AI 모델 (트랜스포머) 은 시행착오 (Trial and Error) 방식으로 설계되었습니다.

• 상황: 건축가 (개발자) 가 "이 아파트는 100 층이 필요할 거야, 100 개의 방이 필요할 거야"라고 미리 정해놓고 짓습니다.
• 문제: 막상 입주자 (데이터) 가 들어와 보니, 실제로 필요한 건 20 층과 20 개의 방뿐이었습니다.
• 결과: 나머지 80 층과 80 개의 방은 **쓸모없는 공간 (중복)**이 되어 버립니다. 연구에 따르면, 훈련된 모델의 50~80% 는 실제로 쓸모가 없어 잘라내도 성능이 떨어지지 않습니다.
• 기존 해결책: 일단 거대한 아파트를 다 지은 뒤, 불필요한 방을 찾아서 부수는 (가지치기, Pruning) 작업을 합니다. 하지만 이렇게 하면 "아, 이 방이 진짜 필요했을 텐데!"라고 후회할 수도 있습니다.

2. INCRT 의 해결책: "필요할 때만 방을 짓는 지능형 건축가"

INCRT 는 처음부터 거대한 모델을 짓지 않습니다. **단 하나의 방 (Attention Head)**으로 시작합니다.

• 작동 원리:
  1. 현재 상태를 체크: "지금 이 방 하나만으로는 이 일을 해결할 수 있을까?"라고 스스로 판단합니다.
  2. 필요하면 추가: 만약 해결할 수 없다면, **"어디가 부족해서 해결이 안 되는지"**를 수학적으로 계산해 그 방향에 딱 맞는 새로운 방을 하나 더 짓습니다.
  3. 불필요하면 제거: 만약 어떤 방이 더 이상 쓸모가 없다면 (다른 방이 그 일을 대신한다면), 그 방은 바로 철거합니다.
  4. 자동 종료: 모든 일이 완벽하게 해결될 때까지 이 과정을 반복하다가, 더 이상 방이 필요하지 않게 되면 스스로 공사를 멈춥니다.

이 방식은 예측 불가능한 미래에 대비해 미리 큰 집을 짓는 것이 아니라, 현재 필요한 만큼만 지어서 가장 효율적인 집을 완성하는 것입니다.

3. 핵심 기술: "지도를 보는 나침반"

이 모델이 어떻게 "어디가 부족할지"를 알까요? 여기에는 **기하학 (Geometry)**과 나침반 같은 원리가 쓰입니다.

• 남은 에너지 (Residual Energy): AI 가 아직 해결하지 못한 문제의 '방향'을 수학적으로 측정합니다. 마치 "아직 해결되지 않은 미로가 어디에 남아있나?"를 찾는 것과 같습니다.
• 양방향 게이트 (Bidirectional Gate):
  • 가장 중요한 방향 (주요 축): 해결해야 할 가장 큰 문제를 찾아냅니다. (새로운 방을 지을 곳)
  • 가장 쓸모없는 방향 (부차적 축): 이미 해결되었거나 쓸모없는 방향을 찾아냅니다. (방을 철거할 곳)
  • 이 두 가지를 동시에 보면서, 가장 효율적인 곳에만 자원을 투입합니다.

4. 실험 결과: "작은 몸집으로 거인을 이기다"

논문에서는 이 모델을 실제 테스트했습니다.

• 코로나 변이 바이러스 분류:

  • 기존 거대 모델 (BERT) 은 1 억 1 천만 개의 매개변수 (벽돌) 를 사용했고, 사전 학습 (Pre-training) 이라는 거대한 공사가 필요했습니다.
  • INCRT 는 1 천 5 백만 개의 매개변수만 사용했고, 사전 학습 없이 처음부터 시작했습니다.
  • 결과: INCRT 는 BERT 보다 정확도가 더 높았으며, 필요한 매개변수는 7.3 배나 적었습니다. 마치 작은 공장에서 만든 정밀한 로봇이 거대한 공장의 덩치만 큰 로봇보다 더 똑똑하게 일하는 것과 같습니다.

• 감정 분석 (SST-2):

  • 이 분야에서도 기존 모델과 비슷한 성능을 내면서, 필요한 '방 (Head)'의 개수는 이론적으로 예측된 수와 거의 일치했습니다. (예측 160 개 vs 실제 142 개)

5. 왜 이것이 중요한가요?

이 논문은 AI 개발의 패러다임을 바꿀 수 있는 중요한 통찰을 줍니다.

1. 효율성: "무조건 크게 만드는 것"이 답이 아닙니다. 작지만 딱 필요한 크기가 가장 강력할 수 있습니다.
2. 자동화: 개발자가 "몇 개의 층을 만들까?", "몇 개의 방을 쓸까?"를 고민할 필요가 없습니다. 데이터가 스스로 모델의 크기를 결정합니다.
3. 이론적 보장: 단순히 "운 좋게 잘 됐다"가 아니라, **"이 정도 크기로 멈추는 것이 수학적으로 증명되었다"**는 점이 놀랍습니다.

요약

INCRT는 "미리 정해진 청사진 없이, 필요한 만큼만 자원을 투입하며 스스로 성장하고 불필요한 것은 버리는 똑똑한 AI 건축가"입니다. 이 방식은 거대한 컴퓨터 자원과 시간을 낭비하지 않으면서도, 특정 작업에 최적화된 최고의 성능을 낼 수 있게 해줍니다.

마치 **"필요한 만큼만 물을 받아 마시는 지혜"**처럼, AI 도 필요한 만큼만 지식을 쌓아 효율적으로 성장하는 시대가 왔다고 볼 수 있습니다.

기술 요약

INCRT: 자체 아키텍처를 결정하는 점진적 트랜스포머 (Incremental Transformer) 기술 요약

본 논문은 INCRT (Incremental Transformer) 라는 새로운 트랜스포머 아키텍처를 제안합니다. INCRT 는 학습 시작 전 고정된 하이퍼파라미터 (어텐션 헤드 수, 깊이 등) 에 의존하지 않고, 학습 과정에서 태스크의 기하학적 구조를 분석하여 스스로 아키텍처를 결정하는 혁신적인 접근법입니다.

1. 문제 제기 (Problem)

기존 트랜스포머 아키텍처는 다음과 같은 근본적인 결함을 가지고 있습니다:

• 임의적 설계: 어텐션 헤드 수, 모델 깊이, 헤드 크기 등은 학습 전 경험과 시행착오 (trial-and-error) 를 통해 고정됩니다. 이를 결정하는 수학적 원리가 부재합니다.
• 구조적 중복성 (Structural Redundancy): 학습된 모델의 어텐션 헤드의 50%~80% 는 성능 저하 없이 제거될 수 있습니다. 이는 아키텍처가 태스크의 실제 요구 사항이 아닌, 가장 어려운 예상 태스크에 맞춰 과도하게 설계되기 때문입니다.
• 기하학적 한계: 어텐션 가중치 행렬 $M = W_Q W_K^\top$ 은 대칭 부분 (상호적 어텐션) 과 반대칭 부분 (방향성 정보 흐름) 을 하나의 비구조화 행렬로 혼합합니다. 이로 인해 학습 알고리즘이 암시적으로 분해를 수행해야 하므로 구조적 중복이 필연적으로 발생합니다.
• 기존 해결책의 한계: 사후 가지치기 (Post-hoc pruning) 는 불필요한 요소를 제거하지만, 태스크에 필수적인 용량을 실수로 제거할 수 있어 '충분성 (Sufficiency)'을 보장하지 못합니다.

2. 방법론 (Methodology)

INCRT 는 학습 초기 단일 헤드로 시작하여, 현재 구성이 불충분할 때 헤드를 추가하고 불필요할 때 제거하는 점진적 성장 및 가지치기 메커니즘을 사용합니다.

핵심 메커니즘

1. 잔여 방향 에너지 (Residual Directional Energy):

   • 태스크의 방향성 구조를 포착하지 못한 에너지를 측정하기 위해 잔여 행렬 $A_{res}$ 를 온라인으로 계산합니다.
   • $A_{res} = P_\perp \text{sym}(X^\top X M_a) P_\perp$ 로 정의되며, 여기서 $M_a$ 는 반대칭 모터 (antisymmetric motor) 입니다.
   • 이 행렬의 최대 고유값 ($\lambda_{max}$) 이 임계값 ($\theta_w$) 을 초과하면 헤드가 추가됩니다.

2. 양방향 PCA+MCA 게이트 (Bidirectional PCA+MCA Gate):

   • 주요 방향 ($u^+$): Oja 규칙을 사용하여 $A_{res}$ 의 최대 고유벡터를 추적 (잔여 에너지가 가장 큰 방향).
   • 부차적 방향 ($u^-$): MCA EXIN 알고리즘을 사용하여 최소 고유벡터를 추적 (에너지가 가장 작은 방향, 즉 용량을 낭비하는 방향).
   • 이 두 방향을 기반으로 게이트 연산자 $G_h$ 를 구성하여, 새로운 헤드가 태스크의 가장 시급한 구조를 포착하도록 초기화합니다.

3. 3 단계 자기 결정 (Three Levels of Self-Determination):

   • 폭 (Width): $\lambda_{max}(A_{res}) > \theta_w$ 일 때 새로운 헤드를 추가.
   • 고유공간 차원 (Eigenspace dimension): 헤드 내부에서 추가적인 고유벡터 차원을 확장.
   • 깊이 (Depth): 잔여 에너지가 일정 수준 이상이고 레이어가 생산적일 때 새로운 레이어 추가 (이 논문에서는 주로 폭 확장에 집중).

4. 지식 보존 (Knowledge Preservation):

   • 새로운 헤드가 추가될 때 기존에 학습된 표현을 파괴하지 않도록, 새로운 헤드의 반대칭 모터는 기존 방향에 정렬된 랭크 2 스웨-대칭 행렬로 초기화됩니다.

3. 주요 기여 (Key Contributions)

이론적 기여 (Theoretical Backbone)

1. 항상성 수렴 (Homeostatic Convergence, Theorem 6):

   • 시스템이 유한한 단계에서 정지하는 구성에 도달함을 증명합니다.
   • 이 최종 구성은 최소성 (Minimality, 중복된 헤드 없음) 과 충분성 (Sufficiency, 임계값 이상의 잔여 에너지 없음) 을 동시에 만족합니다.
   • 헤드가 추가되고 제거되는 진동 (oscillation) 이 발생하지 않음을 보장합니다.

2. 압축 센싱 유사성 (Compressed-Sensing Analogy, Theorem 7):

   • 최종 헤드의 수 $K^*$ 가 태스크의 스펙트럼 복잡도 (spectral complexity) 의 제곱에 비례하여 상한이 결정됨을 증명합니다.
   • 공식: $K^* = \Theta(\kappa_T^2 \log(\Gamma_{res}^{(0)}/\theta_w))$. 여기서 $\kappa_T$ 는 태스크의 방향성 복잡도 지수입니다.

3. NTK 정렬 (NTK Alignment, Theorem 3):

   • 기하학적 성장 기준과 신경 탄성 커널 (NTK) 갭 감소 방향이 수학적으로 동등함을 증명합니다. 즉, INCRT 가 선택하는 방향은 최적화 지형에서 가장 효율적인 방향입니다.

실험적 기여

• 예측과 관측의 일치: SARS-CoV-2 변이 분류 및 SST-2 감정 분석 태스크에서 예측된 헤드 수와 실제 학습된 헤드 수의 비율이 12% 이내로 일치함을 확인했습니다.
• 효율성: BERT-base 대비 3~7 배 적은 파라미터로 동등하거나 더 높은 정확도를 달성했습니다 (프리트레이닝 없이 처음부터 학습).

4. 실험 결과 (Results)

태스크	모델	파라미터	정확도	헤드 수 (예측/관측)	비고
CoV-2 Synthetic	INCRT	15M	99.47%	191 / 191 (비율 1.00)	BERT-base(110M, 99.12%) 보다 정확도 높음
CoV-2 Real (GISAID)	INCRT-BD	29.9M	99.91%	130 / 130 (비율 1.00)	BERT-base 보다 3.7 배 적은 파라미터
SST-2	INCRT	31M	76.15%	142 / 160 (비율 0.89)	프리트레이닝 부재로 BERT(93.5%) 보다 낮으나, 이론적 오차 범위 내

• 정지 기준의 유효성: 정확도가 더 이상 향상되지 않을 때 아키텍처 성장이 자동으로 멈추는 것을 확인했습니다.
• 비정상성 (Non-stationarity) 대응: 태스크의 데이터 분포가 급변하는 시나리오에서, INCRT 는 불필요한 헤드를 자동으로 제거하고 새로운 구조에 맞는 헤드를 즉시 추가하여 적응하는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

1. 구조적 효율성의 증명: 트랜스포머의 성능이 고정된 아키텍처의 크기가 아니라, 태스크의 기하학적 복잡도에 맞춰 조정된 방향성 구조에 의해 결정됨을 보여줍니다.
2. 프리트레이닝 불필요: 대규모 프리트레이닝 없이도, 태스크에 최적화된 단일 레이어 모델이 BERT-base 와 경쟁할 수 있음을 입증했습니다. 이는 언어 모델의 과잉 파라미터화가 태스크 특화 작업에서는 불필요할 수 있음을 시사합니다.
3. 이론과 실전의 일치: 압축 센싱 이론과 NTK 프레임워크가 실제 트랜스포머 학습에서 어떻게 작동하는지에 대한 정량적 이론을 제시하며, 아키텍처 검색 (NAS) 이나 사후 가지치기의 대안이 될 수 있습니다.
4. 미래 방향: 현재는 단일 레이어에 집중되었으나, 다중 레이어 깊이 확장 및 프리트레이닝과의 결합을 통해 더 넓은 영역으로 확장할 수 있는 잠재력을 가집니다.

결론적으로, INCRT 는 "학습할 필요가 있는 것만 학습하고, 필요한 만큼만 성장한다"는 원칙을 수학적으로 구현하여, 효율적이고 해석 가능한 신경망 아키텍처 설계의 새로운 패러다임을 제시합니다.