기술 요약: 트랜스포머는 정말 모든 것을 할 수 있는가? 태스크 간 유도 편향(Inductive Biases)의 호환성에 대하여

문제 정의

트랜스포머는 다양한 모달리티(시각, 언어, 음성) 전반에서 지배적인 아키텍처가 되었지만, 그 보편성에 대해서는 일관되지 않은 성능으로 인해 의문이 제기되고 있습니다. 트랜스포머는 언어 모델링에는 뛰어나지만, 산술 연산이나 체계적 일반화와 같은 기초적인 알고리즘 태스크에서는 어려움을 겪습니다. 이는 두 가지 핵심적인 질문을 던집니다:

1. 트랜스포머는 모든 데이터에 적합한 범용적인 유도 편향을 독보적으로 갖추고 있는가, 아니면 특정 태스크에 부적합한 것인가?
2. 서로 다른 도메인(예: 자연어 vs. 알고리즘 추론)에 필요한 유도 편향은 서로 호환되는가, 아니면 별도의 아키텍처 설계가 필요한가?

현재 모델과 데이터를 스케일링하는 방식에 대한 의존은, 단순히 규모를 키우는 것뿐만 아니라 아키텍처의 개선이 현재의 한계를 돌파하기 위해 필요한지를 이해할 필요가 있음을 시사합니다.

방법론

저자들은 특정 데이터셋에 최적화된 트랜스포머 아키텍처를 식별하기 위해, 특정 태스크에 최적화된 유도 편향을 찾는 방법을 제안합니다. 핵심 혁신은 표준 비선형 함수를 학습 가능한 파라미터화된 함수로 교체하는 것입니다.

핵심 메커니즘

• 교체 가능한 구성 요소: 이 방법은 트랜스포머의 주요 비선형성을 대상으로 합니다:
  • MLP 레이어: GeLU 활성화 함수를 학습 가능한 키포인트(keypoints)로 파라미터화된 1D 선형 스플라인($\phi_{\theta_{MLP}}$)으로 교체합니다.
  • Attention 레이어: 표준 소프트맥스(softmax)를 쿼리-키 유사도에 적용되는 학습 가능한 비선형 함수($\phi'_{\theta_A}$)로 교체하여, 효과적으로 커스텀 커널 함수를 학습합니다.
• 2단계 최적화:
  1. 1단계 (아키텍처 최적화): 데이터셋 $D$를 사용하여 두 가지 손실(loss) 메커니즘으로 모델을 훈련합니다. 데이터의 일부(예: 20%)는 스플라인 파라미터($\theta_A, \theta_{MLP}$)를 최적화하기 위해 별도로 홀드아웃(held-out)되며, 나머지 데이터는 모델 가중치를 최적화합니다. 코어댑테이션(co-adaptation, 스플라인이 특정 가중치나 무작위 시드에 과적합되는 현상)을 방방지하기 위해, 저자들은 서로 다른 무작위 시드를 가진 $M$개의 모델이 동일한 최적화된 비선형 함수를 공유하는 멀티 모델 훈련(multi-model training) 방식을 채택합니다.
  2. 2단계 (평가): 최적화된 비선형 함수를 고정(freeze)합니다. 이후 대상 데이터셋(데이터셋 $D$ 또는 다른 데이터셋 $D'$)에 대해 표준 훈련 절차를 사용하여 새로운 모델을 처음부터 훈련시킵니다. 이는 1단계에서 학습된 특정 가중치로부터 아키텍처의 유도 편향을 분리해냅니다.

스플라인(Splines)의 근거

선형 스플라인은 함수 $\mathbb{R} \to \mathbb{R}$를 위한 편향되지 않고 다루기 쉬운 파라미터화를 제공하기 때문에 선택되었습니다. 이전 연구에서 사용된 작은 MLP나 매끄러운 사전 확률(smooth priors)과 달리, 스플라인은 매끄러움(smoothness)이나 단조성(monotonicity) 제약을 강제하지 않고도 급격한 변화, 계단 함수 또는 복잡한 파형을 표현할 수 있습니다.

주요 기여

1. 최적화 프레 framework: 트랜스포머의 비선형성을 임의의 데이터셋에 대해 최적화하여, 결과적인 아키텍처를 사전 튜닝된 하이퍼파라미터 세트로 취급하는 방법론을 제시합니다.
2. 알고리즘 태스크 분석: 알고리즘 추론 태스크(예: 모듈러 덧셈, Dyck 언어, Needle-in-a-haystack)에 해당 방법을 적용했습니다.
3. 언어 모델링 분석: 다양한 토큰화 수준에서 자연어 및 코드 데이터셋(예: TinyStories, Shakespeare, CodeSearchNet)에 적용했습니다.
4. 교차 태스크 호환성 연구: 최적화된 아키텍처가 다른 태스크로 효과적으로 전이되는지 체계적으로 평가하여, 유도 편향의 호환성을 측정했습니다.

주요 결과

1. 알고리즘 추론 태스크

• 획기적인 개선: 최적화된 아키텍처는 알고리즘 태스크에서 표준 트랜스포머를 크게 능가합니다. 주요 개선 사항은 다음과 같습니다:
  • 빠른 수렴: ADD 및 MANO와 같은 태스크에서 훈련 속도가 2~3배 향상되었습니다.
  • 분산 감소: 베이스라인에서 관찰되었던 무작위 시드 간의 훈련 속도 및 정확도의 높은 변동성이 제거되었습니다.
  • 더 나은 일반화: 베 baseline 모델이 훈련 데이터를 완벽하게 피팅하더라도 실패하는 지점에서, 최적화된 모델은 완벽한 테스트 정확도를 달면합니다.
  • 길이 일반화: COPY 태스크에서, 학습된 비선형 함수를 적용한 Alibi 기반 아키텍처를 최적화하면 훈련 분포를 벗어난 더 긴 시퀀스에 대해서도 일반화 성능이 확장됩니다.
• 태스크 특이성: 최적화된 아키텍처는 매우 태스크 특이적입니다. "Add"에 최적화된 아키텍처가 반드시 "Parentheses"에 도움이 되는 것은 아니며, 오히려 관련 없는 태스크에서는 표준 트랜스포머보다 성능이 낮을 수 있습니다. 이는 알고리즘 태스크가 표준 트랜스포머와 근본적으로 다른 유도 편향을 요구함을 시사합니다.

2. 언어 모델링 태스크

• 완만한 개선: 자연어 및 코드 데이터셋에서 최적화된 아키텍처는 베이스라인 대비 일관되지만 상대적으로 작은 개선을 보였습니다.
• 구성 요소별 특이성: MLP 비선형성(GeLU)을 최적화하면 이득이 발생하는 반면, 어텐션 비선형성(Softmax)을 최적화하면 이득이 미미하거나 부정적인 결과를 낳았습니다. 이는 소프트맥스가 이미 언어 모델링에서 국소 최적점(local optimum) 근처에 있음을 시사합니다.
• 교차 데이터셋 전이: 알고리즘 태스크와 달리, 언어 모델링을 위해 최적화된 아키텍처는 서로 다른 데이터셋(예: TinyStories에서 Shakespeare로) 및 토큰화 방식(문자 단위 vs. 서브워드 단위) 간에 잘 전이됩니다.
• 코드 vs. 언어: 코드 데이터셋에서의 이득이 자연어보다 약간 더 큰데, 이는 코드 모델링이 알고리즘 태스크와 구조적 유사성을 더 많이 공유하고 있음을 시사합니다.

3. 유도 편향에 대한 시사점

• 표준 트랜스포머의 부적절성: 표준 트랜스포머는 특정 태스크를 위한 아키텍처 공간에서 결코 국소 최적점이 아닙니다. 단순한 대안(예: 학습된 스플라인)이 표준 모델을 크게 능가할 수 있습니다.
• 트레이드오프: 태스크 특이적 설계는 뛰어난 성능을 제공하지만, 보편성을 희생합니다. 표준 트랜스포머는 광범한 능력(유창성, 추론 등)을 적절히 지원하면서도 어느 하나에 최적화되지 않은 "적당히 좋은(good enough)" 타협안으로 보입니다.
• 공짜 점심은 없다 (No Free Lunch): 결과는 '공짜 점심은 없다' 정리와 일치하며, 서로 다른 도메인은 서로 다른 유도 편향으로부터 혜택을 받는다는 것을 나타냅니다.

의의 및 주장

본 논문은 현재 트랜스포머의 지배력이 특정 태스크에 대해 최적의 솔루션이기 때문이라기보다, 광범위한 태스크를 적절히 처리할 수 있는 능력 덕분이라고 주장합니다. 저자들의 주장은 다음과 같습니다:

• 아키텍처적 한계: 트랜스포머의 체계적 일반화 및 알고리즘 추론에서의 결함은 단순히 규모의 부족이 아니라, 정렬되지 않은 유도 편향 때문입니다.
• 방법론적 유용성: 제안된 방법은 현재 아키텍처의 한계를 조사하고 특정 유도 편향이 누락된 곳을 식별하는 진단 도구 역할을 합니다.
• 향후 방향: 본 연구의 결과는 유창성과 견고한 추론을 모두 목표로 하는 미래의 AI 시스템이, 잠재적으로 충돌할 수 있는 여러 유도 편향을 동시에 지원할 수 있는 아키텍처를 갖추거나, 높은 정밀도가 필요한 태스크(알고리즘 추론 등)를 위해 도메인 특화 모델이 필요할 수 있음을 시사합니다.

저자들은 자신들의 실험이 최첨단 LLM에 비해 소규모라는 점과 최적화된 비선형 함수가 계산 비용이 많이 들 수 있다는 점을 언급하며 신중한 태도를 유지합니다(다만 다항식 근사를 통해 이를 완화할 수 있습니다). 그들은 자신들의 특정 스플라인 설계가 최종적인 해답이라고 주장하는 것이 아니라, 더 나은 아키텍처를 위한 탐색 공간이 매우 넓고 아직 충분히 탐구되지 않았음을 입증하고자 합니다.