🤖 machine learning

TANGO: Token-Aggregated Nonlinear Gating Operators for Natural and Formal Language Modeling

이 논문은 표준 트랜스포머 서브레이어를 교차 토큰 게이트 잔차 업데이트(cross-token gated residual update)로 대체하여 수학 및 교육 데이터셋에서 우수한 성능을 달al성하는 새로운 언어 모델 아키텍처인 TANGO와, 기존 선형 시간 모델들을 능가하는 선형 복잡도 변체인 WANGO를 소개한다.

원저자: Joshua Nunley

게시일 2026-08-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Joshua Nunley

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에서 언어를 이해하기 위한 가장 강력한 도구들은 트랜스포머(Transformer)라고 불리는 구조에 의존합니다. 긴 문서를 훑어보는 독자를 상상해 보십시오. 특정 단어를 이해하기 위해 독자는 문맥을 파악하고자 그 이전에 나왔던 단어들을 되돌아보아야 합니다. 표준 AI 모델은 두 가지 별개의 단계를 사용하여 이 작업을 수행합니다. 첫째, 모델은 텍스트의 전체 이력을 스캔하여 과거의 단어들로부터 관련 정보를 수집하는데, 이는 사서가 특정 주제와 관련된 모든 책을 빠르게 찾아내는 과정과 비슷합니다. 둘 둘째, 모델은 수집된 정보를 가져와 문장의 매 위치마다 별도의 독립적인 필터를 통해 처리함으로써 의미를 정교하게 다듬습니다. 이 두 단계의 춤은 이 분야에서 잘 기능해 왔지만, 계산 집약적입니다. 특히 텍스트가 길어질수록 모델이 새로운 단어를 생성할 때마다 엄청난 양의 계산을 수행해야 하기 때문입니다. 연구자들은 이 단계들을 결합하거나 간소화하여, 방대한 양의 정보를 처리할 때 필요한 수학적 계산의 무게에 짓눌리지 않고도 더 똑똑하고 효율적으로 방대한 정보를 처리할 수 있는 모델을 구축하기 위해 오랫동안 방법을 모색해 왔습니다.

인디애나 대학교 블루밍턴의 한 연구자가 이러한 모델들이 언어와 상호작용하는 방식을 근본적으로 재편하는 새로운 접근법을 도입했습니다. 그들은 자신들의 창조물을 토큰 집계 비선형 게이팅 연산자(TANGO, Token-Aggregated Nonlinear Gating Operators)라고 부릅니다. 정보를 수집하는 단계와 정보를 정제하는 단계를 분리하여 유지하는 대신, TANGO는 이들을 하나의 통합된 동작으로 병합합니다. 이 새로운 설계에서는 문장의 모든 단어가 제어의 원천 역할을 합니다. 모델이 글을 읽어 나감에 따라, 각 단어는 텍스트의 서로 다른 특징들에 얼마나 많은 중요성을 부여할지를 결정하는 특정 지침 세트, 즉 '게이트(gates)'를 생성합니다. 모델이 새로운 단어에 도달했을 때, 단순히 가장 관련 있는 과거의 단어들을 찾아보는 것에 그치지 않고, 그 과거의 단어들이 어떤 지침을 준비해 두었는지 확인합니다. 그런 다음 모델은 이 지침들을 평균화하고, 이를 사용하여 현재 단어의 특징들을 조절(scale)하거나 조정하여 모델의 메모리에 추가합니다. 이는 과거 단어의 영향력이 단순히 무엇을 말하느냐뿐만 아니라, 그 단어가 현재의 단어에게 자신을 어떻게 해석하라고 말하느냐에 달려 있음을 의미합니다.

연구자는 정확도와 속도 사이의 서로 다른 절충안을 테스트하기 위해 두 가지 버전의 시스템을 개발했습니다. 첫 번째인 TANGO는 텍스트에서 얼마나 멀리 떨어져 있든 상관없이 현재 단어 이전에 나온 모든 단어를 살펴봅니다. 이 '전체 접두사(full-prefix)' 방식은 모델이 대화나 문서의 전체 이력을 끌어올 수 있게 하여, 문맥에 대한 매우 정확한 이해를 가능하게 합니다. 그러나 현재의 단어를 이전의 모든 단어와 비교해야 하기 때문에, 텍스트가 길어질수록 수행해야 하는 작업량이 급격히 증가합니다. 두 번째 버전인 WANGO는 매우 긴 텍스트를 위한 더 실용적인 접근 방식을 취합니다. WANGO는 가장 최근의 단어들에 세심한 주의를 기울이며, 첫 번째 모델과 마찬가지로 상세한 전체 이력 관리를 수행합니다. 최근 범위를 벗어난 오래된 단어들에 대해서는, WANGO는 이들의 영향력을 요약하는 더 효율적인 방법을 사용합니다. WANGO는 오래된 단어들이 생성한 지침들의 누적 합계를 유지함으로써, 개별 단어 하나하나와 관계를 다시 계산할 필요 없이 그들의 지혜를 통합할 수 있습니다. 이러한 수정 덕분에 Wango 모델의 작업량은 텍스트가 길어짐에 따라 폭발적으로 증가하는 대신 직선 형태로 늘어나며, 이는 긴 시퀀스 처리에 있어 훨씬 더 빠릅니다.

이 새로운 설계들이 기존 기술와 어떻게 맞서는지 확인하기 위해, 연구자는 정확히 동일한 양의 데이터, 동일한 수의 파라미터, 동일한 학습 일정을 사용하여 여섯 가지 서로 다른 모델을 학습시켰습니다. 연구진은 세 가지 매우 다른 과제를 통해 이 모델들을 테스트했습니다: 교육용 웹 텍스트 모음, Lean이라는 프로그래밍 언어로 작성된 공식 수학 증명 라이브러리, 그리고 DeepMind의 수학 문제 세트입니다. 결과에 따르면, 전체 이력을 보는 TICO 모델은 세 가지 테스트 모두에서 가장 높은 정확도를 달al성하며, 시퀀스의 다음 단어에 대해 가장 신뢰할 수 있는 예측을 생성했습니다. TANGO는 레이어 간에 파라미터를 공유하는 전통적인 방식들을 포함한 다른 모든 모델보다 뛰어난 성능을 보였습니다. WANGO 모델 또한 효율적인 모델들을 대상으로 한 카테고리에서 매우 우수한 성능을 보였습니다. 계산 비용이 통제 불능으로 치솟지 않으면서도 긴 텍스트를 처리할 수 있는 아키텍처들 중에서, Wango는 가장 정확한 결과를 만들어냈습니다. 심지어 유사한 양의 계산을 사용하면서도 오래된 표준 기술에 의존하는 모델보다도 더 나은 성적을 거두었습니다.

이 연구는 이러한 시스템이 어떻게 구축될 수 있는지에 대한 중요한 변화를 강조합니다. 단어들이 집계된 게이트를 통해 다른 단어의 처리를 제어하도록 함으로써, 연구자는 강력하면서도 (Wango의 경우처럼) 효율적인 모델을 만드는 방법을 찾아냈습니다. TANGO 모델은 정보를 수집하고 정제하는 단일 통합 단계가, 모델이 더 많은 수학적 작업을 수행해야 하는 상황에서도 전통적인 두 단계 프로세스보다 뛰어난 성능을 낼 수 있음을 입증했습니다. 한편, Wango 모델은 이러한 높은 수준의 성능이 반드시 속도의 희생을 수반할 필요는 없다는 것을 증명했습니다. 오래된 정보를 지능적으로 요약함으로써, Wango는 높은 정확도를 유지하면서도 계산 비용을 관리 가능한 수준으로 유지했습니다. 연구자는 이러한 결과가 시퀀스의 다음 단어를 예측하는 능력, 즉 언어 이해의 표준 척도에 기반한 것이며, 이 모델들이 반드시 수학 문제를 완벽하게 풀거나 증명을 스스로 써낼 수 있다는 주장까지는 아니라는 점을 분명히 했습니다. 그러나 이 결과는 새로운 방식의 정보 게이팅이 복잡한 언어와 긴 문맥을 더 정밀하고 효율적으로 이해할 수 있는 AI를 구축하는 데 유망한 길을 제시한다는 것을 시사합니다.

기술 요약: TANGO 및 WANGO

문제 정의

표준 트랜스포머 아키텍처는 교차 토큰 상호작용(셀프 어텐션이 처리)과 위치별 비선형 변환(피드 포워드 네트워크가 처리)을 분리합니다. 이러한 분리는 두 개의 별도 서브레이어를 하나의 블록당 요구합니다. 이는 효과적이긴 하지만, 효율성과 파라미터 활용 측면에서 최적이 아닐 수 있습니다. 또한, 기존의 선형 복잡도 시퀀스 모델들은 종종 풍부한 교차 토큰 상호작용을 희생하는 근사치에 의존하거나, 비선형 변환을 어텐션 메커니즘과 완전히 통합하지 못하는 복잡한 게이팅 메커니즘을 필요로 합니다.

방법론

핵심 아키텍처: 토큰 집계 비선형 게이팅 연산자 (TANGO)

본 논문은 표준 셀프 어텐션과 위치별 피드 포워드 서브레이어를 단일 **교차 토큰 게이트 잔차 업데이트(cross-token gated residual update)**로 대체하는 디코더 블록인 TANGO를 소개합니다.

소스 조건부 SwiGLU 게이팅:
- 게이트와 특징(feature)이 동일한 토큰으로부터 계산되는 일반적인 SwiGLU(Swish-Gated Linear Unit)와 달리, TANGO는 소스(source) 위치( $x_j$ )에서 계산된 게이트가 목적지(destination) 위치( $x_i$ )의 투영된 특징을 조절할 수 있도록 합니다.
- 각 위치 $i$ 는 게이트 벡터 $g_i = \text{SiLU}(W_g x_i)$ 와 투영된 특징 벡터 $v_i = W_v x_i$ 를 생성합니다.
- 목적지 $i$ 에 대해, 모델은 인과적으로 가시적인 모든 소스( $j \le i$ )로부터의 게이트 벡터들의 콘텐츠 의존적 가중 평균인 $\bar{g}_i$ 를 계산합니다.
- 잔차 업데이트는 다음과 같이 계산됩니다:
  $h^+_i = h_i + W_o(\bar{g}_i \odot v_i)$
- 여기서 집계된 게이트 $\bar{g}_i$ 는 최종 출력 투영 $W_o$ 이전에 목적지의 투영된 특징 $v_i$ 에 대한 대각 스케일링 연산자로 작용합니다.
가중치 집계 메커니즘:
본 논문은 소스 게이트를 집계하기 위한 가중치를 계산하는 방식이 다른 두 가지 변형을 제안합니다.
- TANGO (Full-Prefix): 모든 목적지와 모든 인과적으로 가시적인 소스 사이의 스케일링된 코사인 유사도를 기반으로 소프트맥스 가중치를 계산합니다. 이는 시퀀스 길이 $T$ 에 대해 이차 복잡도( $O(T^2)$ )를 가집니다.
- WANGO (Windowed Aggregation): 선형 복잡도( $고정된 윈도우/특징 차원에 대해$ $고정된윈도우 / 특징차원에대해$ O(T)$) 변형입니다.
  - 최근 소스 (Window): TANGO와 동일한 지수적 코사인 유사도 점수를 후행 윈도우 $L_i$ 내의 소스에 대해 사용합니다.
  - 오래된 소스 (Prefix): 점수를 계산하기 위해 결정론적인 양의 특징 맵 $\phi(u)$ 를 사용합니다. 이를 통해 모델은 변환된 키(key)들과 그 게이트 벡터들의 외적(outer product)에 대한 러닝 썸(running sums)을 유지할 수 있습니다. 오래된 소스의 기여도는 모든 과거 쌍을 재평가할 필요 없이 이 러닝 썸을 통해 계산됩니다.

실험 설정

저자는 TANGO와 WANGO를 네 가지 베이스라인과 비교합니다:

Recurrent Transformer++: 파라미터를 공유하여 4번 재사용되는 표준 트랜스포머 블록.
Untied Transformer++: 독립적으로 파라미터화된 4개의 트랜스포머 블록.
Full-attention GAU (Gated Attention Unit): 전체 쌍별 어텐션을 사용하는 4개의 독립적인 블록.
FLASH: 로컬 쌍별 어텐션과 글로벌 선형 어텐션 요약을 결합한 4개의 독립적인 블록.

제약 조건:

모든 모델은 비임베딩 파라미터 수(약 44.3M 개의 고유 파라미터)를 동일하게 맞추었습니다.
모델은 동일한 데이터 순서, 초기화 시드 및 훈련 예산을 가지고 훈련되었습니다.
실험은 FineWeb-Edu (자연어), Lean (형식 증명 및 소스 코드), DeepMind Mathematics에서 수행되었습니다.
비교는 4-블록 및 8-블록 순차 적용 모두에서 이루어졌습니다.

주요 기여

TANGO 모델: 셀프 어텐션과 피드 포워드 네트워크를 소스 토큰이 SwiGLU 게이트를 생성하여 목적지 특징을 조절하는 단일 게이트 업데이트로 통합하는 새로운 블록을 도입했습니다.
WANGO 모델: 로컬 윈도우 내에서는 정확한 쌍별 상호작용을 유지하고, 오래된 소스에 대해서는 특징 맵 프리픽스 썸(prefix sums)을 사용하여 TANGO와 동일한 파라미터화를 유지하는 선형 복잡도 변형을 개발했습니다.
엄격한 비교: 엄격하게 일치된 파라미터 수, 훈련 목표 및 데이터 순서 하에서 6가지 아키텍처를 통제된 비교를 통해 분석함으로써, 훈련 분산으로부터 아키텍처 설계의 효과를 분리해 냈습니다.

결과

벤치마크 성능

FineWeb-Edu:
- TANGO는 전반적으로 가장 낮은 평균 검증 Negative Log-Likelihood (NLL) (3.293)를 달성했습니다.
- WANGO는 선형 시퀀스 길이 스케일링을 가진 모든 아키텍처 중 가장 낮은 NLL (3.355)을 달성하며, FLASH (3.465)와 Recurrent Transformer++ (3.392)를 모두 앞질렀습니다.
- 특히, WANGO는 거의 동일한 분석적 순전파 multiply–accumulate (MAC) 횟수(8,192 토큰 시퀀스 기준 1.90T vs 1.94T)에서 Recurrent Transformer++보다 낮은 NLL을 달성했습니다.
Lean (소스 코드 및 증명 완성):
- TANGO는 가장 낮은 공동 NLL (1.719)과 소스 코드 모델링 및 증명 완성 각각에 대한 최저 NLL을 얻었습니다.
- WANGO (2.271)는 FLASH (2.377)보다 우수한 성능을 보였으나, 4-블록 실험에서는 Recurrent Transformer++ (2.530)를 능가하지 못했습니다. 그러나 8-블록 실험에서는 WANGO (2.231)가 Recurrent Transformer++ (2.364)보다 높은 성능을 보였습니다.
DeepMind Mathematics:
- TANGO는 가장 낮은 검증 NLL (0.473)을 달성했습니다.
- WANGO (0.487)는 Recurrent Transformer++ (0.537) 및 Untied Transformer++ (0.556)보다 우수한 성능을 보였습니다.

계산 복잡도

TANGO: 시퀀스 길이에 대해 이차 복잡도( $O(T^2)$ )를 가집니다. 8,192 토큰 시퀀스의 경우 약 9.44T MAC이 필요합니다.
WANGO: 고정된 차원에 대해 시퀀스 길이에 대해 선형 복잡도( $O(T)$ )를 가집니다. 동일한 시퀀스에 대해 약 1.90T MAC이 필요합니다.
Recurrent Transformer++: 이차 복잡도를 가지지만, 파라미터 공유 및 완전한 교차 토큰 게이팅 집계의 부재로 인해 TANGO보다 낮은 MAC (~1.94T)을 가집니다.

의의 및 주장

본 논문은 TANGO가 테스트된 자연어, 형식 코드 및 수학적 추론 작업 전반에서 테스트된 파라미터 규모 내에서 최첨단(SOTA) 검증 가능도(validation likelihood)를 달성한다고 주장합니다.

저자는 WANGO가 분석적 연산 횟수와 파라미터 크기가 일치할 때, 선형 복잡도 모델이 이차 복잡도 베이스라인(예: Recurrent Transformer++)보다 뛰어날 수 있음을 입증했다는 점을 강조합니다. 특히, SwiGLU 게이트를 러닝 썸으로 집계하는 WANGO의 능력은 높은 성능을 유지하면서도 선형 스케일링이 가능하게 합니다.

저자는 다음과 같이 자신의 주장에 대한 한계를 명시했습니다:

결과는 티처 포싱(teacher forcing) 하의 검증 NLL에 기반하며, 생성된 답변의 정확도, 증명 수락률 또는 실제 실행 시간(wall-clock time)을 측정하지 않습니다.
실험은 테스트된 파라미터 수(약 70M 총 파라미터) 이상의 스케일링 법칙을 확립하지 않습니다.
TANGO의 낮은 NLL을 속도나 메모리 이점으로 해석해서는 안 됩니다. TANGO는 WANGO나 Recurrent Transformer++보다 훨씬 높은 계산 비용을 발생시키기 때문입니다.

요약하자면, 본 논문은 교차 토کن 게이팅을 통해 어텐션과 피드 포워드 메커니즘을 통합하는 새로운 아키텍처 블록을 제시하며, 이 접근 방식이 우수한 예측 가능도(predictive likelihood)를 제공함을 보여줍니다. 또한, 선형 복잡도 변형인 WANGO는 롱 컨텍스트(long-context) 애플리케이션을 위한 경쟁력 있는 대안을 제공합니다.