🤖 AI

Full-bandwidth transformer

이 논문은 이전 최상위 레이어의 은닉 상태를 잠재 피드백을 통해 모델로 다시 전달함으로써 자기회귀 디코딩을 강화하는 새로운 아키텍처인 풀-밴드위스 트랜스포머(full-bandwidth transformer)를 소개하며, 이는 표준적인 효율성을 유지하면서도 기존 트랜스포머보다 훨씬 적은 학습 데이터를 필요로 하면서 다양한 작업에서 성능을 향상시킨다.

원저자: Xi Wang, Ziyang Cai, Zheng Zhan, Harry Dong, Ying Fan, Gustavo de Rosa, Tim Pearce, John Langford

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xi Wang, Ziyang Cai, Zheng Zhan, Harry Dong, Ying Fan, Gustavo de Rosa, Tim Pearce, John Langford

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 까다로운 퍼즐을 풀려고 노력 중이라고 상상해 보세요. 하지만 당신에게는 아주 엄격한 규칙이 하나 있습니다. 미래의 자신에게 한 번에 단 하나의 단어만 속삭여야 한다는 규칙입니다. 만약 계획의 복잡한 단계를 알아냈다면, 당신은 그것을 하나의 단어로 적어야 하고, 미래의 자신이 그것을 읽을 때까지 기다렸다가 다시 처음부터 시작해야 합니다. 이것이 오늘의 대부분의 현대적인 AI 챗봇이 작동하는 방식입니다. 그들은 읽고 쓰는 데는 매우 뛰어나지만, 생각할 때는 자신의 생각을 밖으로 소리 내어 말하듯, 한 번에 한 단어씩 "말해야"만 합니다. 이것은 무거운 배낭 가득 정보를 담아 운반하고 있는데, 매 단계마다 미래의 자신에게 배낭 속의 엽서 한 장만을 건네줄 수 있는 것과 같습니다.

과학자들은 이 AI 모델들을 "트랜스포머(transformers)"라고 부릅니다. 이들은 우리가 매일 사용하는 스마트한 챗봇들의 엔진입니다. 이 모델들은 두 가지 방향으로 작동합니다. 페이지 전체의 단어들을 가로로 읽고, 그 위에 쌓인 여러 층의 "뉴런"을 통해 세로로 정보를 처리합니다. 문제는 모델이 이미 쓴 모든 단어들을 볼 수는 있지만, 자신의 깊고 복잡한 내부적인 생각을 다시 처리하기 위해 뇌의 바닥 부분으로 쉽게 보낼 수는 없다는 점입니다. 일단 생각이 단어로 변환되면, 그 생각의 풍부하고 숨겨진 세부 사항들은 대부분 사라지며, 이로 인해 AI는 길고 장황한 설명을 쓰거나 모든 것을 처음부터 다시 계산해야 합니다. 연구자들은 다음과 같은 질문을 던집니다. AI가 자신의 "비밀 노트"를 유지하면서, 단어로 써 내려가는 대신 자신의 뇌의 시작점으로 다시 보낼 수 있을까? 만약 가능하다면, AI는 더 빠르고, 더 똑똑하며, 더 적은 단어를 사용할 수 있을 것입니다.

이 논문은 "풀-밴드위스 트랜스포머(full-bandwidth transformer)"라는 새로운 종류의 AI를 소개합니다. 마이크로소프트와 유수 대학의 연구진은 이 좁은 "속삭임" 채널을 넓히는 방법을 찾아냈습니다. 미래의 자신에게 엽서 한 장을 건네는 대신, AI가 자신의 "숨겨진 상태(hidden state)"—즉, 지금까지 생각한 모든 것의 거대하고 복잡한 요약본—를 뇌의 바닥으로 다시 보낼 수 있게 한 것입니다. 그들은 "잠재적 피드백(latent feedback)"이라는 영리한 기술을 사용하여 이를 수행합니다. 만약 당신이 미래의 자신에게 엽서를 건네는 대신, 당신의 노트가 담긴 배낭 전체를 시작 지점으로 즉시 순간 이동시킬 수 있다면, 그러면서도 당신이 말한 기록으로서의 엽서는 여전히 가지고 있을 수 있다면 어떨지 상상해 보세요. AI는 방금 생성한 단어와 자신의 깊은 내부 요약본을 융합하여, 다음 단계를 위한 초강력 입력을 만들어냅니다.

팀은 학습 단계 동안 이 "순간 이동" 능력을 서서히 도입하는 특별한 스케줄을 사용하여 이 새로운 모델들을 훈련시켰습니다. 그들은 엄청난 양의 텍스트(최대 4,000억 토큰)를 사용하여 10억 개의 파라미터를 가진 모델들을 테스트했습니다. 결과는 이 방법이 놀라울 정도로 잘 작동한다는 것을 보여줍니다. AI는 단순히 수학과 코딩 능력이 좋아진 것이 아니라, 더 짧고 효율적인 방식으로 생각하기 시작했습니다. 많은 테스트에서 풀-밴드위스 트랜스포머는 두 배의 데이터로 훈련된 표준 모델만큼 성능이 좋았으며, 때로는 다섯 배의 데이터로 훈련된 모델과도 대등한 성능을 보였습니다. 아마도 가장 흥-미로운 점은, 수학 문제를 풀 때 이 새로운 모델들이 정답을 맞히면서도 훨씬 더 짧은 답변을 생성했다는 것입니다. 이는 그들이 단어를 낭비하며 설명하는 대신, 자신의 "머릿속"에서 어려운 생각을 수행하고 있음을 시사합니다. 연구진은 이 접근 방식이 AI의 속도에 거의 추가 비용을 발생시키지 않는다는 것을 발견했으며, 이는 끝없는 새로운 데이터 없이도 더 똑똑하고 효율적인 AI를 구축할 수 있는 유망한 방법임을 보여줍니다.

기술 요약: 풀-밴드위스 트랜스포머 (Full-Bandwidth Transformer)

문제 정의

자기회귀(Autoregressive) 트랜스포머는 두 가지 축을 따라 연산을 수행한다: 생성된 토큰을 가로지르는 수평적 축과 모델의 깊이를 관통하는 수직적 축이다. 밀집 어텐션(Dense attention)은 과거 토큰에 대한 광범위한 수평적 접근을 제공하지만, 디코딩 단계 사이의 수직적 피드백 채널은 여전히 좁다. 표준 디코딩에서 모델은 $D$ 차원의 최상위 레이어 은닉 상태(hidden state) 전체를 하나의 이산적인 토큰(최대 $\log_2 |V|$ 비트의 정보만 보유)으로 압축하여 다음 단계의 입력으로 사용한다. 결과적으로, 비언어화된 연산(중간 활성화 값, 불확실성, 부분적 계획 등)은 KV 캐시에 "깊이 고정(depth-frozen)"된다. 즉, 이는 생성된 지점보다 높은 레이어에는 접근 가능하지만, 더 이상의 처리를 위해 스택의 바닥으로 다시 돌아올 수 없다. 이는 모델이 중간 상태를 토큰 단위로 언어화하거나 처음부터 다시 계산하도록 강제하며, 토큰당 유효한 추론 깊이를 제한한다.

방법론: 잠재 피드백 디코딩 (Latent Feedback Decoding)

저자들은 이전 최상위 레이어 은격 상태를 샘플링된 토큰 임베딩과 함께 입력으로 다시 주입함으로써, 단계 간 피드백 채널을 확장하는 **풀-밴드위스 트랜스포머(Full-Bandwidth Transformer)**를 제안한다.

1. 잠재 피드백 메커니즘 (Latent Feedback Mechanism)

각 디코딩 단계 $t$ 에서, 입력 $u_t$ 는 샘플링된 토큰 임베딩 $e_t$ 와 이전 최상위 레이어 은닉 상태 $h^L_{t-1}$ 을 융합하여 형성된다:
$u_t = e_t \otimes h^L_{t-1}$
융합 연산자 $\otimes$ 는 **게이트 선형 유닛(Gated Linear Unit, GLU)**이다:
$e_t \otimes h^L_{t-1} = (W_U h^L_{t-1}) \odot \sigma(W_G e_t)$

비대칭성(Asymmetry): 은닉 상태는 값 경로(value pathway)를 차지하고, 토큰은 곱셈 게이트 역할을 한다. 이러한 설계는 모델이 상태 경로를 무시하는 법을 배우는 것(대칭적 융합 시 발생할 수 있는 지름길 학습)을 방지하며, 모델이 전체 은닉 상태를 활용하도록 강제한다.
아키텍처: 이는 토큰당 단 두 개의 $D \times D$ 행렬 곱셈만을 추가한다. 표준 트랜스포머 아키텍처, KV 캐시 레이아웃, 서빙 스택은 그대로 유지된다.
효과: 이를 통해 비언어화된 상태가 새로운 깊이 예산을 가지고 스택의 바닥으로 재진입할 수 있게 한다. 모든 레이어(가장 얕은 레이어 포함)는 이제 자신의 하부 레이어뿐만 아니라 전체 스택에 의해 처리된 전체 이력을 접근할 수 있다.

2. 병렬 훈련 전략 (Parallel Training Strategy)

이러한 재귀(recurrence)를 직접 훈련하면, 위치 $t$ 의 입력이 $t-1$ 의 출력에 의존하기 때문에 교사 강요(teacher forcing)의 병렬성을 상실하게 된다. 저자들은 이를 해결하기 위해 **멀티 패스 목적 함수(multi-pass objective)**를 도입한다.

시간적 병렬성(Temporal Parallelism): 시퀀스에 대해 순차적으로 언롤링(unrolling)하는 대신, 모델은 $K$ $K$ 개의 병렬 포워드 패스를 실행한다.
- 패스 1: 일반적인 토큰 임베딩을 사용한 표준 포워드 패스.
- 패스 $k$ ( $k > 1$ ): 패스 $k-1$ 의 은닉 상태를 오른쪽으로 한 칸 이동(shift right)시킨 후, 토큰 임베딩과 융합하여 병렬적으로 스택에 다시 주입한다.
손실 함수: 이 목적 함수는 첫 번째 패스의 표준 차기 토큰 예측(Next-Token Prediction, NTP) 손실과 이후 패스들의 보조 NTP 손실을 결합한다. 후속 패스의 그래디언트는 이전의 잠재 상태로 역전파되어, 해당 상태들이 재사용 가능한 입력이 되도록 유도한다.
스케줄링: 안정성을 확보하고 연산 비용을 관리하기 위해 저자들은 점진적 스케줄을 사용한다:
- 훈련은 표준 단일 패스 목적 함수로 시작한다.
- 훈련 중간에 잠재 피드백을 도입한다 (예: 2-패스 배치).
- 더 높은 패스(예: 3-패스)를 가진 배치의 작은 비율(예: 3%)을 섞어서 학습한다. 경험적으로, 이 작은 비율은 학습된 피드백 맵을 안정화시켜, 추론 시 수백 번의 패스로 확장되더라도 고정점으로 수렴하는 안정적인 구조를 만든다.
접두사 혼합(Prefix Mix-in): 훈련(완전히 융합된 입력)과 추론(일반 프롬프트 + 융합된 생성) 사이의 분포 불일치를 처리하기 위해, 훈련 과정에서 융합된 입력이 시작되는 프롬프트 길이를 무작위화하여 프롬프트-후-생성(prompt-then-generate) 구조와 일치시킨다.

3. 안정화 기법 (Stability Techniques)

장기 호라이즌 추론 중 발산을 방지하기 위해 다음을 사용한다:

깊이 스케일링(Depth Scaling): 최상위 레이어 상태의 노름(norm)이 깊이에 따라 증가하지 않고 $O(1)$ 을 유지하도록 보장한다.
가중치 타이잉(Weight Tying): 일반 토큰 입력과 융합된 상태 입력 간의 호환성을 보장하기 위해 임베딩 레이어와 리드아웃(readout) 레이어의 가중치를 공유한다.
노이즈 정규화(Noise Regularization): 훈련 중 전달되는 은닉 상태에 작은 지터 노이즈(jitter noise)를 추가하여 견고성을 높인다.

주요 결과

저자들은 1B 파라미터 모델을 최대 400B 토큰까지 훈련시켰으며, 이를 100B~1T 토큰으로 훈련된 표준 트랜스포머와 비교 평가하였다.

데이터 효율성: 풀-밴드위스 트랜스포머는 약 1.5배에서 2배 더 많은 토큰으로 훈련된 표준 트랜스포머의 성능에 근접하거나 이를 능가한다. 예를 들어, 200B 토큰의 풀-밴드위스 모델은 400B 토큰의 표준 베이스라인 성능에 도달한다.
성능 향상:
- 검증 손실(Validation Loss): 모든 규모에서 개선되었다.
- 추론 및 코딩: 자유 형식 생성 작업(GSM8K, Math500, HumanEval, MBPP)에서 잠재 피드백 디코딩(SOFT 및 FUSED 방식)은 동일한 가중치를 가진 표준 디코딩보다 일관되게 우수한 성능을 보인다.
  - SOFT (잠재 피드백): 수학 작업에 가장 적합하며, 이는 은닉 상태가 언어화된 토큰보다 추론을 더 잘 전달함을 시사한다.
  - FUSED (멀티 패스 프리필): 코딩 작업에 가장 적합하며, 이는 정교한 프롬프트 표현이 중요함을 시사한다.
- 지시문 튜닝(Instruction Tuning): 성능 향상은 긴 컨텍스트 확장 및 지시문 튜닝 후에도 지속된다.
간결성: 베이스 모델(지시문 튜닝 전)에서 잠재 피드백은 동일하거나 더 나은 정확도에서 **현저히 짧은 추론 궤적(reasoning traces)**을 생성한다. 모델은 토큰별로 서술하는 대신 은닉 상태 내에서 "조용히" 연산을 수행한다. 이 효과는 지시문 튜닝 후에 감소하는데, 이는 튜닝 데이터가 장황한 표준 추론 방식을 모방하기 때문인 것으로 보인다.
상태 접근성: 프로빙 실험 결과, 재귀적 프리필링(recurrent prefilling)이 표준 프리필링보다 전역 상태 정보를 얕은 레이어(Layer 0)에 훨씬 더 효과적으로 노출함을 확인하였으며, 이는 "풀-밴드위스" 주장을 입증한다.

의의 및 주장

본 논문은 풀-밴드위스 트랜스포머가 대규모 언어 모델(LLM)을 위한 새로운 스케일링 축을 제공한다고 주장한다: 즉, 단순히 더 많은 토큰이나 파라미터를 사용하는 것이 아니라, 토큰당 더 많은 연산을 할당하는 것이다.

스케일링의 재고: 고품질의 고유 데이터가 제약 요소가 됨에 따라, 저자들은 각 토큰으로부터 더 많은 학습 신호를 추출하는 방향을 제시한다. 잠재 피드백은 언어화라는 병목 현상 없이 내부 상태를 반복적으로 처리할 수 있게 함으로써 이를 달성한다.
추론 효율성: 이 방식은 무시할 만한 수준의 토큰당 디코딩 오버헤드(단 두 개의 행렬 곱셈)로 성능 향상을 제공한다. 추가적인 연산은 주로 선택적인 멀티 패스 프리필링이나 훈련 중에 발생하며, 순차적인 토큰 생성 중에는 거의 발생하지 않는다.
아키텍처의 최소주의: 이 방법은 표준 트랜스포머 아키텍처와 KV 캐시를 유지하면서, 입력 구성 방식과 특정 훈련 스케줄의 변경만을 요구한다.
안정성: 본 연구는 병렬 멀티 패스 목적 함수를 사용하여 트랜스포머에서 재귀적 피드백 루프를 효과적으로 훈련할 수 있음을 보여주며, 이는 재귀 네트워크 훈련 시 흔히 발생하는 불안정성을 극복한다.

저자들은 결론적으로 풀-밴드위스 트랜스포머가 데이터 규모에만 의존하는 것에서 벗어나, 재귀적이고 피드백 기반인 연산을 활용하여 표현 품질과 추론 효율성을 개선하는 패러다임의 전환을 나타낸다고 설명한다.