🤖 machine learning

Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior

본 논문은 추론 깊이를 증가시키지 않고 고수준 은닉 상태를 재귀적 메모리로 재사용하여 자기회귀 모델을 강화하는 경량 아키텍처인 잠재 재귀 트랜스포머 (LRT) 를 소개하고, 이 접근법을 효율적으로 확장하기 위한 인터리브 병렬 학습 전략을 제안하여 최소한의 파라미터 오버헤드로 언어 모델링 및 인-컨텍스트 학습 성능을 향상시킵니다.

원저자: Zeyi Huang, Xuehai He, LiLiang Ren, Yiping Wang, Baolin Peng, Hao Cheng, Shuohang Wang, Pengcheng He, Jianfeng Gao, Yong Jae Lee, Yelong Shen

게시일 2026-05-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zeyi Huang, Xuehai He, LiLiang Ren, Yiping Wang, Baolin Peng, Hao Cheng, Shuohang Wang, Pengcheng He, Jianfeng Gao, Yong Jae Lee, Yelong Shen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

한 번에 한 단어씩 로봇에게 이야기 쓰기를 가르친다고 상상해 보세요. 표준 방식인 '자기회귀 트랜스포머 (Autoregressive Transformer)'에서는 로봇이 이미 쓴 단어를 보고 그 단어에 대해 생각한 후 다음 단어를 선택합니다. 그 단어를 선택하면 즉시 다음 단계로 넘어갑니다. 이는 공장의 조립 라인과 같습니다. 모든 제품은 기계를 한 번만 빠르게 통과한 뒤 완료됩니다.

이 논문은 **잠재 순환 트랜스포머 (Latent Recurrent Transformer, LRT)**라는 새로운 아이디어를 제시합니다. 간단한 비유를 통해 그 작동 원리를 설명해 보겠습니다.

1. 문제: 조립 라인의 '망각'

기존 로봇은 단어를 처리하는 작업을 마치면, 그 단어에 대해 품었던 깊고 고차원적인 생각들을 잊어버립니다. 대신 다음 단어를 돕기 위해 기본적인 '메모 (은닉 상태)'만 유지합니다. 만약 로봇이 현재 문장을 이해하기 위해 몇 단어 전의 복잡한 아이디어를 기억해야 한다면, 기본적인 메모 더미를 뒤져야 합니다. 이는 실제 장면이 아닌 티켓 스텁만 보고 영화의 반전 장면을 기억하려는 것과 같습니다.

2. 해결책: '스마트 노트북 (LRT)'

LRT 는 로봇에게 스마트 노트북을 제공합니다.

작동 방식: 로봇이 1 번 단어를 처리하는 것을 마치면, 그 깊은 생각들을 단순히 버리는 대신, 그 생각들의 '고차원 요약'을 노트북에 적습니다.
마법 같은 점: 2 번 단어를 처리하기 시작하면, 로봇은 즉시 그 노트북을 열어 1 번 단어에 대한 요약을 읽습니다. 그리고 그 요약을 2 번 단어를 처리하는 데 도움이 되는 '기억 부스터'로 활용합니다.
결과: 로봇은 조립 라인을 멈추거나 추가 작업을 하지 않고도 과거의 자신으로부터 두 번째 의견을 얻을 수 있습니다. 이는 다음 야채를 썰면서 바로 전에 쓴 이전 야채에 대한 메모를 한 번 훑어보며 맛의 균형을 유지하는 셰프와 같습니다.

3. 트릭: 멈추지 않고 학습하는 방법

물어볼 수 있습니다: "로봇이 학습하기 위해 과거의 노트북을 읽어야 한다면, 미래를 시작하기 전에 과거가 끝날 때까지 기다려야 한다는 뜻이 아닙니까? 그렇다면 학습 속도가 매우 느려지지 않겠습니까?"

일반적으로는 그렇습니다. 로봇에게 단계를 하나씩 (1 번 단어, 그다음 2 번 단어, 그다음 3 번 단어) 학습시키려 하면, 모든 것을 동시에 수행할 수 있는 능력 (병렬성) 을 잃게 되어 학습이 영원히 걸리게 됩니다.

저자들은 **교차 병렬 학습 (Interleaved Parallel Training)**이라는 교묘한 학습 트릭을 고안했습니다. 이는 약간의 변주가 있는 릴레이 경주와 같습니다.

1 단계 (워밍업): 로봇은 전체 경주 (전체 문장) 를 정상 속도로 한 바퀴 돌아 메모의 초안만 대략적으로 작성합니다.
2 단계 (릴레이): 전체 경주를 다시 뛰는 대신, 로봇은 경주를 '짝수' 주자와 '홀수' 주자 두 그룹으로 나눕니다.
- 먼저 '짝수' 주자들이 워밍업을 마친 '홀수' 주자들의 메모를 보고 자신의 성과를 개선합니다.
- 그다음 '홀수' 주자들이 '짝수' 주자들의 개선된 메모를 보고 자신들의 메모를 개선합니다.
이점: 이 방식 덕분에 모든 단어가 이웃으로부터 학습할 기회를 얻으면서도, 컴퓨터는 여전히 많은 작업을 동시에 수행할 수 있습니다. 이는 학생들이 함께 공부하는 것과 같습니다. 한 사람이 책 전체를 끝낼 때까지 기다리지 않고, 작은 그룹끼리 메모를 교환하며 더 빠르게 학습하는 것입니다.

4. 결과: 더 적은 비용으로 더 똑똑해짐

이 논문은 새로운 로봇을 기존 표준 로봇과 비교하여 테스트했습니다.

효율성: 새로운 로봇 (LRT) 은 동일한 양의 '뇌력' (컴퓨팅 시간) 을 부여받았을 때, 더 나은 작문 능력 (낮은 오류율) 을 학습하고 더 나은 문맥 이해 능력 (질문 답변 능력 향상) 을 보여주었습니다.
작은 업그레이드: 새로운 로봇은 이러한 큰 개선을 얻기 위해 단지 아주 적은 양의 추가 메모리 (약 0.3% 증가) 만 필요했습니다. 이는 새로운 엔진을 사는 대신 자동차에 작지만 강력한 GPS 를 추가하는 것과 같습니다.
최적의 지점: 연구진은 가장 좋은 '노트북'이 로봇이 가진 마지막 생각 (단순히 다음 단어에 너무 집중된) 이 아니라, 뇌의 중간에 있는 생각임을 발견했습니다. 이는 충분히 고차원적이어서 유용하지만, 지나치게 전문화되지 않은 상태였습니다.

요약

**잠재 순환 트랜스포머 (Latent Recurrent Transformer)**는 이전 단어의 '고차원적 생각'을 재사용하여 다음 단어를 처리하는 데 활용함으로써 AI 모델을 더 똑똑하게 만드는 방법입니다. 저자들은 교묘한 '릴레이 경주' 방식을 사용하여 모델을 학습시킴으로써 학습 속도를 늦추지 않고 이를 달성했습니다. 그 결과, 모델을 크게 키우지 않아도 더 빠르게 학습하고 더 나은 성능을 발휘하는 모델이 탄생했습니다.

기술 요약: 잠재 재귀 트랜스포머 (LRT)

문제 정의

자기회귀형 트랜스포머는 언어 모델링의 표준이지만, 생성된 각 토큰에 대해 고정된 깊이의 피드포워드 계산에 의존합니다. 재귀는 이론적으로 반복적 정제를 위한 계산 능력을 증가시킬 수 있지만, 기존 접근 방식은 상당한 추론 비용을 초래합니다. 깊이(depth)에서 재귀를 추가하는 방법 (동일한 토큰에 블록을 반복 적용) 이나 시간(time)에서 재귀를 추가하는 방법 (휴지 또는 사고 토큰 삽입) 은 추가적인 디코딩 단계나 블록 적용을 통해 추론 지연 시간을 증가시킵니다.

저자들은 자기회귀 디코딩이 이미 이전 토큰의 숨겨진 상태 (hidden states) 를 통해 "무료"로 고수준 재귀 신호를 계산하고 있음을 관찰했습니다. 구체적으로, 다음 토큰 예측을 위해 훈련된 상위 계층 상태는 유용한 잠재적 맥락을 포함합니다. 핵심 연구 질문은 이전 토큰에서 이미 계산된 이러한 고수준 표현을 추가적인 디코딩 단계 없이 다음 토큰을 위한 재귀 메모리로 재사용할 수 있는지 여부입니다.

방법론

아키텍처: 잠재 재귀 트랜스포머 (LRT)

LRT 는 표준 자기회귀형 트랜스포머의 경량화된 확장으로, 계층 간 및 토큰 간 잠재 경로를 도입합니다.

메커니즘: 토큰 위치 $t$ 에서 LRT 는 이전 위치의 소스 계층 숨겨진 상태 $m_{t-1} = h^{\ell_{src}}_{t-1}$ 를 재귀 메모리로 재사용합니다. 여기서 $\ell_{src}$ 는 선택된 소스 계층 (일반적으로 상 - 중간 계층) 입니다.
주입: 메모리 $m_{t-1}$ $m_{t - 1}$ 은 두 가지 보완적 메커니즘을 통해 현재 토큰 $t$ $t$ 의 트랜스포머 계층에 주입됩니다:
1. KV 투사 (Projection): 메모리를 어텐션 키 - 값 공간 ( $\tilde{k}_{rec}, \tilde{v}_{rec}$ ) 으로 투사하고 입력 의존성 게이트를 사용하여 로컬 키/값과 결합합니다. 이는 이전 토큰의 표현이 어텐션 메커니즘으로 직접 이동할 수 있는 경로를 제공합니다.
2. 잔여 주입 (Residual Injection): 메모리를 잔여 스트림에 직접 추가합니다 ( $\bar{x}^{(\ell)}_t = \alpha_\ell x^{(\ell)}_t + \gamma_\ell m_{t-1}$ ), 이를 통해 전체 블록이 재귀 신호에 노출되도록 합니다.
추론 효율성: 핵심적으로 LRT 는 디코더 전용 백본, 어텐션 메커니즘, KV 캐시 인터페이스를 표준 상태로 유지합니다. 메모리 토큰, 휴지 토큰, 또는 깊이 루프를 삽입하지 않습니다. 생성된 각 토큰은 여전히 정확히 하나의 일반 트랜스포머 순전파를 사용하며, 재귀 상태는 단순히 업데이트되어 다음 단계로 전달됩니다. 기본 변형은 **0.3%**의 파라미터만 추가합니다.

훈련 전략: 교차 병렬 훈련 (Interleaved Parallel Training)

대규모로 이 재귀를 사전 훈련하는 것은 주요 과제입니다. 정확한 훈련은 전체 시퀀스에 걸쳐 트랜스포머를 순차적으로 풀어야 합니다 (시간을 통한 역전파, BPTT). 이는 효율적인 트랜스포머 사전 훈련에 필수적인 병렬성을 파괴합니다. 청크 단위의 훈련 (연속된 블록을 순차적으로 처리) 은 일부 병렬성을 유지하지만, 메모리가 청크 경계를 넘어 전파되도록 하여 거친 근사치만 제공합니다.

저자들은 고정된 훈련 예산 하에서 토큰 수준의 재귀를 모방하면서도 병렬 계산을 유지하기 위해 교차 병렬 훈련을 도입했습니다:

초기화 패스: 단일 전체 시퀀스 순전파를 수행하여 모든 위치의 키, 값, 소스 계층 재귀 상태를 포함하는 공유 버퍼를 구축합니다.
정제 패스: 시퀀스 위치를 $S$ 개의 불연속 부분집합 (예: 스트라이드된 파티션) 으로 분할합니다. 이러한 부분집합들을 병렬로 정제합니다.
되쓰기 (Write-Back): 부분집합에서 업데이트된 상태를 공유 버퍼에 다시 씁니다. 후속 부분집합은 이전 부분집합에서 정제된 메모리를 소비할 수 있습니다.
목적: 손실은 초기화 손실과 각 부분집합에 대한 정제 손실의 평균입니다.

이 전략은 모든 토큰이 재귀 메모리를 인지하는 감독 단계를 받도록 보장합니다. 계산 측면에서 이는 표준 트랜스포머 업데이트의 약 2 배 비용 (하나의 초기화 + 하나의 유효한 정제) 이 들지만, 청크 단위 훈련보다 토큰 수준의 재귀를 더 정확하게 모방합니다.

주요 기여

LRT 아키텍처: 이전 토큰의 고수준 소스 계층 숨겨진 상태를 메모리로 재사용하는 경량 재귀 확장으로, 추가 디코딩 단계나 KV 캐시 인터페이스의 아키텍처 변경 없이 계층 간 재귀를 가능하게 합니다.
교차 병렬 훈련: 고정된 훈련 예산 하에서 토큰 수준의 재귀를 모방하기 위해 불연속 토큰 부분집합을 정제하는 병렬 훈련 근사법으로, 표준 RNN 스타일 훈련에서 필요한 순차적 풀링을 피합니다.
실증적 검증: 다양한 모델 크기와 토큰당 파라미터 예산에서 LRT 가 계산 - 품질 트레이드오프를 개선함을 입증했으며, 기본 공유 투사 변형은 최소한의 파라미터 오버헤드 (0.3%) 만 추가합니다.

결과

실험은 FineWeb-Edu 로 사전 훈련된 나노채트 (nanochat) 스타일 GPT 백본 (20L 및 24L 계층) 에서 수행되었습니다.

확장 행동: 기준선과 동등한 훈련 계산량 (교차 훈련의 2 배 비용을 고려) 하에서 LRT 는 **바이트당 비트 (BPB)**를 낮추고 22 개 작업에 대한 맥락 내 학습 지표인 CORE를 높이는 방향으로 확장 곡선을 이동시킵니다.
성능 향상:
- 기준선과 동등한 계산량 80 에서 24L 백본에 대해 LRT-shared 는 0.695 BPB를 달성하여 기준선의 0.699보다 개선되었습니다.
- 맥락 내 학습 (CORE) 또한 개선되었습니다. 계산량 80 에서 20L 백본에 대해 LRT-shared 는 0.274를 기록하여 기준선의 0.271보다 높았습니다.
절대 실험 (Ablation) 결과:
- 소스 계층: 최종 계층보다 상 - 중간 계층 (예: 20L 모델의 12 계층) 이 더 좋은 성능을 보였으며, 이는 유용한 메모리가 고수준이어야 하지만 로짓에 지나치게 특화되어서는 안 됨을 시사합니다.
- 시간적 소스: 바로 이전 상태 ( $m_{t-1}$ ) 는 한 번의 순전파 제약을 유지하는 가장 강력한 단일 메모리 소스입니다.
- 주입: KV 투사와 잔여 주입은 상호 보완적이며, 둘 다 사용할 때 가장 좋은 결과가 나옵니다.
- 훈련: 교차 병렬 훈련은 재귀의 더 거친 근사치를 제공하는 청크 단위 훈련보다 훨씬 우수합니다.

중요성과 주장

이 논문은 LRT 가 자기회귀형 트랜스포머의 계산 - 품질 트레이드오프를 성공적으로 이동시켰다고 주장합니다. 이전 토큰의 "무료" 고수준 신호를 재사용하고 병렬 근사를 통해 이를 훈련함으로써, LRT 는 깊이 재귀 또는 휴지 토큰 방법의 추론 지연 시간 패널티 없이 반복적 정제와 더 나은 맥락 활용을 가능하게 합니다.

저자들은 LRT 가 표준 트랜스포머 인터페이스를 유지하는 경량화된 확장임을 강조합니다. 이러한 이득은 단순히 추가 파라미터나 게이트를 추가한 것이 아니라 재귀 메모리 메커니즘 자체에 기인합니다. 동일한 강력한 기준선에서 범용 아키텍처 추가 (게이트드 어텐션 또는 계층 확장 등) 는 미미한 개선만 가져왔습니다. 이 연구는 유용한 재귀 메모리는 고수준이어야 하지만 최종 로짓 특화 계층이 아니어야 하며, 토큰 수준의 재귀는 사전 훈련 중 병렬적으로 효과적으로 근사될 수 있음을 시사합니다.