기술 요약: HRM-Text - 확장 beyond 효율적인 사전 학습

1. 문제 제기

대규모 언어 모델 (LLM) 개발을 위한 현재 패러다임은 "무차별적" 확장에 의존합니다. 이는 인터넷 규모의 원시 텍스트 사전 학습을 거쳐 중간 학습과 지시 튜닝을 포함하는 대규모 다단계 파이프라인을 수반합니다. 이러한 접근 방식은 막대한 계산 자원과 수조 개의 토큰을 필요로 하므로 기초 연구에 대한 진입 장벽을 prohibitive 하게 만듭니다. 저자들은 이 데이터 집약적 접근 방식이 특히 데이터가 제한된 환경에서 비효율적이라고 주장합니다. 이는 일반화된 표현을 구축하기 위해 프롬프트와 유사하거나 작업과 무관한 텍스트를 예측하는 데 상당한 계산 자원을 낭비하기 때문입니다. 반면, 생물학적 시스템은 프론트-두정 루프와 같은 다중 시간尺度 처리를 통해 매우 샘플 효율적인 학습을 보여주며, 이는 아키텍처 사전 지식과 표적화된 목표가 계산 대비 성능 비율을 근본적으로 개선할 수 있음을 시사합니다.

2. 방법론

본 논문은 표준 트랜스포머를 **계층적 순환 모델 (Hierarchical Recurrent Model, HRM)**로 대체하고 새로운 학습 목표를 채택한 HRM-Text를 소개합니다. 이 방법론은 두 가지 시너지 방향에 기반합니다:

A. 아키텍처 탐색: 계층적 순환

HRM-Text 는 생물학적 기능 조직에서 영감을 받은 이중 시간尺度 아키텍처를 활용합니다:

• 이중 시간尺度 순환: 모델은 계산을 **느리게 진화하는 전략적 레이어 (H-모듈)**와 **빠르게 진화하는 실행 레이어 (L-모듈)**로 분리합니다. 순전파는 각 사이클에서 세 번의 빠른 L-모듈 업데이트를 실행한 후 단일 느린 H-모듈 업데이트를 수행하는 고수준 사이클로 구성됩니다.
• MagicNorm: 언어 모델링을 위한 깊은 순환을 안정화하기 위해 저자들은 MagicNorm 을 도입했습니다. 이 기법은 Truncated Backpropagation Through Time(TBPTT) 으로 인해 발생하는 순방향과 역방향 계산 시야의 비대칭성을 활용합니다. 이는 그라디언트 흐름을 위한 내부 PreNorm 블록과 모듈 종료 시의 최종 정규화 레이어 (순전파 중 활성화 분산을 제한하기 위함) 를 결합합니다. 이는 순수 PreNorm 의 무제한 분산 증가를 방지하면서도 PostNorm 의 안정성을 유지합니다.
• Warmup Deep Credit Assignment: 그라디언트 불안정성을 해결하기 위해 모델은 커리큘럼 기반 그라디언트 전략을 사용합니다. 초기에는 마지막 두 순환 단계 ($K=2$) 만을 통해 그라디언트를 역전파합니다. 학습이 진행됨에 따라 시야는 마지막 다섯 단계 ($K=5$) 까지 선형적으로 워밍업됩니다. 이는 초기화 시 긴 그라디언트 경로와 관련된 최적화 병리 현상에 대한 노출을 줄여줍니다.
• 구성 요소: 아키텍처는 파라미터가 없는 RMSNorm, SwiGLU 활성화 함수, 회전 위치 임베딩 (RoPE), 그리고 시그모이드 게이트가 적용된 자기 어텐션 메커니즘을 사용합니다.

B. 목표 탐색: 작업 완료 및 PrefixLM

본 논문은 원시 텍스트에 대한 자기회귀적 사전 학습이라는 도그마에 도전합니다:

• 작업 완료 목표: 시퀀스의 모든 토큰을 예측하는 대신, HRM-Text 는 처음부터 지시 - 응답 쌍만을 대상으로 학습됩니다. 손실은 응답 토큰에 대해서만 계산됩니다 ($-\log P(x_a | x_q)$). 이는 프롬프트를 재구성하는 것보다 정확한 응답 생성에 파라미터 업데이트를 집중시킵니다.
• PrefixLM 마스킹: 이 목표는 PrefixLM 어텐션 마스크와 짝을 이룹니다. 이는 지시 토큰 전체에 걸쳐 완전한 양방향 (인코더와 유사한) 어텐션을 허용하면서 응답에 대해서는 표준 인과적 생성을 유지합니다. 이는 디코더 스타일 구현 내에서 인코더 - 디코더와 유사한 분리를 창출합니다.

3. 주요 기여

1. HRM-Text 아키텍처: 안정화 기법 (MagicNorm, 워밍업 크레딧 할당) 을 통해 언어 모델링의 개방형 복잡성을 성공적으로 처리하는 확장 가능한 계층적 순환 모델 구현.
2. 효율적인 사전 학습 프로토콜: 표준 원시 텍스트 사전 학습에 비해 작업 완료 목표와 PrefixLM 마스킹을 사용하여 지시 - 응답 쌍만을 대상으로 학습할 때 샘플 효율성이 크게 향상됨을 입증.
3. 경험적 실존 증명: 소규모 예산 (400 억 개 고유 토큰, 약 1,500 달러의 계산 비용) 으로 처음부터 학습된 모델이 훨씬 더 큰 데이터셋 (최대 36 조 개 토큰) 으로 학습된 더 큰 기반 모델 (2B~7B 파라미터) 과 경쟁력 있는 성능을 달성할 수 있음을 경험적 증거로 제시.

4. 결과

1B 파라미터 HRM-Text 모델은 16 개의 GPU 에서 1.9 일 동안 400 억 개 고유 토큰을 사용하여 처음부터 학습되었습니다. 결과는 다음과 같습니다:

• 벤치마크 성능: 모델은 MMLU 에서 60.7%, ARC-C 에서 81.9%, DROP 에서 82.2%, GSM8K 에서 84.5%, MATH 에서 **56.2%**의 성능을 달성했습니다.
• 효율성 향상: 표준 베이스라인 (예: Llama3.2 3B, Gemma3 4B, Qwen3.5 2B, Olmo3 7B) 과 비교하여 HRM-Text 는 경쟁력 있거나 우수한 추론 및 작업 실행 벤치마크 성능을 달성하면서 약 100~900 배 적은 학습 토큰과 96~432 배 적은 추정 계산 자원을 활용했습니다.
• 애블레이션 연구:
  • 아키텍처: HRM 은 FLOPs 가 일치하는 표준 트랜스포머, Looped Transformers, RINS 보다 우수한 성능을 보였습니다. 또한 1B 규모에서 파라미터 공유 변형인 TRM 보다 우수한 안정성을 입증했습니다.
  • 목표: 작업 완료 목표와 PrefixLM 마스킹의 조합은 표준 인과적 마스킹 및 원시 텍스트 목표보다 상당한 개선을 제공했습니다.
• 유효 깊이: Logit 렌즈와 레이어별 표현 유사성 분석을 통해 HRM 은 깊은 레이어에서 활성 표현 변화를 유지함을 보여주었으며, 이는 초기 레이어에서 안정적인 분포로 수렴하는 경향이 있는 표준 및 Looped 트랜스포머에 비해 더 큰 유효 깊이를 나타냅니다.
• 오염 확인: 통계 분석에 따르면 모델의 성능은 데이터 오염으로 인해 유의미하게 과장되지 않았으나, 특정 n-그램 설정에서 DROP 벤치마크에 미미한 영향이 관찰되었습니다.

5. 중요성 및 주장

저자들은 HRM-Text 를 최종적이거나 최적의 언어 모델이 아니라, 특정 구조적 사전 지식 (계층적 순환) 과 표적화된 학습 목표 (작업 완료) 가 계산 대비 성능 비율을 근본적으로 변화시킬 수 있음을 보여주는 경험적 실존 증명으로 위치시킵니다.

본 논문은 이 방법론이 기초 AI 연구를 민주화한다고 주장합니다. 처음부터 사전 학습하는 진입 가격을 획기적으로 낮춤으로써, 새로운 아키텍처 탐색과 처음부터의 학습을 수조 개 토큰 확장의 계산 장벽 뒤에 갇히지 않고 더 넓은 연구 커뮤니티, 소규모 연구실, 그리고 개인이 접근할 수 있게 합니다. 이 연구는 현재 확장 법칙과 일반적으로 연관된 방대한 사실적 암기로부터 잠재적으로 분리된, 추론 및 작업 실행에 특화된 소형 순환 모델의 미래 방향을 시사합니다.