Reasoning Primitives in Hybrid and Non-Hybrid LLMs

1. 문제 제기 (Problem Statement)

• 추론의 본질에 대한 의문: LLM 의 추론 능력 향상이 '추론 토큰 (reasoning tokens)'의 생성 자체 때문인지, 아니면 모델 아키텍처가 추론에 필요한 하부 연산 (기억 및 상태 유지) 을 얼마나 잘 지원하는지에 기인하는지 불분명합니다.
• 아키텍처적 한계:
  • 트랜스포머 (Attention-only): 긴 문맥에서 정밀한 정보 환기 (Recall) 에 강점이 있지만, 긴 시퀀스에 걸친 상태 업데이트 (State-tracking) 를 유지하는 데 한계가 있습니다.
  • 순환/상태 공간 모델 (Recurrent/SSM): 상태 유지에 효율적이지만, 정밀한 콘텐츠 기반 환기 (Content-addressable retrieval) 에는 약점이 있습니다.
• 하이브리드 아키텍처의 가설: 환기 (Attention) 와 상태 추적 (Recurrent) 을 모두 지원하는 하이브리드 아키텍처가, 두 가지 원시가 동시에 필요한 복잡한 추론 작업에서 더 우월한 성능을 보일 것이라는 가설을 검증하고자 합니다.

2. 방법론 (Methodology)

2.1 모델 설정

• 비교 대상: 동일한 학습 데이터, 최적화 스케줄, 훈련 레시피를 공유하는 매칭된 모델 쌍을 사용하여 아키텍처의 영향만 격리했습니다.
  • Base: Olmo3-7B (Pure Transformer) vs. Olmo3-Hybrid-7B (Hybrid)
  • Variants: 각 아키텍처에 대해 Instruct(지시형, 직접 답변) 와 Think(추론 증강형, 중간 추론 토큰 생성) 변형을 모두 평가했습니다.
• 평가 도구: vLLM 을 사용하여 추론을 수행했습니다. Think 변형은 긴 추론 과정을 허용하기 위해 최대 6,000 토큰을 출력하도록 설정했습니다.

2.2 태스크 설계 (추론 원시 기반)

추론 능력을 '환기'와 '상태 추적'의 결합인 **상태 기반 환기 (State-based Recall)**로 정의하고, 이를 측정하기 위해 두 가지 제어된 태스크를 개발했습니다.

1. State-based Astro Recall (천체 기반 환기):
   • 행성 데이터 (질량, 궤도 주기 등) 와 변수 간의 스왑 (swap) 연산을 수행한 후, 최종 변수가 가리키는 행성 이름을 찾는 태스크.
   • 특징: 의미론적 맥락이 포함된 상태 추적과 정보 환기가 동시에 요구됨.
2. Collision Simulator (충돌 시뮬레이터):
   • 1 차원 입자 시스템에서 질량과 속도가 정의된 입자들이 순차적으로 충돌할 때, 최종 속도를 계산하는 태스크.
   • 특징: 이전 충돌 결과가 다음 충돌 조건을 결정하는 긴 시퀀스 의존성 (Sequential dependence) 을 요구하며, 상태 추적의 오류가 누적됨.

2.3 평가 지표

• 정확도 (Accuracy): 정답 일치율.
• 파싱 가중 정확도 (Parsed-weighted Accuracy): 유효한 출력을 생성한 비율을 고려하여 보정된 지표. 모델이 추론 과정에서 실패하여 유효한 답변을 내지 못하는 경우를 반영합니다.

3. 주요 결과 (Key Results)

3.1 추론 증강 (Reasoning Augmentation) 의 효과

• 전반적 개선: 'Think' 변형 (추론 토큰 생성) 은 'Instruct' 변형에 비해 모든 태스크에서 성능을 크게 향상시켰습니다. 이는 명시적인 중간 추론 과정이 모델의 작동 범위를 확장함을 보여줍니다.
• 한계: 그러나 난이도가 임계점을 넘어서면 (특히 Collision Simulator 의 고난이도 구간), 추론 토큰만으로는 트랜스포머 모델의 성능 저하를 완전히 막지 못했습니다.

3.2 아키텍처별 성능 차이 (Hybrid vs. Transformer)

• 중간 난이도 구간: 두 아키텍처 모두 'Think' 변형에서 높은 성능을 보였으며, 아키텍처 간 차이가 뚜렷하지 않았습니다. 추론 토큰이 아키텍처적 한계를 일시적으로 가렸습니다.
• 고난이도 구간 (심층 시퀀스 의존성):
  • Collision Simulator (m=64, n=64):
    • Olmo-3-7B-Think (Transformer): 성능이 급격히 저하되어 파싱 가중 정확도가 0.03 으로 떨어졌습니다. 모델이 긴 추론 사슬을 유지하지 못하고 일관된 출력을 생성하지 못했습니다.
    • Olmo-Hybrid-Think-SFT-7B (Hybrid): 0.45 (파싱 가중) 및 0.97 (원시 정확도) 로 상대적으로 높은 성능을 유지했습니다.
  • 결론: 상태 추적의 깊이가 깊어질수록 하이브리드 아키텍처가 트랜스포머보다 훨씬 견고한 성능을 보였습니다. 이는 하이브리드 모델이 내부 상태 전파 (state propagation) 를 더 잘 유지함을 시사합니다.

4. 주요 기여 (Key Contributions)

1. 추론의 원시적 분해: 추론을 추상적인 개념이 아닌, **환기 (Recall)**와 **상태 추적 (State-tracking)**이라는 두 가지 계산적 원리로 분해하여 아키텍처 평가의 새로운 프레임을 제시했습니다.
2. 조건부 하이브리드 우위 발견: 하이브리드 아키텍처가 모든 상황에서 우월한 것이 아니라, 명시적 추론 (Reasoning tokens) 만으로는 내부 상태 유지가 불가능해지는 고난이도/장기 의존성 구간에서 그 이점이 결정적으로 나타난다는 것을 실증했습니다.
3. 평가 방법론의 제안: 추론 능력을 평가할 때, 단순히 난이도만 높이는 것이 아니라 '외부화된 추론'과 '내부 상태 관리' 간의 상호작용이 드러나는 특정 구간 (Regime) 을 설계해야 함을 강조했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 추론과 아키텍처의 상호작용: 추론 토큰은 모델의 작동 범위를 확장하는 '외부 발판 (scaffold)' 역할을 하지만, 그 발판이 얼마나 오래 지속될 수 있는지는 모델의 **내부 아키텍처 (상태 전파 능력)**에 달려 있습니다.
• 하이브리드 아키텍처의 가치: 하이브리드 아키텍처는 단순한 효율성 개선을 넘어, 복잡한 시퀀스 추론 작업에서 상태 유지에 필요한 귀납적 편향 (inductive bias) 을 제공하여, 추론 토큰이 한계에 도달했을 때에도 성능을 유지하게 합니다.
• 향후 연구 방향: 현재 연구는 제한된 모델과 태스크에 국한되었으므로, 다양한 모델 패밀리와 규모에서 이러한 패턴이 보편화되는지 검증해야 합니다. 또한, 추론이 아키텍처의 한계를 완전히 대체할 수 있는지, 아니면 아키텍처가 추론을 지지하는지 그 경계를 규명하는 것이 중요합니다.

핵심 요약: 이 논문은 "추론 토큰이 아키텍처의 한계를 완전히 극복하는 것은 아니며, 특히 긴 시퀀스 의존성이 필요한 복잡한 상태 추적 작업에서는 하이브리드 아키텍처가 트랜스포머보다 훨씬 더 견고한 상태 유지 능력을 보여준다"는 것을 실증적으로 증명했습니다.