기술 요약: 기하학적 잠재 추론(Geometric Latent Reasoning)이 LLM의 생성 길이를 단축시킨다

문제 정의

현재의 대규모 언어 모델(LLM)은 긴 명시적 추론 토큰(예: Chain-of-Thought 또는 CoT)을 생성함으로써 복잡한 문제를 해결한다. 이러한 방식은 효과적이기는 하지만, 상당한 계산 오버헤드를 발생시키고, 생성 길이에 민감하며, 중간 추론 단계를 이산적인 자연어로 강제한다는 단점이 있다. 이러한 경직성은 모델이 매 단계마다 특정 어휘 토큰에 조기에 확정적으로 결합하게 만들어, 실제 내부 연산을 가릴 가능성을 높인다.

"잠재 추론(Latent Reasoning)"은 중간 연산을 연속적인 표현 공간으로 전환함으로써 대안을 제시하지만, 기존 방식들은 근본적인 문제에 직면해 있다. 제약 없는 은닉 상태(hidden states)를 모델에 다시 입력하는 접근법은 임베딩 공간의 불일치 문제를 겪으며, 보조 모듈이나 지식 증류(knowledge distillation)에 의존하는 방식은 복잡한 학습 의존성과 구조적 마찰을 초사한다. 핵심적인 미결 과제는 모델의 사전 학습된 기하학적 구조와 일치하는 중간 연속 상태의 최적 구조를 결정하는 것이다.

방법론: 기하학적 잠재 추론 (Geometric Latent Reasoning, GLR)

저자들은 **기하학적 잠재 추론(GLR)**을 제안하며, 이는 잠재 추론을 모델의 사전 학습된 토큰 임베딩 공간 내에서의 기하학적 경로 근사 문제로 재정의한다.

핵심 개념

GLR은 제약 없는 잠재 공간을 학습하는 대신, 유용한 중간 상태가 이산적인 토큰 유도 궤적(discrete token-induced trajectories)의 국소적 이웃(local neighborhoods) 내에 존재한다는 가설을 세운다. 이 방법은 표준 텍스트 CoT를 임베딩 공간을 통과하는 이산적 궤적으로 취급하고, 연속적인 벡터를 사용하여 이러한 전이를 근사하도록 학습한다.

아키텍처 및 학습

1. 잠재 전이 헤드(Latent Transition Head): 언어 모델에 경량 선형 레이어($g_\phi$)를 추가한다. 이 레이어는 현재 은닉 상태($h_{i-1}$)를 입력받아 임베딩 공간에서의 연속적인 변위 벡터($\Delta \hat{e}_i$)를 예측한다.
2. 학습 목적 함수: 텍스트 CoT 트레이스를 사용하여 두 단계의 패스(two-pass) 절차로 학습한다.
   • 첫 번째 패스: 모델이 원래의 이산 시퀀스를 처리하여 연속된 추론 토큰 사이의 정확한 임베딩 변위($\Delta e_i = e_i - e_{i-1}$)를 수집한다.
   • 두 번째 패스: 이산 추론 토큰을 전이 헤드의 출력값을 이전 잠재 상태에 적용하여 생성된 연속적 잠재 상태로 대체한다.
   • 손실 함수: 전체 손실은 최종 정답 토큰에 대한 표준 교차 엔트로피(CE)와 잠재 전이에 대한 **위치 가중치 적용 평균 제곱 오차(position-discounted MSE)**를 결합한다. 할인 계수($\gamma$)는 후반부 추론 위치에 대한 페널티를 줄여, 모델이 추론이 진행됨에 따라 원래의 텍스트 트레이스에서 더 많이 벗어날 수 있도록 허용한다. 결정적으로, 잠재 대체 위치에는 토큰 수준의 CE를 적용하지 않는데, 이는 해당 상태들이 독립적으로 언어화되도록 의도된 것이 아니기 때문이다.
3. 추론: 추론 시, 모델은 고정된 수의 연속 잠재 단계($K$)로 추론을 시작한다. 각 단계에서 전이 헤드는 업데이트를 예측하고, 결과로 나온 연속 임베딩이 모델에 다시 입력된다. $K$ 단계가 지나면, 모델은 최종 정답을 생성하기 위해 표준 자기회귀(autoregressive) 토큰 디코딩을 재개한다.

주요 기여

• 기하학적 정식화: 잠재 추론을 사전 학습된 토큰 임베딩 공간 내에서의 기하학적 경로 근사 문제로 정식화하여, 제약 없는 은닉 상태 피드백에 대한 구조적인 대안을 제시했다.
• GLR 방법론: 단순한 위치 가중치 적용 전이 목적 함수를 사용하여 텍스트 CoT 궤적으로부터 연속적인 임베딩 공간 업데이트를 학습하는 방법을 도입했다.
• 발현적 길이 감소: 명시적인 길이 페널티나 목적 함수 없이도 GLR이 수학적 추론 벤치마크에서 생성 길이를 실질적으로 단축함을 입증했다.
• 정확도-길이 트레이드오프: 연속 잠재 업데이트와 명시적 텍스트 생성 사이에 계산량을 할당하는 새로운 추론 시 메커니즘으로서, 잠재 단계 수($K$)에 의해 제어되는 조절 가능한 트레이드오프를 밝혀냈다.

실험 결과

저자들은 Qwen3 모델(0.6B 및 1.7B)을 사용하여 6개의 수학적 추론 벤치마크(GSM8K, MATH500, MultiArith, AMC23, OlympiadBench, SVAMP)에서 GLR을 평가하였으며, 이를 표준 Chain-of-Thought 지도 미세 조정(CoT-SFT) 베이스라인과 비교하였다.

• 제한된 예산 성능: 엄격하게 제한된 생성 예산(예: $\le$ 256 단계) 하에서 GLR은 Co-SFT를 크게 능가한다. 예를 들어, 512단계 예산이 주어진 MATH500에서 CoT-SFT는 정확도가 거의 0에 수렴한 반면, GL-10은 40% 이상의 문제를 해결했다. 이는 잠재 전이가 중복된 명시적 추론 접두사를 대체하여, 모델이 더 진전된 추론 상태로부터 디코딩을 재개할 수 있게 함을 시사한다.
• 생성 길이 감소: 정답을 맞히는 데 있어 GLR은 CoT-SFT보다 실질적으로 적은 총 생성 단계를 요구한다. MATH500에서 CoT-SFT의 중앙값 생성 길이는 약 2,000 토큰이었으나, 적절한 잠재 예산(GLR-10, GLR-20)을 사용하면 이를 약 350 단계로 줄였다. 이러한 감소는 명시적인 길이 페널티를 통해 최적화된 것이 아니라 발현된 결과이다.
• 일반화: 단순 산술(SVAMP)을 포함한 다양한 벤치마크에서 중복된 추론 트레이스의 감소가 관찰되었으며, SVAMP의 경우 GLR은 중앙값 생성 길이를 약 500~700 토큰에서 약 100 단계로 줄였다.
• 잠재 역학(Latent Dynamics): 추론 시 $K=0$인 경우(GLR으로 학습된 백본은 유지하되 추론 시 잠재 롤아웃은 비활성화)에 대한 절제 연구(ablation study) 결과, 모델은 다시 긴 명시적 생성을 수행했다. 이는 길이 감소가 단순히 학습 레시피나 손실 마스킹에 의한 것이 아니라, 학습된 연속적 변위를 사용하는 것에 의해 구동됨을 확인시켜 준다.
• 비단조성(Non-Monotonicity): 잠재 단계($K$)와 정확도 사이의 관계는 비단조적이다. 적절한 $K$ 값이 최적의 트레이드오프를 제공하며, 과도한 잠재 단계(예: $K=80$ 또는 $100$)는 전이 헤드의 오류가 잠재 상태를 토큰 유도 궤적에서 벗어나게 만드는 기하학적 드리프트(geometric drift)로 인해 정확도를 저하시킬 수 있다.

의의 및 주장

본 논문은 사전 학습된 토큰 임베딩 공간이 이산적인 토큰 이상의 유용한 중간 추론 상태를 지원할 수 있다고 주장한다. 초기 명시적 추론을 연속적인 잠재 단계로 대체함으로써, GLR은 모델이 실질적으로 훨씬 적은 총 생성 단계로 정답에 도달할 수 있게 한다.

저자들은 GLR을 토큰 효율적인 추론을 위한 원칙적인 기하학적 기초로 포지셔닝한다. 이는 잠재 계산 예산, 출력 길이, 그리고 정확도 사이의 새로운 트레이드오프를 드러내며, 테스트 시 추론 비용과 형태를 제어할 수 있는 간단한 메커니즘을 제공한다. 이 연구는 연속적인 궤적이 압축된 중간 추론 상태로서 기능하며, 읽기 가능한 텍스트에는 필요할 수 있지만 추론 내용 자체는 거의 담고 있지 않은 중복적인 이산적 전이를 효과적으로 우회할 수 있음을 시사한다.