기술 요약: TYLER (Typed Latent Reasoning)

1. 문제 정의

현재의 대규모 언어 모델(LLM)은 복잡한 추론 작업을 해결하기 위해 사고 사슬(Chain-of-Thought, CoT) 프롬프팅에 의존하고 있다. CoT는 효과적이긴 하지만, 중간 계산 과정을 이산적인 텍text 토큰으로 외재화함으로써 중복성을 초래하고, 추론 비용을 증가시키며, 최종 답변을 내놓기 전에 추론이 반드시 완전히 명시적으로 표현되어야 하는 경직된 인터페이스를 강요한다.

잠재적 추론(Latent reasoning)은 중간 계산을 연속적인 표현(continuous representations) 내에 유지함으로써 대안을 제시한다. 그러나 기존의 잠재적 추론 방식들은 두 가지 주요한 한계점을 갖는다:

1. 기능적 차별화의 결여: 현재의 접근 방식들은 일반적으로 잠재 토큰을 균일하고 차별화되지 않은 계산의 운반체로 취급한다. 이들은 전역적 방향 설정(global orientation), 국소적 상태 업데이트(local state updates), 또는 절차적 추상화(procedural abstraction)와 같은 서로 다른 추론 단계의 기능적 역할들을 구분하지 못한다.
2. 경직되거나 외부적인 제어: 기존 방식들은 잠재적 계산의 위치를 미리 정의하거나(고정 위치 방식), 잠재적 계산을 호출할 시점(언제)을 결정하기 위해 외부 트리거 또는 불확실성 신호에 의존한다. 이들은 LLM 스스로가 자기 회귀적 디코딩 과정 중에 언제 생각할지, 어떤 유형의 계산을 수행할지, 또는 얼마만큼의 계산 예산을 할당할지를 동적으로 결정하게 하지 못한다.

2. 방법론: TYLER 프레임워크

저자들은 TYLER(Typed Latent Reasoning)을 제안하며, 이는 잠재적 추론을 온라인상의 유형화되고 예산이 책정된 계산 문제로 재정의한다. 핵심 혁신은 가시적인 토큰 디코딩과 특화된 잠재 연산자(latent operators)의 호출을 교차시키는 정책이다.

2.1 유형화된 잠재 연산자 (Typed Latent Operators)

TYLER은 각각 특정 계산 역할을 수행하도록 설계된 세 가지 구별된 잠재 연산자를 도입한다:

• $O_g$ (Global Orientation): 전역적 계획 및 문제 방향 설정을 지원한다.
• $O_s$ (Local State Update): 진화하는 추론 상태의 업데이트를 지원한다.
• $O_p$ (Procedural Abstraction): 재사용 가능한 절차적 패턴을 포착한다.

단일한 잠재 공간 대신, 이러한 연산자들은 현재의 추론 컨텍스트를 연산자 조건부 잠재 토큰 시퀀스로 매핑한다.

2.2 아키텍처 및 디코딩

이 프레임워크는 표준 자기 회귀 디코딩 인터페이스를 확장한다:

• 연산자 호출 (Operator Invocation): 모델의 어휘 사전(vocabulary)은 세 가지 연산자에 대응하는 특수 토큰($u_g, u_s, u_p$)으로 확장된다. 각 디코딩 단계에서 모델은 가시적인 텍스트 토큰을 생성할지, 아니면 유형화된 연산자 중 하나를 호출할지를 선택한다.
• 잠재 합성 (Latent Synthesis): 연산자가 호출되면, **잠재 합성 모듈(Latent Synthesis Module)**이 일련의 잠재 토큰을 생성한다. 이 모듈은 백본(backbone)에 추가된 LoRA(Low-Rank Adaptation) 레이어를 사용하여 (기존 파라미터는 동결된 상태로 유지) LLM의 입력 임베딩 공간과 호환되는 토큰을 합성하기 위해 연산자별 쿼리 토큰과 투영 헤드(projection heads)를 활용한다.
• 컨텍스트 통합 (Context Integration): 합성된 잠재 토큰들은 "침묵하는(silent)" 계산으로서 컨텍스트에 추가되어, 사용자에게 노출되지 않으면서 후속 가시적 디코딩을 가이드한다.

2.3 2단계 학습 절차

TYLER은 두 단계의 뚜렷한 과정으로 학습된다:

1. 1단계 (잠재 합성 최적화): 백본 LLM은 동결된다. 잠재 합성 모델과 연산자별 구성 요소(쿼리 토큰, 투영 헤드)가 최적화된다. 모델은 다음 가시적 토큰 예측을 효과적으로 지원하는 잠재 토큰을 합성하는 법을 배운다. CoT 데이터의 구조(예: 답변 시작 지점, 단계 경계, 코드 블록 등)에 기반한 휴리스틱 규칙이 학습 트레이스 내의 특정 위치에 연산자 유형을 할당하는 데 사용된다.
2. 2단계 (연산자 호출 최적화): 잠재 합성 파라미터는 동결된다. 백본 LLM은 **예산 인식 연산자 호출 정책(budget-aware operator-invocation policy)**을 학습하기 위해 LoRA를 통해 미세 조정된다. 이 단계에서는 **그룹 상대 정책 최적화(GRPO)**를 사용한다. 보상 함수는 작업 성능과 사전 정의된 잠재 호출 예산($B_O$) 초과에 대한 페널티를 결합한다. 또한, 희소한 호출 위치에서의 학습을 안정화하기 위해 **연산자 앵커 보조 목적 함수(operator-anchored auxiliary objective)**가 도입되어, 정책이 올바른 연산자 유형과 타이밍을 선택하도록 학습한다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명한다:

1. 정식화: 잠재적 추론을 온라인의, 유형화된, 예산이 책정된 계산 문제로 정식화하여, LLM이 언제 잠재적 계산을 호출할지, 어떤 연산을 수행할지, 그리고 얼마만큼의 예산을 할당할지를 학습할 수 있게 한다.
2. 프레임워크 (TYLER): 가시적 디코딩과 세 가지 유형의 잠재 연산자(전역 방향 설정, 상태 업데이트, 절차적 추상화)를 교차시켜, 잠재 공간 내에서 차별화된 기능적 역할을 허용하는 프레임워크를 도입한다.
3. 실증적 검증: 광범한 실험을 통해 TYLER이 강력한 베이스라인보다 정확도를 향상시키고, 다양한 추론 도메인(수학, 과학, 정리)에 걸쳐 일반화되며, 기존 방식들에 비해 낮은 망각률과 함께 우수한 지속적 적응 능력을 보여줌을 입증한다.

4. 실험 결과

실험은 네 가지 벤치마크(GSM8K, MATH-500, GPQA-Diamond, TheoremQA)에 대해 세 가지 백본 모델(Qwen2.5-1.5B, SmolLM3-3B, Qwen3-4B)을 대상으로 수행되었다.

• 성능 향상: TYLER은 일관된 개선을 달enc한다. SmolLM3-3B의 경우, CoT 대비 평균 정확도를 14.49 포인트, 가장 강력한 베이스라인인 MemGen 대비 4.30 포인트 향상시켰다. Qwen3-4B의 경우, CoT 대비 9.22 포인트, 기존의 가장 강력한 베이스라인인 GRPO 대비 3.13 포인트 향상되었다.
• 교차 도메인 일반화: 주로 수학적 트레이스(OpenR1-Math)로 학습되었음에도 불구하고, TYLER은 과학적(GPQA) 및 정리 중심(TheoremQA) 추론에 효과적으로 일반화되었으며, 이는 학습된 잠재 연산자가 도메인을 가로질러 전이될 수 있음을 시사한다.
• 지속적 학습 (Continual Learning): 순차적 적응 설정(Code $\to$ Science $\to$ Math $\to$ Theorems)에서, TYLER은 가장 높은 최종 성능과 가장 낮은 망각 점수($F=2.3$)를 달성하며 SFT, GRCP, MemGen을 능가했다. 이는 더 나은 안정성-가소성(stability-plasticity) 트레이드오프를 나타낸다.
• 절제 연구 (Ablation Studies):
  • "유형화"된 성격을 제거하거나(연산자 공유) 연산자 역할을 교체하면 성능이 크게 저하되어, 기능적 차별화의 필요성을 확인시켜 준다.
  • 무작위 또는 고정된 호출 스케줄은 학습된 정책보다 성능이 낮아, 적응형 라우팅의 가치를 증명한다.
  • "연산자 앵커" 손실은 희소한 호출 시나리오에서 성능을 안정화하는 데 결정적이다.
• 효율성: TYLER은 CoT 및 다른 잠재 베이스라인들과 비교했을 때 더 낮은 지연 시간과 더 적은 총 토큰으로 더 높은 정확도를 달 achieves한다. 잠재 예산을 5회 호출 이상으로 늘리면 수익 체감(diminishing returns)이 발생한다.

5. 의의 및 주장

본 논문은 TYLER이 잠재적 추론을 단순히 CoT의 압축된 형태로 보는 것을 넘어, 모델이 가시적 디코딩과 침묵하는 전문화된 계산 사이를 선택할 수 있게 하는 계산 메커니즘으로 보는 관점의 전환을 나타낸다고 주장한다.

• 기능적 특화: 실험 결과는 잠재 연산자가 균일한 표현으로 붕괴되는 대신, 뚜렷하고 차별화된 기능적 역할(계획, 상태 추적, 추상화)을 습득할 수 있음을 시사한다.
• 적응형 자원 할당: 본 프레임워크는 LLM이 경직된 일정이나 외부 트리거에 의존하는 대신, 작업 난이도와 추론 단계에 따라 내부 계산 예산을 동적으로 할당하는 법을 성공적으로 학습할 수 있음을 입증한다.
• 강건성: 이 방법은 학습 데이터가 도메인 특화적(수학)임에도 불구하고 평가가 다중 도메인일 때 성능 향상을 유지함으로써 도메인 간의 강건성을 보여준다.

저자들은 휴리스틱 경계 감독에 의존하는 1단계의 한계, 검증기 스타일의 평가를 사용하는 현재의 추론 벤치마크 평가 방식, 그리고 명시적 CoT에 비해 "침묵하는" 추론의 감사 가능성(auditability) 감소 등의 한계를 언급한다. 이들은 TYLER을 배포 가능한 시스템이라기보다 제어 가능한 잠재 계산을 향한 연구적 기여로 규정한다.