기술 요약: 기하학적 추론자 (TGR)

문제 정의

테스트 시간 계산량 (test-time compute) 을 확장하는 것은 긴 사고 연쇄 (CoT) 경로를 통해 대규모 언어 모델 (LLM) 의 추론 능력을 향상시키는 데 효과적인 것으로 입증되었습니다. 그러나 기존 접근 방식은 계산 비용과 경로 커버리지의 품질 사이에 근본적인 트레이드오프에 직면해 있습니다.

• 학습 중점 방법: 강화 학습 (RL) 과 선호도 최적화 (예: GRPO, SimKO) 는 장기적 제어를 모델 가중치에 분산시킵니다. 단일 샘플 정확도에는 효과적이지만, 이러한 방법은 상당한 학습 계산량을 요구하며 경로 분포가 붕괴되어 다양성이 감소할 위험이 있습니다.
• 학습 없는 샘플링: 표준 샘플링 전략 (예: Power Sampling, Tree of Thoughts) 은 재학습 없이 계산량을 커버리지와 교환합니다. 그러나 추가 샘플이 여전히 매우 상관관계가 높기 때문에 종종 체감 수익이 감소하여 고유하고 유효한 경로 집합을 확장하지 못합니다.
• 메모리 제약: 어텐션 메커니즘의 2 차 복잡성과 KV 캐싱의 메모리 발자국은 실제 배포를 병목 현상으로 만들며, 엄격한 메모리 제약 하에서 단순한 장기적 탐색은 계산적으로 불가능합니다.

prohibitive한 메모리 비용이나 학습 비용 없이 제어 가능한 탐색과 강력한 커버리지를 달성하기 위해 계산량을 동적으로 할당하는 학습 없는 추론 시간 검색 절차에 대한 시급한 필요성이 존재합니다.

방법론: 기하학적 추론자 (TGR)

기하학적 추론자 (TGR) 는 **다양체 기반 잠재적 예지 검색 (manifold-informed latent foresight search)**을 수행하는 학습 없는 프레임워크입니다. 이는 고차원 공간에서 취약해지는 경직된 제약을 피하며, 잠재 다양체 (latent manifold) 상의 경로 탐색으로 추론을 처리합니다.

핵심 아키텍처

1. KV 리셋을 통한 청크화 추론: TGR 은 추론을 고정된 길이의 청크로 분할합니다. 각 청크 경계에서 KV 캐시 리셋을 수행하여 쿼리와 최근 토큰으로 구성된 유한한 명시적 컨텍스트에서 접두어 캐시를 재구성하고 이전 기록은 폐기합니다. 이를 통해 메모리 사용량은 총 추론 시간과 무관하게 청크 길이에 비례하여 선형 ($O(S)$) 으로 유지됩니다.
2. 잠재 상태 앵커: 학습된 상태 전이 또는 외부 검증자에 의존하는 대신, TGR 은 청크 경계의 숨은 상태로부터 컴팩트한 **단위 노름 잠재 앵커 (unit-norm latent anchors, $z_t$)**를 추출합니다. 이러한 앵커는 청크 리셋 간 장거리 정보를 전달하는 상태 요약 역할을 합니다.
3. 예지 검색: 각 경계에서 TGR 은 현재 상태의 국소 이웃 (단위 구에서의 접평면 교란을 통해) 에서 $K$개의 후보 앵커를 샘플링합니다. 다음 청크를 생성하기 전에 소프트 기하학적 스코어링 함수를 사용하여 이러한 후보들을 평가합니다.

스코어링 목적 함수

후보들은 세 가지 요소를 균형 있게 조정하는 복합 점수를 최대화함으로써 순위가 매겨집니다:
$$\text{Score}(a; c, z) = V_{\text{fore}}(a; c) - \lambda_b P_{\text{bum}}(a; c) - \lambda_u P_{\text{uni}}(a; z)$$

• 예지 가치 ($V_{\text{fore}}$): 얕은 롤아웃 ($s \ll S$ 토큰) 을 통해 계산된 경량 선두 추정치입니다. 외부 보상 모델 없이 즉각적인 유용성의 대리 지표로서 후보의 로그 가능도 일관성을 측정합니다.
• 불규칙성 패널티 ($P_{\text{bum}}$): 잠재 경로에서의 고주파 변동 (이산 2 차 미분) 을 패널티로 부과하는 정규화 항입니다. 이는 청크 간 매끄럽고 일관된 전이를 장려합니다.
• 균일성 정규화 ($P_{\text{uni}}$): 후보들이 이전 앵커에 너무 가깝게 군집하는 것을 억제하는 반발력 (힌지 패널티) 입니다. 이는 다양한 탐색을 장려하고 모드 붕괴를 방지합니다.

앵커 조건부

선택된 앵커는 모든 트랜스포머 레이어에서 **저랭크 잔여 주입 (low-rank residual injection)**을 통해 고정된 백본 LLM 에 주입됩니다. 이를 통해 모델은 매개변수 업데이트나 아키텍처 변경 없이 선택된 잠재 상태에 기반하여 생성을 조건부화할 수 있습니다.

주요 기여

1. 다양체 기반 잠재적 예지 검색: TGR 은 소프트 기하학적 목적 함수를 사용하여 청크 수준의 잠재 앵커를 점수화하는 학습 없는 프레임워크를 도입합니다. 이는 매개변수 업데이트 없이 제어 가능한 탐색과 강력한 경로 커버리지를 가능하게 합니다.
2. 예산 효율적 강건성: 이 프레임워크는 까다로운 수학 및 코드 벤치마크에서 강력한 경로 커버리지 (Pass@k 곡선 아래 면적, AUC 로 측정) 를 크게 향상시킵니다. Qwen3-8B 에서 TGR 은 무시할 수 있는 추론 오버헤드 (약 1.1–1.3 배) 로 최대 13 포인트의 AUC 향상을 달성합니다.
3. 어려운 기하학의 확장 한계: 이 논문은 고차원 잠재 공간에서 측도의 집중으로 인해 엄격한 실현 가능성 제약 (hard geometric filtering) 이 수용률 소멸을 겪음을 보여줍니다. TGR 은 거부 샘플링의 prohibitive한 비용 없이 기하학적 편향을 유지하는 소프트 기하학적 정규화를 확장 가능한 대안으로 확립합니다.

실험 결과

TGR 은 수학 추론 (MATH500, AIME25, OlympiadBench, OmniMath) 과 코드 생성 (HumanEval, BigCodeBench, LiveCodeBench) 벤치마크에 걸쳐 Qwen3-8B 모델을 대상으로 평가되었습니다.

• 성능: TGR-Latent 은 학습 없는 샘플링 (Power Sampling) 과 학습 중점 RL 접근 방식 (LCoT-GRPO, Delethink) 을 포함한 베이스라인을 일관되게 능가합니다. 이는 고유하고 유효한 솔루션 경로를 생성하는 뛰어난 능력을 나타내는 가장 높은 AUC 점수를 달성합니다.
• 효율성: TGR 은 RL 튜닝 베이스라인과 동등하거나 더 나은 성능을 내면서도 전체 순방향 토큰 수를 더 적게 소비합니다 (예: 수학 작업에서 일부 RL 베이스라인보다 18% 적은 토큰).
• 다양성: 잠재 기하학 분석은 TGR 이 분산된 앵커 분포를 유지하는 반면, RL 튜닝 베이스라인은 좁고 상관관계가 높은 원뿔 형태로 붕괴하는 경향이 있음을 보여줍니다. 균일성 항이 이 다양성을 유지하는 데 결정적입니다.
• 확장성: 이 방법은 모델 규모 (1.7B 에서 14B) 전반에 걸쳐 일반화되며, 총 시간대가 고정되어 있는 한 청크 길이의 변화에도 강건하게 유지됩니다.

중요성과 주장

이 논문은 장기적 추론에서의 강력한 커버리지가 반드시 비싼 학습을 통해 분산될 필요는 없다고 주장합니다. 대신, 구조화된 잠재 공간 검색을 통해 실시간으로 유도될 수 있습니다.

• 제어와 학습의 분리: 기하학적 지침을 추론 시간 제어 계층으로 외부화함으로써 TGR 은 선두 가치, 일관성, 다양성 간의 트레이드오프를 조절할 수 있는 조절 가능한 노브를 제공합니다. 이는 경로 분포가 잔류 유연성을 유지하는 모델 (예: SFT 전용) 에 특히 효과적입니다.
• 소프트 vs 하드 제약: 이 연구는 고차원 공간에서 소프트 기하학적 패널티가 수용률의 지수적 붕괴를 피하면서도 일관되고 다양한 경로로 검색을 유도하는 하드 실현 가능성 필터링보다 우월함을 강조합니다.
• 실제 배포: TGR 은 고정되거나 modest하게 증가된 계산 예산 내에서 추론 능력을 향상시키는 경로를 제공하여, 새로운 모델을 학습시키는 것이 불가능한 프로그래밍 보조와 같은 응용 분야에 적합합니다.

저자들은 롤아웃으로 인한 증가된 추론 지연과 숨은 상태에 대한 접근 필요성 (인터페이스가 노출되지 않은 클로즈드-박스 API 에는 덜 적합함) 을 포함한 한계를 지적합니다. 그러나 이 프레임워크는 효율적이고 학습 없는 장기 컨텍스트 추론을 향한 중요한 걸음을 나타냅니다.