기술 요약: 프록시 기반 체인 오브 씽킹 튜닝을 통한 장문맥 추론

문제 정의

최근 대규모 언어 모델 (LLM) 은 최대 1000 만 토큰의 입력을 지원하도록 컨텍스트 창을 확장했습니다. 그러나 이러한 모델은 여러 의료 보고서를 종합하여 통찰력을 도출하거나 금융 문서를 분석하는 등 복잡한 추론이 필요한 장문맥 작업에서 성능이 크게 저하되는 경향을 보입니다.

식별된 핵심 문제는 전체 장문맥과 프록시 문맥 사이의 상당한 성능 격차입니다. 프록시 문맥은 정답을 도출하는 데 필요한 최소한의 증거만 포함된 입력의 컴팩트한 부분집합으로 정의됩니다. 과제를 해결하는 데 필요한 근본적인 추론 과정은 모델이 전체 문맥을 보든 프록시 문맥을 보든 불변임에도 불구하고, 실험적 결과에 따르면 모델은 프록시 문맥에서 훨씬 더 우수한 성능을 발휘합니다. 전체 장문맥에 조건을 부여할 때, 모델은 종종 그럴듯한 고수준 추론 구조를 생성하지만 구체적인 사실을 올바르게 근거로 삼지 못해 할루시네이션을 유발하고 정확도가 낮아집니다.

체인 오브 씽킹 (CoT) 증류 및 강화 학습 (RL) 과 같은 기존 추론 개선 방법들은 장문맥 설정에서 다음과 같은 치명적인 한계에 직면해 있습니다:

1. CoT 증류: 대형 교사 모델로부터 고품질 추적을 의존합니다. 전체 장문맥에 대해 이러한 교사 모델에 쿼리를 수행하는 것은 계산 비용이 많이 들고 느리며, 복잡한 작업의 경우 종종 신뢰할 수 없는 추적을 산출합니다.
2. 강화 학습: 학습 중 긴 시퀀스에 대한 광범위한 샘플링이 필요하기 때문에 RL 을 장문맥으로 확장하는 것은 과도하게 비용이 듭니다.

방법론: ProxyCoT

저자들은 짧은 프록시 문맥에서 전체 장문맥으로 추론 능력을 전이하도록 설계된 새로운 2 단계 훈련 프레임워크인 ProxyCoT를 제안합니다. 이 프레임워크는 효율적인 프록시 입력에서 생성된 추론 흔적이 지도 미세 조정을 통해 전체 장문맥에 '근거화 (grounding)'될 수 있다는 가설에 기반합니다.

이 프레임워크는 두 단계로 구성됩니다:

1 단계: 짧은 프록시 문맥에서 CoT 획득

목표는 전체 문맥 ($C$) 이 아닌 프록시 문맥 ($C_p$) 에 조건을 부여하여 고품질 추론 흔적 ($t$) 을 생성하는 것입니다. 이 단계는 흔적을 획득하기 위한 두 가지 변형을 제공합니다:

• ProxyCoT-ZS (Zero-Shot): 대형 오프더셰프 교사 모델 ($M_{ZS}$) 에 프록시 문맥을 기반으로 추론 흔적을 생성하도록 쿼리를 수행합니다 ($t \sim p_\phi(t | q, C_p)$). 정답으로 이어지는 흔적만 유지됩니다. 이는 전체 장문맥에 대해 교사 모델에 쿼리를 수행하는 비용을 피합니다.
• ProxyCoT-RL (Reinforcement Learning): 유능한 교사 모델이 사용 불가능한 경우, 대상 모델 ($M_{init}$) 을 검증 가능한 보상 (RLVR) 을 통한 강화 학습을 사용하여 프록시 문맥에서 직접 최적화합니다. 모델은 정답으로 이어지는 흔적을 생성할 확률을 최대화하도록 학습합니다 ($t \sim p_\theta(t | q, C_p)$).

2 단계: 전체 장문맥에서 CoT 근거화

이 단계에서는 1 단계에서 학습된 추론 패턴이 전체 문맥으로 전이됩니다. 학생 모델은 1 단계에서 생성된 추론 흔적을 재현하도록 지도 미세 조정 (SFT) 을 통해 훈련되지만, 프록시가 아닌 전체 장문맥 ($C$) 에 조건을 부여받습니다.

• 목적: 질문 $q$와 전체 문맥 $C$가 주어졌을 때 흔적 $t$의 음의 로그 가능도를 최소화합니다:
  $$L_{SFT} = -E_{(q,C,C_p,t)} [\log p_\theta(t | q, C)]$$
• ProxyCoT-ZS: 학생 모델 ($M_{init}$) 은 전체 문맥을 보면서도 교사 모델의 흔적을 모방하도록 미세 조정됩니다.
• ProxyCoT-RL: 1 단계에서 RL 로 최적화된 모델 ($M_{RL}$) 은 학습된 추론 패턴을 전체 문맥에 적용하도록 추가 미세 조정됩니다.

주요 기여

1. 프록시 문맥의 형식화: 이 논문은 장작업 추론을 위한 프록시 문맥 개념을 도입하고 형식화하여, 동일한 추론 요구사항에도 불구하고 짧은 프록시와 전체 장문맥 사이에 상당한 성능 격차가 있음을 실험적으로 밝혔습니다.
2. ProxyCoT 프레임워크: 고품질 CoT 흔적을 획득하기 위해 짧은 프록시 문맥을 활용하고, 이를 전체 장문맥에 대한 추론 향상에 사용하는 새로운 훈련 프레임워크입니다. 이 접근법은 긴 시퀀스에 대한 비싼 교사 추론의 필요성을 우회하고 RL 샘플링 비용을 줄입니다.
3. 실험적 검증: 광범위한 실험을 통해 ProxyCoT 가 다양한 모델 계열 (Qwen3-4B, Gemma3-4B) 과 데이터셋 (SciTrek, HotpotQA) 에서 직접 SFT, 전체 문맥에 대한 RL, 전체 문맥에 대한 CoT 증류 등 강력한 베이스라인보다 일관되게 우월한 성능을 보임을 입증했습니다. 이 방법은 도메인 외 작업에도 강력한 일반화 능력을 보입니다.

실험 결과

저자들은 SciTrek(과학 기사에 대한 장문맥 QA) 과 HotpotQA(위키백과에 대한 멀티홉 QA) 에서 ProxyCoT 를 평가했습니다.

• 성능 향상:
  • SciTrek에서 ProxyCoT-RL 은 Qwen3-4B 를 사용하여 전체 문맥에서 46.5% 의 정확한 일치 (exact match) 를 달성하여 제로샷 베이스라인 (30.8%) 과 전체 문맥에 대한 SFT(19.5%) 를 크게 능가했습니다. 이는 훨씬 더 큰 Qwen3-235B-Thinking 모델 (48.8%) 의 성능에도 근접했습니다.
  • HotpotQA에서 ProxyCoT-RL 은 전체 문맥에서 52.7% 의 정확도를 달성하여 모든 베이스라인을 능가했습니다.
• 효율성: ProxyCoT-RL 은 정확도를 향상시킬 뿐만 아니라 추론 시 훨씬 짧은 추론 흔적을 유도했습니다. SciTrek 에서 평균 617 개의 CoT 토큰을 사용했는데, 이는 제로샷 (1,744 개) 과 ProxyCoT-ZS(5,520 개) 에 비해 훨씬 적으면서도 더 높은 정확도를 달성했습니다.
• 어블레이션 연구: 두 훈련 단계 모두 필수적임이 확인되었습니다. 프록시 문맥에서만 훈련 (1 단계) 한 경우 프록시 정확도는 높았으나 전체 문맥 근거화는 poor 했습니다. 프록시에서 유래된 흔적 없이 전체 문맥에서만 훈련 (2 단계) 한 경우 성능이 낮았습니다. 최적의 결과를 위해서는 두 단계의 조합이 필수적이었습니다.
• 도메인 외 일반화: ProxyCoT-RL 을 사용하여 SciTrek 에서 훈련된 모델은 Loong벤치마크 (금융 보고서 및 학술 논문) 에서 성능이 향상되어, 이 방법이 작업별 패턴을 암기하는 것이 아니라 일반적인 장문맥 추론 능력을 향상시킴을 보여주었습니다.

중요성과 주장

이 논문은 ProxyCoT 가 전체 장문맥에 대한 교사 생성 추적에 의존하지 않고도 장문맥 추론을 강화하는 실용적이고 효율적인 경로를 제공한다고 주장합니다. 추론 획득 (저렴한 짧은 프록시에서) 과 추론 근거화 (비싼 장문맥에서) 를 분리함으로써, 이 프레임워크는 현재 장문맥 훈련 방법의 계산 병목 현상을 해결합니다.

저자들은 ProxyCoT 를 비용과 데이터 제약으로 인해 장문맥 모델을 훈련하고 감독하기가 어려운 시나리오에 대한 해결책으로 제시합니다. 그들은 이 접근법이 충분한 증거를 포함하는 프록시 문맥에 대한 접근을 전제하지만, 직접적인 장문맥 강화 학습이나 증류에 대한 견고한 대안을 제공하며 짧은 입력과 긴 입력 사이의 성능 격차를 효과적으로 해소한다고 지적합니다.