Recursive Language Models Meet Uncertainty: The Surprising Effectiveness of Self-Reflective Program Search for Long Context

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 은 점점 더 긴 문맥 (Long Context) 을 처리해야 하는 환경에 배포되고 있지만, 수백만 토큰에 달하는 긴 문맥에서 정보를 추출하고 추론하며 활용하는 능력은 여전히 핵심적인 과제로 남아 있습니다.

• 기존 한계: 모델의 컨텍스트 윈도우가 확장되었음에도 불구하고, 모델은 중요한 세부 사항을 놓치거나 (Lost in the Middle), 관련 없는 내용에 쉽게 산만해지며, 먼 거리의 정보를 통합하는 데 실패합니다.
• RLM 의 접근과 한계: 최근 재귀적 언어 모델 (Recursive Language Models, RLM) 은 긴 문맥을 프로그래밍 방식으로 상호작용하며 재귀적으로 하위 쿼리로 분해하는 방식으로 이 문제를 해결하려 했습니다. 그러나 RLM 의 성공은 문맥 상호작용 프로그램의 궤적 (Trajectory) 선택에 크게 의존하는데, 기존 RLM 은 고정된 재귀 방식을 사용하며 불확실성 하에서 후보 프로그램 궤적을 평가하고 선택하는 체계적인 메커니즘이 부재했습니다.
• 핵심 질문: 긴 문맥 추론의 핵심이 '재귀 (Recursion)' 자체인가, 아니면 불확실성 하에서 후보 상호작용 프로그램을 어떻게 선택하느냐에 있는가?

2. 방법론 (Methodology: SRLM)

저자들은 긴 문맥을 위한 자기 반영 프로그램 검색 (Self-Reflective Program Search for Long Context, SRLM) 을 제안합니다. 이는 프로그래밍 기반 문맥 상호작용에 불확실성 인식 자기 반영 (Uncertainty-aware Self-Reflection) 을 결합한 프레임워크입니다.

핵심 메커니즘

SRLM 은 외부 지도 (External Supervision) 나 보상 모델 없이 모델이 생성한 내부 신호만을 활용하여 최적의 프로그램 궤적을 선택합니다.

1. 프로그램 생성: 주어진 질문 $q$와 문맥 $C$에 대해 모델 정책 $\pi_\theta$로부터 $K$개의 독립적인 후보 프로그램 (추론 궤적) 을 생성합니다.
2. 불확실성 신호 활용 (3 가지): 모델의 내부 불확실성을 나타내는 세 가지 상보적 신호를 추출합니다.
   • 자기 일관성 (Self-Consistency): $K$개의 샘플링된 프로그램 중 동일한 답변을 도출한 비율. 최종 출력의 신뢰도를 추정합니다.
   • 구술된 신뢰도 (Verbalized Confidence): 각 추론 단계에서 모델이 스스로 평가한 신뢰도 점수 (0~100). 모델이 각 단계의 결론을 얼마나 확신하는지 의미적 (Semantic) 불확실성을 포착합니다.
   • 추론 길이 (Reasoning Trace Length): 생성된 추론 과정의 토큰 길이. 모델이 불확실할 때 더 길고 신중한 추론을 생성한다는 행동적 (Behavioral) 신호로 간주됩니다.
3. 결합 선택 전략:
   • 먼저 자기 일관성을 통해 일관된 답변을 가진 후보 집합 ($S$) 을 선별합니다.
   • 이후 구술된 신뢰도 (VC) 와 추론 길이 (Len) 를 결합하여 불확실성 점수 $s(p) = VC(p) \cdot Len(p)$를 계산합니다.
     • $VC(p)$는 로그 공간에서 정규화되며, 값이 0 에 가까울수록 신뢰도가 높습니다.
     • $Len(p)$는 불확실할 때 길어지는 경향을 반영합니다.
   • 최종 선택: $s(p)$가 최대가 되는 (즉, 신뢰도가 높고 불필요하게 긴 추론이 없는) 프로그램을 최종 답변으로 선택합니다.

3. 주요 기여 (Key Contributions)

1. SRLM 프레임워크 도입: 불확실성 인식 자기 반영을 통해 프로그래밍 기반 문맥 상호작용을 강화하는 새로운 프레임워크를 제안했습니다.
2. 재귀의 재평가: RLM 의 성능 향상이 '재귀' 자체 때문이 아니라, 프로그램 궤적 선택 메커니즘에 기인함을 발견했습니다. 단순한 자기 반영 프로그램 검색만으로도 명시적인 재귀나 자기 쿼리 (Self-query) 없이도 RLM 을 능가하거나 동등한 성능을 달성할 수 있음을 증명했습니다.
3. 문맥 길이에 따른 강건성: 기존 RLM 은 모델의 네이티브 컨텍스트 윈도우 내에서는 오히려 성능이 저하되는 경향이 있었으나, SRLM 은 짧은 문맥과 긴 문맥 모두에서 일관된 개선을 보였습니다.
4. 의미적 과제의 해결: 검색 위주의 작업이 아닌, 깊은 의미 이해가 필요한 작업 (예: 대화 기록 QA, 문서 QA) 에서 RLM 은 한계를 보였으나, SRLM 은 불확실성 신호를 통해 추론을 더 효과적으로 유도하여 이러한 작업에서도 우수한 성능을 발휘했습니다.

4. 실험 결과 (Results)

다양한 벤치마크 (LongBench-v2, BrowseComp+, OOLONG) 와 백본 모델 (Qwen3-Coder-480B, GPT-5) 을 사용하여 실험을 수행했습니다.

• 성능 향상: SRLM 은 기존 최첨단 (SOTA) 인 RLM 대비 최대 22% 까지 정확도 향상을 기록했습니다. (동일한 시간 예산 하에서)
• 재귀 vs 자기 반영:
  • GPT-5의 경우, 재귀 (Sub-calls) 를 사용하는 RLM 은 오히려 성능이 저하되었고, 재귀 없이 자기 반영만 사용하는 SRLM 이 더 우수했습니다.
  • Qwen3-Coder의 경우에도 재귀가 도움이 되는 경우가 있었으나, SRLM 은 재귀 유무에 관계없이 일관된 개선을 보였습니다.
• 문맥 길이 민감도:
  • RLM: 짧은 문맥 (<131K 토큰) 에서 베이스 모델보다 성능이 떨어지는 경우가 많았습니다.
  • SRLM: 짧은 문맥과 긴 문맥 모두에서 베이스 모델 대비 일관된 성능 향상을 보였습니다.
• 작업 유형별 분석: 코드 검색 (Code QA) 과 같은 구조화된 작업에서는 재귀가 유용할 수 있으나, 대화 기록이나 단일 문서 QA 와 같이 의미적 이해가 필요한 작업에서는 SRLM 의 자기 반영 메커니즘이 훨씬 효과적이었습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 긴 문맥 추론 분야에서 재귀 (Recursion) 가 만능 해결책이 아님을 지적하고, 불확실성 인식 자기 반영 (Uncertainty-aware Self-Reflection) 의 중요성을 부각시켰습니다.

• 핵심 통찰: 긴 문맥 처리의 병목 현상은 모델이 문맥을 분해하는 '재귀' 구조에 있는 것이 아니라, 불확실성 하에서 어떤 추론 경로를 선택할지 결정하는 선택 메커니즘에 있습니다.
• 실용적 가치: 복잡한 재귀 구조나 외부 도구를 추가하지 않고도, 모델이 스스로의 불확실성 신호 (신뢰도, 추론 길이, 일관성) 를 활용하여 더 강건하고 의미 기반의 추론을 수행할 수 있음을 입증했습니다.
• 미래 방향: 단순한 재귀 호출 대신 모델의 내부 상태를 활용한 자기 반영 메커니즘을 강화하는 것이 긴 문맥 처리 능력을 향상시키는 더 효율적이고 강력한 방향임을 시사합니다.

요약하자면, SRLM 은 "재귀가 답이 아니라, 불확실성을 어떻게 관리하느냐가 답이다" 라는 통찰을 바탕으로, 기존 RLM 의 한계를 극복하고 다양한 긴 문맥 시나리오에서 뛰어난 성능을 보여주는 새로운 패러다임을 제시합니다.