기술 요약: LLM 검색 에이전트를 위한 추론 시간 예산 제어

1. 문제 정의

본 논문은 명시적이고 엄격한 이중 예산 하에서 대규모 언어 모델 (LLM) 검색 에이전트를 배포하는 과제를 다룹니다. 여기서 이중 예산이란 도구 호출 수 ($B_{tool}$) 의 제한과 출력 토큰 수 ($B_{tok}$) 의 제한을 의미합니다. 기존 연구는 반복 샘플링이나 자기 정제를 통한 추론 시간 확장 (test-time scaling) 을 탐구해 왔으나, 이러한 접근법들은 종종 컴퓨팅 자원을 토큰만의 자원으로 간주합니다. 그러나 검색 에이전트의 경우, 명시적으로 관리되지 않을 경우 추가 예산은 중복된 검색, 낭비되는 분기, 그리고 취약한 컨텍스트 확대로 이어질 수 있습니다.

핵심 문제는 이중 추론 시간 제어 문제로 공식화됩니다:

1. 검색 시간 행동 할당: 각 단계에서 에이전트는 증거 수집 (SEARCH), 질문 분해 (DECOMPOSE), 또는 답변 확정 (ANSWER) 과 같은 이질적인 행동들 사이에서 남은 이중 예산을 어떻게 할당할지 결정해야 합니다. 이러한 행동들은 비용과 잠재적 수익이 다르며, 최적의 선택은 현재 증거 상태와 남은 예산에 따라 달라집니다.
2. 답변 시간 최종화: 검색이 종료된 후, 에이전트는 트래젝토리의 기본 답변 ($a_{base}$) 을 유지할지, 아니면 정제된 후보 ($a_{ref}$) 로 대체할지 결정해야 합니다. 이 결정은 정확도 향상 가능성과 불필요한 재작성을 통해 올바른 브리지 구조를 지우거나 비교적 의미를 변경하는 '개입 해악 (intervention harm)'의 위험 사이에서 균형을 이루어야 합니다.

목표는 이중 예산 제약과 답변 대체로 인한 기대 해악 ($E[L_{harm}] \leq \rho_{harm}$) 에 대한 제약 조건 하에서 기대 보상 $E[R(\hat{a}, y)]$을 최대화하는 것입니다.

2. 방법론

제안된 방법인 VOI (Value-of-Information, 정보의 가치) 는 범용 트리 검색 백본 (BAVT 에서 영감) 위에 구축된 훈련이 필요 없는 2 단계 제어기입니다.

1 단계: 검색 시간 예산 할당

제어기는 작업 수준 VOI 점수를 사용하여 실행 가능한 옵션들을 점수화함으로써 다음 행동을 선택합니다. 이 점수는 섀넌 정보 이득이나 학습된 가치 모델과 구별되는, 예산 단위당 작업의 한계적 가치에 대한 실용적 추정치입니다.

• 효용 구성: 각 행동 $k$에 대해 작업 수준 효용 $u_t(k)$는 다음과 같이 계산됩니다:
  $$u_t(k) = \hat{\Delta}_t(k) + \Psi_t(k) - \Pi_t(k; b_t)$$
  • $\hat{\Delta}_t(k)$: 비평가 (critic) 에서 도출된 진행 신호.
  • $\Psi_t(k)$: 구조적 신호 (예: 브리지 구조, 루프 압력, 준비 상태).
  • $\Pi_t(k; b_t)$: 예산 의존적 페널티 항으로, 남은 예산이 부족할 때 SEARCH 및 DECOMPOSE 행동에 대해 증가하며, 오라클의 그림자 비용 (shadow cost) 을 대리합니다.
• 정규화 및 가드: 효용은 행동별 예산 규모로 정규화되어 VOI 점수 $r_t(k)$를 생성합니다. 그런 다음 결정론적 가드 연산자 $G_t$가 이 점수를 조정하여 보수적인 행동을 강제합니다 (예: 조급한 답변 억제, 구성적 질문에 대한 최소 검색 강제).
• 선택: 가장 높은 가드된 실행 가능 점수를 가진 행동이 선택되어 실행됩니다.

2 단계: 답변 시간 최종화

검색이 종료되면, 선택적이고 증거 기반의 최종화기가 답변을 재작성할지 여부를 평가합니다.

• 수익 - 위험 트레이드오프: 최종화기는 기본 답변 $a_{base}$와 동일한 추적 (trace) 에서 구성된 정제된 후보 $a_{ref}$를 비교합니다. 기대 정확도 향상이 답변을 손상시킬 위험을 능가할 때만 개입합니다.
• 안전 집합 ($S_{safe}$): 재작성은 위험이 낮은 시나리오로 제한됩니다. 예를 들어, 예/아니오 극성 수정, 이진 선택, 타입된 슬롯 불일치, 또는 지원되는 사실성 (factoids) 완정이 이에 해당합니다.
• 거부: 트래젝토리에 해결되지 않은 브리지 구조, 비교적 의미, 또는 직접적인 지원이 누락된 경우, 시스템은 재작성을 거부합니다. 이러한 경우 공격적인 재작성은 종종 정확성을 해치기 때문입니다.
• 제로 오버헤드: 이 단계는 새로운 도구 호출이나 LLM 추론 호출을 추가하지 않습니다. 기존 후보들에 대한 결정론적 선택 정책입니다.

3. 주요 기여

1. 2 단계 공식화: 본 논문은 LLM 검색 에이전트의 예산 인식 추론을, 엄격한 이중 예산 하에서 검색 시간 행동 할당과 위험 제어된 답변 최종화가 결합된 문제로 공식화합니다.
2. 작업 수준 VOI 제어: 학습된 가치 모델 없이 예산 의존적 페널티와 구조적 신호를 통합하여, 예산 단위당 추정된 한계적 작업 가치를 기반으로 행동을 순위 매기는 훈련이 필요 없는 스코어를 도입합니다.
3. 위험 제어된 최종화: 올바른 다중 홉 추론 경로의 파괴를 명시적으로 피하면서, 지역적 답변 형식 오류에 대해서만 개입하는 보수적인 답변 선택기를 제안합니다.
4. 실증적 검증: 이 방법은 네 가지 다중 홉 QA 벤치마크 (HotpotQA, 2WikiMultihopQA, MuSiQue, Bamboogle), 세 가지 LLM 백본 (Qwen3-32B, Qwen3.5-122B, GPT-5.4-Mini), 그리고 엄격하고 공유된 이중 예산 감사 하의 네 가지 예산 수준에서 평가되었습니다.

4. 실험 결과

• 집계적 이득: VOI 는 테스트된 설정 전반에 걸쳐 네 가지 감사된 베이스라인 (BAVT, BATS, AFlow, Search-o1) 보다 긍정적인 집계 이득을 냅니다. Qwen3-32B 에서 16 개의 데이터셋 - 예산 셀 중 7 개에서 최고의 F1 을 달성하고 2 개에서 공동 1 위를 기록하며, 각각 16/16, 10/16, 16/16, 15/16 개의 셀에서 베이스라인을 능가합니다.
• 예산 민감도: 가장 큰 개선은 낮고 중간 이하의 예산 영역에서 발생하며, 여기서 신중한 행동 할당은 저수익 행동에 자원을 소모하는 것을 방지하는 데 중요합니다.
• 구성 요소 제거 실험:
  • 검색 시간 제어: 예산 의존적 페널티 항을 제거하면 가장 큰 성능 저하가 발생하여, 예산 인식 행동 할당이 이득의 주요 동력임을 확인합니다.
  • 최종화: 2 단계 (최종화) 는 검색 트래젝토리가 적절하지만 지역적 답변 형식 오류가 포함된 경우 주로 상당한 이득 (MuSiQue 에서 총 이득의 최대 41.9%) 을 제공합니다. 오류가 구조적인 데이터셋 (예: MuSiQue) 에서는 기여도가 낮습니다.
• 효율성: VOI 제어기는 저가치 연산을 피함으로써 예산을 소모하는 것을 방지하여, BAVT 대비 평균 추론 시간을 27.2% 단축합니다.

5. 중요성과 주장

본 논문은 추론 시간 예산 제어가 LLM 검색 에이전트에 필수적이라고 주장하며, 이는 검색 중 예산이 어떻게 소비되는지뿐만 아니라 최종 답변이 어떻게 확정되는지도 지배한다고 합니다.

• 비단조적 확장: 결과는 더 큰 예산이 항상 더 나은 답변을 산출하는 것은 아님을 보여줍니다. 명시적 제어 없이는 증가된 예산이 중복된 검색과 더 노이즈가 많은 최종화로 이어질 수 있습니다.
• 경계 조건: 이 방법의 효과는 균일하지 않습니다. 더 강력한 백본 (예: Qwen3.5-122B) 이나 BATS 와 같은 베이스라인이 경쟁력 있는 고예산 영역에서는 체감 수익이 감소합니다.
• 안전성과 배포 가능성: 답변 대체의 위험을 명시적으로 모델링하고 엄격한 예산 감사를 강제함으로써, 이 접근법은 에이전트의 행동을 더 예측 가능하고 검사 가능하게 만들어 비용 제약이 있거나 지연에 민감한 환경에서의 배포에 필수적입니다.

저자들은 그들의 방법이 검색 트리의 전역 최적성을 주장하는 것이 아니라, 엄격한 자원 제약 하에서 성능을 크게 향상시키는 지역적, 의사결정 수준의 제어 메커니즘을 제공한다고 강조합니다.