기술 요약: Critic-R

문제 정의

에이전트적 검색 시스템(Agentic search systems)은 내부적인 추론과 반복적인 검색 동작을 교차하며 복잡한 멀티홉(multi-hop) 질의를 해결하는 표준으로 자리 잡았습니다. 그러나 중요한 병목 현상이 존재합니다. 추론 에이전트는 종종 강화 학습을 통해 최적화되는 반면, 이들이 의존하는 검색 모델은 빈번하게 고정된 블랙박스로 취급된다는 점입니다. 검색기와 에이전트를 공동 최적화하려는 기존 방식들은 과도한 공동 훈련, 골드 스탠다드(gold-standard) 패시지 주석, 또는 추론 모델 자체를 재학습할 수 있는 능력을 요구합니다. 이러한 요구 사항은 추론 모델이 고정되어 있거나, 검색기가 외부에서 제공되거나, 고품질의 관련성 레이블을 사용할 수 없는 경우 등 실제 적용 가능성을 제한합니다. 저자들은 단순히 쿼리를 재구성하는 것만으로는 하위 수준의 검색을 완전히 보완할 수 없으며, 수동 감독 없이도 에이전트와 검색기 사이의 피드백 루프를 명시적으로 닫는 프레임워크가 필요하다고 주장합니다.

방법론

저자들은 에이전트가 검색된 증거를 소비한 후의 성찰적 추론 궤적(introspective reasoning trace)을 평가하기 위해 전용 **비평가 모델(critic model)**을 도입하는 Critic-R 프레임워크를 제안합니다. 이 프레임워크는 두 가지 상호 보완적인 메커니즘을 통해 작동합니다.

1. Critic-R-Zero (추론 시점 정교화)

이 구성 요소는 기본 모델의 그래디언트 업데이트나 재학습을 요구하지 않고 전적으로 추론 시점에 작동합니다.

• 메커니즘: 에이전트가 검색을 수행하면, 검색된 문서들이 추론 모델에 가설적으로 입력되어 성찰적 추론 궤적을 생성합니다. 별도의 비평가 모델($M_C$)은 이 궤적을 분석하여 검색된 컨텍스트가 에이전트의 정보 요구를 충분히 해결하는지 판단합니다.
• 피드백 루프: 만약 비평가가 증거가 불충분하다고 판단하면(부정적 피드백), 에이전트의 추론 궤적에 나타난 명시적인 불만족 상태를 활용하여 검색 쿼리와 검색 지침을 다시 작성합니다. 이렇게 정교해진 쿼리는 새로운 검색 시도를 트리거합니다.
• 종료: 이 루프는 미리 정의된 예산($K$)까지 또는 비평가가 증거가 만족스럽다고 확인할 때까지 반복됩니다. 최종 선택된 문서들은 추론 이력에 확정적으로 기록됩니다.
• 데이터 수집: 이 과정은 자연스럽게 "긍정적" 문서(에이전트를 만족시킨 문서)와 "하드 네거티브(hard negative)" 문서(실패한 정교화 시도 중에 거부된 문서)를 생성하며, 이는 훈련 목적으로 수집됩니다.

2. Critic-Embed (검색기 미세 조정)

반복적인 정교화의 계산 비용을 상쇄하고 검색 품질을 영구적으로 개선하기 위해, 저자들은 Critic-R-Zero에서 생성된 궤적을 자동 감독의 원천으로 활용합니다.

• 훈련 신호: 비평가에 의해 유용하다고 검증된 문서들은 긍정적 예시($D^+$)로 취급되며, 정교화 과정에서 거부된 문서들은 하드 인트라-트래젝토리 네거티브($D^-$)로 취급됩니다.
• 대조 학습: 검색기는 이러한 자동으로 구축된 대조 쌍을 사용하여 InfoNCE 목적 함수를 통해 미세 조정됩니다. 결정적으로, 이 과정은 수동적인 관련성 주석(골드 패시지)을 필요로 하지 않습니다.
• 제약 조건: 레이블 품질을 보장하기 위해, 최종 예측이 다운스트림 태스크 메트릭에 따라 올바른 궤적만을 훈련에 유지합니다.

3. 통합 시스템

전체 Critic-R 시스템은 두 메커니즘을 결합합니다. Critic-Embed 검색기는 도메인에 정렬된 고품질의 초기 검색을 제공하며, Critic-R-Zero 루프는 복잡한 엣지 케이스 실패로부터 회복하기 위한 추론 시점의 안전망을 제공합니다.

주요 기여

1. 피드back 루프 폐쇄: 본 논문은 추론 에이전트와 검색기 사이의 피드백 루프를 추론 및 훈련 단계 모두에서 명시적으로 닫는 프레임워크를 도입하여, 추론 에이전트가 검색 실패를 단독으로 보상할 수 있다는 가정에 도전합니다.
2. 검색을 위한 추론 시점 스케일링: Critic-R-Zero는 쿼리와 지침을 반복적으로 정교화하기 위해 추론 시점에 추가적인 계산 자원을 할당하는 것이 추론 모델이나 검색기를 수정하지 않고도 검색 실패를 크게 완화할 수 있음을 보여줍니다.
3. 검색기를 위한 자동 감독: Critic-Embed는 에이전트-비평가 상호작용에서 파생된 인트라-트래젝토리 대조 학습을 사용하여 밀집 검색기(dense retrievers)를 미세 조정하는 새로운 방법을 제시하며, 이를 통해 비용이 많이 드는 골드 패시지 주석의 필요성을 제거합니다.
4. 모듈형 설계: 이 프레임워크는 추론 에이전트의 훈련 목적 함수와 직교하도록 설계되어, 임의의 에이전트(예: Search-R1)와 검색기에 적용될 수 있습니다.

실험 결과

프레임워크는 네 가지 까다로운 멀티홉 QA 벤치마크인 HotpotQA, 2WikiMultihopQA, MuSiQue, Bamboogle에서 평가되었습니다.

• 추론 시점 정교화 (RQ1): 고정된 검색기를 사용할 때, Critic-R-Zero는 다양한 규모(3B ~ 14B)의 에이전트에 대해 정답 정확도를 크게 향상시켰습니다. 이 방법은 Exact Match (EM) 및 F1 점수에서 전체적으로 **12.4%**의 상대적 개선을 달anim했습니다. 저자들은 비평가 모델의 크기를 키우는 것(14B에서 72B로)이 반드시 성능 향상을 보장하는 것은 아니며, 더 어려운 데이터셋에서는 32B 비평가가 종종 최적임을 언급했습니다.
• 검색기 미세 조정 (RQ2): Critic-R-Zero 궤적만으로 훈련된 Critic-Embed 검색기는 기존의 오프더쉘프 밀집 검색기(Stella-400M)와 검색 에이전트와 엔드 투 엔드로 공동 훈련된 검색기(Agentic-R)보다 우수한 성능을 보였습니다. 이는 최대 **7.5%**의 전체 성능 상대적 개선을 달성하였으며, 수집된 궤적이 전이 가능한 감독 신호를 포함하고 있음을 입증했습니다.
• 통합 시스템 (RQ3): 훈련된 Critic-Embed 검색기를 Critic-R-Zero 추론 루프와 통합했을 때 가장 강력한 결과를 얻었으며, 전체적으로 **10.9%**의 상대적 개선을 달성했습니다. 저자들은 두 구성 요소가 서로 중복되는 것이 아니라 보완적이며, 서로 다른 유형의 검색 실패를 해결한다고 관찰했습니다.
• 성찰적 피드백의 역할 (RQ4): 비평가의 입력에서 에이전트의 성찰적 피드백($T_{i+1}$)을 제거한 어블레이션 연구(ablation study) 결과, 훈련된 검색기에서 상당한 성능 저하가 발생했습니다. 이는 에이전트의 내부 추론 궤적이 단순한 부가 입력이 아니라 주요 감독 신호임을 확인시켜 줍니다.

의의 및 주장

본 논문은 에이전트 루프 내부에서 검색 품질을 명시적으로 모델링하고 최적화하는 것이 더 견고한 에이전트적 검색을 향한 강력한 경로라고 주장합니다. Critic-R의 의의는 다음과 같습니다:

• 수동적인 관련성 주석 없이도 검색 품질과 다운스트림 답변 정확도를 개선합니다.
• 추론 모델을 재학습할 수 없거나 검색기가 고정된 외부 구성 요소인 환경에서도 효과적으로 작동합니다.
• 추론 시점의 정교화와 오프라인 검색기 미세 조정이 서로를 강화하는 확장 가능하고 모듈화된 접근 방식을 제공합니다.

저자들은 이 프레임워크가 상당한 가능성을 보여주지만, 그 성공은 추론 에이전트가 정확한 성찰적 피드백을 제공할 수 있는 능력에 달려 있으며, 실시간 웹 검색과 같은 매우 역동적인 환경에서의 효용성은 추가적인 평가가 필요하다고 결론지었습니다.