기술 요약: RICE-PO

문제 정의

본 논문은 추론 집약적 검색을 위한 언어 에이전트 학습에서의 할당 (credit-assignment) 과제를 다룹니다. 기존의 일회성 검색과 달리, 현대의 에이전트는 증거에 대해 추론하고, 쿼리를 재구성하며, 다시 검색하는 반복적 루프에 참여합니다. 이 과정에는 근본적인 비대칭성이 존재합니다:

• 실행 가능한 행동: 생성된 요약이나 쿼리는 검색기에 직접 제출되어 표준 지표 (예: NDCG@10) 를 사용하여 평가될 수 있습니다.
• 잠재적 추론 행동: 내부 추론 단계 (예: 사고 흔적) 는 직접 실행되거나 측정 가능하지 않습니다. 이들은 후속 실행 가능한 행동을 형성함으로써 간접적으로 검색에 영향을 미칩니다.

기존의 강화 학습 (RL) 방법은 종종 전체 궤도에 할당된 결과 수준의 보상 (최종 검색 점수) 에 의존합니다. 이 접근법은 신뢰할 수 없는데, 성공적인 최종 결과가 초기 추론이 아닌 후속 복구 단계에서 비롯될 수 있어 할당 오류를 초래하기 때문입니다. 또한 많은 방법은 학습된 비평가 (critics) 나 프로세스 보상 모델에 의존하는데, 이는 계산 비용이 많이 들고 학습이 어렵습니다. 핵심 문제는 외부 심판자나 포괄적인 롤아웃 없이 검색 루프 내에서 이용 가능한 상호작용 신호만을 활용하여 잠재적 추론 단계에 어떻게 할당을 부여할 것인가입니다.

방법론: RICE-PO

저자들은 검색 상호작용을 국소적 학습 신호로 변환하는 비평가 없는 (critic-free) 프레임워크인 RICE-PO(정책 최적화를 위한 검색 - 상호작용 할당 추정) 를 제안합니다. 이 방법은 실행 가능한 요약이 직접적인 피드백을 제공하며, 특정 조건 하에서 이를 선택적으로 이전 잠재적 추론 구간으로 전파할 수 있다는 전제에 기반합니다.

프레임워크는 세 가지 주요 단계로 구성됩니다:

1. 불확실성 기반 앵커 선택

모든 단계를 평가하는 대신, 에이전트는 할당이 가장 필요한 중요한 의사결정 지점을 식별합니다.

• 메커니즘: 시스템은 여러 샘플링된 궤도에 걸쳐 실행 가능한 요약 행동의 토큰 수준 엔트로피를 계산합니다.
• 선택: 가장 높은 엔트로피 (높은 불확실성) 를 가진 상위 $K$개의 요약 행동을 선택합니다. 이들은 "앵커"로 작용하여 국소적 반사실 추정을 수행하며, 정책의 선택이 결과에 상당한 영향을 미치는 모호한 의사결정 지점에 계산 자원을 집중합니다.

2. 국소적 반사실 분기

선택된 각 앵커 지점에 대해, 방법은 검색 결과에 대한 추론 행동의 영향을 추정하기 위해 국소적 분기를 구성합니다.

• 분기 구성: 동일한 상호작용 기록에서 에이전트는 $K$개의 대체 추론 구간 ($z_t$) 과 이에 상응하는 요약 행동 ($s_t$) 을 생성합니다.
• 영향 추정: 이 분기들 간의 검색 보상의 분산 ($\hat{\sigma}^2_t$) 을 계산합니다. 높은 분산은 잠재적 추론 행동이 후속 실행 가능한 요약의 품질에 강력하게 영향을 미친다는 것을 나타냅니다.
• 잔차 안정성 추정: 분기를 전체 궤도 깊이까지 확장하여 최종 보상을 계산합니다. 잔차 효과 ($\text{ResVar}_t = \text{Var}(R_T - r_t)$) 의 분산을 계산합니다. 낮은 분산은 후속 상호작용 단계가 현재 추론 - 요약 쌍에 의해 확립된 국소적 보상 차이를 뒤집지 않음을 의미합니다.

3. 게이트된 할당 전파

신호가 신뢰할 수 있다고 판단될 때만 요약에서 추론 구간으로 할당이 전파됩니다.

• 게이팅 조건: 전파는 다음 조건이 충족될 때 발생합니다:
  1. 영향이 큼: $\hat{\sigma}^2_t \geq \tau_{var}$ (추론 선택이 요약의 검색 점수를 유의미하게 변경함).
  2. 잔차 안정성이 높음: $\text{ResVar}_t \leq \tau_{res}$ (국소적 보상 차이가 미래 단계를 거쳐 유지됨).
• 이점 계산:
  • 실행 가능한 토큰: 국소적 반사실 검색 점수에 기반한 단계 수준 이점 ($A^{sum}_t$) 을 받습니다.
  • 추론 토큰: 게이트된 이점 ($A^{think}_t$) 을 받습니다. 게이팅 조건이 충족되면 요약 이점을 상속받지만, 그렇지 않으면 표준 궤도 수준 이점을 유지합니다.
• 최적화: 이러한 토큰 수준 이점은 학습된 비평가나 외부 보상 모델이 필요 없는 PPO 스타일의 클리핑 목적 함수를 사용하여 정책을 업데이트하는 데 사용됩니다.

주요 기여

1. 관측 가능성 인식 할당: 본 논문은 검색에서 실행 가능한 행동과 잠재적 행동을 구분하는 관점을 도입하여, 실행 가능한 요약이 직접적인 피드백 앵커로 작용할 수 있는 반면 잠재적 추론은 선택적 역방향 전파가 필요함을 보여줍니다.
2. 비평가 없는 프레임워크: RICE-PO 는 학습된 비평가, 프로세스 보상 모델, 또는 인간 주석이 없이 미세한 감독을 도출하기 위해 검색 에이전트의 비대칭성을 활용합니다. 불확실성 기반 반사실 평가와 잔차 안정성 게이팅을 사용하여 할당의 신뢰성을 보장합니다.
3. 실증적 검증: 광범위한 실험을 통해 추론 집약적 및 일반 검색 작업에서 프롬프트 기반 에이전트 및 그룹 기반 RL 베이스라인 (GRPO, GiGPO, HGPO, Tree-GRPO) 보다 일관된 개선을 입증했습니다.

실험 결과

이 방법은 NDCG@10 을 지표로 사용하여 BRIGHT(12 개의 추론 집약적 작업) 와 BEIR(5 개의 일반 검색 데이터셋) 에서 평가되었습니다.

• BRIGHT 성능:

  • 1.5B 백본(DeepSeek-R1-Distill-Qwen-1.5B)을 사용할 때, RICE-PO 는 평균 점수 27.49를 기록하여 GRPO(24.98) 를 능가했으며, 14B 모델로 평균 37.20 을 기록한 최첨단 프롬프트 베이스라인 Diver 보다 낮았으나 (다만 1.5B GRPO 베이스라인을 1.5B RICE-PO 가 크게 능가함).
  • 4B 백본(Qwen3-4B-Thinking-2507)을 사용할 때, RICE-PO 는 37.76의 최고 평균 점수를 기록하여 GRPO, GiGPO, HGPO, Tree-GRPO 를 1.15 에서 1.45 점 사이의 마진으로 능가했습니다.
  • 이러한 결과는 상호작용 신호로부터 학습하는 것이 고정된 프롬프트나 결과 수준 보상에만 의존하는 더 큰 모델보다 작은 모델이 경쟁하거나 능가할 수 있게 함을 시사합니다.

• BEIR 성능:

  • RICE-PO 는 1.5B(65.66) 및 3B(65.68) 백본 모두에서 BEIR 데이터셋에서 최고의 평균 점수를 기록하여 모든 RL 베이스라인과 강력한 재순위화 모델을 능가했습니다.
  • BRIGHT 에 비해 향상 폭은 작았으나 (BEIR 의 낮은 추론 강도 때문), 일관성은 이 방법이 다단계 추론 설정을 넘어 일반화됨을 시사합니다.

• 절대성 연구 (Ablation Studies):

  • 게이팅 메커니즘: 영향과 잔차 안정성에 기반하여 할당 전파를 동적으로 게이팅하는 전략은 항상 전파하거나 최종 보상에만 의존하는 전략보다 우수했습니다.
  • 트리거링: 앵커 선택을 위한 엔트로피 기반 트리거링은 대부분의 작업에서 무작위 트리거링보다 상당한 향상을 보였습니다.
  • 신호 결합: "영향"(국소적 민감도) 과 "효과"(하류 안정성) 를 결합하는 것이 단일 신호만 사용하는 것보다 우수함이 입증되었습니다.

중요성과 주장

본 논문은 에이전트 - 환경 상호작용의 구조 자체가 추론 기반 검색 에이전트 학습에 유용한 감독을 제공할 수 있다고 주장합니다. 희소한 결과 수준 보상에만 의존하는 대신 검색 상호작용을 국소적 학습 신호의 원천으로 간주함으로써, RICE-PO 는 추론 에이전트의 더 효율적이고 신뢰할 수 있는 학습을 가능하게 합니다.

저자들은 이 접근법이 비용이 많이 드는 비평가를 학습하거나 더 큰 모델에 의존하는 것의 실용적인 대안을 제공한다고 강조합니다. 이 작업은 특히 관측 가능한 실행 가능한 행동과 잠재적 추론 과정 간의 구분을 포함하여 다단계 언어 시스템 상호작용의 특정 구조와 정렬된 학습 알고리즘을 설계하는 것의 중요성을 부각시킵니다. 결과는 효과적으로 상호작용 신호를 활용하는 것이 작은 언어 모델을 사용하더라도 추론 집약적 검색을 개선하는 데 핵심임을 시사합니다.