기술 요약: 자기 유도 결과 잠재력 (SIOP)

문제 제기

장기적 범위의 대규모 언어 모델 (LLM) 에이전트, 특히 검색 증강 추론이나 도구 사용을 수행하는 에이전트들은 중간 상호작용 턴에 따라 성공하거나 실패합니다. 그러나 표준 훈련 패러다임은 일반적으로 결과 수준의 감독에 의존하는데, 이는 보상이 최종 답변이 생성된 후에만 할당되는 방식입니다. 이로 인해 감독 불일치가 발생합니다. 단일 종단 보상은 에이전트의 미래 전망을 개선한 특정 중간 사고, 도구 호출, 또는 관찰에 대한 신뢰성 있는 신용 할당을 제공할 수 없습니다.

기존 솔루션은 두 가지 주요 한계에 직면해 있습니다:

1. 턴 단위 형성 방법(예: IGPO, TIPS) 은 잠재력 기반 보상을 계산하기 위해 "골드 답변" 또는 안정적이고 작업 특이적인 검증자에 대한 접근이 필요합니다. 이러한 감독은 개방형 에이전트 환경에서는 종종 사용할 수 없습니다.
2. 레이블 없는 강화 학습 (RL) 방법 (예: TTRL, EMPO) 은 출력 분포에서 신호를 추출하지만 주로 궤적 또는 답변 수준에서 작동합니다. 이들은 신뢰할 수 있는 최종 응답을 식별하지만, 그러한 결과로 이끈 중간 턴에 가치를 할당하지는 못합니다.

핵심적인 과제는 훈련 중 정답 (ground-truth answer) 의 존재를 가정하지 않고 자기 생성 신호를 활용하는 검증자 없는 턴 단위 신용 할당 메커니즘을 구축하는 것입니다.

방법론: 자기 유도 결과 잠재력 (SIOP)

SIOP 은 최종 답변의 의미 클러스터를 잠재적 미래 결과 상태로 취급함으로써 이를 해결합니다. 고정된 골드 타겟에 의존하는 대신, 이 프레임워크는 이러한 잠재 상태에 대한 쿼리별 타겟 분포를 구성하고, 신뢰할 수 있는 미래 모드에 대한 지지를 증가시키는 능력에 따라 턴에 보상을 부여합니다.

1. 의미 결과 모드 및 잠재 상태

주어진 쿼리 $q$에 대해 정책은 $K$개의 롤아웃을 샘플링합니다. 최종 답변 $\{y^{(k)}\}$은 양방향 의미 함의 (NLI 모델 사용) 를 기반으로 의미 결과 모드($C(q)$) 로 클러스터링됩니다. 각 클러스터 $c$는 고유한 의미 가설을 나타냅니다.

• 잠재 미래 상태: 이러한 클러스터는 잠재력 기반 형성을 위한 미래 상태 공간으로 작용합니다.
• 신뢰성 보정: 원시 클러스터 빈도 ($m(c|q)$) 는 부족합니다. 모델 편향으로 인해 빈번한 클러스터가 일관되게 틀릴 수 있기 때문입니다. SIOP 은 경험적 분포를 재가중치하기 위해 신뢰성 신호 $r(c, q)$ (예: 검색된 도구 관찰에서의 증거 지원) 을 도입합니다.
• 타겟 분포: 자기 유도 타겟 분포 $q_\theta(c|q)$는 신뢰성으로 경험적 질량을 보정하여 형성됩니다:
  $$q_\theta(c|q) \propto m(c|q) \exp(\eta \cdot r(c, q))$$
  이는 빈번하지만 신뢰할 수 없는 모드는 하향 가중치되고, 덜 빈번하지만 증거로 지원되는 모드는 상향 가중치되도록 보장합니다.

2. 다중 참조 클러스터 지지

특정 문구에 대한 민감도를 피하기 위해 SIOP 은 단일 프로토타입 답변을 점수화하지 않습니다. 대신, 각 클러스터에서 정규화된 가중치 $\alpha_y$를 가진 소수의 참조 답변 $R(c)$를 선택합니다. 접두사 $\tau_{\le t}$가 주어졌을 때 클러스터 $c$에 대한 지지는 다음과 같이 근사됩니다:
$$\tilde{p}_\theta(c|\tau_{\le t}) = \sum_{y \in R(c)} \alpha_y p_\theta(y|\tau_{\le t})$$
이 다중 참조 접근 방식은 의미 모드 전체에 대한 지지의 견고한 측정을 제공합니다.

3. 잠재력 기반 턴 단위 보상

핵심 혁신은 롤아웃의 실현된 모드 $c^{(k)}$에 대해 턴 $t$에서 정의된 결과 잠재력 $\Phi_\theta$입니다:
$$\Phi_\theta(\tau_{\le t}^{(k)}, c^{(k)}) = q_\theta(c^{(k)}|q) \log \tilde{p}_\theta(c^{(k)}|\tau_{\le t}^{(k)})$$
턴 $t$에 대한 과정 보상은 현재 접두사와 이전 접두사 간의 잠재력 차이입니다:
$$r_{t,proc}^{(k)} = \Phi_\theta(\tau_{\le t}^{(k)}, c^{(k)}) - \Phi_\theta(\tau_{\le t-1}^{(k)}, c^{(k)})$$
이 보상은 해당 턴이 해당 클러스터에 대한 모델의 지지를 증가시키는 경우 양수이며, 클러스터의 보정된 신뢰성으로 가중치가 부여됩니다.

4. 턴 단위 이점 구성

이러한 보상을 정책 최적화에 통합하기 위해:

• 증강된 즉시 보상: 혼합 계수 $\lambda$는 과정 보상을 최종 답변 턴에서만 추가되는 종단 결과 질량과 결합합니다.
• 그룹 정규화 이점: 보상은 쿼리 그룹 내에서 (하나의 프롬프트에 대한 모든 롤아웃) 풀링되고 정규화 (z-score) 되며, 할인된 합을 통해 역방향으로 전파되어 턴 단위 이점 $A_t^{(k)}$를 계산합니다.
• 토큰 단위 할당: 궤적 수준 점수를 브로드캐스트하는 표준 GRPO 와 달리, SIOP 은 해당 특정 턴 내에서 생성된 학습 가능한 토큰에만 특정 턴 이점 $A_t^{(k)}$를 할당합니다.

주요 기여

1. 검증자 없는 턴 단위 신용 할당: 이 논문은 신용 할당을 자기 유도 의미 결과 모드에 대한 잠재력 기반 학습으로 공식화하여 골드 답변이나 작업 특이적 검증자의 필요성을 제거합니다.
2. 자기 유도 결과 잠재력 (SIOP): 경험적 결과 모드를 신뢰성 신호로 보정하고 클러스터 지지의 접두사 간 변화를 턴 단위 과정 보상으로 변환하는 새로운 보상 함수입니다.
3. 세분화된 이점 구성: 이 방법은 장기 에이전트를 위해 턴별 이점을 구성하여 각 턴 내의 학습 가능한 토큰에만 신용을 할당함으로써 중간 기여를 흐리게 하는 궤적 수준 점수의 "브로드캐스트"를 방지합니다.
4. 이론적 특성화: 저자들은 SIOP 이 감독 한계 (타겟 분포가 골드 클러스터에 집중되는 경우) 에서 표준 골드 답변 형식으로 축소됨을 증명하고, 전역 점수를 브로드캐스트하는 대신 단계별 한계 지지 증가를 측정함을 입증했습니다.

실험 결과

이 방법은 Qwen3-4B 및 Qwen3-8B 백본을 사용하여 일곱 가지 검색 증강 QA 벤치마크(NQ, TriviaQA, PopQA, HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle) 에서 평가되었습니다.

• 성능: SIOP 은 결과 수준 신호에 의존하는 검증자 없는 베이스라인 (TTRL, EMPO) 보다 일관되게 우수한 성능을 보였습니다. 4B 백본에서 SIOP 은 평균 검증자 없는 정밀 일치 (EM) 및 F1 에서 가장 좋은 성과를 거두었으며, EMPO 대비 EM +0.7%, F1 +1.8% 개선되었습니다.
• 감독 베이스라인과의 비교: SIOP 은 골드 감독 결과 베이스라인 (GRPO) 의 성능에 근접했으며, 훈련 중 어떤 골드 레이블도 사용하지 않고 골드 감독 턴 단위 베이스라인 (IGPO) 과의 격차를 크게 좁혔습니다. 특히 HotpotQA 및 2Wiki 와 같은 멀티홉 벤치마크에서 SIOP 은 골드 감독 GRPO 결과 베이스라인보다 우수한 성능을 보였습니다.
• 절대 실험: 신뢰성 보정, 다중 참조 지지, 또는 턴별 과정 보상을 제거하면 모두 성능 저하로 이어져 각 구성 요소의 필요성을 확인시켰습니다. 구체적으로, 턴 단위 이점 구성이 중요함이 입증되었는데, 이점을 브로드캐스트하는 것 (표준 GRPO 와 같이) 은 성능을 결과 전용 수준으로 감소시켰습니다.
• 훈련 역학: SIOP 은 불필요한 검색 턴과 응답 길이를 줄이면서 생성 엔트로피를 낮은 수준으로 유지하여 더 효율적인 탐색을 나타냈습니다.

중요성 및 주장

이 논문은 SIOP 이 정답이 없는 환경에서 결과 수준의 신뢰성과 과정 수준의 신용 할당 사이의 격차를 성공적으로 연결한다고 주장합니다. 클러스터링된 최종 답변을 잠재적 미래 상태로 취급함으로써, 이 프레임워크는 골드 답변 감독에서 검증자 없는 환경으로 정보 잠재력 형성을 일반화합니다.

저자들은 SIOP 이 단순히 더 나은 최종 답변을 선택하는 것을 넘어 능동적으로 중간 추론 궤적을 형성한다고 강조합니다. 이 방법은 에이전트가 해당 상태의 정확성이 모델 자체 샘플의 일관성과 증거 지원에서만 추론될지라도, 어떤 중간 상호작용 (예: 특정 검색 쿼리 또는 도구 호출) 이 궤적을 신뢰할 수 있는 미래 상태로 이동시키는지 학습할 수 있게 합니다. 이는 작업 특이적 검증자 구축이 불가능한 개방형 도메인에서 상호작용 에이전트를 훈련하기 위한 실용적인 경로를 제공합니다.