Resumo Técnico: Potencial de Resultado Autoinduzido (SIOP)

Declaração do Problema

Agentes de Modelos de Linguagem de Grande Escala (LLM) de longo horizonte, particularmente aqueles engajados em raciocínio aumentado por busca ou uso de ferramentas, têm sucesso ou falha com base em turnos de interação intermediários. No entanto, os paradigmas de treinamento padrão geralmente dependem de supervisão em nível de resultado, onde recompensas são atribuídas apenas após a geração da resposta final. Isso cria uma incompatibilidade de supervisão: uma única recompensa terminal não pode atribuir crédito de forma confiável a pensamentos intermediários específicos, chamadas de ferramentas ou observações que melhoraram as perspectivas futuras do agente.

As soluções existentes enfrentam duas limitações primárias:

1. Métodos de modelagem em nível de turno (e.g., IGPO, TIPS) exigem acesso a uma "resposta de ouro" ou a um verificador estável e específico da tarefa para calcular recompensas baseadas em potencial. Tais supervisões são frequentemente indisponíveis em configurações de agentes abertas.
2. Métodos de Aprendizado por Reforço (RL) sem rótulos (e.g., TTRL, EMPO) extraem sinais das distribuições de saída, mas operam principalmente no nível da trajetória ou da resposta. Eles identificam respostas finais confiáveis, mas falham em atribuir valor aos turnos intermediários que levaram a esses resultados.

O desafio central é construir um mecanismo de atribuição de crédito em nível de turno, sem verificador, que aproveite sinais auto-gerados sem assumir a existência de uma resposta de verdade fundamental durante o treinamento.

Metodologia: Potencial de Resultado Autoinduzido (SIOP)

O SIOP aborda isso tratando agrupamentos semânticos de respostas finais como estados futuros latentes. Em vez de depender de um alvo de ouro fixo, o framework constrói uma distribuição-alvo específica da consulta sobre esses estados latentes e recompensa os turnos com base em sua capacidade de aumentar o suporte para modos futuros confiáveis.

1. Modos de Resultado Semântico e Estados Latentes

Para uma consulta $q$ dada, a política amostra $K$ trajetórias. As respostas finais $\{y^{(k)}\}$ são agrupadas em modos de resultado semântico ($C(q)$) com base na implicação semântica bidirecional (usando um modelo NLI). Cada agrupamento $c$ representa uma hipótese semântica distinta.

• Estados Futuros Latentes: Esses agrupamentos servem como o espaço de estados futuros para a modelagem baseada em potencial.
• Calibração de Confiabilidade: A frequência bruta do agrupamento ($m(c|q)$) é insuficiente, pois um agrupamento frequente pode estar consistentemente errado devido ao viés do modelo. O SIOP introduz um sinal de confiabilidade $r(c, q)$ (e.g., suporte de evidência de observações de ferramentas recuperadas) para reponderar a distribuição empírica.
• Distribuição-Alvo: A distribuição-alvo autoinduzida $q_\theta(c|q)$ é formada ao calibrar a massa empírica com a confiabilidade:
  $$q_\theta(c|q) \propto m(c|q) \exp(\eta \cdot r(c, q))$$
  Isso garante que modos frequentes, mas não confiáveis, sejam desponderados, enquanto modos menos frequentes, mas apoiados por evidências, sejam superponderados.

2. Suporte de Agrupamento Multi-Referência

Para evitar sensibilidade a formulações específicas, o SIOP não pontua uma única resposta protótipo. Em vez disso, ele seleciona um pequeno conjunto de respostas de referência $R(c)$ de cada agrupamento com pesos normalizados $\alpha_y$. O suporte para um agrupamento $c$ dado um prefixo $\tau_{\le t}$ é aproximado como:
$$\tilde{p}_\theta(c|\tau_{\le t}) = \sum_{y \in R(c)} \alpha_y p_\theta(y|\tau_{\le t})$$
Essa abordagem multi-referência fornece uma medida robusta de suporte para o modo semântico como um todo.

3. Recompensas em Nível de Turno Baseadas em Potencial

A inovação central é o Potencial de Resultado $\Phi_\theta$, definido para o modo realizado $c^{(k)}$ de uma trajetória no turno $t$:
$$\Phi_\theta(\tau_{\le t}^{(k)}, c^{(k)}) = q_\theta(c^{(k)}|q) \log \tilde{p}_\theta(c^{(k)}|\tau_{\le t}^{(k)})$$
A recompensa de processo para o turno $t$ é a diferença de potencial entre o prefixo atual e o anterior:
$$r_{t,proc}^{(k)} = \Phi_\theta(\tau_{\le t}^{(k)}, c^{(k)}) - \Phi_\theta(\tau_{\le t-1}^{(k)}, c^{(k)})$$
Essa recompensa é positiva se o turno aumentar o suporte do modelo para o agrupamento no qual ele eventualmente aterrissa, ponderado pela confiabilidade calibrada do agrupamento.

4. Construção de Vantagem em Nível de Turno

Para integrar essas recompensas na otimização da política:

• Recompensa Imediata Aumentada: Um coeficiente de mistura $\lambda$ combina a recompensa de processo com uma massa de resultado terminal adicionada apenas no turno da resposta final.
• Vantagens Normalizadas por Grupo: As recompensas são agrupadas dentro de um grupo de consulta (todas as trajetórias para um prompt), normalizadas (z-score) e propagadas para trás via uma soma descontada para calcular vantagens em nível de turno $A_t^{(k)}$.
• Atribuição em Nível de Token: Diferentemente do GRPO padrão, que transmite uma pontuação em nível de trajetória, o SIOP atribui a vantagem específica do turno $A_t^{(k)}$ apenas aos tokens treináveis gerados dentro desse turno específico.

Contribuições Principais

1. Atribuição de Crédito em Nível de Turno sem Verificador: O artigo formula a atribuição de crédito como aprendizado baseado em potencial sobre modos de resultado semântico autoinduzidos, eliminando a necessidade de respostas de ouro ou verificadores específicos da tarefa.
2. Potencial de Resultado Autoinduzido (SIOP): Uma função de recompensa inovadora que calibra modos de resultado empíricos com sinais de confiabilidade e converte mudanças de prefixo para prefixo no suporte do agrupamento em recompensas de processo em nível de turno.
3. Construção Granular de Vantagem: O método constrói vantagens específicas do turno para agentes de longo horizonte, atribuindo crédito apenas aos tokens treináveis dentro de cada turno, evitando a "transmissão" de pontuações em nível de trajetória que obscurece contribuições intermediárias.
4. Caracterização Teórica: Os autores provam que o SIOP se reduz à modelagem padrão de resposta de ouro no limite supervisionado (onde a distribuição-alvo se concentra no agrupamento de ouro) e demonstram que mede o ganho marginal passo a passo de suporte, em vez de transmitir uma pontuação global.

Resultados Experimentais

O método foi avaliado em sete benchmarks de QA aumentados por busca (NQ, TriviaQA, PopQA, HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle) usando os backbones Qwen3-4B e Qwen3-8B.

• Desempenho: O SIOP superou consistentemente as bases sem verificador (TTRL, EMPO) que dependem de sinais em nível de resultado. No backbone 4B, o SIOP alcançou a melhor Média de Correspondência Exata (EM) e F1 sem verificador, melhorando sobre o EMPO em +0,7% EM e +1,8% F1.
• Comparação com Bases Supervisionadas: O SIOP aproximou-se do desempenho das bases de resultado supervisionadas por ouro (GRPO) e reduziu significativamente a lacuna para as bases em nível de turno supervisionadas por ouro (IGPO) sem usar nenhum rótulo de ouro durante o treinamento. Notavelmente, em benchmarks de múltiplos saltos como HotpotQA e 2Wiki, o SIOP superou a base de resultado GRPO supervisionada por ouro.
• Estudos de Ablação: A remoção da calibração de confiabilidade, do suporte multi-referência ou da recompensa de processo por turno levou a degradação de desempenho, confirmando a necessidade de cada componente. Especificamente, a construção de vantagem em nível de turno mostrou-se crítica, pois a transmissão de vantagens (como no GRPO padrão) reduziu o desempenho para níveis próximos aos de apenas resultado.
• Dinâmica de Treinamento: O SIOP reduziu os turnos de busca redundantes e os comprimentos de resposta, mantendo a entropia de geração em níveis mais baixos, indicando uma exploração mais eficiente.

Significado e Alegações

O artigo alega que o SIOP conecta com sucesso a lacuna entre confiabilidade em nível de resultado e atribuição de crédito em nível de processo em configurações onde a verdade fundamental está indisponível. Ao tratar respostas finais agrupadas como estados futuros latentes, o framework generaliza a modelagem de potencial de informação da supervisão por resposta de ouro para ambientes sem verificador.

Os autores enfatizam que o SIOP não apenas seleciona melhores respostas finais, mas molda ativamente a trajetória de raciocínio intermediária. O método permite que os agentes aprendam quais interações intermediárias (e.g., consultas de busca específicas ou chamadas de ferramentas) movem a trajetória em direção a estados futuros confiáveis, mesmo quando a correção desses estados é apenas inferida a partir da consistência e do suporte de evidências das próprias amostras do modelo. Isso oferece um caminho prático para treinar agentes interativos em domínios abertos onde verificadores específicos da tarefa são inviáveis de construir.