Resumo Técnico: Harness-G

Problema: Colapso de Equivalência de Recuperação em Agentes de Busca por RL

Agentes de busca de aprendizado por reforço (RL), como o Search-R1, tipicamente modelam a recuperação como a geração de consultas de linguagem natural em formato livre. Esses agentes otimizam trajetórias de interação de múltiplos turnos usando recompensas de resposta final (ex: F1 ou Correspondência Exata). Embora estudos recentes tentem melhorar o treinamento por meio de sinais de crédito mais densos (ex: ganho de informação, recompensas de processo), eles mantêm a interface fundamental onde a política gera uma string e o ambiente a mapeia para a evidência recuperada.

Os autores identificam um modo de falha crítico nesta configuração, denominado colapso de equivalência de recuperação. Durante o treinamento, a política gera diversas strings de consulta de superfície (alta diversidade de forma de consulta), mas essas consultas frequentemente mapeiam para conjuntos quase idênticos de evidências recuperadas (baixa diversidade de resultado de recuperação). À medida que o treinamento progride, as trajetórias para a mesma pergunta convergem para uma única classe de equivalência de recuperação. Esse colapso cria dois problemas de otimização para métodos relativos ao grupo, como o GRPO:

1. Vantagem Desvanecente: Se múltiplas trajetórias recuperam a mesma evidência e produzem a mesma resposta, seus retornos são idênticos, fazendo com que as vantagens dentro do grupo desapareçam.
2. Crédito de Recuperação Confundido: Se as trajetórias recuperam a mesma evidência, mas produzem respostas diferentes, as diferenças de retorno refletem o raciocínio subsequente em vez da qualidade da recuperação, tornando impossível atribuir o sucesso ou fracasso a ações de recuperação específicas.

Consequentemente, a "exploração" fornecida por diversas strings de consulta é frequentemente ilusória, falhando em fornecer contraste eficaz para aprender melhores estratégias de recuperação.

Metodologia: Harness-G

Para abordar isso, os autores propõem o Harness-G, um framework de recuperação estruturado em grafos que redesenha a interface entre política e ambiente. Em vez de gerar consultas em formato livre, a política realiza a seleção de ações finitas sobre um espaço de evidência estruturado.

1. Ambiente Estruturado em Grafos

O Harness-G constrói um grafo tripartido leve e programático offline a partir do corpus, consistindo em:

• Nós de parágrafo: Contextos de documentos.
• Nós de sentença: As unidades mínimas de evidência.
• Nós de entidade: Pontes entre saltos (hops) entre sentenças e documentos.
  As arestas conectam parágrafos a sentenças, sentenças a entidades (via menções), sentenças adjacentes e entidades idênticas/similares (via normalização de superfície e vizinhos de embedding). Este grafo é construído sem LLMs generativos, baseando-se em divisão de sentenças, NER e codificação densa.

2. A Interface de Menu de Ações

Em cada etapa, o ambiente expõe um menu de ações limitado e finito ($M_t$) à política. A política seleciona um ID de ação deste menu em vez de gerar uma string de texto. As ações são:

• Select(s): Comprometer uma sentença visível $s$ como evidência.
• Lookup(e): Recuperar informações ao redor de uma entidade específica $e$. O ambiente constrói deterministicamente a consulta (concatenando a pergunta e a evidência comprometida) e retorna o top-$K$ de sentenças.
• Answer / Answer_With: Encerrar a recuperação e gerar uma resposta (opcionalmente comprometendo sentenças visíveis em um único passo).

Este design garante que:

• Finitude: O espaço de ação é limitado.
• Verificabilidade: Ações inválidas são bloqueadas antes da execução.
• Previsibilidade (Previewability): O ambiente pode simular deterministicamente (prever) o resultado de qualquer ação candidata sem mutar o estado.

3. Crédito Estruturado Não-Miopico (SNC)

Aproveitando a fronteira de ações previsível, o Harness-G introduz o Crédito Estruturado Não-Miopico (SNC) para atribuir recompensas ao nível de passo sem exigir rollouts extras do agente ou modelos de recompensa externos. O SNC consiste em dois termos:

• Vantagem Relativa à Fronteira ($r^{fr}_t$): Um pontuador de resposta padrão avalia a probabilidade da resposta de ouro dado o contexto atual. Para uma ação de aquisição de informação, ele calcula o ganho marginal da ação selecionada versus o ganho médio de uma "fronteira" de ações alternativas viáveis no mesmo estado. Isso fornece uma comparação local no mesmo estado, indisponível em espaços de consulta abertos.
• Crédito de Habilitação ($r^{en}_t$): Para abordar a natureza não-miópica do raciocínio de múltiplos saltos (onde uma ação de "ponte" precoce habilita uma recuperação de alto valor posterior), o SNC propaga ganhos subsequentes ao longo de um grafo de proveniência. Se o passo $u$ consome uma entidade produzida pelo passo $t$, o crédito flui de $u$ para $t$ em ordem topológica reversa.

A vantagem total do passo é combinada com a recompensa de resultado padrão no objetivo GRPO: $\hat{A}_i = \hat{A}^{out}_i + \lambda \hat{A}^{SNC}_i$.

Principais Contribuições

1. Identificação do Colapso de Equivalência de Recuperação: O artigo demonstra empiricamente que interfaces de consulta de formato livre em agentes de busca por RL levam a um colapso na diversidade de recuperação, tornando a otimização relativa ao grupo ineficaz.
2. Redesenho da Interface (Harness-G): Reformula a recuperação de múltiplos saltos como seleção de ações finitas sobre um ambiente estruturado em grafos, substituando a geração de strings abertas por um menu verificável e previsível.
3. Crédito Estruturado Não-Miopico (SNC): Introduz um mecanismo de atribuição de crédito que utiliza a previsibilidade do menu de ações para calcular vantagens relativas no mesmo estado e propagar o crédito atrasado para ações de habilitação, tudo sem rollouts adicionais.
4. Validação Empírica: Experimentos extensos em seis benchmarks de QA (incluindo datasets de múltiplos saltos como 2Wiki, HotpotQA e MuSiQue) mostram que o Harness-G supera significativamente as bases fortes, particularmente em cenários de múltiplos saltos e com escalas menores de modelos.

Resultados

Avaliado em seis benchmarks usando modelos Qwen2.5-1.5B e Qwen2.5-3B:

• Desempenho: O Harness-G alcança o F1 médio mais alto em ambas as escalas de modelos.
  • Em 1.5B, supera a base mais forte (Graph-R1) em 10.74 pontos no F1 médio.
  • Em 3B, supera o Graph-R1 em 3.98 pontos.
• Estudos de Ablação:
  • Substituir a interface de consulta livre apenas pelo menu de ações melhora o F1 em mais de 17 pontos em média, com ganhos superiores a 35 pontos no MuSique.
  • Adicionar o SNC melhora ainda mais o desempenho, particularmente em tarefas de múltiplos saltos onde o crédito atrasado é crucial.
• Estabilidade e Eficiência: O Harness-G exibe dinâmica de treinamento estável com normas de gradiente limitadas. Não requer rollouts extras do agente para atribuição de crédito (apenas previsões de leitura) e incorre em overhead mínimo (~9–11% de tempo de execução por passo). Também demonstra capacidades de transferência fora da distribuição (O.O.D.) mais fortes em comparação ao Graph-R1.

Significância e Alegações

O artigo afirma que o design do espaço de ação é um eixo complementar e crítico ao design de recompensa para o treinamento de agentes de busca. Os autores argumentam que simplesmente densificar as recompensas (ex: via recompensas de processo ou ganho de informação) dentro de uma interface de consulta de formato livre não pode resolver fundamentalmente o problema do colapso de equivalência de recuperação, porque a própria interface permite muitos mapeamentos de muitas-para-uma de consultas para evidências.

Ao redefinir a interface de recuperação para ser discreta, verificável e previsível, o Harness-G permite:

1. Exploração Genuína: Garantindo que diferentes ações levem a resultados de recuperação genuinamente diferentes.
2. Atribuição de Crédito Precisa: Permitindo que o agente aprenda quais escolhas específicas de evidência ou entidade são superiores às alternativas no mesmo estado de decisão.
3. Aprendizado Não-Miopico: Ensinando efetivamente o agente a realizar passos de "ponte" necessários que não geram recompensas altas imediatamente, mas são essenciais para o sucesso posterior.

O trabalho conclui que, embora o Harness-G seja atualmente apenas textual, sua abordagem estruturada aos espaços de ação e atribuição de crédito oferece um framework robusto para o treinamento de agentes de busca, sugerindo que trabalhos futuros poderiam estender esses princípios para evidências multimodais.