Resumo Técnico: Evidência de Ponte em Busca Agêntica de Múltiplas Etapas

Definição do Problema

Os sistemas de recuperação atuais são treinados e avaliados com base em uma noção estática de utilidade: um documento é considerado valioso se, quando pareado com uma pergunta, melhorar a resposta de um modelo de leitura. Essa premissa sustenta métricas padrão (nDCG, MAP, MRR) e os objetivos de treinamento de classificadores aprendidos. No entanto, essa definição assume uma interação de turno único, onde o documento é lido isoladamente.

O artigo argumenta que essa premissa falha na busca agêntica de múltiplas etapas (ex: agentes do tipo ReAct). Nesses cenários, um agente emite uma sequência de consultas, raciocinando através de turnos. O valor de um documento muitas vezes não reside em sua contribuição direta para a resposta final, mas no que ele permite que o agente faça a seguir. Um documento pode não conter ainda uma string de resposta, mas ser "causalmente estrutural" porque fornece uma entidade específica que redirecionar o processo de busca subsequente do agente. Por outro lado, um documento contendo a resposta pode ser causalmente inerte se o agente já possuísse essa informação. O artigo postula que a utilidade de recuperação estática não prevê a utilidade causal na busca agêntica, criando uma lacuna onde a "evidência de ponte" (documentos que são inúteis estaticamente, mas essenciais causalmente) é sistematicamente negligenciada.

Metodologia

1. Exploração de Trajetória Contrafactual (CTE)

Para medir a contribuição causal de um documento sem depender de proxies estáticos, os autores introduzem a Exploração de Trajetória Contrafactual.

• Intervenção: Para cada documento que um agente realmente lê durante uma trajetória, o sistema realiza uma intervenção de omissão: o documento é removido do conjunto de evidências, e a trajetória é reproduzida a partir daquele ponto em diante, mantendo todas as outras condições (contexto anterior, parâmetros do modelo, hardware) fixas.
• Métrica: Isso gera um escore de Utilidade de Trajetória Contrafactual (CTU), calculado como a soma de três deltas normalizados entre a execução original e a execução contrafactual:
  1. $\Delta$resposta: Mudança no F1 score da resposta final.
  2. $\Delta$próxima-consulta: Mudança no nDCG@10 da próxima consulta gerada pelo agente (medindo se o agente foi direcionado para uma evidência melhor).
  3. $\Delta$esforço: Mudança no número de turnos necessários para atingir uma solução.
• Limiarização: Os autores derivam um limiar principista para o CTU. Como os deltas brutos para um documento de "não-operação" são zero, o CTU normalizado para um documento sem efeito causal é exatamente 1.400. Documentos com CTU > 1.400 são considerados causalmente úteis; aqueles abaixo não são.

2. Utilidade RAG Estática (SRU)

Para medir a utilidade estática, os autores computam a Utilidade RAG Estática (SRU). Isso envolve alimentar um modelo de leitura sem estado (sem histórico de trajetória) com um documento e a pergunta original e medir a melhoria do F1 sobre uma linha de base zero-shot.

3. Configuração Experimental

• Dataset: Uma amostra estratificada de 1.000 perguntas do conjunto de desenvolvimento HotpotQA.
• Agente: Um agente estilo ReAct usando Qwen2.5-7B-Instruct, pesquisando um índice de parágrafos da Wikipedia (recuperação BM25 + reclassificação por Cross-Encoder).
• Escopo: O estudo analisa 23.322 observações de documentos em trajetórias de múltiplas etapas.

4. Análise de Mecanismo: Relevância de Entidade Observável (OER)

Para explicar por que os documentos de ponte funcionam, os autores testam a hipótese de que esses documentos fornecem entidades discriminativas. Eles utilizam a métrica de Relevância de Entidade Observável (OER), que mede se a presença de uma entidade em um documento separa estatisticamente candidatos relevantes de não relevantes. Eles rastreiam se entidades encontradas em documentos de ponte propagam-se para a próxima consulta do agente.

Principais Resultados

1. Independência entre Utilidade Estática e Causal

A descoberta central é que a utilidade estática (SRU) e a utilidade causal (CTU) são estatisticamente independentes.

• Correlação: A correlação de rank de Spearman ($\rho$) entre SRU e CTU é de −0.026, indicando que medem quantidades não relacionadas.
• Análise de Quadrantes: Ao plotar documentos em uma grade 2x2 (Alta/Baixa SRU vs. Alta/Baixa CTU):
  • Célula C (Evidência de Ponte): 35,72% dos documentos que o agente leu foram causalmente estruturais (Alta CTU), mas pareceram inúteis para um leitor estático (Baixa SRU).
  • Célula B (Redundante): 2,18% dos documentos tiveram alta SRU, mas baixa CTU (úteis estaticamente, mas redundantes causalmente).
  • Robustez: Esse padrão persiste mesmo ao substituir o eixo SRU baseado em leitura por um proxy baseado em pontuações de BM25 e Cross-Encoder. Nesse quadrante de proxy, a célula de ponte permanece significativa em 27,16%, e a correlação permanece próxima de zero ($\rho = -0,016$).

2. O Mecanismo: Propagação de Entidades

O estudo valida o mecanismo por trás da evidência de ponte:

• Lacuna de Propagação: Entidades com alta Relevância de Entidade Observável (OER) aparecem na próxima consulta do agente 4,02 vezes mais frequentemente (6,1% vs. 1,5%) do que entidades encontradas apenas em documentos não relevantes.
• Conclusão: Documentos de ponte funcionam introduzindo entidades discriminativas que redirecionam a trajetória de busca. O sinal que os classificadores estáticos usam para identificar entidades úteis (OER) é o mesmo sinal que impulsiona o comportamento agêntico (mesmo que o documento em si pontue mal em contenção de resposta estática).

3. Limitações e Confundimentos

Os autores abordam explicitamente e retiram certas observações secundárias:

• Confundimento de Contagem de Turnos: Uma observação inicial de que a evidência de ponte aumentava com o número de turnos foi identificada como um artefato. A variável de agrupamento (contagem de turnos contrafactual) estava mecanicamente ligada ao componente $\Delta$effort do CTU, inflando artificialmente a célula de ponte para trajetórias mais longas.
• Assimetria do Eixo Estático: O eixo SRU é altamente comprimido (apenas 3,3% dos documentos tiveram SRU positivo), o que significa que o valor de 35,72% da ponte é, em grande parte, uma reiteração do resultado de independência, em vez de uma descoberta separada.
• Hipótese H2 (Localização): A hipótese de que as entidades que propagam estão especificamente localizadas em documentos de ponte (Célula C) em vez de outras células de alta CTU não se replicou em escala e foi relatada como inconclusiva.

Significância e Alegações

O artigo afirma que a relevância estática e a utilidade causal são quantidades distintas na recuperação agêntica. Otimizar para a utilidade estática (o que um leitor precisa) não entrega utilidade causal (o que um agente precisa).

• Evidência de Ponte: Os autores definem "documentos de ponte" como aqueles que permitem etapas futuras de busca sem conter a resposta em si mesmos. Eles constituem uma parte não trivial (aprox. um terço) da evidência consumida pelos agentes.
• Implicação para Treinamento: Os rótulos e métricas atualmente usados para treinar e avaliar sistemas de recuperação estão desalinhados com as necessidades da busca agêntica.
• Direção Futura: O artigo sugere que a Relevância de Entidade Observável (OER) pode servir como um proxy computável e não contrafactual para a utilidade causal. Dado que a OER prevê a propagação de entidades (e, portanto, o redirecionamento do agente) por um fator de quatro, ela oferece um caminho potencial para treinar classificadores que sirvam a agentes, em vez de apenas leitores estáticos.

Os autores concluem que o campo deve ir além da avaliação estática para entender a "ponte" entre o conhecimento atual e a próxima etapa de busca necessária.