Resumo Técnico: O que Sobrevive ao Contexto

Definição do Problema

Sistemas de Geração com Recuperação Aumentada (RAG) que operam sob um orçamento fixo de contexto para o leitor enfrentam um problema crítico de seleção: o recuperador frequentemente retorna mais evidências do que pode caber na janela de contexto do leitor. A métrica padrão da comunidade, recall@k, mede a fração de documentos de ouro recuperados, mas falha em considerar a etapa subsequente de empacotamento (packing), onde a evidência é truncada ou descartada para caber no orçamento.

Em tarefas de perguntas e respostas (QA) de múltiplos saltos (multi-hop), onde as respostas exigem a síntese de evidências de múltiplos documentos, o alto recall é necessário, mas insuficiente. Um empacotador pode reter documentos redundantes enquanto descarta a evidência "ponte" específica que contém a string da resposta. Consequentemente, o leitor pode nunca ver a resposta, mesmo que o recuperador tenha encontrado com sucesso os documentos de ouro. O artigo argumenta que otimizar o recall de recuperação é o objetivo errado neste regime; o verdadeiro gargalo é se a resposta de ouro sobrevive ao processo de empacotamento no contexto final.

Metodologia

1. O Diagnóstico: Resposta no Contexto

Os autores introduzem o answer-in-context (resposta no contexto), um diagnóstico definido como um indicador binário: a resposta de ouro normalizada aparece como uma subsequência contígua de tokens dentro do contexto empacotado enviado ao leitor?

• Distinção: Diferente do recall, que é pontuado no conjunto recuperado, esta métrica é pontuada no contexto materializado que é efetivamente alimentado ao leitor.
• Hipótese: Esta métrica atua como o mediador que explica por que um recall mais alto nem sempre resulta em maior qualidade de resposta sob restrições de orçamento.

2. O Método: Empacotamento de Evidência Submodular Orçada

O artigo formula a construção do contexto do leitor como um problema de maximização submodular monotônica orçada. A função objetivo $F(S)$ seleciona um subconjunto de trechos $S$ (sujeito a um orçamento de tokens $B$) para maximizar:
$$F(S) = w_{rel} Rel(S) + w_{qry} QueryCov(S) + w_{cov} Repr(S) + w_{div} Div(S)$$

• Rel (Relevância): Relevância lexical dos trechos (termo modular).
• QueryCov: Cobertura de termos distintos da consulta (set-cover).
• Repr (Representatividade): Um termo de localização de facilidade que recompensa a cobertura de massa candidata enquanto satura para evitar manipulação via duplicatas próximas.
• Div (Diversidade): Um termo cônico sobre documentos que espalha a seleção entre fontes.

A otimização utiliza um algoritmo guloso com escala de custo (adicionando o trecho com o maior ganho marginal por token), seguido por um fallback de singleton Lin–Bilmes. Esta abordagem otimiza conjuntamente relevância, cobertura de consulta, representatividade e diversidade para montar evidências complementares de múltiplos saltos.

Contribuições Principais

1. Um Diagnóstico Geral: A introdução do answer-in-context como um preditor superior da qualidade de RAG orçado em comparação ao recall de recuperação. Ele demonstra validade incremental sobre o recall ($\Delta R^2 = +0.17$) e separa significativamente a qualidade da resposta (ex: F1 0.60 vs. 0.12 no HotpotQA). É validado intervencionalmente no 2WikiMultiHopQA, mostrando que aumentar a cobertura sem aumentar o answer-in-context não gera ganho de acurácia.
2. Um Método Condicional: Um empacotador submodular principiado que melhora significativamente a qualidade da resposta no HotpotQA em comparação com bases fortes (heurística focada, MMR, empacotamento ingênuo) com custos de tokens iguais ou menores.
3. Um Mapa de Escopo (O "Núcleo Honesto"): Uma delineação rigorosa das quatro condições necessárias para que o empacotamento principiado supere a melhor heurística. O artigo mapeia explicitamente onde o método falha, evitando alegações amplas.

Resultados

Desempenho no HotpotQA

No HotpotQA com um orçamento de 160 tokens e um leitor de 3B:

• O empacotador submodular alcança +5.1 F1 sobre o empacotamento ingênuo e +2.2 F1 sobre uma heurística focada forte.
• Ele alcança esses ganhos usando menos tokens (aprox. 145 vs. 152) do que as bases de comparação.
• A vitória é atribuída à montagem de evidências complementares de múltiplos saltos: 81% do ganho vem de perguntas onde o empacotador inseriu novamente uma resposta de ouro no contexto que a heurística havia perdido.

Validação do Diagnóstico

• Correlação: O answer-in-context correlaciona-se fortemente com o F1 ($r=0.50$ no HotpotQA, $r=0.55$ no 2Wiki), superando o recall ($r \approx 0.31$).
• Intervenção: No 2WikiMultiHopQA, o empacotador aumentou a cobertura de documentos de ouro, mas falhou em aumentar o answer-in-context; consequentemente, a acurácia permaneceu estável. Isso confirma que o diagnóstico mede a etapa de empacotamento, não apenas o sucesso da recuperação.

Limites de Escopo (Quando o Método Falha)

O artigo identifica quatro condições que devem ocorrer simultaneamente para que o empacotador vença. Se qualquer uma falhar, a vantagem desaparece ou se inverte:

1. Estrutura Complementar: Em datasets de passagem única (RAGBench CovidQA/ExpertQA) onde todo o conteúdo de ouro está presente no contexto inicial, o empacotador não oferece ganho.
2. Recuperação Superficial de Evidência: No MuSiQue, onde a recuperação falha em trazer todos os documentos de ouro (all-gold@5 = 0.18), o empacotador não consegue montar evidências que ele nunca viu. Aumentar a profundidade da recuperação não resolveu isso; um recuperador qualitativamente diferente é necessário.
3. Orçamento Vinculado, mas Não Extremo: A vantagem segue uma curva em forma de U invertido. Em orçamentos muito apertados (96 tokens), não há espaço para complementaridade; em orçamentos amplos (224 tokens), a heurística alcança o desempenho. O pico de vantagem ocorre em ~160 tokens.
4. Leitor como o Gargalo: Uma escada de escala de leitores (3B $\to$ 7B $\to$ 14B) revela que a vantagem do empacotador é absorvida pelo 7B e significativamente revertida pelo 14B. Leitores mais fortes conseguem extrair respostas de contextos "mais bagunçados", tornando o overhead de curadoria um passivo. O mecanismo do empacotador (empacotar ouro mais denso) persiste, mas a utilidade marginal desaparece conforme a capacidade do leitor aumenta.

Significância e Alegações

O artigo posiciona-se não como uma solução universal para RAG, mas como uma alegação condicional e explicada mecanicamente, apoiada por um diagnóstico geral.

• O Diagnóstico: A principal contribuição é mudar o alvo de otimização de "recuperar os documentos de ouro" para "empacotar de modo que a resposta sobreviva". Isso redefine o objetivo para QA de múltiplos saltos com orçamento restrito.
• O Método: O empacotador submodular mostra-se eficaz especificamente quando o sistema é limitado pela evidência (estrutura de múltiplos saltos, a recuperação traz a evidência à superfície, orçamento apertado) e limitado pelo leitor (modelos menores como 3B).
• O Escopo: Os autores enfatizam que o "escopo honesto" é a contribuição central. Ao demonstrar que o método falha em leitores maiores (14B) e diferentes regimes de recuperação, eles fornecem aos praticantes fronteiras precisas de quando aplicar o empacotamento principiado versus heurísticas simples. O artigo rejeita explicitamente a afirmação de que o empacotamento submodular melhora o RAG universalmente, observando que a evidência estruturada em grafos (ACE) já comprime a redundância, tornando o empacotador redundante ou até prejudicial nesses contextos específicos.

Em resumo, o trabalho fornece uma ferramenta de diagnóstico que prevê a qualidade da resposta melhor do que o recall e um método que melhora o desempenho apenas sob um conjunto específico e bem definido de restrições, onde a densidade da evidência, e não a capacidade de leitura, é o fator limitante.