Resumo Técnico: MAVEN - Recompensas de Estado de Evidência para Raciocínio de Longo Contexto

1. Definição do Problema

Modelos de Linguagem de Grande Escala (LLMs) avançados suportam cada vez mais janelas de contexto longas, mas a capacidade de aceitar entradas longas não garante um raciocínio eficaz sobre elas. Os modelos frequentemente sofrem com o fenômeno de "perda no meio" (lost in the middle), dependência prematura de evidências parciais e uma incapacidade de sintetizar informações distribuídas em partes distantes do contexto.

As abordagens de Aprendizado por Reforço (RL) existentes para raciocínio de longo contexto tipicamente dependem de recompensas baseadas apenas no resultado (verificando a resposta final) ou de recompensas estáticas de identificação de evidência (recompensando a seleção de fragmentos de ouro). Os autores argumentam que esses métodos são insuficientes porque tratam a evidência como fragmentos isolados ou um conjunto extraído final. Eles falham em capturar a natureza dinâmica e dependente de estado do raciocínio de longo contexto, onde:

• Um segmento pode só se tornar valioso após outro ser encontrado.
• Um documento plausível pode precisar ser descartado assim que evidências posteriores revelarem que ele é um distrator.
• Peças individualmente insuficientes podem, conjuntamente, preencher uma lacuna de raciocínio.

As recompensas atuais incentivam o compromisso prematuro com caminhos de evidência localmente plausíveis, em vez do processo iterativo de construir, revisar e sintetizar um estado de evidência em evolução.

2. Metodologia: MAVEN

Os autores propõem o MAVEN (Marginal-Value Evidence Navigation), um framework de aprendizado por reforço que trata o raciocínio de longo contexto como uma navegação de memória de evidência estatal. Em vez de recompensar a extração isolada, o MAVEN define um valor de estado de evidência condicionado à resposta e atribui recompensas a transições de estado específicas ao nível da ação.

2.1 Framework e Ações

O modelo de política $\pi_\theta$ interage com uma memória de evidência editável $E_k$ antes de gerar uma resposta final. O modelo gera uma trajetória de ações de alto nível:

1. Adicionar (<add>): Adiciona um trecho de evidência citado ou referenciado à memória.
2. Descartar (<drop>): Remove uma peça de evidência irrelevante, redundante ou enganosa.
3. Vincular (<link>): Explica como duas peças de evidência apoiam conjuntamente a resposta (síntese).
4. Responder (<answer>): Produz a resposta final.

2.2 Função de Valor

O MAVEN utiliza um modelo verificador congelado $p_\psi$ para computar um valor de estado de evidência $V_\psi(Q, E)$. Este valor mede a redução relativa na log-verossimilhança negativa (NLL) da resposta de ouro $a^*$ dado a pergunta $Q$ e a memória de evidência atual $E$, em comparação com a ausência de evidência:
$$V_\psi(Q, E) = \frac{\ell_\psi(Q, \emptyset) - \ell_\psi(Q, E)}{\ell_\psi(Q, \emptyset) + \epsilon}$$
Um valor positivo indica que a evidência torna a resposta correta mais previsível.

2.3 Recompensas ao Nível de Ação

O MAVEN atribui recompensas de processo a intervalos de ação específicos dentro do framework GRPO (Group Relative Policy Optimization):

• Recompensa de Adição ($\rho_{add}$): Combina o Ganho de Informação de Resposta Condicional (CAIG) online e o crédito retrospectivo (hindsight credit).
  • CAIG: Recompensa a melhoria imediata no estado da evidência ao adicionar um novo item.
  • Crédito Retrospectivo: Se um item faz parte do conjunto de evidências mantido final $E_F$, ele recebe crédito baseado em quanto o valor final diminuiria se esse item fosse removido (uma aproximação do tipo Shapley). Isso garante que evidências iniciais necessárias não sejam subvalorizadas em raciocínios de múltiplos saltos (multi-hop).
• Recompensa de Descarte ($\rho_{drop}$): Recompensa a remoção de evidência se ela melhorar o estado da evidência condicionado à resposta (ou seja, remover um distrator). Ela penaliza o descarte de evidências úteis.
• Recompensa de Vínculo ($\rho_{link}$): Recompensa a síntese explícita de evidências complementares. Utiliza uma pontuação de sinergia pareada para medir se duas peças são mais valiosas juntas do que separadamente.
• Recompensa de Resposta ($\rho_{ans}$): Uma recompensa binária baseada na correspondência de substrings com a verdade fundamental (ground truth) para garantir o sucesso da tarefa.

2.4 Procedimento de Treinamento

O treinamento ocorre em duas etapas:

1. SFT de Partida a Frio (Cold-Start SFT): Ajuste fino supervisionado em trajetórias de ações válidas para ensinar ao modelo a interface de memória editável e a gramática de ação.
2. Treinamento de RL: O modelo é otimizado usando GRPO com as recompensas locais de ação definidas acima. O objetivo preserva o crédito ao nível do processo, permitindo que uma trajetória com um "adicionar" ruim seguido de um "descarte" corretivo receba vantagens negativas e positivas apropriadas, respectivamente.

3. Principais Contribuições

1. Identificação de Limitações: Os autores identificam que as recompensas de RL de longo contexto existentes frequentemente supervisionam a extração estática de evidências em vez de transições de estado de evidência, levando ao ancoramento prematuro em caminhos incorretos.
2. Framework MAVEN: Propõe um framework de memória de evidência editável que define um valor de estado de evidência condicionado à resposta. Treina LLMs para adicionar, vincular, descartar e responder através de recompensas de processo estatais e locais à ação.
3. Validação Empírica: Demonstra ganhos consistentes em diferentes famílias de modelos (Llama, Qwen) e benchmarks, fornecendo evidência diagnóstica de que o MAVEN melhora a suficiência de evidência (cobertura de evidência de ouro) e reduz a retenção de distratores (manutenção de evidências enganosas).

4. Resultados Experimentais

Os autores avaliaram o MAVEN no Llama-3.1-8B, Qwen2.5-14B e Qwen3-30B-A3B nos benchmarks LongBench v2, LongReason e RULER.

• Desempenho: O MAVEN superou consistentemente todos os baselines, incluindo RL de apenas resultado e baselines de identificação de evidência mais resultado. No LongBench v2, o MAVEN melhorou o baseline mais forte em +3,5 a +4,0 pontos entre os tamanhos de modelo.
• Especificidades de Longo Contexto: Os ganhos foram particularmente pronunciados em divisões de contexto longo (ex: 128K de contexto), sugerindo que o método é crucial quando as respostas dependem de informações distribuídas.
• Métricas Diagnósticas:
  • Suficiência de Evidência: O MAVEN alcançou >85% de suficiência, significativamente superior aos baselines.
  • Retenção de Distratores: O MAVEN reduziu significativamente a porcentagem de evidência mantida que correspondia a distratores, demonstrando a capacidade do modelo de revisar sua memória.
• Estudos de Ablação:
  • Remover a recompensa de descarte levou à maior retenção de distratores.
  • Remover a recompensa de vínculo reduziu a suficiência de evidência.
  • Remover a recompensa de adição causou a maior queda no escore geral.
  • Uma variante usando recompensas computadas apenas a partir do conjunto de evidências final (ignorando etapas intermediárias) teve desempenho substancialmente inferior, confirmando a necessidade de recompensas de processo locais à ação.
• Generalização: A avaliação no MMLU-Pro mostrou que o treinamento do MAVEN não degradou as capacidades gerais de raciocínio de curto contexto.

5. Significância e Alegações

O artigo alega que um RL de longo contexto eficaz requer a otimização de transições de estado de evidência em vez de apenas otimizar a extração de evidências. Ao tratar o raciocínio como um processo de navegação através de uma memória editável, o MAVEN permite que os modelos:

• Recuperem-se da adição de evidências enganosas (via recompensas de descarte).
• Sintetizem informações complementares (via recompensas de vínculo).
• Reconheçam a necessidade de evidências iniciais mesmo quando seu valor imediato é baixo (via crédito retrospectivo).

Os autores posicionam o MAVEN como complementar à recuperação (retrieval), fluxos de trabalho agênticos e extensões arquiteturais de contexto, visando especificamente o gargalo de aprender a construir e revisar o estado de evidência usado para o raciocínio.

Limitações Reconhecidas:

• O MAVEN depende de respostas de ouro durante o treinamento para computar valores baseados em verificadores, o que limita sua aplicabilidade direta em tarefas com respostas verificáveis.
• A interface assume que a evidência pode ser representada como trechos de texto delimitados.
• As anotações diagnósticas foram construídas para análise controlada, e a avaliação humana mais ampla da qualidade da evidência permanece como um trabalho futuro.