Resumo Técnico: StepGap

Declaração do Problema

A Resposta a Perguntas de Múltiplos Saltos (QA) exige que os modelos recuperem, conectem e verifiquem evidências através de múltiplos passos intermediários. No entanto, as atuais estruturas de avaliação e de Aprendizado por Reforço (RL) em sistemas intercalados com busca permanecem orientadas ao ponto final, dependendo exclusivamente da Correspondência Exata (EM) da resposta final. Essa abordagem sofre de dois defeitos estruturais:

1. Falta de Diferenciação: A EM não consegue distinguir entre uma cadeia de raciocínio fundamentada em evidências e uma espúriamente correta, derivada de memória paramétrica ou atalhos.
2. Falta de Localização: Quando uma política falha, a EM fornece um sinal de recompensa zero sem indicar qual passo quebrou a cadeia, impedindo que o modelo aprenda comportamentos de reparo específicos por passo.

Os verificadores existentes em nível de passo ou colapsam todas as subtarefas em uma única chamada de Modelo de Linguagem de Grande Porte (LLM) ou dependem de uma única chamada de Inferência em Linguagem Natural (NLI). Nenhuma dessas abordagens emite simultaneamente rótulos tipados (distinguindo tipos específicos de erro) e os fundamenta em decisões determinísticas adequadas para treinamento. Além disso, verificadores post-hoc operam apenas após a geração de uma resposta completa, perdendo a oportunidade de redirecionar o gerador durante o processo de raciocínio.

Metodologia: StepGap

Os autores propõem o StepGap, uma árvore de decisão híbrida NLI-LLM projetada para detectar lacunas de evidência em nível de passo e emitir um de três rótulos tipados, cada um mapeado para uma ação de reparo concreta:

• AFIRMAÇÃO CONTRADITÓRIA (CC): O passo afirma uma alegação que conflita com a evidência recuperada. Reparo: Retirar.
• EVIDÊNCIA IRRELEVANTE (IE): A evidência não aborda a entidade ou relação necessária pelo passo. Reparo: Re-pesquisar.
• PONTE FALTANTE (MB): A evidência é relevante, mas ainda não implica a alegação. Reparo: Pesquisa de ponte.

Arquitetura

O StepGap opera como uma árvore de decisão híbrida de cinco estágios para cada passo de raciocínio $s_i$ (dada a evidência acumulada $e_{\le i}$):

1. Estágio A (LLM): Verifica o Alinhamento de Entidade/Relação. Determina se o passo visa a entidade/relação correta antes da recuperação. Um alvo incorreto dispara um rótulo CC.
2. Estágio B (LLM): Verifica a Validade da Abstenção. Confere se uma alegação de "não pode ser determinado" está fundamentada em evidências. Uma abstenção injustificada dispara CC.
3. Estágio C (LLM): Verifica a Consistência de Entidade e Extração de Citações. Confere se a evidência recuperada trata da entidade correta e extrai uma citação de suporte literal. Uma incompatibilidade dispara IE.
4. Estágio D (NLI): Realiza a Implicação Local. Utiliza um modelo NLI determinístico (DeBERTa-v3) para verificar se a citação do Estágio C implica a alegação.
   • Implicação $\rightarrow$ sem lacuna.
   • Neutro $\rightarrow$ MB.
   • Contradição $\rightarrow$ CC.
5. Estágio E (NLI): Realiza a Verificação entre Passos. Para passos de conclusão que carecem de uma citação local, verifica se a alegação é implicada por evidências de passos de inferência anteriores. A falha dispara IE.

Integração de Recompensa de Processo

A saída tipada $\tau_i$ é integrada ao GRPO (Otimização de Política Relativa em Grupo) como uma recompensa de processo por passo:

• Recompensa Base ($r_{base}$): Atribui valores escalares baseados no tipo de lacuna (ex: +0,20 para sem lacuna, -0,10 para IE, +0,05 para detectar uma CC).
• Recompensa de Moldagem ($r_{shape}$): Condiciona-se à ação de reparo tomada no passo subsequente. Recompensa a política por realizar o reparo correto (ex: re-pesquisar após IE, retirar após CC) e penaliza ignorar a lacuna ou emitir consultas quase duplicadas.

Contribuições Principais

1. Acoplamento Tipado de Lacuna-Ação: O artigo argumenta que rótulos tipados em nível de passo são úteis apenas quando acoplados a ações de reparo específicas. O StepGap mapeia explicitamente CC, IE e MB para retirada, re-pesquisa e pesquisa de ponte, respectivamente.
2. Decomponibilidade Híbrida vs. Cancelamento Apenas-LLM:
   • Em um benchmark anotado por humanos (181 passos), o StepGap alcança um sF1 de 72,0, estatisticamente indistinguível de uma linha de base apenas-LLM (70,1).
   • No entanto, estudos de ablação revelam uma diferença qualitativa: remover qualquer componente do StepGap reduz o desempenho (decomposição saudável), enquanto remover três dos quatro componentes da linha de base apenas-LLM melhora o desempenho. Isso indica que o sistema apenas-LLM sofre de cancelamento de erros concorrentes, onde estágios internos mascaram os erros uns dos outros, tornando-o inadequado para sinais de RL confiáveis.
3. A Armadilha do Q-F1: Os autores expõem uma falha na métrica onde o F1 em nível de pergunta (Q-F1) é mecanicamente inflado por verificadores que sinalizam cada passo. Um verificador que sinaliza 95% dos passos pode alcançar um Q-F1 próximo ao teto, tendo baixa precisão em nível de passo. O StepGap evita isso equilibrando o F1 em nível de passo (sF1) e a Precisão Balanceada (BA).
4. Eficácia da Recompensa de Processo: Usar o StepGap como uma recompensa GRPO tipada melhora a Correspondência Exata do Qwen2.5-7B-Instruct de 32,1 para 35,4 (através de três sementes) e aumenta o suporte da alegação à resposta para 71,5%.

Resultados

• Desempenho do Verificador: O StepGap alcança sF1=72,0, Q-F1=81,2 e BA=60,6% no benchmark humano de 181 passos. Mantém uma distribuição saudável de tipos de lacuna (IE ~38%, CC ~15%, MB ~6%), enquanto variantes degeneradas (como um único LLM forte) colapsam para sinalizar quase tudo como IE (87,8%), falhando em distinguir tipos de erro.
• Treinamento de RL:
  • Tipado+Moldagem (StepGap com recompensas de moldagem) supera a linha de base Search-R1 GRPO em +5,6 EM Médio (29,8 $\rightarrow$ 35,4).
  • Também supera a linha de base Search-R1 em +10,9 EM no conjunto de dados estritamente fora de domínio MuSiQue.
  • O sinal de recompensa incentiva a política a aumentar a contagem de buscas (de 2,5 para 2,8) e realizar reparos específicos em vez de apenas evitar erros.
• Distilação: Um modelo estudante Qwen2.5-7B destilado retém 87% da pontuação F1 do professor sem exigir chamadas de API durante a inferência, tornando o sistema escalável para execuções longas de RL.

Significado e Alegações

O artigo alega que o StepGap fornece um sinal de processo qualitativamente diferente em comparação com verificadores existentes. Enquanto dois sistemas podem ter intervalos de confiança de F1 sobrepostos, apenas aquele com contribuições de componentes monotônicas (StepGap) é adequado para recompensas de RL tipadas. A abordagem apenas-LLM, apesar de uma precisão agregada similar, depende de cancelamento de erros que obscurece a natureza específica das falhas, tornando-a pouco confiável para treinar políticas a realizar reparos específicos.

Os autores posicionam o StepGap não meramente como um detector melhor, mas como um componente necessário para o treinamento de RAG Agente, permitindo que os modelos aprendam como corrigir cadeias de raciocínio (retirar, re-pesquisar, fazer pontes) em vez de apenas aprender a evitar erros finais. O trabalho destaca a necessidade de diagnósticos em nível de passo sobre métricas em nível de pergunta para evitar a "armadilha do Q-F1" e garantir que as melhorias no treinamento de RL sejam impulsionadas por capacidades de raciocínio genuínas e não por correlações espúrias.

Limitações notadas pelos autores:

• O conjunto de avaliação humana é pequeno (181 passos), levando a intervalos de confiança sobrepostos com as linhas de base; a contribuição é enquadrada em torno de propriedades arquitetônicas (decomponibilidade) e não de uma vitória bruta em F1.
• As magnitudes das recompensas são ajustadas para o Qwen2.5-7B e não transferem zero-shot para o Llama-3.1-8B.
• A detecção de retirada depende de correspondência de padrões superficiais, o que teoricamente poderia ser vulnerável a reward hacking, embora isso não tenha sido observado em execuções de 200 iterações.