Resumo Técnico: SEVA – Agente de Verificação Autoevolutivo com Recompensa de Processo

1. Definição do Problema

Os agentes de Large Language Model (LLM) enfrentam um gargalo crítico de confiabilidade: a alucinação. Embora os verificadores de atribuição de fatos sirvam como uma camada de segurança para determinar se as afirmações de um agente são sustentadas por documentos de origem, as soluções existentes (ex: MiniCheck, ClearCheck) sofrem de uma limitação fundamental: elas emitem apenas rótulos binários opacos (Verdadeiro/Falso).

Essa opacidade cria duas falhas distintas em implantações de alto risco:

1. Falta de Autocorreção: Quando um verificador sinaliza uma afirmação, o agente não consegue determinar por que ela está errada (ex: se um número foi inflacionado, uma entidade foi trocada ou um qualificador foi fabricado), impedindo a correção autônoma.
2. Lacuna de Auditabilidade: Operadores humanos não podem auditar significativamente a decisão porque o raciocínio por trás do rótulo é invisível.

Além disso, treinar tais verificadores estruturados via Reinforcement Learning (RL) usando recompensas binárias padrão falha. Quando aplicadas a saídas de múltiplos componentes (ex: JSON com alinhamentos, raciocínio e rótulos), as recompensas binárias causam o colapso de vantagem no Group Relative Policy Optimization (GRPO). Como a maioria das respostas em um grupo de treinamento recebe uma recompensa de 0 (devido a erros de parsing ou um único componente errado), a variância dentro do grupo desaparece, fazendo com que o gradiente da política se desvaneça e o treinamento estagne.

2. Metodologia

2.1. Esquema de Verificação Estruturada (SEVA)

O SEVA é projetado para produzir uma saída estruturada e auditável $v = (A, C, y, \gamma, e, s)$ em vez de um único rótulo:

• Alinhamento de Evidência ($A$): Triplas que mapeiam trechos da afirmação para trechos da fonte com status (correspondência, incompatibilidade, não encontrado).
• Cadeia de Raciocínio ($C$): Rastreamento lógico passo a passo da verificação contra a evidência da fonte.
• Rótulo e Confiança ($y, \gamma$): Um rótulo de atribuição binário acompanhado de confiança calibrada.
• Diagnóstico de Erro ($e, s$): Se a afirmação for inatribuível, o modelo identifica um de seis tipos de erro (exagero numérico, inversão de negação, inflação de escopo, mudança temporal, substituição de entidade, fabricação) e sugere uma correção.

2.2. Mecanismo de Recompensa de Processo

Para superar o colapso de vantagem das recompensas binárias, os autores introduzem uma função de Recompensa de Processo $R$ que decompõe a qualidade da verificação em cinco componentes independentes mais um termo de calibração:
$$R = \underbrace{w_f R_f + w_a R_a + w_c R_c}_{\text{Processo (70\%)}} + \underbrace{w_l R_l + w_d R_d}_{\text{Resultado (30\%)}} + R_{cal}$$

• Componentes:
  • $R_f$: Validade de formato (parsing de JSON).
  • $R_a$: Qualidade de alinhamento (fundamentação).
  • $R_c$: Qualidade da cadeia de raciocínio (lógica passo a passo).
  • $R_l$: Correção do rótulo.
  • $R_d$: Precisão do diagnóstico de erro.
  • $R_{cal}$: Termo de calibração assimétrico (recompensa a correção confiante, penaliza o erro excessivamente confiante).
• Ponderação: Os componentes de processo (formato, alinhamento, raciocínio) são ponderados em 70%, enquanto os componentes de resultado (rótulo, diagnóstico) são ponderados em 30%. Isso força o agente a dominar o comportamento da verificação antes de otimizar o resultado.
• Justificativa Teórica: Os autores provam (Proposição 1 & 2) que recompensas binárias em geração de múltiplos componentes levam a variância zero em grupos GRPO, enquanto recompensas de processo mantem variância não nula ao desacoplar as pontuações dos componentes, garantindo um gradiente não evanescente.

2.3. Pipeline de Treinamento

1. Fine-Tuning Supervisionado (SFT): Um modelo 3B (Qwen2.5) é ajustado em 4.992 exemplos estruturados anotados pelo GPT-4o-mini.
2. GRPO com Recompensa de Processo: O modelo SFT passa por 350 passos de treinamento GRPO. A recompensa de processo restaura o gradiente, permitindo que o modelo melhore a qualidade estrutural e a precisão simultaneamente.
3. Loop de Autoevolução: Um loop Verificar $\rightarrow$ Refletir $\rightarrow$ Sondar $\rightarrow$ Refinar é implementado.
   • Refletir: Agrega diagnósticos de erro para identificar categorias fracas.
   • Sondar: Gera dados adversários direcionados para essas categorias fracas.
   • Refinar: Realiza o ajuste fino do modelo nos novos dados.
   • Este loop foi iterado quatro vezes em uma variante de 7B.

3. Resultados Principais

3.1. Desempenho e Qualidade Estrutural

• Acurácia: O SEVA-3B treinado com recompensa de processo atinge 69.0 F1 no benchmark ClearFacts, igualando o GPT-4o-mini (69.8 F1) e superando significativamente a linha de base SFT (64.9 F1).
• Confiabilidade Estrutural: A recompensa de processo impulsiona a conformidade de formato de 72% (SFT) para 100% e a qualidade de alinhamento de 0.917 para 0.997.
• Comparação: Embora verificadores binários como o MiniCheck-7B alcancem maior acurácia bruta (81.2 F1), eles o fazem com saídas binárias. O SEVA iguala o desempenho de modelos grandes enquanto fornece o substrato auditável (alinhamentos, raciocínio, correções) necessário para implantações de segurança crítica.

3.2. Dinâmica de Treinamento: Currículo Implícito

A recompensa de processo induz um currículo implícito:

• Fase 1 (Passos 0–150): O agente domina o comportamento de verificação (formato, alinhamento, cadeias de raciocínio).
• Fase 2 (Passos 150–350): O agente refina os resultados da verificação (pontuação F1).
  Isso ocorre sem agendamento explícito, impulsionado pela ponderação de recompensa de 70/30.

3.3. Autoevolução e Especialização

O refinamento iterativo via loop de autoevolução revelou um achado estrutural: especialização, não generalização.

• Cada rodada de refinamento produziu um especialista em benchmark em vez de um generalista estritamente melhor.
• Troca (Trade-off): As rodadas 2–4 melhoraram o desempenho no HaluEval (+14.9 pp), mas degradaram o desempenho no TruthfulQA (−12.4 pp).
• Esse efeito persistiu mesmo com 4x mais dados de treinamento (Rodada 4), indicando que é um fenômeno induzido pela distribuição de dados, e não overfitting. A saída estruturada foi essencial para expor essa dinâmica por categoria, que a acurácia agregada esconderia.

3.4. Estudos de Ablação

• Falha da Recompensa Binária: Substituir a recompensa de processo pela binária no GRPO resultou em <65 F1 e nenhuma melhoria estrutural, confirmando que recompensas binárias causam a estagnação do treinamento devido ao colapso de vantagem.
• Sensibilidade da Recompensa: Uma divisão 70/30 (processo/resultado) rendeu o melhor equilíbrio; deslocar demais para os resultados degradou a qualidade estrutural, enquanto deslocar demais para o processo reduziu a acurácia do rótulo.

4. Significância e Alegações

O artigo reivindica três contribuições primárias:

1. Agente SEVA: Um verificador estruturado que iguala a acurácia do GPT-4o-mini enquanto produz saída auditável e diagnóstica (alinhamentos, raciocínio, correções de erro) necessária para a confiança humano-no-loop.
2. Solução de Recompensa de Processo: Uma resolução formal para o problema de "colapso de vantagem" em RL para geração de múltiplos componentes. Os autores argumentam que, para qualquer tarefa de RL com geração de múltiplos componentes, a granularidade da recompensa deve corresponder à granularidade da saída.
3. Insight Estrutural sobre Autoaperfeiçoamento: A descoberta de que loops de autorrefinamento iterativos, quando impulsionados por sondagens adversárias direcionadas, tendem a produzir especialistas em vez de generalistas. Isso desafia a suposição de melhoria monotônica comum na literatura de Self-Refine e STaR.

Os autores concluem que a decomposição em cinco componentes é um "ativo de duplo uso": extrai múltiplos gradientes por resposta (permitindo o aprendizado) e expõe dinâmicas por categoria (permitindo a descoberta de especialização). Eles sugerem que futuros pipelines de agentes confiáveis devem priorizar respostas arquiteturais (ex: roteamento por domínio) em vez de simplesmente adicionar mais rodadas de treinamento para alcançar a generalização.