Resumo Técnico: Treinamento Interativo de Crítica e Revisão para Geração Estruturada Confiável de LLMs

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) demonstram capacidades robustas em geração aberta, mas permanecem frágeis em fluxos de trabalho complexos de tomada de decisão estruturada, como preenchimento de formulários, verificação de conformidade e relatórios de manutenção. Nesses domínios, as saídas devem ser localmente corretas, globalmente consistentes e auditáveis contra regras específicas. Métodos de refinamento existentes frequentemente dependem de debates heurísticos, auto-jogo ou supervisão gerada por LLMs, o que introduz um "problema de garantia de segunda ordem": o próprio verificador requer avaliação. Um verificador recompensado por encontrar erros pode gerar objeções persuasivas, mas com fundamentação fraca, enquanto um gerador pode tanto supercorrigir saídas precisas quanto ignorar feedback útil. Além disso, as abordagens multiagente atuais frequentemente tratam o debate como um mecanismo de prompting em vez de um paradigma de treinamento específico de função, carecendo de uma estrutura sistemática para treinar conjuntamente agentes com evidências de garantia estruturada.

Metodologia: DPA-GRPO

Os autores propõem o DPA-GRPO (Otimização de Política Relativa a Grupo de Ação Pareada Dual), uma estrutura baseada em teoria dos jogos para treinar um jogo de Markov de dois jogadores entre um Gerador e um Verificador.

O Jogo Gerador-Verificador

A interação é modelada como um jogo de horizonte finito onde o Gerador propõe saídas para unidades de decisão estruturadas (por exemplo, linhas de formulários fiscais). O Verificador observa a proposta e escolhe entre duas ações:

1. NS (Sem-CAS): Permanecer em silêncio, aceitando a proposta.
2. CAS (Caso de Garantia de Segurança): Levantar uma intervenção estruturada contendo uma Alegação, um Argumento e Evidência (seguindo a metodologia de caso de segurança) para desafiar a proposta.

Se um CAS for levantado, o Gerador deve escolher entre:

1. MANTER: Submeter a proposta original.
2. REVISAR: Submeter uma nova candidata de revisão.

Mecanismo de Treinamento

O DPA-GRPO constrói grupos de ações contrafactuais pareadas em cada unidade de decisão para treinar ambos os agentes simultaneamente usando recompensas específicas de função e Otimização de Política Relativa a Grupo (GRPO) regularizada por KL:

• Pares do Verificador: {CAS, NS}. O verificador é recompensado por levantar CASs em propostas incorretas e permanecer em silêncio em propostas corretas.
• Pares do Gerador: {MANTER, REVISAR} (condicional a um CAS ter sido levantado). O gerador é recompensado por selecionar a ação (manter a original ou revisar) que leva à saída final correta.

O treinamento utiliza um oráculo de recompensa para determinar a correção ($S_x$ para a proposta inicial, $S_z$ para a revisão). Os objetivos são regularizados com termos de divergência KL contra políticas de referência congeladas para evitar deriva de política instável. A função de perda para cada função é um objetivo contrastivo, semelhante a preferências, derivado das vantagens normalizadas por grupo das ações pareadas.

Análise Teórica

O artigo analisa a dinâmica do jogo para estabelecer condições para Equilíbrios de Nash Locais.

• Jogo Não Regularizado: Os autores mostram que, se um agente atribuir probabilidade positiva a ações estritamente de menor recompensa (por exemplo, um verificador perdendo um erro ou um gerador fazendo uma revisão prejudicial), existe um desvio unilateral lucrativo.
• Jogo Regularizado por KL: Sob suposições padrão de aproximação estocástica, as atualizações do DPA-GRPO rastreiam a Equação Diferencial Ordinária (EDO) do jogo. Os pontos limite assintoticamente estáveis isolados desta EDO correspondem a pontos estacionários onde os agentes são localmente ótimos para suas recompensas específicas de função, suprimindo efetivamente ações subótimas através de probabilidades de ação dependentes da lacuna de recompensa.

Contribuições Principais

1. Formulação: Os autores formulam a validação de LLMs estruturados como um jogo de Markov de dois jogadores onde intervenções do verificador são expressas como Casos de Garantia de Segurança (CAS) estruturados contendo alegações, argumentos e evidências.
2. Algoritmo: Eles propõem o DPA-GRPO, um método de treinamento de ação pareada dual que constrói comparações contrafactuais CAS/Sem-CAS e Manter/Revisar. Isso permite o treinamento paralelo tanto da política de intervenção do verificador quanto da política de revisão do gerador usando políticas condicionais à função.
3. Estrutura Teórica: O artigo desenvolve uma taxonomia de casos interpretável (8 casos) conectando sinais de treinamento a condições de Nash local e dinâmicas de aproximação estocástica, fornecendo uma maneira fundamentada de diagnosticar comportamentos de interação.
4. Avaliação Empírica: O método é avaliado no TaxCalcBench TY24, um benchmark de preenchimento de formulários fiscais estruturados.

Resultados Experimentais

Os experimentos foram conduzidos usando os backbones Qwen3-4B e Qwen3-8B, comparando o DPA-GRPO com geração zero-shot e baselines de RL de agente único apenas gerador (GRPO, DAPO, GSPO).

• Precisão: O DPA-GRPO alcançou a maior precisão no conjunto de teste em ambos os tamanhos de modelo (0,53 para Qwen3-4B e 0,57 para Qwen3-8B), superando as baselines zero-shot e os métodos de RL apenas gerador.
• Dinâmica da Taxonomia de Casos: A análise das transições de unidades de decisão revelou melhorias comportamentais específicas:
  • Aumento do Caso 1 (Correto/Silencioso): A frequência de propostas corretas aceitas sem intervenção aumentou significativamente (por exemplo, de 27,4% para 42,4% para Qwen3-4B), indicando que o gerador aprende a produzir saídas iniciais de maior qualidade.
  • Redução do Caso 4 (Erros Perdidos): A taxa de propostas incorretas que o verificador falhou em detectar diminuiu substancialmente (por exemplo, de 55,3% para 37,2%), demonstrando sensibilidade aprimorada do verificador.
  • Melhoria do Caso 6a (Rejeição Calibrada): O gerador aprendeu a rejeitar más revisões quando um CAS foi levantado (aumentando de 9,3% para 16,6%), mostrando que não segue cegamente os desafios do verificador, mas calibra suas decisões de Manter/Revisar.

Significado e Alegações

O artigo alega que o DPA-GRPO fornece uma solução fundamentada para garantia baseada em caso de segurança em fluxos de trabalho de LLMs estruturados. Seu significado reside em:

• Ir além do debate heurístico: Estabelece um paradigma de treinamento onde agentes são co-adaptados através de interações estruturadas e verificáveis, em vez de apenas prompting ou escalonamento no tempo de teste.
• Interpretabilidade: Ao usar CASs (Alegação-Argumento-Evidência), o sistema fornece registros auditáveis de por que uma saída foi desafiada ou aceita, tornando as objeções interpretáveis.
• Melhoria Dual: O quadro melhora tanto a capacidade do gerador de produzir propostas iniciais corretas quanto a capacidade do verificador de detectar erros e orientar revisões, em vez de depender exclusivamente de aprendizado por reforço no lado do gerador.
• Fundamentação Teórica: Conecta os sinais de treinamento práticos a conceitos de equilíbrio da teoria dos jogos, oferecendo uma base teórica para por que a interação converge para comportamentos coletivos desejados.

Os autores notam limitações, reconhecendo que o método incorre em custos computacionais mais altos devido ao treinamento de dois agentes e depende de rótulos de verdade fundamental determinísticos no benchmark atual. Eles enfatizam que, embora os CASs melhorem a auditabilidade, eles não constituem garantias formais de correção ou segurança em cenários de alto risco sem revisão de especialistas.