Resumo Técnico: Treinamento de Intervenção com Diagnóstico de Evidência (EDIT) para Graduação de LLM Fiel a Regras

1. Declaração do Problema

A graduação confiável de respostas de exames de estudantes é uma tarefa complexa de aplicação de regras que exige mais do que a previsão precisa da pontuação final. Um graduador deve fundamentar cada julgamento na escala de pontuação explícita e em evidências específicas da resposta do aluno. Embora os Grandes Modelos de Linguagem (LLMs) estejam sendo cada vez mais implantados como graduadores automáticos, treiná-los para graduar de forma confiável continua sendo um desafio.

Abordagens existentes enfrentam limitações significativas neste domínio:

• Aprendizado por Reforço (RL) baseado em resultados: Métodos como o GRPO atribuem uma única recompensa a toda a trajetória de raciocínio. Eles falham em identificar qual etapa específica do raciocínio intermediário causou uma marca incorreta, tornando difícil corrigir o processo de decisão do modelo.
• Métodos de Raciocínio Autocontidos: Técnicas projetadas para tarefas como matemática (ex: realocação de tokens ou treinamento de estilo intervenção) têm dificuldade aqui porque a graduação por rubrica exige fundamentação externa. O modelo deve ancorar seus julgamentos a uma política externa (a rubrica) e ao texto do aluno, em vez de depender apenas da consistência lógica interna.
• Redução de Incerteza: O raciocínio baseado em regras é um processo de redução de incerteza. A crença do modelo sobre a marca final deve convergir progressivamente. Os métodos atuais não controlam essa trajetória; o RL baseado apenas em resultados ignora mudanças de crença prejudiciais que ocorrem no meio do raciocínio, enquanto restrições rígidas ao nível de token podem penalizar excessivamente frases exploratórias benignas.

2. Metodologia: Estrutura EDIT

Os autores propõem o Treinamento de Intervenção com Diagnóstico de Evidência (EDIT), uma estrutura de duas fases projetada para treinar graduadores de LLM fiéis a rubricas. O EDIT utiliza os sinais de decisão internos do modelo para localizar falhas, revisá-las localmente e calibrar a evolução da crença do modelo durante o raciocínio.

Fase 1: EDIT-SFT (Ajuste Fino Supervisionado com Diagnósticos de Estado Interno)

Esta fase constrói um pool de treinamento supervisionado revisando partes pequenas e locais de trajetórias de raciocínio incorretas. Ela substitui as autoauditorias baseadas em prompts pouco confiáveis por Diagnósticos de Estado Interno.

1. Extração de Sinal de Estado Interno:
   • Sonda de Crença Posterior: Em cada limite de etapa de raciocínio, o modelo estima sua crença posterior sobre a marca inteira final. A mudança no erro absoluto esperado ($\Delta \epsilon_k$) entre as etapas identifica se uma etapa moveu a crença para mais perto ou para mais longe da marca de ouro (gold mark).
   • Auditoria de Fundamentação Baseada em Máscara: O sistema computa pontuações de suporte para medir o quanto a verossimilhança de uma etapa de raciocínio depende das regras de marcação, da resposta do aluno e do prefixo de raciocínio. Etapas com pontuações de fundamentação baixas (fracamente ancoradas em evidências ou regras) são sinalizadas.
2. Seleção de Candidatos: O sistema seleciona etapas que mais fortemente afastaram a crença do modelo da marca de ouro (negativa $\Delta \epsilon_k$) e que são fracamente fundamentadas.
3. Revisão Atômica: As etapas selecionadas são revisadas em 1 a 3 novas subetapas. Esta revisão é guiada por um checklist de rubrica (gerado usando a marca de ouro como contexto privilegiado durante o treinamento), mas é restringida pela localidade. A revisão deve corrigir o erro local sem destruir a coerência da cadeia de raciocínio original ou simplesmente copiar a resposta de ouro.
4. Treinamento: Revisões bem-sucedidas que levam à marca correta são agregadas com execuções (rollouts) naturalmente corretas para treinar a política via SFT.

Fase 2: EDIT-RL (Aprendizado por Reforço com Modelagem de Recompensa Guiada pela Crença)

Esta fase calibra a política treinada via SFT usando a Otimização de Política Relativa ao Grupo (GRPO), aumentada com um mecanismo específico de modelagem de recompensa.

• Recompensa de Resultado Sensível à Distância: Uma recompensa densa é atribuída com base na distância entre a marca prevista e a marca de ouro.
• Modelagem de Recompensa Guiada pela Crença: Para gerenciar o processo de redução de incerteza, uma penalidade é adicionada para grandes derivas de crença no meio da trajetória. A função de recompensa penaliza o modelo se sua crença posterior em qualquer etapa intermediária desviar demais da marca de ouro (além de um limiar de tolerância $\beta_{drift}$), enquanto permite pequenas flutuações para exploração benigna.
• Implementação: A sonda de posterior usada para a modelagem é executada em um checkpoint congelado da política EDIT-SFT para manter um sinal estacionário e evitar o reward hacking.

3. Principais Contribuições

O artigo descreve três contribuições primárias:

1. Estrutura EDIT: Uma nova estrutura de treinamento de duas fases que adapta a atribuição de crédito para graduação por rubrica com fundamentação externa, indo além das tarefas de raciocínio de sistemas fechados.
2. Diagnósticos de Estado Interno: A substituição de autoauditorias baseadas em prompts por sinais robustos de crença posterior e fundamentação para localizar etapas de raciocínio falhas. Isso é acoplado ao contexto de checklist de rubrica para apoiar revisões atômicas locais sem impor templates de saída rígidos.
3. Modelagem de Recompensa Guiada pela Crença: Um mecanismo de RL de calibração que penaliza derivações severas de crença no meio da trajetória, enquanto tolera a exploração benigna, melhorando assim a precisão da graduação e a generalização fora do domínio (out-of-domain).

4. Resultados Experimentais

Os autores avaliaram o EDIT em dois benchmarks do mundo real de múltiplos assuntos: SAS (um benchmark de pontuação de respostas curtas chinesas com História, Geografia e Física) e Private-Science (um conjunto de dados proprietário de nível GCSE para Biologia e Física).

• Desempenho: O EDIT superou consistentemente as bases fortes, incluindo SFT padrão, GRPO, DGPO e InT (Treinamento de Intervenção), em divisões de dentro do domínio (ID) e fora do domínio (OOD).
  • No benchmark SAS (totalmente OOD), o EDIT-RL alcançou o melhor macro-QWK médio (0,794), superando significativamente o modelo base (0,727) e outros baselines de RL.
  • No Private-Science, o EDIT-SFT mostrou ganhos constantes em ambas as divisões ID e OOD, enquanto outros métodos (como InT-RL) mostraram sinais de sobreajuste (overfitting) a tipos específicos de questões no cenário OOD.
• Estudos de Ablação:
  • A remoção do localizador de sinal interno causou a maior queda de desempenho, confirmando que selecionar as etapas corretas para revisão é crítico.
  • A remoção do contexto de checklist de rubrica aumentou a variância no comportamento de graduação.
  • A remoção das restrições de localidade atômica resultou em uma leve degradação, sugerindo que preservar a estrutura original do raciocínio é benéfico.
  • Aplicar o EDIT-RL diretamente ao modelo base não produziu as mesmas melhorias de OOD que aplicar após o EDIT-SFT, indicando que a fase de SFT é um pré-requisito necessário para uma calibração eficaz guiada pela crença.

5. Significância e Alegações

O artigo alega que o EDIT aborda uma lacuna específica na graduação automatizada: a necessidade de que os modelos não apenas prevejam uma pontuação, mas o façam através de um processo de raciocínio que seja fiel às regras externas e fundamentado nas evidências do aluno.

• Fidelidade à Regra: Os autores demonstram que o EDIT melhora a "Razão de Sensibilidade à Regra" (RSR), mostrando que as mudanças na pontuação do modelo refletem de forma mais precisa edições determinísticas na escala de pontuação em comparação com os modelos de base.
• Generalização: A modelagem de recompensa guiada pela crença é alegada ser particularmente eficaz para a generalização fora do domínio, pois evita que o modelo desenvolva trajetórias de raciocínio instáveis ao encontrar questões não vistas.
• Mudança Metodológica: O trabalho argumenta por uma mudança da otimização baseada apenas no resultado para um treinamento consciente do processo que monitora e corrige a trajetória de decisão interna do graduador.

Os autores mantêm uma postura modesta, observando que, embora o EDIT supere significativamente os baselines, o desempenho varia por disciplina (por exemplo, Geografia mostrou tendências diferentes de História ou Física), sugerindo que diferentes disciplinas podem se beneficiar de diferentes formas de adaptação. A estrutura é apresentada como uma solução robusta para treinar graduadores fiéis a rubricas em ambientes educacionais do mundo real de múltiplos assuntos.