MADRAG: Multi-Agent Debate with Retrieval-Augmented Generation for Training-Free Analytic Essay Scoring

Resumo Técnico: MADRAG para Pontuação Analítica de Ensaios sem Treinamento

Definição do Problema
A Pontuação Automatizada de Ensaios (AES - Automated Essay Scoring) enfrenta um compromisso persistente entre flexibilidade e confiabilidade. Sistemas supervisionados tradicionais alcançam alta confiabilidade, mas exigem dados de treinamento específicos para cada nova proposta e rubrica, limitando sua adaptabilidade em ambientes de sala de aula dinâmicos. Por outro lado, abordagens de Grandes Modelos de Linguagem (LLMs) sem treinamento oferecem flexibilidade, mas sofrem de má calibração, sensibilidade ao design de prompts e vieses sistemáticos — notadamente um "viés de pontuação média", onde os modelos regridem para o centro da escala de pontuação, falhando em distinguir claramente entre entradas excepcionais e fracas. Além disso, as abordagens padrão de "LLM como juiz" frequentemente carecem do raciocínio estruturado necessário para uma pontuação de traços analíticos confiável (avaliando dimensões como ideias, organização e convenções separadamente), levando a um feedback inconsistente.

Metodologia: Estrutura MADRAG
Os autores propõem o MADRAG (Multi-Agent Debate with Retrieval-Augmented Generation), uma estrutura totalmente livre de treinamento projetada para aproximar-se da confiabilidade de nível humano sem ajuste fino supervisionado. O sistema decompõe o processo de pontuação em dois mecanismos complementares:

1. Debate Multiagente (MAD):

   • Advogado (Advocate): Um agente que analisa o ensaio e a rubrica para gerar um argumento focado exclusivamente nas forças do ensaio.
   • Cético (Skeptic): Um agente que revisa o argumento do Advogado e a rubrica para gerar uma refutação focada exclusivamente nas fraquezas.
   • Juiz (Judge): Um agente imparcial que sintetiza a transcrição do debate, a rubrica e as pontuações de confiança (derivadas da log-probabilidade do primeiro token gerado pelo Advogado e pelo Cético) para produzir uma pontuação inteira final.
   • Esta estrutura força uma deliberação explícita, impedindo que o modelo dependa de uma única intuição potencialmente enviesada.

2. Geração Aumentada por Recuperação (RAG):

   • Antes da pontuação, o Juiz recupera ensaios exemplares alinhados à rubrica de um banco de dados vetorial.
   • A recuperação é específica por traço: para um determinado traço (ex: "Organização"), o sistema recupera um exemplar para cada valor de pontuação possível dentro do intervalo válido.
   • Esses exemplares servem como uma referência de calibração de "poucos disparos" (few-shot), fundamentando a decisão do Juiz em exemplos concretos do que constitui uma pontuação de 1, 2, 3, etc., em vez de depender de representações internas abstratas.

O fluxo de trabalho é orquestrado por um agente Supervisor que decompõe a rubrica, gerencia a recuperação de exemplos few-shot para cada traço e coordena o debate entre o Advogado, o Cético e o Juiz.

Principais Contribuições

• Pontuação de Alto Desempenho Sem Treinamento: O MADRAG demonstra que um sistema sem atualizações de parâmetros ou ajuste fino supervisionado pode alcançar uma confiabilidade de pontuação por traço comparável aos modelos de AES supervisionados de última geração.
• Calibração via Memória Externa: O artigo identifica que a recuperação de exemplares calibrados por pontuação é o principal motor para mitigar o viés de pontuação média, permitindo que o modelo distinga efetivamente pontuações extremas.
• Raciocínio Estruturado para Traços Complexos: O mecanismo de debate multiagente mostra-se capaz de melhorar o raciocínio em traços de nível superior e orientados ao discurso (ex: Ideias, Organização) ao incentivar a síntese de pontos de vista conflitantes.
• Ablação de Componentes: O estudo isola as contribuições específicas da decomposição, do debate e da recuperação, mostrando que, embora a recuperação impulsione a calibração, o debate refina o raciocínio em traços complexos, embora possa introduver ruído para a contagem de erros de nível superficial.

Resultados Experimentais
Avaliado no conjunto de dados ASAP (Conjuntos de Ensaios 7 e 8), o MADRAG foi comparado contra bases supervisionadas (ex: ProTACT, FeatEng-RF) e bases de LLM sem treinamento (ex: ZS-LLM, CSR-J).

• Desempenho Geral: O MADRAG supera significativamente todas as abordagens anteriores sem treinamento. No traço "Ideias", o MADRAG (usando GPT-5) alcançou um Kappa de Peso Quadrático (QWK) de 0,75 no Conjunto 7, superando o modelo supervisionado ProTACT (0,50) e excedendo o acordo Humano-Humano (0,69).
• Dependência de Traço: Os ganhos foram mais pronunciados em traços orientados ao discurso (Ideias, Organização), onde o MADRAG frequentemente igualou ou superou sistemas supervisionados. O desempenho em traços de nível superficial (ex: Convenções, Escolha de Palavras) mostrou melhorias mais modestas e maior variância, sugerindo que estruturas de debate otimizadas para argumentação holística são menos eficazes para a contagem de erros mecânicos específicos.
• Mitigação de Viés: Em uma análise de ensaios com pontuações humanas extremas (mínimas ou máximas), o MADRAG alcançou o maior acordo (Agree@1) e o menor Erro Médio Absoluto (MAE). Estudos de ablação confirmaram que a recuperação foi o fator dominante na redução do viés de pontuação média (MARAG superou o MAD), enquanto o debate forneceu refinamento adicional sobre a recuperação.
• Análise de Erros: A análise qualitativa dos modos de falha revelou que os erros mais comuns foram "captura de enquadramento do debate" (32,7%) e "distorção de anonimização" (26,9%), onde o modelo interpretou incorretamente marcadores de posição (ex: @PESSOA) como erros. A maioria dos erros foi "parcialmente fundamentada", significando que a justificativa parecia consistente com a rubrica, mas carecia de evidência textual decisiva.

Significância e Alegações
O artigo afirma que o MADRAG ilustra como frameworks híbridos de LLM podem combinar a flexibilidade da pontuação baseada em prompts com a confiabilidade de sistemas supervisionados. Ao integrar o raciocínio adversarial com memória externa (recuperação de exemplares), a estrutura produz avaliações por traço interpretáveis e calibradas sem a necessidade de dados de treinamento específicos para a tarefa.

Os autores enfatizam que, embora o MADRAG não exija atualizações de parâmetros, ele não é "isento de dados", pois depende de um banco de ensaios pontuados manualmente para a recuperação. No entanto, o requisito de dados é significativamente menor do que o de modelos supervisionados. O trabalho destaca o papel crítico da interação estruturada (debate) e da memória externa (recuperação) para superar as limitações inerentes de calibração e consistência de juízes de LLM de agente único.

Limitações
Os autores reconhecem que seus resultados são limitados a ensaios narrativos de contextos de ensino fundamental e médio (ASAP Conjuntos 7 e 8) e podem não se transferir totalmente para outros gêneros, idiomas ou estruturas de rubrica. Adicionalmente, o sistema é computacionalmente mais exigente do que o prompting de agente único devido às múltiplas chamadas de LLM e etapas de recuperação por traço. Por fim, a presença de marcadores de anonimização no conjunto de dados introduziu vieses específicos para traços de nível superficial, um desafio que pode persistir em implementações do mundo real.