Resumo Técnico: Especialistas ou Generalistas? LLMs de Multi-Agentes e Agente Único para Avaliação de Redações

Declaração do Problema

Sistemas de Avaliação Automática de Redação (AES - Automated Essay Scoring) dependem cada vez mais de Modelos de Linguagem de Grande Escala (LLMs), contudo, a literatura carece de clareza sobre como as escolhas arquiteturais — especificamente o equilíbrio entre designs de agente único (monolíticos) e de múltiplos agentes (hierárquicos) — impactam o desempenho em diferentes níveis de qualidade da redação. Enquanto defensores argumentam que a decomposição de tarefas em papéis especializados aumenta a interpretabilidade e o acordo, evidências empíricas permanecem mistas, com alguns estudos sugerindo que estratégias de agente único com few-shot prompting superam fluxos de trabalho complexos de múltiplos agentes. Este estudo aborda a lacuna na compreensão de como essas arquiteturas interagem com a qualidade da redação de forma granular, questionando se o aumento do custo computacional dos sistemas de múltiplos agentes é justificado em toda a distribuição de pontuação.

Metodologia

O estudo realizou uma comparação rigorosa entre arquiteturas de Agente Único e de Múltiplos Agentes utilizando o corpus ASAP 2.0, um conjunto de dados de 24.278 redações argumentativas baseadas em fontes de estudantes do ensino secundário dos EUA (séries 6–10). Os pesquisadores extraíram um conjunto de teste estratificado de 450 redações e um conjunto de calibração separado de 12 redações (2 exemplos por nível de pontuação, 1–6).

Configuração Experimental

Todos os experimentos utilizaram o modelo GPT-5.1 via API da OpenAI sob duas condições de prompting:

1. Zero-Shot: O modelo recebeu apenas a rubrica oficial.
2. Few-Shot: O modelo recebeu a rubrica mais os 12 exemplos de calibração.

Designs Arquiteturais

• Agente Único (Monolítico): O modelo atuou como um especialista único, recebendo a rubrica completa e gerando uma pontuação holística (1–6) e uma justificativa.
• Múltiplos Agentes (Hierárquico): Este sistema decompôs a avaliação em três Agentes Especialistas e um Agente Presidente:
  • Especialistas: Conteúdo (ideias/evidências), Estrutura (organização/coerência) e Linguagem (mecânica/vocabulário). Cada um foi instruído via restrições negativas a ignorar dimensões fora de seu domínio.
  • Agente Presidente (Adjudicador): Recebeu relatórios dos especialistas e aplicou heurísticas baseadas em lógica alinhadas à rubrica em vez de uma simples média. As regras principais incluíram:
    • Regra de Veto: Se qualquer especialista atribuir uma pontuação de 1, a pontuação final é 1.
    • Lógica de Teto (Capping): Se qualquer especialista atribuir uma pontuação de 2, a pontuação final é limitada a 2 ou 3.

Métricas de Avaliação

O desempenho foi medido contra a verdade fundamental humana (ground truth) usando o Kappa de Peso Quadrático (QWK) para penalizar grandes discrepâncias e a Acurácia de Correspondência Exata (porcentagem de previsões que coincidem exatamente com as pontuações humanas).

Principais Resultados

Desempenho Geral

O sistema de Múltiplos Agentes com prompting de Few-Shot alcançou o maior desempenho geral (QWK: 0,7453; Correspondência Exata: 57,11%), superando a linha de base de Agente Único com Few-Shot (QWK: 0,7165; Correspondência Exata: 54,00%) por uma margem pequena.

Impacto da Calibração Few-Shot

A calibração few-shot emergiu como o fator dominante para ambas as arquiteturas. Fornecer apenas dois exemplos por nível de pontuação melhorou o QWK em aproximadamente 26% para ambos os sistemas:

• Agente Único: O QWK aumentou de 0,5664 (Zero-Shot) para 0,7165.
• Múltiplos Agentes: O QWK aumentou de 0,5917 (Zero-Shot) para 0,7453.

Desempenho por Nível de Pontuação

A análise granular revelou forças e fraquezas distintas:

• Redações de Baixa Qualidade (Pontuações 1–2): O sistema de Múltiplos Agentes superou significativamente o sistema de Agente Único. Para a Pontuação 1, o sistema de Múltiplos Agentes com Few-Shot alcançou 73,3% de acurácia contra 46,7% do Agente Único. Isso é atribuído às regras de veto e teto do Agente Presidente, que penalizam efetivamente deficiências críticas em qualquer dimensão.
• Redações de Médio Porte (Pontuações 3–4): O sistema de Agente Único demonstrou desempenho superior ou competitivo. Para a Pontuação 4, o Agente Único com Few-Shot alcançou 61,2% de acurácia comparado a 57,3% do de Múltiplos Agentes. Os autores sugerem que a visão holística do agente único permite uma pontuação compensatória implícita (equilibrando pontos fortes e fracos) que os agentes especialistas, limitados por domínios estreitos, não conseguem replicar.
• Redações de Alta Qualidade (Pontuações 5–6): Ambas as arquiteturas tiveram dificuldades significativas. Para a Pontuação 5, as melhores configurações alcançaram apenas 30,8% de acurácia. Para a Pontuação 6 (apenas 3 redações no conjunto de teste), ambas as configurações few-shot identificaram corretamente apenas 1 redação (33,3%). O sistema de Múltiplos Agentes mostrou um viés conservador, frequentemente subestimando pontuações altas devido à sua lógica de teto.

Principais Contribuições

O artigo traz três contribuições primárias para o campo de AES e sistemas de LLM de múltiplos agentes:

1. Comparação Empírica de Arquiteturas: Fornece uma análise granular mostrando que a escolha arquitetural molda fundamentalmente os padrões de desempenho de formas que as métricas agregadas (como o QWK geral) obscurecem. Demonstra que nenhuma arquitetura domina universalmente; pelo contrário, elas exibem forças complementares baseadas na qualidade da redação.
2. Design de Múltiplos Agentes Inovador: O estudo introduz um framework de múltiplos agentes combinando decomposição de domínio com regras de agregação baseadas em lógica (veto e teto) alinhadas às rubricas oficiais, indo além de simples mecanismos de votação ou média.
3. Orientação de Implementação: Oferece insights práticos indicando que a calibração few-shot é essencial para ambas as arquiteturas, que os sistemas de múltiplos agentes incorrem em custos computacionais 4x maiores (quatro chamadas de API por redação) para ganhos marginais totais, e que ambos os sistemas têm dificuldade com redações excepcionais.

Significância e Implicações

Os autores concluem que a seleção da arquitetura deve ser impulsionada por prioridades específicas de implementação, em vez de apenas métricas gerais:

• Sistemas de Múltiplos Agentes: São mais adequados para triagem diagnóstica e identificação de alunos em risco (redações de baixa qualidade), onde a detecção de deficiências críticas é primordial. Eles também oferecem maior interpretabilidade através de feedback específico por dimensão. No entanto, trazem custos mais elevados e um viés conservador contra pontuações altas.
• Sistemas de Agente Único: Fornecem uma solução de baixo custo para avaliação geral, particularmente para redações de nível médio onde existem compensações (trade-offs) sutis. São mais eficientes, mas carecem da profundidade diagnóstica e da robustez para sinalizar trabalhos de baixa qualidade.

O estudo enfatiza que a calibração few-shot é um requisito de implementação crítico, observando que os ganhos substanciais de desempenho com um pequeno número de exemplos tornam este um investimento necessário para a eficácia do sistema. Finalmente, os autores reconhecem limitações quanto à generalização do conjunto de dados e a necessidade de pesquisas futuras sobre mitigação de viés e a avaliação da interpretabilidade do feedback de múltiplos agentes.