Resumo Técnico: Desempenho de LLMs em um Benchmark de GCSE Real e de Dupla Marcação

Definição do Problema

Escolas e bancas examinadoras enfrentam uma carga de trabalho significativa na avaliação manual de exames de estudantes, particularmente para exames nacionais de alto risco como os GCSEs do Reino Unido (realizados por volta dos 16 anos). Embora a correção automatizada de ensaios tenha evoluído de sistemas baseados em características para abordagens neurais, os benchmarks existentes carecem da complexidade das provas do mundo real. A maioria dos exames escolares abrange múltiplas disciplinas, inclui equações e diagramas manuscritos e requer processamento multimodal. Estudos anteriores indicam que LLMs prontos para uso (off-the-shelf) frequentemente têm dificuldade com esses inputs multimodais e desordenados, e historicamente ficaram aquém de sistemas específicos para a tarefa em benchmarks padrão. A questão central abordada é se LLMs comercialmente disponíveis, operando sob um prompt genérico com esforço de raciocínio mínimo, podem servir como "segundos corretores" confiáveis em diversos tipos de resposta (texto digitado, trabalho manuscrito e diagramas) em comparação com o consenso de examinadores humanos.

Metodologia

Os autores introduzem um novo conjunto de dados de benchmark composto por 32.534 respostas de estudantes com dupla marcação em 328 questões em cinco disciplinas: Língua Inglesa, Matemática, Biologia, Química e Física.

• Composição dos Dados: O conjunto de dados inclui tanto texto digitado quanto escrita à mão livre/desenhos capturados como traços (strokes). Aproximadamente 15,3% do total das respostas contêm input manuscrito, sendo a Matemática a que possui a maior proporção (44,1%).
• Verdade de Referência (Ground Truth): Cada resposta foi independentemente marcada por dois examinadores qualificados de acordo com os esquemas de correção publicados. O nível "Higher" foi utilizado para Matemática e Ciências.
• Protocolo de Avaliação:
  • Prompting: Os modelos foram avaliados usando um prompt multimodal único e genérico contendo a questão, o esquema de correção e a resposta do estudante (incluindo imagens de canvas para a escrita à mão). A instrução foi estritamente limitada a gerar um objeto JSON com um único número inteiro para a nota.
  • Esforço de Raciocínio: Os modelos foram executados em sua configuração de "esforço de raciocínio mínimo" para simular um cenário de baixo custo e baixa latência.
  • Métrica: A concordância foi medida usando o Kappa de Peso Quadrático (QWK), computado por questão e média ponderada pelo valor máximo da questão. Esta métrica varia de 0 (acaso) a 1 (idêntico).
  • Comparação: O estudo compara a concordância média entre a IA e os dois examinadores ($R_A$) contra a concordância entre os dois próprios examinadores ($R_H$). A principal métrica de sucesso é se $R_A \geq R_H$.
  • Análise de Viés: Para ensaios de Inglês, o viés de marcação assinado (nota prevista menos a média de consenso) foi calculado para avaliar leniência ou rigor excessivo.
• Contribuições Principais

1. Primeiro Benchmark Público de Escrita à Mão Multidisciplinar: Este é o primeiro benchmark descrito publicamente para respostas de GCSE com dupla marcação que inclui o trabalho manuscrito do estudante ao lado de texto digitado em cinco disciplinas distintas.
2. Avaliação Multimodal do Mundo Real: Diferente de benchmarks anteriores que dependem de texto "nativo digital", este conjunto de dados testa os modelos em todo o espectro de inputs de exame, incluindo scripts de Matemática manuscritos complexos e diagramas.
3. Análise de Custo-Benefício: O estudo avalia o trade-off entre o custo do modelo (preço de tabela por 1.000 provas) e a consistência da correção, desafiando a suposição de que modelos maiores e mais caros são necessários para uma correção automatizada de alta qualidade.

Resultados

O estudo constata que LLMs prontos para uso podem alcançar níveis de concordância com examinadores que são comparáveis a, e em alguns casos excedem, a concordância entre dois examinadores humanos.

• Concordância Geral: Em todas as disciplinas, os principais modelos concordaram mais proximamente com o consenso dos examinadores do que os próprios examinadores concordaram entre si.
  • Língua Inglesa: O melhor modelo (GPT-5.5) alcançou um QWK de 0,75, excedendo significativamente a concordância examinador-examinador ($R_H$) de 0,65 ($\Delta = +0,10$).
  • Matemática: Apesar de uma alta concordância basal dos examinadores de 0,84, o melhor modelo (Gemini 3.5 Flash) alcançou 0,86 ($\Delta = +0,02$).
  • Ciências: As disciplinas de ciências agrupadas mostraram um modelo de topo (Gemini 3.1 Pro) alcançando 0,74 contra uma base de examinadores de 0,69 ($\Delta = +0,06$).
• Tamanho do Modelo e Custo: A concordância não apresentou forte correlação com o tamanho ou custo do modelo. Modelos menores e mais baratos (ex: Claude Haiku 4.5, Gemini 3.1 Flash Lite) performaram de forma semelhante aos seus equivalentes maiores, muitas vezes alcançando melhor desempenho por uma fração do custo.
• Viés na Correção de Ensaios: Embora a concordância tenha sido alta, os modelos exibiram graus variados de viés. Alguns modelos (ex: GPT-5.5, Claude Opus 4.8) foram relativamente neutros, enquanto outros (ex: Gemma 4 26B, Claude Sonnet 4.6) mostraram tendência a uma correção mais rigorosa.
• Desempenho por Disciplina:
  • Matemática: Os modelos Gemini do Google pareceram mais alinhados com os critérios de correção do GCSE do que os modelos da OpenAI neste domínio.
  • Ciência: Os modelos geralmente alcançaram consistência de nível de examinador.

Significância e Alegações

O artigo afirma que os LLMs atuais, quando executados com um prompt genérico e raciocínio mínimo, já são confiáveis o suficiente para funcionar como um "segundo corretor" em um contexto de avaliação educacional do mundo real. A significância reside na demonstração de que:

1. Confiabilidade: Sistemas automatizados podem igualar ou exceder a confiabilidade de inter-avaliação humana em tarefas multimodais complexas, incluindo trabalho manuscrito.
2. Eficiência de Custo: A correção automatizada de alta qualidade não requer os modelos mais caros ou maiores, oferecendo um caminho viável para reduzir a carga de trabalho dos professores.
3. Generalização: O desempenho mantém-se através de diversas disciplinas e modalidades de input, sugerindo que a abordagem de prompt genérico "tamanho único" é eficaz para testes padronizados.

Os autores mantêm modéstia em relação às suas alegações, observando que o conjunto de dados é derivado de exames simulados (mock exams) e não de provas oficiais, e que a avaliação foi limitada a configurações de raciocínio mínimo. Eles também reconhecem que a "linha do examinador" ($R_H$) é baseada em apenas dois avaliadores, o que significa que o benchmark mede a consistência relativa a um par específico de examinadores, e não à população mais ampla de examinadores. No entanto, os resultados sugerem que a tecnologia está suficientemente madura para fornecer soluções de correção automatizada de custo-benefício hoje.