Criterion-referenceability determines LLM-as-a-judge validity across physics assessment formats

O estudo demonstra que a validade do uso de modelos de linguagem como juízes na avaliação de física depende fundamentalmente do grau de "referenciabilidade aos critérios" da tarefa, apresentando alta precisão em questões estruturadas e gráficos baseados em código, mas falhando consistentemente na discriminação de qualidade em redações, independentemente da capacidade bruta do modelo ou das condições de avaliação.

O essencial

Imagine que você é o diretor de uma grande escola de física e precisa contratar um novo professor para corrigir as provas dos alunos. Mas, em vez de um humano, você está considerando contratar um "robô superinteligente" (uma Inteligência Artificial) para fazer esse trabalho. A pergunta é: podemos confiar nesse robô?

Este artigo científico é como um teste de estresse gigante que os pesquisadores fizeram para descobrir exatamente quando podemos confiar nesses robôs e quando eles vão nos dar uma nota errada. Eles usaram vários modelos de IA famosos (como GPT-5, Claude, Gemini, etc.) e os colocaram para corrigir três tipos diferentes de tarefas de física.

Aqui está o resumo da história, usando analogias simples:

1. O Grande Teste: Três Tipos de Provas

Os pesquisadores dividiram as tarefas em três categorias, como se fossem três tipos de desafios diferentes:

• A "Caça ao Tesouro" (Perguntas Estruturadas): São questões de matemática e física onde há uma resposta certa ou um caminho lógico claro para chegar a ela. É como resolver um quebra-cabeça onde as peças se encaixam de um jeito específico.
• O "Ensaio Literário" (Redações): São textos longos onde o aluno precisa explicar um conceito com suas próprias palavras. É como pedir para alguém escrever um poema sobre o amor: não existe uma única resposta "certa", depende muito da interpretação e do estilo.
• O "Desenho Técnico" (Gráficos Científicos): São códigos de computador que geram gráficos. É como pedir para desenhar um mapa de uma cidade. O mapa precisa ter ruas no lugar certo, mas o estilo do traço pode variar.

2. O Que Eles Descobriram? (A Analogia do "Guia de Instruções")

A descoberta principal do estudo é que a inteligência do robô não é o que importa mais. O que importa é o tipo de tarefa. Eles chamam isso de "capacidade de referência a critérios". Em português simples: "A tarefa tem regras claras e visíveis?"

🟢 Cenário 1: A Caça ao Tesouro (Perguntas Estruturadas)

• O Resultado: O robô é excelente.
• A Analogia: Imagine que você dá ao robô uma lista de compras (a resposta correta) e ele compara com o que o aluno comprou. Se o aluno esqueceu o leite, o robô sabe exatamente onde marcar o ponto.
• O Truque: Se você der ao robô a resposta errada (uma "falsa solução"), ele fica confuso e segue o erro, como um turista que segue um guia turístico mentiroso. Mas, se a tarefa for clara, ele acerta muito bem, quase tão bem quanto um professor humano.

🔴 Cenário 2: O Ensaio Literário (Redações)

• O Resultado: O robô é péssimo em julgar a qualidade real, mesmo que pareça bom.
• A Analogia: Imagine que você pede ao robô para julgar quem escreveu o poema mais bonito. O problema é que os próprios professores humanos não concordam entre si sobre qual poema é melhor! Um professor acha o poema A lindo, outro acha o B.
• O Efeito "Espelho": Quando os pesquisadores deram exemplos de notas (como "veja como ficou uma nota 5, veja como ficou uma nota 10"), o robô ficou muito bom em imitar a média. Ele começou a dar notas que pareciam as dos humanos, mas não conseguia realmente diferenciar quem escreveu melhor. Ele virou um "copiador de distribuição", não um juiz. Ele acertou a média, mas errou quem era o melhor aluno.
• Conclusão: Se os humanos não conseguem concordar sobre quem é o melhor, o robô também não consegue. Dar mais exemplos não ajuda a criar um julgamento justo aqui.

🟡 Cenário 3: O Desenho Técnico (Gráficos)

• O Resultado: O robô é surpreendentemente bom.
• A Analogia: É como pedir para verificar se um mapa de metrô está correto. O robô consegue ver se as estações estão na ordem certa, se as cores estão legíveis e se o título faz sentido. Mesmo sem um guia de instruções, ele consegue ver o que está "certo" e o que está "errado" visualmente.
• Conclusão: Como o gráfico tem regras claras (eixos, unidades, escala), o robô consegue julgar com precisão, quase tão bem quanto um humano.

3. A Lição Principal: "Regras Claras vs. Opinião Pessoal"

O estudo nos ensina uma regra de ouro para o futuro:

• Se a tarefa tem regras claras e visíveis (como contas de matemática ou gráficos com eixos definidos): A IA é uma ótima assistente. Ela pode corrigir, dar feedback e até ajudar a economizar tempo dos professores.
• Se a tarefa depende de julgamento holístico e subjetivo (como redações complexas ou opiniões filosóficas): A IA é perigosa se usada sozinha. Ela pode parecer justa porque dá notas parecidas com as dos humanos, mas na verdade está apenas "chutando" a média, sem conseguir dizer quem realmente merece a nota mais alta.

4. O Veredito Final

Não adianta ter o robô mais inteligente do mundo se a tarefa for confusa.

• Para provas de múltipla escolha ou cálculos: Pode usar a IA com confiança (com supervisão).
• Para redações e trabalhos criativos: A IA pode ajudar a dar feedback inicial, mas nunca deve ser a única pessoa a dar a nota final, porque ela não consegue "sentir" a qualidade da escrita como um humano faz.

Em resumo: A IA é um ótimo "checador de regras", mas um péssimo "juiz de arte". Antes de deixar um robô corrigir sua prova, pergunte-se: "Essa prova tem regras claras que qualquer um pode ver?" Se a resposta for sim, o robô pode ajudar. Se a resposta for não, mantenha o professor humano no comando.

Resumo técnico

Título: A Referenciabilidade por Critérios Determina a Validade do "LLM como Juiz" em Diferentes Formatos de Avaliação de Física

Autores: Will Yeadon, Tom Hardy, Paul Mackay, e Elise Agra (Departamento de Física, Universidade de Durham, Reino Unido).
Data: 17 de março de 2026.

---

1. Problema e Contexto

Com o avanço dos Grandes Modelos de Linguagem (LLMs) na resolução de problemas de física, surge a necessidade crítica de avaliar se esses modelos podem ser confiáveis para avaliar o trabalho dos alunos (o paradigma "LLM-as-a-judge").

• O Desafio: Embora os LLMs possam gerar respostas corretas, sua capacidade de atribuir notas consistentes e válidas em comparação com avaliadores humanos ainda é uma questão em aberto.
• Riscos Regulatórios: Órgãos como o Ofqual (Reino Unido) e a União Europeia classificam o uso exclusivo de IA para atribuição de notas como de "alto risco" ou não conforme, devido a preocupações com viés sistemático e falta de justiça.
• Hipótese Central: A validade da avaliação automatizada não depende apenas da capacidade bruta do modelo, mas sim do grau em que a tarefa de avaliação é referenciada por critérios (criterion-referenceability). Ou seja, até que ponto as características que justificam uma nota podem ser explicitadas, inspecionadas e aplicadas consistentemente.

2. Metodologia

O estudo avaliou o desempenho de seis modelos de ponta (GPT-5.2, Grok 4.1, Claude Opus 4.5, DeepSeek-V3.2, Gemini Pro 3 e agregações de comitês) em três formatos distintos de avaliação de física, comparando-os com marcadores humanos sob condições cegas e com suporte de soluções.

Conjuntos de Dados e Tarefas:

1. Questões Estruturadas (n = 1.922):
   • Exames Universitários (n=771): Questões de Durham University (2018-2022) marcadas de forma cega (sem solução fornecida).
   • Questões Curriculares (n=1.151): Níveis GCSE, A-Level e livros didáticos. Testadas em três condições: cega, com solução oficial e com solução falsa (corrompida intencionalmente para testar viés de ancoragem).
   • Nota: As respostas dos alunos nestes conjuntos foram geradas por IA para criar um pool controlado de respostas corretas e incorretas.
2. Ensaios (n = 55 scripts / 275 ensaios):
   • Ensaios curtos de física (história/filosofia da ciência) marcados holisticamente.
   • Condições: Cega, com esquema de marcação (rubrica) e com exemplares ancorados (5 exemplos de respostas com notas conhecidas para calibração).
3. Gráficos Científicos (n = 1.400):
   • Elementos de plotagem baseados em código (Jupyter Notebooks) de um módulo de laboratório.
   • Avaliação baseada em critérios visuais e de precisão científica (0-5 pontos).

Métricas de Avaliação:

• Erro Absoluto Médio (MAE) e Fração de MAE: Para precisão absoluta.
• Validade Discriminativa: Medida pela Correlação de Ranks de Spearman (ρ) e Kappa Ponderado Quadrático (QWK). O foco é saber se o modelo consegue ordenar corretamente as respostas (do melhor para o pior), independentemente de acertar a nota exata.
• Calibração: Análise de como as notas previstas se alinham com a escala humana.

---

3. Contribuições Principais

• Definição de "Referenciabilidade por Critérios": O paper introduz e operacionaliza este conceito como o fator determinante para a validade da avaliação automatizada, distinguindo tarefas com critérios explícitos (questões estruturadas) de tarefas holísticas (ensaios).
• Análise Comparativa Multi-Formato: É um dos primeiros estudos a comparar sistematicamente a performance de LLMs em três modalidades distintas (texto estruturado, prosa livre e artefatos visuais/código) dentro do mesmo domínio (física).
• Investigação de Viés de Ancoragem: Demonstra empiricamente como a fornecimento de soluções (corretas ou falsas) altera drasticamente o comportamento dos modelos, muitas vezes transformando avaliadores em "correspondentes de distribuição" em vez de avaliadores independentes.
• Linha de Base Humana: Estabelece que a própria marcação humana em ensaios curtos possui baixa confiabilidade inter-rater, o que complica a validação de modelos de IA para essa tarefa específica.

---

4. Resultados Chave

A. Questões Estruturadas (Alta Referenciabilidade)

• Desempenho: Os modelos alcançaram validade discriminativa robusta (ρ > 0.6 em condições cegas; ρ = 0.88 com solução correta).
• Efeito da Solução: Fornecer a solução oficial reduziu o erro absoluto (MAE).
• Efeito da Solução Falsa: Fornecer uma solução incorreta degradou severamente a precisão absoluta (os modelos seguiram a solução errada), mas preservou a ordem de classificação (ρ permaneceu alto, ~0.77). Isso indica que os modelos conseguem distinguir a qualidade relativa, mas ajustam a nota absoluta para se alinhar ao "ancorador" fornecido.
• Conclusão: Tarefas com respostas objetivas são altamente adequadas para avaliação por IA.

B. Ensaios (Baixa Referenciabilidade)

• Desempenho: A validade discriminativa foi próxima de zero (ρ ≈ 0.1 a 0.0) em todas as condições (cega, com esquema, com ancoragem).
• Viés de Severidade: A marcação cega por IA foi mais severa e variável que a humana.
• Efeito da Ancoragem: A adição de exemplares (anchoring) alinhou a média das notas da IA com a humana e reduziu a variância, mas não melhorou a capacidade de discriminar a qualidade dos ensaios. A IA aprendeu a imitar a distribuição de notas, não a avaliar o conteúdo.
• Conclusão: Em tarefas holísticas onde a marcação humana já é ruidosa, a IA não consegue recuperar uma ordenação válida, mesmo com suporte de exemplos.

C. Gráficos Científicos (Referenciabilidade Intermediária/Alta)

• Desempenho: Validade discriminativa excepcionalmente alta (ρ > 0.84) e calibração quase linear.
• Contexto: A tarefa era restrita a avaliar a qualidade de uma plotagem dentro de um notebook específico (contexto conhecido), não interpretação visual arbitrária.
• Conclusão: A IA é altamente eficaz para avaliar artefatos visuais quando os critérios de qualidade são observáveis e o contexto é fornecido.

D. Agregação de Comitê

• A média de múltiplos modelos (comitê) reduziu o erro absoluto, mas não recuperou a validade discriminativa em tarefas onde modelos individuais falhavam (como em ensaios). A agregação reduz ruído, mas não corrige falhas estruturais de validade da tarefa.

---

5. Significado e Implicações

1. Validade vs. Precisão: Um sistema de IA pode ter baixo erro médio (MAE) e parecer "correto" em média, mas falhar completamente em distinguir alunos bons de ruins (baixa validade discriminativa). Métricas de erro absoluto são insuficientes para validar sistemas de avaliação.
2. Guia para Educadores: Antes de implementar IA para correção, deve-se verificar se a tarefa é suficientemente referenciada por critérios para que marcadores humanos também consigam concordar consistentemente. Se humanos não conseguem concordar na ordenação, a IA não conseguirá.
3. Uso Recomendado:
   • Adequado: Questões estruturadas, correção de código/gráficos com rubricas claras, feedback formativo preliminar.
   • Inadequado: Avaliação somativa de ensaios holísticos ou tarefas subjetivas complexas, onde a IA pode apenas imitar a distribuição de notas sem compreender a qualidade.
4. Governança: Os resultados reforçam a necessidade de supervisão humana em tarefas de baixa referenciabilidade e sugerem que a IA deve atuar como ferramenta de auditoria ou suporte, não como juiz autônomo em contextos subjetivos.

Conclusão Final

A confiabilidade do "LLM como Juiz" na física não é uma questão de qual modelo é mais inteligente, mas sim de como a tarefa de avaliação é estruturada. Onde os critérios de avaliação são explícitos e observáveis (questões estruturadas, gráficos contextuais), a IA é uma ferramenta válida e precisa. Onde a avaliação depende de julgamento holístico e subjetivo (ensaios), a IA tende a falhar em discriminar a qualidade real, mesmo que suas notas pareçam estatisticamente alinhadas com as humanas.