Resumo Técnico: Estimativa da Dificuldade de Itens de Exame com LLMs

Declaração do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) são cada vez mais implantados para gerar conteúdo educacional, surge uma lacuna crítica de segurança: a incapacidade de estimar confiavelmente a dificuldade das questões que produzem antes da implementação. A estimativa tradicional de dificuldade baseia-se na Teoria de Resposta ao Item (TRI), que exige testes piloto caros e de larga escala com amostras representativas de estudantes. Embora os LLMs ofereçam o potencial de aproximar a dificuldade do item diretamente a partir do texto, vários desafios dificultam sua confiabilidade:

1. Dependência de Domínio: Os modelos comportam-se de forma inconsistente entre diferentes disciplinas (ex: Matemática vs. Humanidades).
2. Multimodalidade: Itens de exames do mundo real frequentemente dependem de diagramas e tabelas; converter esses elementos em texto corre o risco de perder pistas espaciais essenciais para o raciocínio.
3. Calibração vs. Ranqueamento: Os modelos podem alcançar um erro absoluto baixo ao prever a dificuldade média (regressão à média), enquanto falham em preservar a ordenação relativa (fidelidade de ranking) dos itens.
4. Sensibilidade ao Contexto (Plasticidade): Não está claro se os modelos podem ajustar significativamente as estimativas de dificuldade com base em dados demográficos do aluno (ex: país ou histórico educacional) ou se tais pistas induzem desvios ruidosos e enviesados.

Este estudo aborda essas lacunas comparando LLMs com dados de alto risco calibrados pela TRI, para determinar se eles podem servir como ferramentas confiáveis de pré-triagem para o design de avaliações.

Metodologia

Conjunto de Dados

O estudo utiliza um corpus de 1.031 questões de múltipla escolha do Exame Nacional do Ensino Médio (ENEM) do Brasil, abrangendo os anos de 2017 a 2022. O conjunto de dados abrange quatro áreas: Matemática (MT), Ciências da Natureza (CN), Ciências Humanas (CH) e Linguagens e Códigos (LC).

• Verdade Fundamental (Ground Truth): Parâmetros oficiais de dificuldade da TRI ($b_i$) derivados do desempenho de estudantes em larga escala, mapeados em uma escala de 1 a 10.
• Modalidade: 38,1% dos itens contêm elementos visuais (diagramas, gráficos, tabelas). Estes foram transcritos em texto usando LLMs com capacidade de visão (GPT-4o, Gemini-2.0-Flash) para simular pipelines apenas de texto, preservando pequenos erros de transcrição para refletir condições reais de implantação.

Protocolo Experimental

• Modelos: Dez LLMs heterogêneos foram avaliados, incluindo quatro APIs proprietárias (GPT-4o, o3, Claude-4-Sonnet, Gemini-2.0/2.5-Flash) e seis modelos de pesos abertos (Phi-4, Mistral Large, DeepSeek-R1, Qwen-3, Llama-3.2).
• Estratégias de Prompt: Oito famílias de prompts foram testadas, variando de instruções mínimas a scaffolds de raciocínio estruturados:
  • Zero-shot e Enhanced Zero-shot.
  • Few-shot e Persona+Few-shot.
  • Cadeia de Pensamento (CoT), Baseado em Pontos (decomposição de rubrica) e Árvore de Pensamentos (ToT).
  • Sintético/Playground (saída JSON estruturada).
• Teste de Viés: Um teste de "plasticidade" injetou um único token de país (ex: "estudantes de [País]") nos prompts para quatro modelos representativos através de sete nações (Brasil, China, Finlândia, etc.) para medir desvios nas estimativas de dificuldade.

Métricas

O desempenho foi avaliado usando:

• Calibração Absoluta: Erro Quadrático Médio da Raiz (RMSE) e Erro Médio Absoluto (MAE) contra os alvos da TRI.
• Fidelidade de Rank: Correlação de rank de Spearman ($\rho$).
• Estabilidade: Sensibilidade ao prompt ($\sigma_{prompt}$) e alinhamento de distribuição (Divergência KL).
• Viés: Resíduos assinados e Índice de Plasticidade (PI) para medir a responsividade a pistas demográficas.
• Calibração: Deslocamento aditivo post-hoc e mapeamento afim foram aplicados para corrigir vieses de localização global.

Principais Resultados

1. Troca entre Precisão e Ranqueamento

Existe uma troca significativa entre a calibração absoluta e a fidelidade de rank.

• Baixo RMSE é Enganoso: Modelos como o Llama-3 alcançaram um RMSE baixo (1,40) ao regredir em direção à média da dificuldade, resultando em uma correlação de rank quase nula ($\rho \approx 0,10$).
• Melhores Desempenhos: Phi-4 (pesos abertos) e Gemini-2.5-Flash ofereceram o desempenho mais equilibrado, alcançando RMSE competitivos com forte fidelidade de rank ($\rho \approx 0,31–0,37$).
• Sensibilidade ao Prompt: Alternar entre famílias de prompts frequentemente deslocava o desempenho mais do que trocar de modelo. Para modelos de pesos abertos, scaffolds de raciocínio (Persona, Baseado em Pontos) melhoraram significativamente a fidelidade de rank. Modelos proprietários mostraram menos sensibilidade às mudanças de prompt.

2. Desempenho por Disciplina

• Matemática: Exibiu o maior erro e a mais forte sensibilidade ao prompt. Prompts "Baseados em Pontos" (decomposição de etapas) foram mais eficazes, sugerindo que o raciocínio do tipo rubrica auxilia itens STEM de múltiplas etapas.
• Linguagens: Modelos proprietários (Claude-4-Sonnet) destacaram-se aqui.
• Ciências Humanas: DeepSeek-R1 teve o melhor desempenho, provavelmente devido ao pré-treinamento centrado em raciocínio para contextos sócio-históricos.
• Ciências da Natureza: Mostrou alta variância de erro; Gemini-2.5-Flash alcançou a maior correlação de rank.

3. A Penalidade de Modalidade

A transcrição de itens visuais para texto incorreu em uma penalidade de desempenho consistente.

• Itens visuais aumentaram o RMSE em uma média de 1,26 pontos em comparação com itens não visuais.
• Os modelos falharam sistematicamente em capturar a tendência humana para visuais: enquanto humanos consideram itens visuais mais fáceis em Ciências da Natureza, os modelos frequentemente superestimaram sua dificuldade ou permaneceram neutros.
• Prompts concisos e orientados por critérios (Baseado em Pontos, Enhanced Zero-shot) foram menos sensíveis às mudanças de modalidade do que templates de raciocínio complexos.

4. Viés Sistemático e Calibração

• Subestimação Global: Todos os modelos subestimaram sistematicamente a dificuldade do item (prevendo os itens como mais fáceis do que a TRI). O resíduo médio foi positivo para todos os sistemas, com o o3 mostrando o maior deslocamento ($\approx +3$ pontos).
• Eficácia da Calibração: Um simples deslocamento aditivo (calibração post-hoc) reduziu significativamente o RMSE e o MAE para todos os modelos sem alterar as correlações de rank ($\rho$). Isso indica que grande parte do erro é um viés de localização corrigível via ajuste linear.

5. Plasticidade e Sensibilidade ao Contexto

Ao serem instigados com pistas específicas de países:

• Plasticidade Limitada: Os modelos exibiram desvios pequenos, mas sistemáticos nas estimativas de dificuldade. No entanto, esses desvios foram ruidosos e inconsistentes com as lacunas de desempenho do mundo real (ex: rankings do PISA).
• Variância de Modelo: Apenas o Llama-3 mostrou uma associação monotônica significativa com os rankings de leitura do PISA. Outros modelos (GPT-4o, o3) mostraram tendências fracas ou negativas.
• Risco: A falta de uma adaptação consistente e significativa sugere que os LLMs atuais ainda não estão prontos para a personalização adaptativa ao contexto e correm o risco de codificar uma noção de "tamanho único" de dificuldade ou amplificar vieses se usados para testes adaptativos.

Significância e Alegações

O artigo conclui que, embora os LLMs ainda não sejam oráculos autoritários para a dificuldade de itens, eles possuem sinal acionável para triagem e filtragem. Os autores defendem um pipeline de "avaliação-antes-da-geração":

1. LLMs como Triadores: Os LLMs podem servir como filtros de baixo custo pré-implantação para priorizar itens candidatos por dificuldade prevista, desde que:
   • Seja aplicada uma calibração post-hoc simples para corrigir vieses de localização global.
   • A avaliação enfatize tanto o alinhamento absoluto (via calibração) quanto a fidelidade de rank.
   • O conteúdo visual seja tratado com cautela, pois a transcrição apenas de texto degrada o desempenho.
2. Humano no Ciclo (Human-in-the-Loop): Itens que passam pelo portão de triagem do LLM devem passar por curadoria humana e testes piloto limitados (validação por TRI) antes da implementação operacional.
3. Salvaguardas de Equidade: O estudo demonstra que os modelos atuais carecem da "plasticidade" para se adaptar confiavelmente às demografias dos alunos. Portanto, tokens demográficos devem ser evitados em prompts de produção, e diagnósticos de equidade devem ser integrados ao pipeline de design de avaliação para evitar o reforço de desigualdades.

O trabalho estabelece que a estimativa de dificuldade é uma capacidade pré-requisito que deve ser calibrada e auditada antes que os LLMs possam ser usados de forma responsável para gerar ou selecionar conteúdo de avaliação de alto risco.