When Can We Trust LLM Graders? Calibrating Confidence for Automated Assessment

Resumo Técnico: Calibração de Confiança para Avaliação Automatizada com LLMs

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) demonstram grande potencial para a correção automatizada de respostas, especialmente em contextos educacionais. No entanto, sua confiabilidade é questionável: eles podem cometer erros aritméticos, divergir significativamente de avaliadores humanos e apresentar desempenho degradado em trabalhos de baixa qualidade.

O problema central abordado não é apenas melhorar a precisão bruta da correção, mas sim prever quando um LLM corretor é provável de estar correto. A falta de calibração (onde a pontuação de confiança não corresponde à precisão real) e o viés de superconfiança nos modelos neurais modernos impedem a adoção segura de automação total. O objetivo é habilitar a automação seletiva: processar automaticamente apenas as previsões de alta confiança e encaminhar casos incertos para revisão humana, otimizando o fluxo de trabalho dos instrutores sem sacrificar a qualidade.

2. Metodologia

Os autores propõem uma avaliação sistemática de três métodos de estimativa de confiança aplicados a tarefas de correção binária (certo/errado) em três conjuntos de dados educacionais:

• RiceChem: Respostas longas de química.
• SciEntsBank: Respostas curtas de ciências.
• Beetle: Respostas curtas sobre eletrônica e circuitos.

Modelos Avaliados:
Sete LLMs variando de 4B a 120B parâmetros, incluindo famílias Llama (8B, 70B), Qwen (4B, 80B) e GPT-OSS (20B, 120B).

Métodos de Estimativa de Confiança Comparados:

1. Confiança Auto-relatada (Self-reported): O modelo é instruído a emitir uma decisão de correção e, simultaneamente, um escore numérico de confiança (ex: 1-10).
   • Custo: 1 chamada ao LLM.
2. Consistência Self (Self-consistency): O modelo gera múltiplas amostras (n=5) da mesma entrada com temperatura > 0. A confiança é a fração de votos majoritários.
   • Custo: 5 chamadas ao LLM.
3. Probabilidade de Token (Token Probability): Utiliza a distribuição de probabilidade interna do modelo sobre os tokens de "sim" ou "não" no campo de veredito JSON.
   • Custo: 1 chamada ao LLM.

Métricas de Avaliação:

• Erro de Calibração Esperado (ECE): Mede a discrepância média entre a confiança e a precisão real.
• Pontuação Brier: Erro quadrático médio entre a confiança e a correção binária.
• AUC-ROC: Capacidade de discriminação (se maior confiança correlaciona-se com maior precisão).
• Cobertura em Risco: A fração de previsões que podem ser automatizadas mantendo a precisão acima de um limite de risco (ex: 5% ou 10%).

3. Principais Contribuições e Resultados

A. A Confiança Auto-relatada é Superior

• Desempenho: A abordagem de auto-relato consistentemente alcançou a melhor calibração (menor ECE) em todas as condições (6/7 modelos e 3 datasets).
  • ECE Médio: 0,166 (auto-relato) vs. 0,229 (consistência self) vs. 0,235 (probabilidade de token).
• Custo-Eficiência: A consistência self, apesar de exigir 5x o custo de inferência, performou 38% pior em calibração do que o auto-relato.
• Conclusão: Pedir explicitamente ao modelo que reporte sua confiança é mais eficaz e barato do que métodos baseados em amostragem ou probabilidades internas brutas.

B. Escala do Modelo: Precisão vs. Calibração

• Modelos maiores (≥70B parâmetros) são consistentemente mais precisos (maior acurácia) em todos os datasets.
• No entanto, o ganho em calibração é misto e depende do dataset e do método.
  • O modelo GPT-OSS-120B com auto-relato obteve o melhor desempenho global (ECE médio de 0,100 e AUC de 0,668).
  • Em alguns casos (ex: probabilidade de token), o aumento da escala piorou a calibração.

C. Viés de Distribuição ("Confidence Floor")

• As distribuições de confiança são fortemente enviesadas para o topo (top-skewed).
  • 86% das previsões têm confiança > 0,8.
  • Apenas 0,62% das previsões caem abaixo de 0,2.
• A consistência self é discreta (ex: 3/5, 4/5, 5/5), enquanto o auto-relato é contínuo.
• Implicação Prática: Não se deve definir limiares (thresholds) baseados em um ponto médio intuitivo (ex: 0,5). Os limiares devem ser calibrados empiricamente em relação à distribuição observada de cada modelo/método.

D. Análise por Modelo Específico

• Qwen3-80B: Mostrou um tradeoff entre modos de raciocínio. O modo "Thinking" (raciocínio estendido) melhorou a precisão e calibração em respostas longas (RiceChem), mas piorou a calibração em respostas curtas, possivelmente devido a superconfiança em caminhos de raciocínio complexos para tarefas simples.
• GPT-OSS-120B: Demonstrou estabilidade notável. Sua calibração e precisão variaram minimamente entre diferentes níveis de profundidade de raciocínio, tornando-o uma escolha robusta para implantação.

4. Significado e Implicações Práticas

1. Viabilidade da Automação Seletiva: O estudo valida que é possível confiar em LLMs para correção automatizada, desde que se utilize um mecanismo de "portão" baseado em confiança.
2. Cobertura Limitada sob Restrições Rigorosas: Mesmo com os melhores modelos (GPT-OSS-120B) e configurações, a cobertura (fração de tarefas automatizáveis) é modesta sob limites de risco estritos.
   • Para um risco de 5%, apenas 11% a 20% das previsões podem ser automatizadas com segurança.
   • Isso sugere que a automação total não é viável imediatamente; o modelo ideal é um sistema híbrido onde a IA trata os casos fáceis e o humano revisa os casos de baixa confiança.
3. Recomendação de Implementação: Para sistemas de avaliação automatizada, a estratégia mais prática e econômica é utilizar auto-relato de confiança com limiares definidos empiricamente, em vez de métodos computacionalmente caros como consistência self.

5. Conclusão

O artigo demonstra que a confiança auto-relatada é o sinal mais confiável para identificar previsões de correção confiáveis em LLMs, superando métodos baseados em amostragem e probabilidades internas. Embora modelos maiores ofereçam maior precisão, a calibração requer atenção específica. A descoberta de que a confiança é altamente concentrada em valores altos impõe limites práticos à automação, reforçando a necessidade de colaboração Humano-AI para garantir a qualidade da avaliação educacional.