CHiL(L)Grader: Calibrated Human-in-the-Loop Short-Answer Grading

Resumo Técnico: CHiL(L)Grader

1. O Problema

A avaliação automatizada de respostas curtas (ASAG - Automated Short-Answer Grading) utilizando Grandes Modelos de Linguagem (LLMs) enfrenta dois desafios fundamentais que impedem sua implantação segura em contextos educacionais de alto risco:

1. Superconfiança Sistemática: LLMs instruídos tendem a atribuir pontuações de confiança elevadas (ex: 0.99) mesmo quando suas previsões estão incorretas. Isso impede que os educadores saibam quando confiar no modelo e quando intervir.
2. Degradação sob Mudança de Distribuição: O desempenho do modelo cai drasticamente quando enfrenta novos tipos de perguntas, rubricas de correção alteradas ou padrões de resposta não vistos durante o treinamento inicial (mudança de distribuição).

Sistemas totalmente autônomos são considerados inseguros devido a esses fatores, enquanto a correção humana completa é custosa e demorada.

2. Metodologia: O Framework CHiL(L)Grader

O CHiL(L)Grader é um framework de Aprendizado em Loop Humano (Human-in-the-Loop - HiL) projetado para automatizar apenas as previsões de alta confiança, encaminhando casos incertos para revisão humana. A arquitetura opera em um ciclo iterativo composto por cinco etapas principais:

1. Ajuste Fino por Instrução (Instruction-Tuning): Um LLM base (Qwen-2.5-7B) é ajustado para seguir rubricas de correção específicas, gerando tanto a nota quanto uma estimativa de confiança.
2. Calibração Post-hoc (Temperature Scaling): Para corrigir a superconfiança, aplica-se Temperature Scaling em um conjunto de calibração. Isso ajusta as probabilidades de saída para que a confiança estimada corresponda à precisão empírica, minimizando o Erro de Calibração Esperado (ECE).
3. Predição Seletiva (Selective Prediction): Um limiar de confiança ($\tau$) é definido.
   • Se a confiança calibrada $\ge \tau$: A nota é aceita automaticamente.
   • Se a confiança $< \tau$: O caso é rejeitado e enviado para revisão humana.
4. Revisão Humana e Coleta de Correções: Educadores corrigem os casos rejeitados, criando um conjunto de dados de alta qualidade ($H$) que reflete as fraquezas atuais do modelo sob as condições de correção vigentes.
5. Aprendizado Contínuo com Replay Aumentado: O modelo é atualizado (usando LoRA - Low-Rank Adaptation) com as correções humanas ($H$) combinadas com um buffer de replay ($R$) de dados históricos.
   • O buffer de replay é "consciente da escala" (scale-aware), garantindo que o modelo não esqueça (catastrophic forgetting) como corrigir escalas de notas anteriores ou tipos de perguntas diversos.
   • Após o ajuste fino, o parâmetro de temperatura é recalibrado para o novo estado do modelo.

3. Contribuições Principais

1. Novelty (Inovação): Primeiro framework HiL para ASAG que integra calibração de confiança, predição seletiva baseada em confiança e deferral humano principiado em um sistema unificado.
2. Confiabilidade: Demonstra que o Temperature Scaling reduz significativamente o ECE (até 65%), tornando as estimativas de confiança confiáveis para tomada de decisão.
3. Adaptação: Prova que o ciclo HiL permite que o modelo generalize sob mudança de distribuição, melhorando o desempenho em novas rubricas e perguntas sem esquecer conhecimentos anteriores.
4. Eficácia: O sistema atinge qualidade de nível especialista (QWK $\ge$ 0.80) em 35% a 65% das respostas, reduzindo drasticamente a carga de trabalho humana.
5. Reprodutibilidade: Código e configurações são públicos.

4. Resultados Experimentais

Os experimentos foram realizados em três conjuntos de dados distintos (DAMI, SciEntsBank, EngSAF) cobrindo diferentes domínios e escalas de notas.

• Calibração: O Temperature Scaling reduziu o ECE de 0.270 para 0.094 no dataset DAMI, trazendo o modelo para a zona de "bem calibrado" (ECE < 0.1).
• Desempenho de Correção (HiL):
  • No dataset DAMI, após um ciclo de correção, o QWK (Quadratic Weighted Kappa) das respostas aceitas saltou de 0.458 para 0.882, superando o limiar de qualidade especialista.
  • O sistema cobriu automaticamente 35,1% das respostas com qualidade de nível especialista, enquanto os casos rejeitados (enviados a humanos) tinham um QWK de apenas 0.535.
  • A diferença de QWK de +0.347 entre as previsões aceitas e rejeitadas confirma que o "portão de confiança" separa eficazmente casos confiáveis de incertos.
• Aprendizado Contínuo: Em cenários de mudança de distribuição (como novas perguntas no SciEntsBank), o modelo recuperou o desempenho após ciclos de correção, evitando a degradação persistente.
• Ablação: A remoção do buffer de replay causou "esquecimento catastrófico", reduzindo o QWK para 0.025, evidenciando a importância do replay para a estabilidade.

5. Significado e Impacto

O CHiL(L)Grader representa um avanço crucial na aplicação de IA na educação, demonstrando que a quantificação de incerteza é essencial para a automação confiável.

• Segurança: Ao rejeitar previsões de baixa confiança, o sistema mitiga riscos de erros de correção em avaliações de alto impacto.
• Eficiência: Permite que educadores foquem apenas nas respostas mais complexas ou ambíguas, escalando a avaliação sem sacrificar a qualidade.
• Sustentabilidade: O mecanismo de aprendizado contínuo garante que o sistema evolua junto com o currículo e as rubricas, superando a rigidez dos modelos estáticos tradicionais.

Em suma, o trabalho estabelece que a combinação de calibração estatística, seleção inteligente e aprendizado contínuo com feedback humano é o caminho viável para a implantação segura de LLMs em sistemas de avaliação educacional.