Confidence Estimation in Automatic Short Answer Grading with LLMs

1. Declaração do Problema

A Correção Automática de Respostas Curtas (ASAG) utilizando Modelos de Linguagem de Grande Escala (LLMs) demonstrou desempenho robusto sem ajuste fino específico para a tarefa e pode gerar feedback sintético. No entanto, a correção baseada em LLMs não é perfeita devido à variabilidade linguística, critérios de pontuação ambíguos e desacordo inerente entre avaliadores humanos.

Na avaliação educacional com Humano no Loop (HITL), os sistemas devem decidir quais respostas corrigir automaticamente e quais deferir a especialistas humanos. Isso requer estimativa de confiança confiável. Os desafios atuais incluem:

• Estudo Insuficiente: A maioria das pesquisas existentes sobre estimativa de confiança foca em Modelos de Linguagem Pré-treinados (PLMs), não em LLMs generativos.
• Viés Centrado no Modelo: Os métodos existentes baseiam-se exclusivamente em sinais baseados no modelo (incerteza epistêmica), ignorando a incerteza derivada do conjunto de dados (incerteza aleatória) que surge de respostas de alunos ambíguas ou subespecificadas.
• Falta de Confiabilidade: As pontuações de confiança são frequentemente usadas para simples limiarização sem análise rigorosa de confiabilidade, levando a excesso de confiança ou má calibração em decisões educacionais críticas.

2. Metodologia

Os autores propõem um Framework Híbrido de Confiança que integra sinais de confiança baseados no modelo com uma estimativa explícita de incerteza aleatória derivada do conjunto de dados.

A. Sinais de Confiança Baseados no Modelo (Incerteza Epistêmica)

O estudo avalia três estratégias distintas para extrair confiança de um LLM (especificamente gpt-oss-20b):

1. Verbalização: Solicitar ao modelo que gere explicitamente uma pontuação de confiança (probabilidade) juntamente com sua decisão de correção.
2. Latente: Calcular a verossimilhança logarítmica normalizada do token de rótulo previsto usando a distribuição de probabilidade interna do modelo (softmax sobre tokens de rótulo).
3. Consistência: Amostrar múltiplas previsões em temperaturas variadas (0,2 a 1,0) e medir a frequência com que o modelo retorna o mesmo rótulo (estabilidade).

Nota: Todas as pontuações são orientadas de modo que valores mais altos indiquem maior confiança de que uma resposta está correta.

B. Incerteza Derivada do Conjunto de Dados (Incerteza Aleatória)

Para capturar a ambiguidade inerente aos dados (por exemplo, respostas semanticamente semelhantes, mas com rótulos humanos conflitantes), os autores operacionalizam a incerteza aleatória via heterogeneidade semântica:

1. Embedding: As respostas dos alunos são embutidas usando all-MiniLM-L6-v2.
2. Agrupamento: O agrupamento hierárquico aglomerativo (ligação de Ward) agrupa respostas semanticamente semelhantes.
3. Quantificação da Heterogeneidade: Para cada cluster, calcula-se a entropia de Shannon da distribuição de rótulos. Alta entropia indica que respostas semanticamente semelhantes recebem pontuações diferentes de avaliadores humanos, significando alta ambiguidade.
4. Atribuição: As respostas de teste recebem o valor de entropia do centróide do cluster mais próximo.

C. Fusão de Confiança

Os sinais baseados no modelo ($s_{verb}, s_{lat}, s_{cons}$) e o proxy de incerteza aleatória ($s_{alea}$) são combinados em um vetor de características.

• Classificador: Um classificador Random Forest é treinado para mapear essas características para a probabilidade de uma correção correta.
• Calibração: As probabilidades de saída são calibradas post-hoc usando escalonamento de Platt (via validação cruzada de 5 dobras) para garantir que as probabilidades previstas correspondam às frequências empíricas.
• Linha de Base: Uma variante "Híbrida (sem aleatório)" também é treinada para isolar a contribuição da incerteza derivada do conjunto de dados.

D. Métricas de Avaliação

• Previsão Seletiva: Medida por meio de curvas ROC (AUROC) e Curvas de Precisão-Rejeição (AUARC). Isso avalia a capacidade de filtrar erros de baixa confiança.
• Confiabilidade: Medida por meio de Diagramas de Confiabilidade, Pontuação Brier, Erro de Calibração Esperado (ECE) e Erro Máximo de Calibração (MCE). Isso avalia se uma confiança prevista de $p$ corresponde realmente a $p$% de precisão.

3. Contribuições Principais

1. Comparação Sistemática: O primeiro estudo sistemático comparando estratégias de confiança baseadas em verbalização, latente e consistência especificamente para ASAG com LLMs.
2. Framework Híbrido: Proposta de um método inovador que funde confiança baseada no modelo com heterogeneidade semântica para estimar incerteza aleatória, abordando a limitação das abordagens baseadas apenas no modelo.
3. Validação Empírica: Demonstração de que as pontuações de confiança híbridas superam significativamente os métodos de fonte única tanto na precisão da correção seletiva quanto na confiabilidade da calibração, fornecendo uma base principial para avaliação HITL.

4. Resultados Experimentais

Os experimentos foram conduzidos no SciEntsBank, um conjunto de dados de ~11.000 respostas curtas de ciências.

• Desempenho de Previsão Seletiva:

  • Fonte Única: A confiança latente teve o pior desempenho (menor AUROC). A verbalização e a consistência tiveram desempenho moderado.
  • Híbrido: O modelo híbrido incorporando incerteza aleatória alcançou a maior AUROC (0,885) e AUARC (0,876).
  • Impacto: Com uma taxa de rejeição de 40% (filtrando as 40% de menor confiança), o modelo híbrido alcançou 90,0% de precisão nas respostas restantes, comparado a 70,4% sem seleção. O modelo híbrido sem incerteza aleatória foi competitivo, mas consistentemente inferior, provando o valor de modelar a ambiguidade dos dados.

• Confiabilidade e Calibração:

  • Fonte Única: A verbalização mostrou excesso de confiança (alto MCE). A latente foi mal calibrada. A consistência teve baixo erro médio, mas alto erro máximo (falhas localizadas).
  • Híbrido: O modelo híbrido com incerteza aleatória alcançou a menor Pontuação Brier (0,138) e o menor MCE (0,100). Ele rastreou de perto a diagonal nos diagramas de confiabilidade, indicando que suas pontuações de confiança são altamente confiáveis.

5. Significado e Conclusão

• Além dos Sinais do Modelo: O artigo estabelece que a confiança baseada apenas no modelo é insuficiente para ASAG. A ambiguidade nas respostas dos alunos (incerteza aleatória) é uma fonte distinta de erro que deve ser modelada explicitamente.
• Implantação Segura de IA: Ao fornecer pontuações de confiança bem calibradas, o framework proposto permite uma colaboração mais segura entre Humano e IA. Educadores podem confiar no sistema para corrigir automaticamente respostas de alta confiança, enquanto sinalizam casos ambíguos para revisão humana.
• Suporte à Decisão Prática: O uso de Curvas de Precisão-Rejeição (ARC) oferece uma ferramenta prática para educadores equilibrar a precisão da correção contra o custo da revisão manual, indo além da seleção arbitrária de limiares.

Em resumo, este trabalho avança o campo da educação assistida por IA ao demonstrar que integrar a heterogeneidade de dados semânticos com sinais de confiança de LLMs cria um sistema de correção mais robusto, confiável e interpretável, adequado para implantação no mundo real.