Estimating LLM Grading Ability and Response Difficulty in Automatic Short Answer Grading via Item Response Theory

1. Declaração do Problema

A Classificação Automática de Respostas Curtas (ASAG) utilizando Grandes Modelos de Linguagem (LLMs) é tipicamente avaliada por meio de métricas agregadas, como macro-F1, precisão e kappa de Cohen. Os autores argumentam que essas métricas fornecem uma visão grosseira do desempenho do sistema, falhando em revelar:

• Como o desempenho de classificação varia entre respostas de estudantes de dificuldade de classificação distinta.
• Se modelos com pontuações gerais semelhantes diferem em sua robustez ao lidar com respostas difíceis, ambíguas ou semanticamente complexas.
• Os modos de falha específicos (por exemplo, padrões de confusão) que ocorrem à medida que a dificuldade aumenta.

Os métodos atuais de avaliação obscurecem o fato de que dois modelos podem performar de forma semelhante em média, mas apresentar taxas de degradação drasticamente diferentes à medida que a dificuldade da resposta aumenta.

2. Metodologia

Os autores propõem um framework de avaliação baseado na Teoria de Resposta ao Item (IRT), um modelo psicométrico tradicionalmente utilizado em testes educacionais para separar a capacidade latente da dificuldade do item.

A. Configuração Experimental

• Conjuntos de Dados: SciEntsBank e Beetle (dois benchmarks amplamente utilizados de ASAG com um espaço de rótulos de 5 vias: correto, contraditório, parcialmente_correto_incompleto, irrelevante, não_domínio).
• Modelos: 17 LLMs de pesos abertos (variando de 0,8B a 14B parâmetros) de várias famílias (Google, Qwen, Meta, Mistral, etc.).
• Tarefa: Cada LLM atua como um "classificador", atribuindo um rótulo a uma resposta de estudante. A correção é definida pela concordância com o rótulo padrão-ouro.

B. Formulação IRT

Os autores modelam a probabilidade de um classificador $i$ classificar corretamente uma resposta $j$ utilizando um modelo de Teoria de Resposta ao Teste 1PL:
$$P(y_{ij} = 1) = \sigma(\theta_i - b_j + u_{i, t(j)})$$
Onde:

• $\theta_i$: Capacidade do classificador latente do LLM $i$.
• $b_j$: Dificuldade de classificação latente da resposta do estudante $j$.
• $u_{i, t(j)}$: Efeito do teste (desvio específico do classificador) associado à questão específica $t(j)$ para contabilizar dependências no nível da questão.
• $\sigma(\cdot)$: Função sigmoide logística.

Os parâmetros são estimados minimizando uma função de verossimilhança negativa regularizada.

C. Validação e Análise

1. Recuperação de Parâmetros: Dados sintéticos gerados a partir do modelo ajustado são utilizados para verificar se o procedimento de estimação pode recuperar os parâmetros latentes originais (alta correlação indica estabilidade).
2. Estabilidade Meio-Meio: O modelo é reestimado em subconjuntos disjuntos de dados para garantir que as escalas de dificuldade e capacidade inferidas sejam reproduzíveis.
3. Análise Condicionada à Dificuldade: As respostas são agrupadas por dificuldade estimada ($b_j$). Os autores analisam:
   • Tendências de precisão entre os grupos de dificuldade.
   • Matrizes de confusão para identificar como os padrões de erro se deslocam.
4. Correlação de Características: Características semânticas e linguísticas (por exemplo, implicação NLI, distância de embeddings, sobreposição lexical) são correlacionadas com a dificuldade estimada para caracterizar por que certas respostas são difíceis de classificar.

3. Principais Contribuições

1. Framework Baseado em IRT: Introdução de uma perspectiva de IRT para ASAG que desacopla a capacidade do classificador da dificuldade da resposta, permitindo uma análise granular além das pontuações agregadas.
2. Caracterização de Robustez: Demonstração de que LLMs com pontuações agregadas semelhantes exibem diferenças substanciais na forma como sua precisão declina abruptamente à medida que a dificuldade da resposta aumenta.
3. Descoberta de Padrões de Erro: Identificação de um modo de falha específico onde erros em respostas difíceis não são aleatórios, mas se concentram desproporcionalmente no rótulo parcialmente_correto_incompleto, sugerindo um "colapso de rótulo intermediário" sob ambiguidade.
4. Correlatos Semânticos da Dificuldade: Evidências empíricas ligando alta dificuldade de classificação a:
   • Menor alinhamento semântico com as respostas de referência.
   • Sinais de contradição mais fortes.
   • Maior isolamento no espaço de embeddings (atipicidade semântica).

4. Principais Resultados

A. Estabilidade e Recuperação

• Recuperação de Parâmetros: O modelo IRT mostrou recuperação quase perfeita para a capacidade do classificador ($r \approx 0,999$) e recuperação forte para a dificuldade da resposta ($r \approx 0,896$), confirmando que as estimativas latentes são confiáveis.
• Estabilidade Meio-Meio: As estimativas de capacidade do classificador foram altamente estáveis entre as divisões de dados. As estimativas de dificuldade da resposta mostraram estabilidade moderada a forte, indicando que a estrutura de dificuldade é reproduzível.

B. Degradação de Desempenho

• Robustez Diferencial: À medida que a dificuldade aumentou (do Grupo B1 ao B5), a precisão caiu monotonicamente para todos os modelos, mas a taxa de declínio variou significativamente.
  • Exemplo: No SciEntsBank, o Gemma-3-12B manteve 16,6% de precisão no grupo mais difícil, enquanto o Llama-3.1-8B caiu para 2,1%.
  • A inclinação da degradação de desempenho é uma característica estável do modelo, consistente em ambos os conjuntos de dados.

C. Padrões de Confusão

• Colapso Intermediário: Em respostas de alta dificuldade, respostas corretas, contraditórias e irrelevantes são cada vez mais mal classificadas como parcialmente_correto_incompleto.
• Otimismo Excessivo: Respostas difíceis parcialmente_correto_incompleto são frequentemente mal classificadas como correto, indicando que os modelos lutam para distinguir entre respostas parciais ambíguas e totalmente corretas.

D. Correlatos da Dificuldade

• Correlatos Negativos (Mais fáceis de classificar): Alta implicação NLI, alta similaridade semântica e alta sobreposição lexical com a resposta de referência.
• Correlatos Positivos (Mais difíceis de classificar): Altas pontuações de contradição NLI, grandes distâncias no espaço de embeddings (distância k-NN) e altos níveis de "segmentos de referência ausentes".
• Conclusão: Respostas difíceis não são outliers aleatórios; elas são semanticamente ambíguas, incompletas ou contraditórias em relação à referência.

5. Significado e Implicações

• Além das Métricas Agregadas: O estudo argumenta que avaliar LLMs apenas por pontuações médias é insuficiente. Um modelo que degrada graciosamente em itens difíceis é qualitativamente superior a um que colapsa, mesmo que suas pontuações F1 gerais sejam semelhantes.
• Implantação com Humano no Loop: A capacidade de estimar a dificuldade da resposta permite pipelines de classificação seletiva. Respostas fáceis podem ser classificadas automaticamente, enquanto respostas de alta dificuldade (identificadas por baixo alinhamento semântico ou alto isolamento de embeddings) podem ser roteadas para revisores humanos, melhorando a eficiência e a confiabilidade.
• Design de Rubricas e Prompts: A tendência de colapsar para o rótulo "intermediário" sugere que as estratégias atuais de prompts carecem de limites de decisão claros. Os autores sugerem avaliação estruturada (subdecisões sequenciais sobre relevância, correção, contradição e completude) para mitigar esse colapso.
• Equidade Educacional: Entender por que uma resposta é difícil (por exemplo, isolamento semântico versus contradição) fornece feedback interpretável para educadores, indo além de simples pontuações "certo/errado".

6. Limitações

• Escopo do Modelo: Limitado a 17 modelos específicos de pesos abertos; os resultados podem variar com modelos proprietários ou maiores.
• Generalização do Conjunto de Dados: As descobertas baseiam-se em dois conjuntos de dados do domínio das ciências; a generalizabilidade para outros domínios ou esquemas de rótulos não foi comprovada.
• Natureza Correlacional: A análise de características identifica associações com a dificuldade, mas não estabelece mecanismos causais.