Quality-Conditioned Agreement in Automated Short Answer Scoring: Mid-Range Degradation and the Impact of Task-Specific Adaptation

Resumo Técnico: Concordância Condicionada à Qualidade na Pontuação Automatizada de Respostas Curtas

Declaração do Problema
A Pontuação Automatizada de Respostas Curtas (ASAS) está em transição de modelos discriminativos ajustados finamente para Modelos de Linguagem de Grande Escala (LLMs) utilizados em cenários de poucos exemplos (few-shot). Embora os LLMs ofereçam conhecimento mundial amplo e facilidade de implantação, sua dependência de dados específicos limitados da tarefa levanta preocupações quanto ao alinhamento com a avaliação de especialistas, particularmente para tarefas complexas que exigem interpretação nuances. Uma questão crítica e pouco explorada é como esses modelos se desempenham em respostas de "faixa intermediária" — respostas que estão parcialmente corretas e exigem distinguir entre elementos corretos e incorretos. A literatura existente sugere que a precisão da pontuação automatizada pode variar sistematicamente conforme a qualidade da resposta, potencialmente levando a avaliações desiguais para estudantes com compreensão em desenvolvimento. A questão central de pesquisa investiga a associação entre a qualidade da resposta e a concordância entre avaliadores para pares humano-humano versus humano-IA em diferentes níveis de adaptação específica da tarefa (variando exemplos de poucos exemplos versus ajuste fino).

Metodologia
O estudo avaliou a concordância de pontuação em dois itens de biologia de resposta aberta concernentes à respiração celular (especificamente os efeitos do tabagismo e da anemia no exercício). O conjunto de dados compreendeu aproximadamente 800 respostas de estudantes do ensino médio.

• Verdade Terrena: As respostas foram pontuadas por um especialista em educação em biologia (Avaliador1) usando uma rubrica analítica que decompõe explicações em 10 categorias binárias. Essa pontuação serviu como a verdade terrena.
• Modelos Comparados:
  1. Especialista Humano (H2): Um segundo especialista em educação em biologia.
  2. Codificador Ajustado Finamente: Um modelo discriminativo baseado em BERT (DictaBERT) ajustado finamente em 669 respostas de treinamento.
  3. LLMs de Poucos Exemplos: Três modelos generativos baseados em decodificador (GPT-5.2, GPT-4o e Claude Opus 4.5) solicitados com números variados de exemplos (2, 4, 6, 8 e 10 exemplos).
• Métrica de Avaliação: As diferenças de pontuação foram medidas usando a Distância de Manhattan (distância L1) entre o vetor binário da verdade terrena e o vetor produzido pelo avaliador/IA. Essa métrica conta o número de categorias da rubrica pontuadas de forma diferente.
• Desenho Experimental: O estudo analisou a concordância em todo o espectro de qualidade da resposta (0 a 10 categorias corretas), examinando especificamente o desempenho nas extremidades (totalmente correto/incorreto) versus a faixa intermediária (parcialmente correto).

Principais Resultados

1. Degradação da Faixa Intermediária: Todos os modelos de IA exibiram um padrão de desempenho em forma de U (ou concordância em forma de U invertida). Enquanto os modelos se desempenharam bem em respostas totalmente corretas (pontuações 9–10) e totalmente incorretas (pontuações 0–1), eles mostraram degradação substancial na faixa intermediária (pontuações 4–7).
2. Consistência Humana versus IA: O especialista humano (H2) manteve concordância alta e estável com a verdade terrena em todo o espectro de qualidade, não mostrando degradação significativa na faixa intermediária. Em contraste, os avaliadores de IA estavam menos alinhados com o especialista especificamente em respostas de faixa intermediária.
3. Impacto da Adaptação Específica da Tarefa: A gravidade da degradação da faixa intermediária foi condicionada à quantidade de dados específicos da tarefa:
   • LLMs de Poucos Exemplos: Modelos com menos exemplos (por exemplo, 2 exemplos) mostraram a degradação mais severa na faixa intermediária. Aumentar o número de exemplos (até 10 exemplos) reduziu, mas não eliminou, essa lacuna.
   • Modelos Ajustados Finamente: O modelo baseado em BERT ajustado finamente desempenhou-se melhor entre os sistemas de IA, reduzindo significativamente o erro da faixa intermediária em comparação com LLMs de poucos exemplos, embora ainda não tenha correspondido à estabilidade do especialista humano.
4. Variabilidade do Modelo: Enquanto GPT-4o e GPT-5.2 mostraram padrões consistentes, o modelo Claude Opus 4.5 exibiu comportamento errático, desempenhando-se melhor em um item, mas pior no outro, sugerindo instabilidade na solicitação de poucos exemplos para essa arquitetura específica.

Principais Contribuições

• Identificação de Equidade Condicionada à Qualidade: O artigo introduz o conceito de "equidade condicionada à qualidade", definindo-o como a exigência de que sistemas ASAS mantenham precisão consistente em toda a gama de qualidade da resposta.
• Caracterização do Viés da Faixa Intermediária: O estudo demonstra empiricamente que a principal fonte de desacordo entre IA e especialistas humanos não está nas extremidades da distribuição de pontuação, mas especificamente na faixa intermediária onde os estudantes demonstram domínio parcial.
• Adaptação versus Desempenho: O trabalho esclarece que, embora os LLMs possam lidar com casos extremos com dados mínimos, a avaliação precisa de conhecimento parcial requer adaptação específica significativa da tarefa (ajuste fino ou exemplos extensos de poucos exemplos).

Significado e Alegações
Os autores afirmam que essas descobertas destacam uma limitação crítica no paradigma atual de implantar LLMs de poucos exemplos para ASAS sem dados específicos suficientes da tarefa. A "degradação da faixa intermediária" representa um risco específico de equidade: estudantes com estados de conhecimento em desenvolvimento são os mais propensos a receber pontuações imprecisas, o que poderia levar a suporte de aprendizado ou feedback inadequados.

O artigo sugere uma abordagem híbrida prática: sistemas automatizados poderiam lidar de forma confiável com respostas totalmente corretas e totalmente incorretas (mesmo com solicitação de poucos exemplos), enquanto respostas de faixa intermediária deveriam ser encaminhadas para avaliadores humanos até que dados específicos suficientes da tarefa sejam acumulados para ajuste fino. Ao identificar esse padrão específico de viés, os autores argumentam que o campo pode passar de tratar erros de pontuação como "viéses desconhecidos" para "viéses conhecidos", um passo necessário para melhorar a equidade na IA educacional. O estudo não afirma que os LLMs são inerentemente superiores ou inferiores aos modelos ajustados finamente em todos os contextos, mas sim que seu desempenho é altamente dependente da qualidade da resposta sendo pontuada e do grau de adaptação aplicado.