Response-free item difficulty modelling for multiple-choice items with fine-tuned transformers: Component-wise representation and multi-task learning

Resumo Técnico: Modelagem de Dificuldade de Itens sem Resposta para Questões de Múltipla Escolha com Transformers Ajustados

Declaração do Problema
A estimativa precisa da dificuldade do item é crítica para avaliações educacionais de alto impacto, mas a calibração baseada em respostas convencional frequentemente não está disponível para itens recém-escritos, pré-testes seguros ou populações pequenas. Embora julgamentos de especialistas ofereçam uma solução parcial, eles carecem de confiabilidade suficiente. Isso torna necessária a modelagem de dificuldade de itens sem resposta (IDM), onde a dificuldade é inferida diretamente da redação do item antes da administração.

As abordagens existentes enfrentam limitações significativas:

1. Pipelines de Engenharia de Recursos: Estas extraem manualmente recursos de texto (por exemplo, legibilidade, profundidade sintática) e os alimentam em modelos estatísticos. Este processo requer pré-processamento extensivo (lematização, remoção de palavras de parada) que descarta informações morfos sintáticas e depende de design de recursos orientado por teoria.
2. IRT Explicativo com Codificadores Congelados: Métodos como o Modelo Logístico Linear de Teste (LLTM) integram recursos do item na função de verossimilhança. Adaptações recentes usam codificadores BERT congelados para substituir recursos codificados manualmente, mas as representações permanecem vinculadas a objetivos de pré-treinamento de propósito geral, em vez da tarefa específica de IDM.
3. O Desafio da Compreensão de Leitura: Para questões de múltipla escolha (MCQs) de compreensão de leitura, a dificuldade surge de demandas inferenciais que abrangem conjuntamente o texto, a pergunta e as opções. A extração simples de recursos ou codificadores congelados frequentemente falha em capturar essas interações complexas entre componentes, especialmente em regimes de pequena amostra típicos da psicometria aplicada, onde dados de dificuldade rotulados são escassos.

Metodologia
Os autores propõem e avaliam três arquiteturas baseadas em transformers que ajustam finamente modelos de apenas codificador (especificamente ModernBERT) de ponta a ponta na redação do item, eliminando a engenharia manual de recursos. O estudo utiliza um projeto aninhado de tamanho de treinamento no corpus RACE++ (29.618 itens), onde os alvos de dificuldade são pseudo-rotulados usando um Modelo de Linguagem Grande (Gemini 2.5 Flash) calibrado contra estimativas Rasch humanas do subconjunto PALRACE.

Os três métodos comparados são:

1. Codificação Conjunta (Linha de Base):

   • Arquitetura: O texto, a pergunta e as opções são concatenados em uma única sequência de entrada separada por tokens [SEP].
   • Mecanismo: Um codificador Transformer padrão processa a sequência plana. A representação agrupada do token [CLS] é passada por uma cabeça de regressão linear para prever a dificuldade ($\hat{b}_i$).
   • Objetivo: Minimiza o Erro Quadrático Médio (MSE) entre a dificuldade prevista e a pseudo-rotulada.

2. Codificação por Componente:

   • Arquitetura: O texto, a pergunta e o conjunto de opções são codificados separadamente através de um codificador compartilhado.
   • Mecanismo: Cada componente produz uma representação [CLS]. Esses três vetores são concatenados e alimentados na cabeça de regressão.
   • Motivação: Impõe explicitamente a decomposição funcional de uma MCQ, permitindo teoricamente que o modelo preserve recursos relacionais dos distratores que poderiam ser perdidos em uma sequência plana.

3. Aprendizado Multitarefa (MTL):

   • Arquitetura: Mantém a entrada de codificação conjunta, mas adiciona um ramo auxiliar de Resposta a Questões de Múltipla Escolha (MCQA).
   • Mecanismo: O codificador compartilhado alimenta duas cabeças:
     • Uma cabeça de regressão para dificuldade ($\hat{b}_i$).
     • Uma cabeça de classificação ($f_\xi$) que prevê a probabilidade de cada opção estar correta.
   • Treinamento: As tarefas alternam por lote. Um vetor de condicionamento de tarefa aprendível ($z_t$) é adicionado ao embedding [CLS] para sinalizar a tarefa ativa. A perda MCQA é ponderada ($\lambda=0,05$) para evitar transferência negativa.
   • Motivação: A tarefa auxiliar atua como um regularizador, forçando o codificador a aprender representações capazes de discriminação ao nível da opção. Isso alinha os recursos aprendidos ao processo cognitivo de realização de testes, fornecendo um sinal de supervisão quando o rótulo principal de dificuldade é escasso.

Principais Resultados
Os modelos foram avaliados em três tamanhos de conjunto de treinamento ($n \approx 800$, $n \approx 4.300$ e $n \approx 23.000$) usando RMSE, $R^2$ e Spearman $\rho$.

• Viabilidade do Ajuste Fino de Ponta a Ponta: Todos os métodos baseados em transformers superaram significativamente o regressor "fictício" (que prevê a dificuldade média do conjunto de treinamento). Em $n \approx 800$, os modelos reduziram o RMSE em 14–16% em comparação com a linha de base, demonstrando que o ajuste fino de transformers é uma alternativa viável às pipelines de engenharia de recursos.
• Codificação por Componente: Esta variante mostrou nenhum benefício detectável sobre a codificação conjunta. De fato, performou ligeiramente pior em RMSE e $R^2$ em tamanhos de amostra menores. Os autores interpretam isso como evidência de que o mecanismo de atenção automática na codificação conjunta já colhe efetivamente sinais entre componentes, tornando a decomposição arquitetônica explícita redundante.
• Aprendizado Multitarefa (MTL):
  • No menor tamanho de amostra ($n \approx 800$), o MTL entregou melhorias pareadas significativas sobre a codificação conjunta em todas as métricas (RMSE, $R^2$ e Spearman $\rho$).
  • À medida que o tamanho do conjunto de treinamento aumentou ($n \approx 4.300$ e $23.000$), a vantagem do MTL diminuiu e tornou-se estatisticamente indistinguível da codificação conjunta.
  • Isso confirma a hipótese de que o objetivo auxiliar de MCQA fornece um sinal regularizador crucial especificamente quando o sinal principal de dificuldade é escasso.

Significado e Alegações
O artigo afirma que o ajuste fino de transformers, particularmente quando regularizado por uma tarefa auxiliar adequada, recupera uma parcela substancial do sinal de dificuldade derivável da redação em tamanhos de conjunto de treinamento típicos de contextos de medição aplicada.

As principais conclusões incluem:

• Eficiência: O ajuste fino de ponta a ponta colapsa as etapas de pré-processamento e modelagem da engenharia de recursos tradicional em um único processo orientado por dados.
• Regularização em Pequena Amostra: Em regimes com escassez de dados, adicionar uma tarefa auxiliar que imita o processo de realização de testes (MCQA) atua como um viés indutivo eficaz, impedindo que o modelo aprenda atalhos superficiais e melhorando a generalização.
• Aplicação Prática: Essas previsões sem resposta podem servir como priores ou estimativas iniciais em fluxos de trabalho de calibração, potencialmente reduzindo o tamanho da amostra necessário para refinamento subsequente baseado em respostas.

Os autores permanecem modestos quanto ao teto absoluto da previsão baseada em texto, reconhecendo que fatores como estratégias de realização de testes e layout visual não são capturados na redação, e que os alvos pseudo-rotulados contêm ruído tanto do LLM quanto da estimativa Rasch subjacente. No entanto, o framework fornece uma interface personalizável para futuras extensões motivadas psicometricamente.