Small, Private Language Models as Teammates for Educational Assessment Design

Resumo Técnico: Modelos de Linguagem Pequenos e Privados como Colegas para o Design de Avaliação Educacional

Declaração do Problema
Embora os Modelos de Linguagem Grandes (LLMs) tenham demonstrado capacidade na geração de questões de avaliação educacional alinhadas a frameworks pedagógicos como a taxonomia de Bloom, lacunas significativas permanecem em sua avaliação e implantação. A pesquisa atual frequentemente depende de rubricas subjetivas, análise estatística limitada ou modelos proprietários baseados em nuvem, levantando preocupações quanto à reprodutibilidade, confiabilidade e implantabilidade no mundo real. Além disso, instituições educacionais enfrentam frequentemente restrições relacionadas à privacidade de dados, custos e disponibilidade de recursos, tornando a dependência de APIs externas problemática. Embora os Modelos de Linguagem Pequenos (SLMs) ofereçam alternativas locais e que preservam a privacidade, sua eficácia para tarefas de design de avaliação — especificamente no que diz respeito à validade do conteúdo, legibilidade e alinhamento cognitivo — permanece subexplorada. Adicionalmente, a confiabilidade do uso de modelos de IA como avaliadores ("modelo como juiz") para conteúdo gerado não é bem compreendida, com potenciais vieses e inconsistências em relação às classificações de especialistas humanos.

Metodologia
O estudo emprega um fluxo de trabalho experimental sistemático e ponta a ponta para comparar LLMs de fronteira e SLMs implantáveis localmente em quatro Questões de Pesquisa (RQs).

• Dados e Modelos: O estudo utilizou 2.550 questões de um conjunto de dados anterior [23] e gerou 4.080 novas questões.
  • LLMs (Fronteira): GPT-4, GPT-3.5, Palm-2, LLaMA-2, Mistral e Gemini Pro.
  • SLMs (Local/Pesos Abertos): Granite 4, Phi-4 mini, LLaMA 3.2, Mistral Small 3.2, GPT-OSS, Phi-4, Deepseek R1 e Gemma 3.
  • Configuração: As temperaturas de geração e avaliação foram fixadas em 0,8 e 0,0, respectivamente, para garantir comparabilidade direta.
• Estratégia de Prompt: Cinco Estruturas de Prompt (PS) foram utilizadas, variando de geração geral zero-shot (PS1) a prompts incrementalmente específicos direcionados a níveis de pós-graduação e demografias específicas (PS2–PS5), incorporando instruções de sistema e pistas explícitas para níveis da taxonomia de Bloom.
• Métricas de Avaliação: O estudo associou cada RQ a métricas de PLN objetivas e reprodutíveis e testes estatísticos:
  • RQ1 (Complexidade Cognitiva): Medida por meio dos níveis de escolaridade Flesch-Kincaid e dos escores de Facilidade de Leitura Flesch para avaliar a complexidade do texto e o alinhamento com os níveis de escolaridade alvo.
  • RQ2 (Intenção Linguística): Medida por meio do BERTScore (usando embeddings GTR T5-large) para calcular a similaridade semântica entre prompts e questões geradas, e consistência dentro do tópico através dos níveis de Bloom.
  • RQ3 (Conformidade Pedagógica): Avaliada por meio de uma "Verificação de Verbo" para determinar se as questões geradas usaram verbos de ação consistentes com seu nível alvo na taxonomia de Bloom.
  • RQ4 (Confiabilidade da Avaliação): Avaliou a confiabilidade do modelo como juiz comparando as saídas do modelo contra anotações de especialistas humanos para Alta Qualidade (HQ) e Correspondência de Habilidade, analisando padrões de concordância, viés e calibração.

Principais Resultados

• Qualidade de Geração (RQ1–RQ3):
  • Complexidade: Tanto LLMs quanto SLMs produziram questões em um nível de escolaridade de base comparável (final do ensino médio/início da graduação, $\mu \approx 14$). No entanto, os SLMs demonstraram maior controle e modulação sistemática da complexidade da linguagem em resposta à especificidade do prompt, enquanto os LLMs mostraram maior variabilidade.
  • Intenção e Consistência: Os SLMs mantiveram um alinhamento de intenção tópica mais próximo e exibiram maior estabilidade semântica (escores F1 mais altos) nas transições entre níveis de Bloom em comparação com os LLMs, que mostraram mais deriva conceitual.
  • Alinhamento Pedagógico: Ambas as famílias mostraram forte conformidade de verbos quando os prompts eram explícitos. No entanto, os SLMs mantiveram um alinhamento alto e consistente mesmo em prompts de menor especificidade, enquanto os LLMs dependeram fortemente de andaimes instrucionais explícitos para manter o alinhamento.
• Confiabilidade da Avaliação (RQ4):
  • Nem SLMs nem LLMs replicaram consistentemente o equilíbrio de seletividade e consciência de habilidade encontrado em especialistas humanos.
  • Julgamentos baseados em modelos exibiram variância significativa: alguns modelos foram excessivamente indulgentes (arriscando a aceitação de itens de baixa qualidade), enquanto outros foram excessivamente conservadores (arriscando a remoção de itens de alta qualidade).
  • A confiabilidade do avaliador foi encontrada como dependente do modelo específico sendo julgado, com alguns modelos mostrando concordância preferencial com geradores da mesma família, indicando viés sistemático.

Principais Contribuições

1. Benchmarking Sistemático: O estudo fornece a primeira comparação sistemática de SLMs e LLMs para Geração Automatizada de Questões Educacionais (AEQG), demonstrando que modelos menores e locais podem alcançar alinhamento pedagógico e estabilidade competitivos e, em alguns casos, superiores, em comparação com modelos de fronteira.
2. Métricas Reprodutíveis: Introduz um framework usando métricas de PLN objetivas e reprodutíveis (legibilidade, similaridade semântica, conformidade de verbos) para avaliar a qualidade da geração através de dimensões linguísticas, semânticas e pedagógicas, indo além de rubricas humanas subjetivas.
3. Avaliação de Modelo como Juiz: A pesquisa analisa exaustivamente a confiabilidade e os padrões de viés do uso de LMs como avaliadores, revelando que, embora possam auxiliar, atualmente carecem da consistência necessária para avaliação autônoma.
4. Insights Conscientes de Implantação: As descobertas destacam a viabilidade de SLMs para ambientes educacionais sensíveis à privacidade e com recursos limitados, oferecendo um caminho sustentável para implantação em dispositivos.

Significado e Alegações
O artigo postula que os modelos de linguagem devem ser vistos como assistentes limitados em vez de avaliadores autônomos em fluxos de trabalho educacionais. As descobertas apoiam um framework "Humano no Loop" (HIL) onde os modelos aceleram a ideação e apoiam a construção de questões, mas especialistas humanos retêm autoridade curatorial para garantir integridade pedagógica e equidade.

Os autores afirmam que, embora os SLMs ofereçam uma alternativa promissora para implantação local devido às suas menores demandas computacionais e adesão consistente a restrições, a confiabilidade da IA como avaliador autônomo permanece indefinida. O estudo sublinha a necessidade de supervisão humana para mitigar vieses induzidos por modelos e garantir que as avaliações geradas sejam acessíveis e válidas. Em última análise, o trabalho avança o campo ao examinar os trade-offs entre qualidade, confiabilidade e viabilidade de implantação, estabelecendo uma base para sistemas de GenAI responsáveis e conscientes do currículo na educação.