Scalable Generation and Validation of Isomorphic Physics Problems with GenAI

Resumo Técnico: Geração e Validação Escaláveis de Problemas de Física Isomórficos com IA Generativa

Declaração do Problema
Exames tradicionais de física, síncronos e de tentativa única, enfrentam desafios crescentes relacionados à desonestidade acadêmica, acessibilidade para estudantes não tradicionais e à incapacidade de compartilhar itens de avaliação abertamente para prática. Embora avaliações assíncronas, de múltiplas tentativas, utilizando grandes bancos de problemas isomórficos (itens que avaliam os mesmos conceitos subjacentes e estruturas de solução, mas variam em características superficiais) ofereçam uma alternativa promissora, a criação e validação desses bancos em escala permanecem intensivas em recursos. A geração manual de variantes de alta qualidade é proibitivamente cara, e garantir a uniformidade psicométrica (dificuldade consistente) entre as variantes é difícil. A validação tradicional depende de dados de resposta dos estudantes, que frequentemente são escassos para itens individuais em exames aleatorizados e disponíveis apenas após a implementação, deixando um problema de "início frio" para o controle de qualidade pré-implementação.

Metodologia
Os autores propõem uma estrutura de Inteligência Artificial Generativa (IA Generativa) com intervenção humana para a criação e validação escaláveis de problemas de física isomórficos, especificamente no âmbito da mecânica newtoniana introdutória.

1. Estrutura de Geração:

   • Encadeamento de Prompts e Uso de Ferramentas: O sistema decompõe a geração de problemas em subtarefas sequenciais usando encadeamento de prompts. Ele distingue entre variações estruturais (mudanças relevantes para a construção, como valores numéricos, arranjos espaciais e quantidades de objetos) e variações contextuais (características superficiais como cenários e redação).
   • Mecanismos de Controle: As variações estruturais são restringidas usando execução de código Python (via um interpretador de ferramentas) para impor leis físicas e limites matemáticos (por exemplo, garantir que as forças se equilibrem ou que os valores permaneçam positivos). As variações contextuais são geradas com maior flexibilidade criativa, mas guiadas por restrições sobre o nível de leitura e relevância cultural.
   • Fluxo de Trabalho: O processo envolve identificar um modelo, definir componentes, gerar variações por meio de uma cadeia de sete prompts e verificar a correção usando Modelos de Linguagem (LLMs).

2. Construção do Conjunto de Dados (ESTELA-Physics):

   • A estrutura produziu o ESTELA-Physics, um conjunto de dados de 29 bancos de problemas isomórficos cobrindo 12 tópicos de Física Universitária I (por exemplo, cinemática, forças, energia, momento).
   • O conjunto de dados contém 666 itens individuais, formatados para importação em sistemas de gerenciamento de aprendizado (Canvas), incluindo formatos de resposta numérica, múltipla escolha e categorização.

3. Estratégia de Validação:

   • Pós-Implementação (Dados de Estudantes): 20 bancos foram implantados em três exames de meio de período para uma turma de mais de 220 estudantes. A homogeneidade da dificuldade foi avaliada usando precisão por item, desvio padrão e o teste exato de Fisher estendido.
   • Pré-Implementação (Simulação por LM): 17 Modelos de Linguagem (LMs) de código aberto, variando de 0,6B a 32B de parâmetros, foram usados para simular respostas de estudantes nos mesmos bancos. A precisão do LM foi definida como a proporção de modelos que responderam corretamente.
   • Correlação e Diagnóstico: O estudo analisou a correlação entre o desempenho do LM e dos estudantes e conduziu estudos de caso em bancos heterogêneos para diagnosticar causas específicas de dificuldade (por exemplo, redação ambígua, restrições ignoradas).

Principais Contribuições

1. Estrutura de Geração de Problemas Baseada em IA Generativa: Um fluxo de trabalho reprodutível, com intervenção humana, utilizando encadeamento de prompts e uso de ferramentas para gerar problemas de física isomórficos com controle explícito sobre a integridade estrutural e diversas variações contextuais.
2. Recurso ESTELA-Physics: Um conjunto de dados publicamente disponível de 29 bancos de problemas isomórficos (666 itens) em 12 tópicos de física, servindo como referência para geração e validação isomórfica escalável.
3. Estudo de Validação Empírica: Uma abordagem de dupla avaliação demonstrando que:
   • A IA Generativa pode gerar bancos com dificuldade estatisticamente homogênea (75% dos bancos passaram nos testes de homogeneidade usando dados de estudantes).
   • A simulação por LM pode servir como uma ferramenta de triagem pré-implementação de baixo custo, identificando 70% dos bancos como homogêneos e sinalizando possíveis valores atípicos de dificuldade.
   • As respostas do LM podem diagnosticar causas específicas de dificuldade não intencional, como lacunas de conhecimento implícito do mundo, restrições verbais ignoradas e texto de problema ambíguo.

Resultados

• Homogeneidade da Dificuldade: Entre 20 bancos implantados, 75% foram classificados como homogêneos com base em dados de resposta dos estudantes (p > 0,05). A simulação por LM classificou 70% dos bancos avaliados como homogêneos.
• Alinhamento LM-Estudante: A correlação entre o desempenho do LM e dos estudantes variou. Cinco dos 13 bancos sobrepostos mostraram alinhamento positivo moderado (Pearson > 0,30). O alinhamento foi mais forte para bancos com dificuldade moderada e formatos numéricos, mas mais fraco para questões baseadas em imagens ou cenários de desempenho próximo ao teto.
• Capacidade Diagnóstica: Em estudos de caso de bancos heterogêneos (6-1 e 9-1), os erros do LM identificaram com sucesso valores atípicos genuínos de dificuldade.
  • Banco 6-1: Os LMs revelaram falhas na aplicação de conhecimento do mundo real implícito (por exemplo, forças de arrasto atuando durante o estiramento da rede), condições verbais ignoradas (por exemplo, distância percorrida dentro de uma mancha de lama) e texto de problema ambíguo (por exemplo, pontos de referência não definidos para altura).
  • Banco 9-1: Os LMs identificaram uma configuração geométrica específica (um anel pivotado em sua borda) que consistentemente desencadeou erros na aplicação do teorema dos eixos paralelos, espelhando as dificuldades dos estudantes.

Significado
O artigo afirma que a IA Generativa pode tornar a geração em larga escala de problemas de física isomórficos prática, permitindo formatos de avaliação em que os bancos de problemas estão disponíveis abertamente para prática sem comprometer a validade diagnóstica. Além disso, o estudo posiciona a simulação baseada em LM não como uma substituição perfeita para a revisão humana, mas como uma valiosa ferramenta de triagem pré-implementação de baixo custo. Ela pode sinalizar variantes potencialmente problemáticas e diagnosticar as causas raiz da heterogeneidade de dificuldade (como ambiguidades na redação ou restrições perdidas) antes que os itens sejam administrados aos estudantes, complementando assim a revisão humana tradicional e reduzindo o ônus de recursos na criação de bancos de avaliação robustos.