Teaching Students to Question the Machine: An AI Literacy Intervention Improves Students' Regulation of LLM Use in a Science Task

Resumo Técnico: Ensinando Alunos a Questionar a Máquina

Definição do Problema
A Inteligência Artificial Generativa (GenAI) e os Grandes Modelos de Linguagem (LLMs) estão sendo rapidamente integrados às práticas de aprendizagem dos alunos, particularmente em contextos de STEM. Embora essas ferramentas ofereçam oportunidades para suporte adaptativo, elas representam o risco de "descarregamento cognitivo" (cognitive offloading), onde os alunos delegam etapas de raciocínio ao modelo em vez de se envolverem em uma avaliação crítica ou investigação autorregulada. Existe uma lacuna crítica na compreensão de como apoiar a dimensão aplicada da alfabetização em IA no ensino fundamental II: a capacidade de monitorar comandos (prompts), avaliar respostas e decidir quando revisar, rejeitar ou continuar uma interação. Pesquisas anteriores indicam que alunos do ensino fundamental II frequentemente têm dificuldade em selecionar comandos eficazes ou em contestar respostas insatisfatórias, embora evidências de sala de aula controladas sobre intervenções breves e escalonáveis para abordar esses déficits de regulação comportamental permaneçam limitadas.

Metodologia
Os autores conduziram um estudo quase-experimental em sala de aula com 116 alunos (8º–9º anos, idades entre 13–15 anos) em uma escola de ensino fundamental francesa. Devido a restrições de cronograma, a randomização individual não foi viável; os alunos foram atribuídos às condições por nível de turma.

• Intervenção: O grupo de intervenção participou de um workshop de alfabetização em IA de duas horas dois dias antes da fase de teste. O workshop combinou conteúdo conceitual (como os LLMs funcionam e falham) com atividades práticas focadas em preservar a agência do aluno. Crucialmente, o workshop não ensaiou as tarefas científicas específicas usadas no experimento. Em vez disso, treinou os alunos para avaliar se os comandos iniciais alinhavam-se aos objetivos da tarefa, se as respostas satisfaziam esses objetivos e como revisar comandos ou fazer perguntas de acompanhamento.
• Controle: O grupo de controle completou a mesma sessão de teste sem participar do workshop.
• Tarefa: Ambos os grupos completaram seis tarefas de resolução de problemas científicos usando um LLM. Para cada tarefa, os alunos foram apresentados a um comando sugerido que era ou bem especificado (contendo elementos contextuais fundamentais) ou subespecificado (omitindo informações críticas). Os alunos decidiram se aceitavam o comando, interagiram com o LLM, avaliaram a resposta, opcionalmente fizeram uma pergunta de acompanhamento e escreveram uma resposta final.
• Medidas:
  • Indicadores Comportamentais: Aceitação de comandos (controle de nível de consulta), julgamentos de correção das respostas do IA (avaliação de resposta) e taxas de perguntas de acompanhamento (controle de interação).
  • Desempenho: Qualidade da resposta final pontuada em uma rubrica de 0–2, agregada para uma escala de 0–20.
  • Autorrelatos: Questionários pré e pós-workshop medindo percepções de GenAI (atitude, confiança, ética, etc.) e consciência metacognitiva geral (Jr. MAI).
• Análise: Modelos Lineares Generalizados (GLM) com erros padrão robustos ao cluster foram usados para indicadores comportamentais. O desempenho final da tarefa foi analisado usando testes de Mann–Whitney. Índices de detecção de sinal ($d'$ e $\beta$) foram computados para medir a discriminação de comandos. O GPT-4o foi utilizado como um "LLM-como-juiz" para a pontuação, validado contra anotadores humanos.

Principais Contribuições

1. Foco Comportamental: O estudo operacionaliza a alfabetização em IA não meramente como conhecimento declarativo, mas como "regulação da interação com o LLM" — um processo de monitoramento e controle ao nível da tarefa específico para IA generativa.
2. Design de Intervenção: Demonstra um workshop de duas horas, viável para a sala de aula, que visa habilidades de regulação aplicada (manutenção da agência) em vez de apenas conhecimento conceitual, sem ensaiar o conteúdo específico do teste.
3. Rigor Metodológico: O estudo emprega controles estatísticos robustos, incluindo a teoria de detecção de sinal para separar a sensibilidade do viés de resposta, e valida a pontuação automatizada contra anotadores humanos.

Resultos

• Comportamentos de Regulação: Os alunos no grupo de intervenção exibiram comportamentos de interação significativamente mais adaptativos em comparação ao grupo de controle:
  • Foram menos propensos a aceitar comandos subespecificados (51,5% vs. 66,7%).
  • Seus julgamentos de correção foram mais sensíveis à especificação do comando (efeito de interação significativo).
  • Fizeram perguntas de acompanhamento significativamente mais vezes após aceitar comandos subespecificados (59,2% vs. 27,9%).
• Desempenho na Tarefa: O grupo de intervenção alcançou pontuações de desempenho de tarefa final modestamente superiores (Média = 11,38) em comparação ao grupo de controle (Média = 10,29), embora as pontuações absolutas tenham permanecido limitadas para ambos os grupos.
• Mecanismo de Ação: A análise de detecção de sinal revelou que, embora a sensibilidade ($d'$) à qualidade do comando tenha sido numericamente maior no grupo de intervenção, ela não foi estatisticamente significativa. No entanto, a ligação entre notar um problema (discriminação de comando) e tomar uma ação regulatória (reformular ou fazer perguntas de acompanhamento) foi mais forte no grupo de intervenção.
• Autorrelatos vs. Comportamento: Nem os autorrelatos de GenAI nem os escores de consciência metacognitiva geral predisseram robustamente a regulação comportamental ou o desempenho final da tarefa. Além disso, o workshop produziu mudanças apenas fracas e não significativas nas atitudes autorrelatadas, sugerindo que mudanças comportamentais podem ocorrer sem mudanças imediatas na competência autopercebida.

Significância e Alegações
O artigo afirma que a instrução breve e viável em sala de aula de alfabetização em IA pode moldar a regulação de curto prazo dos alunos no processo de resolução de problemas apoiado por LLM. Os autores enfatizam que o workshop transferiu com sucesso uma "postura regulatória" — manter a agência sobre o comando e a avaliação — para novas tarefas.

No entanto, os autores são modestos em suas conclusões:

• O estudo demonstra uma melhoria na regulação durante a tarefa, não ganhos de aprendizagem duradouros ou retenção a longo prazo.
• A melhoria modesta nas pontuações finais indica que o acesso à GenAI por si só é insuficiente para respostas de alta qualidade; os alunos ainda enfrentam desafios significativos em sintetizar informações e avaliar saídas do modelo.
• Os achados sugerem que medidas de autorrelato são indicadores pobres de alfabetização em IA aplicada e que a educação futura deve priorizar medidas comportamentais e habilidades de regulação prática em vez de conhecimento puramente declarativo.
• O estudo destaca a necessidade de pesquisas de longo prazo para determinar se esses hábitos regulatórios se transferem para novos domínios e persistem ao longo do tempo.