Teaching Students to Question the Machine: An AI Literacy Intervention Improves Students' Regulation of LLM Use in a Science Task

Resumen Técnico: Enseñar a los estudiantes a cuestionar a la máquina

Planteamiento del problema
La Inteligencia Artificial Generativa (GenAI) y los Modelos de Lenguaje Extensos (LLM) se están integrando rápidamente en las prácticas de aprendizaje de los estudiantes, particularmente en contextos STEM. Si bien estas herramientas ofrecen oportunidades para el apoyo adaptativo, plantean el riesgo de una "descarga cognitiva" (cognitive offloading), donde los estudiantes delegan los pasos de razonamiento al modelo en lugar de participar en una evaluación crítica o una indagación autorregulada. Existe una brecha crítica en la comprensión de cómo apoyar la dimensión aplicada de la alfabetización en IA en la escuela secundaria: la capacidad de monitorear los prompts, evaluar las respuestas y decidir cuándo revisar, rechazar o continuar una interacción. Investigaciones previas indican que los estudiantes de secundaria suelen tener dificultades para seleccionar prompts efectivos o para desafiar respuestas insatisfactorias; sin embargo, la evidencia controlada en el aula sobre intervenciones breves y escalables para abordar estos déficits de regulación conductual sigue siendo limitada.

Metodología
Los autores llevaron a cabo un estudio de aula cuasi-experimental con 116 estudiantes (grados 8–9, edades 13–15) en una escuela secundaria francesa. Debido a limitaciones de programación, la aleatorización individual no fue factible; los estudiantes fueron asignados a las condiciones a nivel de clase.

• Intervención: El grupo de intervención asistió a un taller de alfabetización en IA de dos horas dos días antes de la fase de prueba. El taller combinó contenido conceptual (cómo funcionan y fallan los LLM) con actividades prácticas centradas en preservar la agencia del estudiante. Crucialmente, el taller no ensayó las tareas científicas específicas utilizadas en el experimento. En su lugar, entrenó a los estudiantes para evaluar si los prompts iniciales se alineaban con los objetivos de la tarea, si las respuestas satisfacían esos objetivos y cómo revisar los prompts o realizar preguntas de seguimiento.
• Control: El grupo de control completó la misma sesión de prueba sin asistir al taller.
• Tarea: Ambos grupos completaron seis tareas de resolución de problemas científicos utilizando un LLM. Para cada tarea, se presentó a los estudiantes un prompt sugerido que era o bien bien especificado (que contenía elementos contextuales clave) o subespecificado (que omitía información crítica). Los estudiantes decidieron si aceptar el prompt, interactuaron con el LLM, evaluaron la respuesta, opcionalmente hicieron una pregunta de seguimiento y escribieron una respuesta final.
• Medidas:
  • Indicadores conductuales: Aceptación del prompt (control a nivel de consulta), juicios de corrección de las respuestas de la IA (evaluación de la respuesta) y tasas de preguntas de seguimiento (control de la interacción).
  • Desempeño: Calidad de la respuesta final calificada mediante una rúbrica de 0–2, agregada a una escala de 0–20.
  • Autoinformes: Cuestionarios pre y post-taller que miden las percepciones de GenAI (actitud, confianza, ética, etc.) y la conciencia metacognitiva general (Jr. MAI).
• Análisis: Se utilizaron Modelos Lineales Generalizados (GLM) con errores estándar robustos por conglomerados para los indicadores conductuales. El desempeño final de la tarea se analizó mediante pruebas de Mann–Whitney. Se computaron índices de detección de señales ($d'$ y $\beta$) para medir la discriminación de los prompts. Se utilizó GPT-4o como "LLM-como-juez" para la calificación, validado contra anotadores humanos.

Contribuciones clave

1. Enfoque conductual: El estudio operacionaliza la alfabetización en IA no meramente como conocimiento declarativo, sino como "regulación de la interacción con el LLM"—un proceso de monitoreo y control a nivel de tarea específico para la IA generativa.
2. Diseño de la intervención: Demuestra un taller de dos horas factible en el aula que apunta a habilidades de regulación aplicada (mantener la agencia) en lugar de solo conocimiento conceptual, sin ensayar el contenido específico de la prueba.
3. Rigor metodológico: El estudio emplea controles estadísticos robustos, incluyendo la teoría de detección de señales para separar la sensibilidad del sesgo de respuesta, y valida la calificación automatizada contra anotadores humanos.

Resultados

• Comportamientos de regulación: Los estudiantes en el grupo de intervención exhibieron comportamientos de interacción significativamente más adaptativos en comparación con el grupo de control:
  • Fueron menos propensos a aceptar prompts subespecificados (51.5% vs. 66.7%).
  • Sus juicios de corrección fueron más sensibles a la especificación del prompt (el efecto de interacción fue significativo).
  • Hicieron preguntas de seguimiento significativamente más a menudo después de aceptar prompts subespecificados (59.2% vs. 27.9%).
• Desempeño en la tarea: El grupo de intervención logró puntuaciones de desempeño de la tarea final modestamente más altas (Media = 11.38) en comparación con el grupo de control (Media = 10.29), aunque las puntuaciones absoltas se mantuvieron limitadas para ambos grupos.
• Mecanismo de acción: El análisis de detección de señales reveló que, si bien la sensibilidad ($d'$) a la calidad del prompt fue numéricamente mayor en el grupo de intervención, no fue estadísticamente significativa. Sin embargo, el vínculo entre notar un problema (discriminación de prompts) y tomar una acción regulatoria (reformular o hacer preguntas de seguimiento) fue más fuerte en el grupo de intervención.
• Autoinformes vs. Conducta: Ni los autoinformes de GenAI ni las puntuaciones de conciencia metacognitiva general predijeron de manera robusta la regulación conductual o el desempeño final de la tarea. Además, el taller produjo cambios solo débiles y no significativos en las actitudes autoinformadas, lo que sugiere que los cambios conductuales pueden ocurrir sin cambios inmediatos en la competencia percibida.

Significancia y Reivindicaciones
El artículo sostiene que la instrucción breve y factible en el aula sobre alfabetización en IA puede moldear la regulación a corto plazo de los estudiantes de secundaria en la resolución de problemas apoyada por LLM. Los autores enfatizan que el taller transfirió con éxito una "postura regulatoria" —mantener la agencia sobre el prompting y la evaluación— a nuevas tareas.

Sin embargo, los autores son modestos en sus conclusiones:

• El estudio demuestra una mejora en la regulación durante la tarea, no ganancias de aprendizaje duraderas o retención a largo plazo.
• La modesta mejora en las puntuaciones finales indica que el acceso a la GenAI por sí solo es insuficiente para obtener respuestas de alta calidad; los estudiantes aún enfrentan desafíos significativos para sintetizar información y evaluar los resultados del modelo.
• Los hallazgos sugieren que las medidas de autoinforme son malos indicadores de la alfabetización aplicada en IA y que la educación futura debe priorizar las medidas conductuales y las habilidades de regulación práctica sobre el conocimiento puramente declarativo.
• El estudio destaca la necesidad de investigaciones a más largo plazo para determinar si estos hábitos regulatorios se transfieren a nuevos dominios y persisten en el tiempo.