Engagement Intensity as a Learner-Modeling Signal for Adaptive AI Ethics Instruction

Resumen Técnico: La intensidad del compromiso como señal de modelado del estudiante para la instrucción adaptativa en ética de la IA

Planteamiento del problema
Los aprendices de posgrado que ingresan a la instrucción en ética de la IA poseen experiencias previas heterogéneas con los Modelos de Lenguaje de Gran Escala (LLM) y percepciones variables sobre sus capacidades. Aunque los marcos establecidos de alfabetización en IA enfatizan la instrucción centrada en el estudiante, existe una falta de evidencia empírica sobre qué características de entrada (pre-instrucción) diferencian mejor a los estudiantes para informar la personalización de la enseñanza. Los indicadores intuitivos, como la realización de cursos previos o la asistencia a talleres, no han sido probados rigurosamente frente a las señales conductuales para determinar si capturan la variación necesaria para un diseño adaptativo en entornos de investigación de posgrado.

Metodología
El estudio analizó los datos de una encuesta previa a la instrucción de 93 aprendices de posgrado y postdoctorales en biosciencias inscritos en un curso requerido de Conducta Responsable de la Investigación (RCR) en la UCLA. La investigación evaluó tres candidatos a características de entrada:

1. Frecuencia de uso reportada (ordinal, 5 niveles: Nunca a Diariamente).
2. Familiaridad con los LLM autoevaluada (ordinal, 5 niveles: Nada a Muy alta).
3. Educación previa en IA (categórica: Formal, Informal o Ninguna).

Estas características fueron contrastadas contra cinco resultados de percepción focales, cada uno medido en una escala Likert de cinco puntos:

• Confianza en la precisión (creencia en la exactitud de los LLM para información científica general).
• Capacidad de distinción (habilidad para separar la producción factual de la incorrecta de los LLM).
• Confianza en tareas complejas (confianza en los LLM para conceptos éticos/científicos matizados).
• Riesgo de pensamiento crítico (creencia de que la dependencia excesiva perjudica el pensamiento crítico).
• Interés en la capacitación (interés en formación formal en LLM).

El análisis estadístico empleó correlaciones de Spearman para los predictores ordinales (frecuencia de uso y familiaridad) y pruebas $H$ de Kruskal–Wallis para el predictor categórico. Para abordar las comparaciones múltiples, se aplicó la corrección de Holm en los cinco resultados dentro de cada familia de predictores. Los tamaños del efecto para los contrastes binarios se resumieron utilizando la $\delta$ de Cliff.

Resultos clave
El análisis reveló jerarquías distintas en el poder predictivo de las características de entrada:

• Frecuencia de uso: Esta característica demostró las asociaciones más fuertes y consistentes, sobreviviendo a la corrección de Holm en los cinco resultados. Mostró los mayores tamaños de efecto para la confianza en tareas complejas ($\rho = .409$), la confianza en la precisión ($\rho = .370$) y el riesgo de pensamiento crítico ($\rho = -.346$).
• Familiaridad autoevaluada: Funcionó como una señal secundaria significativa pero más débil, sobreviviendo a la corrección de Holm para tres resultados: capacidad de distinción, confianza en tareas complejas y riesgo de pensamiento crítico. El patrón de asociación fue de "anclaje inferior", mostrando una separación clara en el extremo bajo de la escala (poca familiaridad vs. ligeramente familiar), pero con medianas a menudo idénticas para los niveles de mayor familiaridad.
• Educación previa en IA: Ni la codificación de tres grupos (Formal/Informal/Ninguna) ni la codificación colapsada de dos grupos (Cualquier educación previa vs. Ninguna) arrojaron asociaciones estadísticamente significativas con ninguno de los cinco resultados tras la corrección de Holm. Los tamaños de efecto más grandes fueron insignificantes (Cliff's $|\delta| < .19$).

Un hallazgo notable fue la asociación negativa entre el uso/familiaridad y el riesgo de pensamiento crítico; los usuarios intensivos y aquellos que se sentían más familiarizados reportaron menos preocupación sobre si la dependencia excesiva perjudica el pensamiento crítico.

Contribuciones clave

1. Validación comparativa de las características de entrada: El estudio demuestra empíricamente que las señales conductuales simples (frecuencia de uso reportada) y las señales de autopercepción (familiaridad) son más informativas para la segmentación de la pre-instrucción que las etiquetas de historial educativo (cursos previos/talleres) en una cohorte de biosciencias de posgrado.
2. Identificación de efectos de umbral: Los datos sugieren un patrón similar a un umbral en lugar de un gradiente uniforme, particularmente para el interés en la capacitación y la confianza en la precisión, donde la distincción entre no usuarios y cualquier usuario sostenido es más pronunciada que las diferencias entre los distintos niveles de uso frecuente.
3. Preocupaciones de calibración: Los resultados resaltan un posible problema de calibración donde los aprendices altamente comprometidos (alto uso/familiaridad) exhiben una menor sensibilidad a los riesgos de la dependencia excesiva, lo que sugiere la necesidad de intervenciones instruccionales dirigidas para este subgrupo.

Significancia y afirmaciones
El artículo afirma que el perfilado ligero de entrada para la educación en ética de la IA adaptativa puede lograrse eficazmente mediante encuestas breves previas a la instrucción que prioricen el uso reportado de LLM y la familiaridad autoevaluada sobre el historial educativo tradicional. Los autores argumentan que estas señales conductuales y de autopercepción proporcionan una base más confiable para distinguir a los estudiantes que pueden requerir una orientación básica de aquellos que podrían beneficiarse de un trabajo de calibración centrado en la confianza, la dependencia excesiva y los modos de falla.

El estudio se posiciona explícitamente como asociativo y transversal, señalando que la naturaleza de medida de autoinforme de un solo ítem impide realizar afirmaciones de causalidad o de confiabilidad multi-ítem. Los autores concluyen que, si bien estas señales son útiles para la agrupación a nivel de entrada, se requieren futuros estudios de intervención para determinar si dicha instrucción diferenciada realmente mejora los resultados del aprendizaje.