Measuring How Students Rely on Generative AI in Academic Writing: Development and Multi-Source Validation of the Generative AI Reliance Types Scale (GenAI-RTS)

Resumen Técnico: Desarrollo y Validación de la GenAI-RTS

Planteamiento del Problema
A medida que la adopción de la IA generativa (GenAI) en la educación superior se acerca a la universalidad, la pregunta binaria de si los estudiantes utilizan estas herramientas ha perdido valor diagnóstico. La pregunta empírica crítica se ha desplazado hacia cómo los estudiantes dependen de la GenAI durante la escritura académica extendida. Los instrumentos de medición existentes sufren tres limitaciones principales: (1) fueron desarrollados para tareas de toma de decisiones discretas en lugar de procesos de escritura iterativos; (2) dependen de la extracción inductiva de factores en lugar de tipologías basadas en la teoría; y (3) carecen de evidencia de invarianza de la medición escalar a través de diversos grupos demográficos, lo que impide comparaciones válidas relacionadas con la equidad. Además, las prácticas de validación actuales a menudo no proporcionan un argumento de validez coherente y de múltiples fuentes, tal como lo requieren los Estándares para Pruebas Educativas y Psicológicas (AERA et al., 2014).

Metodología
Este estudio desarrolló y validó la Escala de Tipos de Dependencia de la IA Generativa (GenAI-RTS), un instrumento de autoinforme de 20 ítems. La investigación siguió un diseño de métodos mixtos explicativo secuencial en una Institución de Servicio a Minorías (MSI) pública R1 de los EE. UU.

• Marco Teórico: El instrumento se derivó deductivamente de tres literaturas: metacognición (Schraw & Dennison, 1994), alfabetización crítica en IA (Long & Magerko, 2020) y la teoría de los enfoques de aprendizaje (Biggs, 1987). Esto produjo una tipología de cuatro tipos: Estratégica (que comprende las facetas de Uso Deliberado y Evaluación Crítica), Instrumental, Dependiente y Dialógica.
• Participantes: La muestra de validación consistió en $N=382$ estudiantes de pregrado (media de edad 20.8), que representan una población racialmente diversa sin una mayoría racial (34.3% Blancos, 27.2% Afroamericanos, 24.9% Asiáticos, 7.6% Hispanos/Latinos). Una submuestra dirigida de 14 estudiantes fue entrevistada utilizando un muestreo de máxima variación a través de las puntuaciones de dependencia.
• Marco de Validación: El estudio se adhirió al marco de validación basado en argumentos (Kane, 2013), reuniendo evidencia de cuatro de las cinco fuentes de los Estándares: contenido de la prueba, procesos de respuesta, estructura interna y relaciones con otras variables.
• Estrategia Analítica:
  • Análisis Estructural: Se probaron seis modelos de análisis factorial confirmatorio (CFA) competitivos utilizando tanto el estimador de Máxima Verosimilitud (ML) como el de Mínimos Cuadrados Ponderados Diagonalmente (DWLS).
  • Invarianza: El CFA multigrupo probó la invarianza configural, métrica y escalar a través de género, estatus de primera generación y especialidades STEM/no STEM.
  • Análisis de Rasch: Los modelos de escala de calificación evaluaron el funcionamiento del formato de respuesta de Likert de 7 puntos.
  • Análisis Cualitativo: El análisis de contenido dirigido de las entrevistas examinó la alineación entre los autoinformes de los estudiantes y los comportos implícitos de la escala.

Resultados Clave

1. Estructura Interna: El modelo hipotetizado de cuatro factores (tratar la dependencia Estratégica como un solo factor) demostró un ajuste pobre. Un modelo de cinco factores (separando la dependencia Estratégica en Uso Deliberado y Evaluación Crítica) proporcionó el mejor ajuste ($CFI_{DWLS} = .976$, $RMSEA_{DWLS} = .066$). Esta estructura superó a los modelos rivales de uno, dos, tres, cuatro y de orden superior.
2. Fiabilidad y Validez Discriminante: La fiabilidad de las subescalas fue aceptable a buena ($\omega = .75–.88$). Las facetas de Evaluación Crítica y Dependiente fueron empíricamente distintas (latente $r = -.07$), lo que respalda la oposición teórica entre la vigilancia y la delegación externa (outsourcing). Aunque la dependencia Instrumental y la Dialógica estaban altamente correlacionadas ($r = .77$), las pruebas estructurales confirmaron que son factores distintos; fusionarlos degradó significativamente el ajuste del modelo ($\Delta CFI = -.135$).
3. Invarianza de la Medición: El estudio estableció la invarianza escalar de la medición a través de género, estatus de primera generación y disciplina académica. Esto permite comparaciones significativas de las medias latentes entre estos grupos demográficos, un hito para los instrumentos de dependencia de la GenAI.
4. Procesos de Respuesta: Las entrevistas confirmaron que las descripciones de los participantes sobre el uso de la IA se alineaban con los comportamientos implícitos en todas las cinco facetas en los niveles bajo, medio y alto. Sin embargo, el análisis reveló que los patrones de dependencia son perfiles fluidos en lugar de tipos fijos, y que la dependencia "Dependiente" era descrita a menudo de forma retrospectiva en lugar de como un comportamiento actual.
5. Análisis de Rasch: El formato de respuesta de 7 puntos exhibió un desorden de umbrales, específicamente en el nivel de "En desacuerdo ligeramente" (Categoría 3), el cual fue subutilizado y funcionalmente indistinguible de las categorías adyacentes. El análisis recomienda colapsar el formato a una escala de 5 puntos.
6. Relaciones con Otras Variables:
   • Convergente: La dependencia Estratégica se correlacionó positivamente con la alfabetización en IA ($r = .61$).
   • Discriminante: La dependencia Estratégica y la Dependiente mostraron la asociación más débil ($r = .19$).
   • Criterio: Los tipos de dependencia diferenciaron significativamente a los estudiantes a través de diez variables de proceso y resultado de la escritura (ej. calidad percibida, pensamiento crítico), con tamaños de efecto grandes ($\eta^2 = .166–.329$).

Contribuciones Clave

• Primera Tipología Basada en la Teoría: La GenAI-RTS es el primer instrumento que operacionaliza la dependencia de la GenAI en la escritura académica basándose en una tipología deductiva derivada de la teoría, yendo más allá de los conjuntos de ítems inductivos.
• Validación de Múltiples Fuentes: El estudio proporciona un argumento de validez estructurado que integra evidencia de contenido, proceso de respuesta, estructura interna y relación externa, abordando un vacío en los estudios de validación previos.
• Evidencia de Invarianza Escalar: Reporta la primera evidencia de invarianza escalar de la medición para un instrumento de dependencia de la GenAI a través de género, estatus de primera generación y disciplina, permitiendo una investigación válida centrada en la equidad.
• Refinamiento de la Dependencia Estratégica: Los datos demostraron empíricamente que la dependencia Estratégica se modela mejor como dos facetas distintas (Uso Deliberado y Evaluación Crítica) en lugar de un solo constructo, refinando la comprensión teórica del compromiso metacognitivo con la IA.

Significado y Reivindicaciones
El artículo sostiene que la GenAI-RTS ofrece a investigadores y educadores una herramienta psicométricamente validada para identificar distintos perfiles de dependencia de los estudiantes de pregrado. Al distinguir entre patrones productivos (Estratégica, Instrumental, Dialógica) e improductivos (Dependiente), el instrumento apoya el diseño de intervenciones de alfabetización en IA dirigidas. Los autores posicionan explícitamente la escala como una herramienta diagnóstica formativa para comprender el compromiso estudiantil y apoyar el aprendizaje, en lugar de un dispositivo para detectar la falta de integridad académica.

El estudio reconoce modestamente las limitaciones, incluyendo la dependencia de datos de autoinforme, el diseño transversal (que impide realizar afirmaciones causales sobre el cambio de desarrollo) y la necesidad de replicación en muestras independientes. Además, señala que el instrumento no puede distinguir entre la restricción estratégica impulsada por metas de aprendizaje y la restricción impulsada por el temor a las consecuencias institucionales. Los autores recomiendan revisiones específicas para la próxima iteración de la escala: la redacción de un ítem débil de Uso Deliberado y la adopción de un formato de respuesta de 5 puntos para resolver los problemas de funcionamiento de las categorías.