Four Types of LLM Reliance and Their Predictors Among Undergraduate Writers: A Mixed-Methods Study at a Minority-Serving R1 University

Resumen Técnico: Cuatro Tipos de Dependencia de los LLM y sus Predictores entre Estudiantes de Pregrado

Planteamiento del Problema
A pesar de la adopción casi universal de los Modelos de Lenguaje Extensos (LLM) en la escritura académica de pregrado (aprox. 92% de los estudiantes), el campo carece de marcos validados para distinguir formas cualitativamente diferentes de dependencia de la IA. La investigación existente operacionaliza la dependencia como un constructo de frecuencia único y continuo (p. ej., usuarios frecuentes vs. infrecuentes), lo que oscurece distinciones críticas en el compromiso cognitivo. Esta limitación estructural genera medidas de resultados que recompensan sistemáticamente la dependencia cognitiva sobre la autoría intelectual. Específicamente, los instrumentos actuales miden el "rendimiento de la IA" (cuánto contribuyó la IA a una tarea) en lugar de la calidad de la escritura o el crecimiento cognitivo, lo que conduce a un artefacto de medición donde los estudiantes que ejercen la mayor agencia cognitiva (restricción estratégica) aparecen como los de menor desempeño. Además, la literatura no ha examinado adecuadamente estas dinámicas dentro de las Instituciones que Sirven a Minorías (MSI), donde la heterogeneidad en la preparación y el estatus de primera generación pueden agravar las disparidades en la alfabetización de IA.

Metodología
Este estudio empleó un diseño de métodos mixtos explicativo secuencial en una Institución de Servicio a Minorías (MSI) pública de tipo R1 y una Institución de Servicio a Nativos Americanos y Asiáticos de las Islas del Pacífico (AANAPISI).

• Participantes: La fase cuantitativa incluyó $N=382$ estudiantes de pregrado. La fase cualitativa involucró 14 entrevistas de muestreo intencional, 35 respuestas abiertas de encuestas (SUR35) y 361 respuestas breves abiertas (SUR361), totalizando 1,435 instancias codificadas.
• Marco Teórico: El estudio integró tres marcos:
  1. Marco de Alfabetización en IA: Para predecir el tipo (dirección cualitativa) de la dependencia.
  2. Teoría de la Expectativa-Valor (EVT): Para predecir la intensidad (magnitud cuantitativa) de la dependencia.
  3. Modelo 3P de Biggs (Presagio-Proceso-Producto): Para proporcionar la arquitectura estructural que vincula las características del estudiante, los comportamientos de dependencia y los resultados.
• Instrumentación: Se desarrolló y validó una nueva Escala de Dependencia de LLM de 20 ítems, que mide cuatro tipos distintos: Estratégica, Instrumental, Dialógica y Dependiente. Las medidas predictoras incluyeron la Alfabetización en IA (Núcleo y Exposición) y las creencias de Expectativa-Valor.
• Análisis: El análisis cuantitativo consistió en análisis factorial exploratorio (EFA), pruebas de fiabilidad, ANOVA de una vía, regresión múltiple jerárquica y regresión logística multinomial. El análisis cualitativo utilizó el análisis temático reflexivo para validar la tipología y explicar los patrones cuantitativos.

Contribuciones Clave

1. Tipología Empíricamente Validada: El estudio identifica y valida cuatro tipos distintos de dependencia de LLM:
   • Estratégica (34.3%): Compromiso deliberado y dirigido a objetivos con verificación activa y control autoral total.
   • Instrumental (30.9%): Uso limitado para tareas mecánicas (esquematización, edición) sin delegar el contenido ideacional.
   • Dialógica (30.4%): Co-construcción iterativa donde la IA actúa como un socio de pensamiento mientras se preserva la agencia autoral.
   • Dependiente (4.5%): Abdicación cognitiva que implica la externalización total de las tareas de escritura con una supervisión mínima.
2. Arquitectura Predictiva de Dos Niveles: El estudio establece que dos sistemas separados y no intercambiables gobiernan la dependencia:
   • La Alfabetización en IA predice qué tipo de dependencia adopta un estudiante (p. ej., una mayor alfabetización predice lo Estratégico sobre lo Dependiente).
   • Las Creencias de Expectativa-Valor predicen qué tan intensamente un estudiante depende de los LLM, independientemente del tipo.
3. Identificación de un Artefacto de Medición: El estudio expone una crisis de validez fundamental en la investigación actual sobre los resultados de los LLM. Los instrumentos estructurados alrededor de "Uso la IA para lograr X" capturan la contribución de la IA en lugar de la calidad de la escritura independiente. En consecuencia, los usuarios Estratégicos —que limitan deliberadamente el papel de la IA— puntúan más bajo en estas medidas, creando una falsa impresión de bajo desempeño.
4. Arquitectura de Dos Modelos: Los hallazgos cualitativos revelaron una población (13% de los encuestados) de "no usuarios por principios" que se abstienen basados en valores éticos o ambientales. Estos estudiantes son distintos de los usuarios estratégicos de baja intensidad y quedan fuera del alcance explicativo de los marcos de dependencia existentes, lo que requiere un modelo de abstención separado.

Resultados

• Distribución: Estratégica (34.3%), Instrumental (30.9%), Dialógica (30.4%) y Dependiente (4.5%) fueron los tipos dominantes.
• Disparidades en los Resultados: Los resultados cuantitativos mostraron que los usuarios Estratégicos puntuaron significativamente más bajo que los usuarios Dependientes en las diez variables de proceso y resultado de escritura (p. ej., Calidad, Originalidad, Pensamiento Crítico), con grandes tamaños de efecto ($\eta^2$ en el rango de .166–.329).
• Modelado Predictivo:
  • Intensidad: Las creencias de Expectativa-Valor fueron el predictor más fuerte de la intensidad de la dependencia ($\beta = .630$, $\Delta R^2 = .256$), explicando más varianza que la demografía o la alfabetización en IA combinadas.
  • Tipo: La Alfabetización en IA fue el predictor más fuerte del tipo de dependencia. Cada incremento de una unidad en la alfabetización en IA redujo las probabilidades de clasificación como Dependiente frente a Estratégico aproximadamente diez veces ($OR = 0.11, p < .001$).
  • Demografía: El estatus de primera generación fue un predictor significativo de una mayor intensidad de dependencia ($\beta = .153$), sugiriendo una dinámica de compensación donde la IA suplementa los recursos académicos.
• Validación Cualitativa: El análisis temático confirmó la tipología y reveló trayectorias de desarrollo (movimiento de Dependiente a Estratégico a lo largo del tiempo) y la existencia de un no uso basado en principios impulsado por restricciones éticas en lugar de baja alfabetización.

Significancia y Reivindicaciones
El artículo sostiene que la comprensión actual del campo sobre los resultados de los LLM es estructuralmente defectuosa. El hallazgo de que los usuarios Estratégicos puntúan más bajo no es evidencia de un mal desempeño, sino un artefacto de medición que penaliza la agencia cognitiva. El estudio argumenta que:

• Las intervenciones deben ser distintas: Los programas de alfabetización en IA deben dirigirse al tipo de compromiso (cambiar de lo acrítico a lo crítico), mientras que las intervenciones motivacionales deben abordar la intensidad del compromiso. Tratar ambos como intercambiables es ineficaz.
• Las implicaciones de equidad son centrales: En las MSI, las disparidades en la alfabetización en IA agravan las inequidades estructurales existentes. Los estudiantes de primera generación pueden depender más de la IA para compensar las brechas de recursos, y las medidas de resultados actuales malinterpretan su sofisticada restricción como un fracaso.
• Instrumentación futura: El campo requiere nuevos instrumentos que distingan entre el logro mediado por IA y la competencia de escritura independiente para evitar representar erróneamente a los estudiantes más cognitivamente sofisticados.

El estudio concluye que, sin abordar estas brechas teóricas y de medición, la base de evidencia respecto a los LLM en la educación seguirá distorsionada, recompensando la dependencia y oscureciendo los beneficios del uso estratégico y con principios de la IA.