The Agency Gap in AI-Supported Writing: How Reactive and Proactive Agent Designs Shape Multimodal Reasoning

Resumen Técnico: La Brecha de Agencia en la Escritura Apoyada por IA

Planteamiento del Problema
La integración de la Inteligencia Artificial Generativa (GenAI) en la escritura académica introduce un desafío de diseño crítico: la "brecha de agencia". Este concepto describe un posible desajuste entre la iniciativa demandada por un agente de IA (por ejemplo, reactivo frente a proactivo) y la capacidad de un estudiante para iniciar, monitorear y evaluar el razonamiento apoyado por la IA. Si bien las herramientas de GenAI ofrecen oportunidades de andamiaje, su valor educativo depende de cómo se comparta el control. Los agentes reactivos requieren que los estudiantes posean altas habilidades de prompting y conciencia metacognitiva, lo que potencialmente desfavorece a aquellos con menor alfabetización en GenAI. Por el contrario, los agentes proactivos que proporcionan preguntas secuenciadas y retroalimentación pueden reducir la carga cognitiva, pero corren el riesgo de sobreestructurar el aprendizaje y disminuir la agencia del estudiante. La investigación existente carece de evidencia empírica sobre cómo estos diseños de interacción influyen en el razonamiento epistémico, la recepción de la retroalimentación y el desempeño independiente inmediato en tareas de escritura analítica multimodal.

Metodología
El estudio empleó un diseño experimental de métodos mixtos en dos fases con 79 estudiantes de medicina y enfermería. Los participantes completaron dos tareas de escritura analítica multimodal basadas en visualizaciones de datos de simulación de atención médica (un gráfico de barras, una red de comunicación y un mapa de planta hospitalaria).

• Condiciones Experimentales: Los participantes fueron asignados aleatoriamente a uno de dos diseños de agentes de IA:
  • Agente Reactivo: Responde solo cuando es instigado por el estudiante, requiriendo que este identifique incertidumbres, formule prompts y secuencie la indagación.
  • Agente Proactivo: Inicia una secuencia fija de preguntas orientadoras y proporciona retroalimentación a nivel de tarea o de proceso basada en andamiajes elaborados por expertos, guiando al estudiante a través de la interpretación visual sin generar el texto final.
• Mediciones:
  • Alfabetización en GenAI: Evaluada mediante la validada Prueba de Evaluación de Alfabetización en IA Generativa (GLAT) de 20 ítems.
  • Desempeño en la Escritura: Evaluado mediante una rúbrica ordinal que cubre cinco dimensiones: Perspicacia, Integración de Datos Visuales, Organización y Coherencia, Calidad Lingüística y Pensamiento Crítico.
  • Razonamiento Epistémico: Analizado mediante el Análisis de Redes Epistémicas (ENA) para mapear la estructura relacional del razonamiento y el compromiso (basado en marcos de ICAP y argumentación) dentro de los diálogos humano-IA.
• Enfoque Analítico: El estudio utilizó la regresión logística ordinal para predecir el desempeño de escritura independiente (tras la eliminación de la IA) basado en la alfabetización y el diseño. El análisis de mediación probó si el desempeño apoyado por la IA mediaba la relación entre la alfabetidad y el desempeño independiente. El análisis temático de las reflexiones de los estudiantes proporcionó perspectivas cualitativas sobre la experiencia de la agencia.

Resultados Clave

• Razonamiento Epistémico (RQ1): El ENA reveló estructuras relacionales distintas entre las condiciones. Las interacciones proactivas fomentaron vínculos más fuertes entre el razonamiento conceptual, la aplicación adecuada de evidencia y el compromiso constructivo. En contraste, las interacciones reactivas se caracterizaron por asociaciones más fuertes entre descripciones fácticas e intercambios procedimentales o fuera de la tarea. El andamiaje proactivo pareció externalizar las funciones de planificación y monitoreo, dirigiendo la atención desde las observaciones hacia la síntesis.
• Alfabetización en GenAI y Desempeño (RQ2): La alfabetización en GenAI predijo significativamente el desempeño independiente inmediato en Integración de Datos Visuales, Pensamiento Crítico y el Puntaje Compuesto general tras la eliminación del apoyo de la IA. Sin embargo, la alfabetización no predijo significativamente el desempeño en Perspicacia, Organización o Calidad Lingüística. Crucialmente, la interacción entre la alfabetización en GenAI y el diseño del agente no fue estadísticamente significativa; el estudio no encontró evidencia de que un diseño produjera puntajes más altos o pendientes de alfabetización diferentes.
• Efectos de Mediación (RQ3): El análisis de mediación mostró una asociación total significativa entre la alfabetización en GenAI y el desempeño independiente en la condición reactiva, pero no en la condición proactiva. No obstante, los efectos indirectos no fueron estadísticamente significativos en ninguna de las dos condiciones, y los intervalos de confianza fueron amplios. Los resultados sugieren que, si bien el apoyo proactivo puede reducir las diferencias de desempeño observables basadas en la alfabetización, el estudio no establece un efecto compensatorio causal ni confirma la mediación.
• Experiencia del Estudiante (RQ4): El análisis cualitativo identificó tres heurísticas de diseño: (1) mantener la autonomía mediante retroalimentación contextual y confirmatoria (reactivo); (2) promover el razonamiento integrativo mediante el andamiaje dialógico (proactivo); y (3) asegurar la equidad alineando la iniciativa con la percepción de la experiencia del estudiante y la complejidad de la tarea. Los estudiantes valoraron la guía proactiva para conectar la evidencia, pero la consideraron redundante para tareas simples o cuando se sentían competentes.

Contribuciones Clave
La principal contribución teórica del artículo es la conceptualización de la "brecha de agencia" como un desajuste relacional entre la iniciativa del agente de IA y la capacidad del estudiante, en lugar de un déficit individual. Posiciona la distribución de la iniciativa como una condición de contorno de diseño que moldea la asignación del trabajo epistémico.

• Proceso vs. Resultado: El estudio demuestra que el diseño de la interacción altera significativamente el proceso de razonamiento (la estructura de red del diálogo), incluso cuando los efectos directos sobre los resultados inmediatos (puntajes de escritura) no son estadísticamente significativos.
• Implicaciones de Diseño: Los hallazgos sugieren que el apoyo a la escritura por IA requiere retroalimentación contextual, andamiaje dialógico y la calibración de la iniciativa según las necesidades del estudiante. Los diseños proactivos pueden profundizar la integración conceptual, mientras que los diseños reactivos preservan el control del estudiante pero demandan una mayor alfabetización.

Significancia y Reivindicaciones
Los autores reivindican una significancia modesta, enfatizando que la "brecha de agencia" es un marco explicativo emergente en lugar de una teoría general validada. El estudio no afirma que los agentes proactivos superen universalmente a los reactivos, ni sostiene que el andamiaje proactivo compense definitivamente la baja alfabetización. En cambio, los hallazgos apoyan la hipótesis de que el diseño de la interacción reorganiza el trabajo epistémico del aprendizaje. La implicación práctica es que los agentes de IA educativa deben ofrecer niveles ajustables de iniciativa, permitiendo a los estudiantes solicitar guía o reducir el andamiaje a medida que demuestran competencia. Los autores advierten que estos resultados son específicos para tareas de síntesis de evidencia multimodal a corto plazo y llaman a futuras investigaciones con muestras más grandes, medidas directas de la agencia y evaluaciones longitudinales para probar la durabilidad de estos efectos.