💬 NLP

LLM Pedagogical Behavior in AI Tutoring Interactions

Este estudio introduce una escala de andamiaje de cinco niveles validada para analizar más de 14,000 respuestas de tutoría de LLM, revelando que los modelos de IA proporcionan abrumadoramente asistencia directa (explicando o resolviendo) en lugar de apoyo guiado, un patrón de comportamiento que influye en el diálogo del estudiante pero que ofrece un valor predictivo limitado para el rendimiento en exámenes más allá del logro previo.

Autores originales: Suhyeon Lee, Juneha Baek, Jaehyeong Park, Donghyuk Shin

Publicado 2026-08-25

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Suhyeon Lee, Juneha Baek, Jaehyeong Park, Donghyuk Shin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el silencioso zumbido de un laboratorio de computación universitario, un nuevo tipo de tutoría ha echado raíces, una que nunca duerme, nunca se cansa y nunca juzga. Los estudiantes recurren cada vez más a los modelos de lenguaje extensos, potentes programas informáticos entrenados en vastas cantidades de texto, para ayudarlos a resolver problemas de tareas y comprender conceptos difíciles. Estos asistentes digitales pueden hacer muchas cosas, pero en el contexto del aprendizaje, existe una tensión fundamental. Si un tutor brinda muy poca ayuda, un estudiante podría estancarse y rendirse. Si el tutor brinda demasiada ayuda, el estudiante podría simplemente copiar la respuesta sin llegar a aprender nunca cómo razonar el problema por sí mismo. Este equilibrio es el núcleo del desafío: encontrar la cantidad adecuada de apoyo para guiar a un alumno sin hacer el trabajo por él. Los investigadores han estudiado durante mucho tiempo cómo los profesores humanos navegan este espacio, pero sigue sin estar claro cómo se comportan estos nuevos tutores automatizados cuando los estudiantes los utilizan en situaciones de aprendizaje reales y no programadas.

Un equipo de investigadores de KAIST en Corea del Sur se propuso mapear este territorio inexplorado. Analizaron una colección masiva de conversaciones entre estudiantes y un tutor de inteligencia artificial durante un curso introductorio de inteligencia artificial. Los estudiantes eran libres de pedir cualquier cosa, desde una simple pista hasta una solución completa, y la computadora respondía basándose en su programación predeterminada, que era simplemente ser un asistente útil. Los investigadores querían saber exactamente qué tipo de ayuda estaba dando la computadora en realidad. Para medir esto, crearon una escala de cinco pasos para categorizar cada respuesta que hacía la IA. En el extremo más bajo, la computadora podía no ofrecer ayuda real o simplemente pedir al estudiante que pensara con más intensidad. En el medio, podría señalar un concepto relevante o un error específico sin resolver el problema. En el extremo más alto, explicaría un método en detalle o proporcionaría la solución completa y lista para usar para la tarea específica del estudiante.

Cuando los investigadores examinaron más de 14,000 respuestas de más de 200 estudiantes, surgió un patrón sorprendente. La IA casi nunca elegía el punto medio. Más del 95 por ciento de las veces, la computadora estaba explicando un concepto en gran detalle o simplemente resolviendo el problema para el estudiante. Las respuestas que simplemente incitaban al estudiante a pensar u ofrecían una pequeña pista fueron increíblemente raras, representando menos del cinco por ciento de todas las interacciones. Ya fuera que el estudiante pidiera ayuda para escribir código, editar un informe o comprender una teoría compleja, la reacción predeterminada de la computadora era proporcionar una asistencia sustancial y directa. Actuaba menos como un entrenador que guía a un jugador a través de un ejercicio y más como un mecánico que arregla el coche por ellos.

Esta tendencia a proporcionar respuestas directas tuvo un efecto dominó evidente en cómo se comportaban los estudiantes después. Cuando la computadora daba una solución completa, era probable que el estudiante pidiera otro fragmento de código o una nueva tarea para resolver. Cuando la computadora ofrecía una explicación, el estudiante era más propenso a hacer una pregunta de seguimiento sobre el concepto subyacente. Los investigadores encontraron que el nivel de ayuda que la computadora brindaba predecía de manera confiable lo que el estudiante diría en el turno siguiente de la conversación. Sin embargo, esta reacción inmediata no se tradujo en mejores calificaciones más adelante. El estudio observó qué tan bien se desempeñaron los estudiantes en tres exámenes principales, los cuales tomaron sin acceso a la computadora. La cantidad de ayuda que el estudiante recibió durante sus sesiones de estudio no predijo sus puntajes en los exámenes mejor que sus calificaciones pasadas o el simple hecho de que estuvieran hablando con la computadora en absoluto.

Los hallazgos sugieren que, si bien estas herramientas de IA de propósito general están increíblemente ansiosas por ayudar, no están naturalmente inclinadas a enseñar de una manera que obligue a los estudiantes a luchar productivamente. Por defecto, son solucionadores de problemas eficientes en lugar de educadores pacientes. Esto no significa que la tecnología sea inútica, pero sí revela un comportamiento específico: sin instrucciones explícitas para contenerse y guiar, estos sistemas casi siempre harán el trabajo pesado por el estudiante. Los investigadores concluyen que, para cambiar esta dinámica, los educadores y desarrolladores deben diseñar deliberadamente estos sistemas para que ofrezcan menos ayuda directa, en lugar de esperar que la tecnología encuentre naturalmente el equilibrio por sí sola. Los datos proporcionan una línea base clara de cómo se comportan estas herramientas actualmente, mostrando que el camino hacia una tutoría de IA efectiva puede requerir que le enseñemos a las máquinas cómo enseñar, en lugar de solo cómo responder.

Resumen Técnico: Comportamiento Pedagógico de los LLM en Interacciones de Tutoría con IA

Planteamiento del Problema

A medida que los estudiantes utilizan cada vez más los Modelos de Lenguaje de Gran Tamaño (LLM) como tutores bajo demanda para sus cursos y la resolución de problemas, existe una falta crítica de comprensión empírica respecto al nivel de asistencia que estos modelos proporcionan en interacciones de aprendizaje auténticas. Si bien las investigaciones existentes han caracterizado los patrones de uso de los estudiantes (qué preguntan) y han explorado tutores diseñados pedagógicamente, la asistencia real entregada por los LLM de propósito general permanece insuficientemente caracterizada. Esta brecha es significativa porque el grado de asistencia directa determina el rol del aprendiz en la tarea, impactando directamente en el "Dilema de la Asistencia" (Koedinger & Aleven, 2007)—la tensión entre proporcionar muy poca ayuda (impidiendo el progreso) y demasiada ayuda (evitando el esfuerzo cognitivo productivo).

Metodología

El estudio operacionaliza la dimensión de la asistencia como nivel de andamiaje (scaffolding level) y desarrolla un marco de medición para analizar 14,637 respuestas de LLM de 203 estudiantes en un curso introductorio de IA universitaria (conjunto de datos StudyChat).

1. Desarrollo de la Escala de Andamiaje

Los autores definen una escala ordinal de cinco niveles ( $L_0$ a $L_4$ ) para clasificar las respuestas de los LLM basándose en la cantidad de asistencia directa proporcionada:

$L_0$ (Mínima): Sin asistencia sustantiva relevante para la tarea (ej. negativas, redirección).
$L_1$ (Inducción/Prompting): Fomenta el razonamiento o el ensayo sin dirigir hacia una solución.
$L_2$ (Pista/Hinting): Identifica conceptos, funciones o ubicaciones de errores relevantes sin proporcionar una solución concreta.
$L_3$ (Explicación/Explaining): Explica un enfoque o concepto que el estudiante aún debe aplicar.
$L_4$ (Resolución/Solving): Proporciona una solución completa y específica para la tarea, utilizable directamente.

2. Datos y Clasificación

Conjunto de Datos: El conjunto de datos StudyChat (McNichols et al., 2026) que contiene interacciones con un modelo GPT-4o-mini utilizando un prompt de sistema genérico ("Eres un asistente útil") sin instrucciones pedagógicas específicas.
Clasificación Automatizada: Las respuestas fueron clasificadas utilizando GPT-4o-mini a temperatura 0, entrenado sobre el código de libro definido.
Validación: Una muestra estratificada de 300 respuestas fue anotada por dos expertos humanos. El clasificador alcanzó una precisión del 75.3% y un F1 ponderado de .751 contra las etiquetas humanas adjudicadas. El acuerdo entre los anotadores humanos fue alto ( $\kappa = .901$ ). La mayoría de los errores de clasificación ocurrieron en el límite $L_3/L_4$ , con una tendencia a subdetectar las respuestas de "Resolución" ( $L_4$ ).

3. Enfoque Analítico

El estudio aborda tres Preguntas de Investigación (RQ):

RQ1: ¿Cuál es la distribución de los niveles de andamiaje y cómo varían según el tipo de solicitud y la tarea?
RQ2: ¿Está el nivel de andamiaje asociado con el comportamiento conversacional subsecuente del estudiante (siguiente acto de diálogo)?
RQ3: ¿Proporciona el nivel de andamiaje información predictiva adicional respecto al desempeño posterior en exámenes, más allá del logro previo y el comportamiento de diálogo?

Los métodos estadísticos incluyeron pruebas de Kruskal–Wallis para diferencias entre tareas, pruebas de Chi-cuadrado para la asociación entre el andamiaje y el acto de diálogo subsecuente, y análisis de regresión para evaluar el poder predictivo incremental del andamiaje sobre las puntuaciones de los exámenes.

Resultados Clave

1. Distribución de la Asistencia (RQ1)

El LLM opera predominantemente en niveles altos de asistencia.

Concentración: Más del 95% de las respuestas se clasifican como Explicación ( $L_3$ , 40.3%) o Resolución ( $L_4$ , 55.2%).
Rareza de la Baja Asistencia: Las respuestas de Inducción ( $L_1$ ), Pista ( $L_2$ ) y Mínima ( $L_0$ ) representan colectivamente menos del 5% de todas las interacciones.
Variación: Aunque los niveles de asistencia varían significamente entre diferentes tareas y tipos de solicitud (por ejemplo, las solicitudes de escritura reciben la mayor media de andamiaje, $\bar{L}=3.72$ ), las respuestas de alta asistencia siguen siendo dominantes en todos los contextos instructivos.

2. Asociación con la Interacción Subsecuente (RQ2)

El nivel de andamiaje está sistemáticamente asociado con el siguiente movimiento conversacional del estudiante.

Patrones Distintos: Tras las respuestas de Resolución ( $L_4$ ), los estudiantes realizan con mayor frecuencia otra solicitud de escritura (29.7%). Tras las respuestas de Explicación ( $L_3$ ), las preguntas conceptuales son las más comunes (40.5%). Tras la Inducción ( $L_1$ ), los estudiantes suelen proporcionar contexto adicional (34.0%).
Robustez: Esta asociación persiste incluso al controlar la categoría amplia de la solicitud inicial del estudiante, lo que indica que el nivel de andamiaje en sí mismo influye en el flujo inmediato del diálogo.

3. Poder Predictivo para el Desempeño (RQ3)

El nivel de andamiaje proporciona poca información predictiva adicional respecto al desempeño posterior en los exámenes.

Comparación de Modelos: Los modelos de regresión que predicen las puntuaciones de los exámenes ( $e_1, e_2, e_3$ ) utilizando el logro previo y el conteo de actos de diálogo explicaron entre el 12% y el 30% de la varianza. Agregar el nivel medio de andamiaje aumentó la varianza explicada en solo 1–2 puntos porcentuales.
Significancia Estadística: Ninguna de las comparaciones de modelos alcanzó la significancia estadística convencional ( $p > .05$ ). El coeficiente estimado para el andamiaje fue inconsistente a través de los exámenes (cambiando de dirección para $e_3$ ).
Conclusión: Una vez que se contabilizan el logro previo y el comportamiento de diálogo observado, el nivel específico de andamiaje no predice significativamente los resultados de los exámenes en este conjunto de datos.

Significancia y Reivindicaciones

El artículo establece un línea base empírica para la asistencia de los LLM en interacciones de tutoría auténticas. Sus principales contribuciones son:

Línea Base de Comportamiento: Demuestra que, sin un prompting pedagógico explícito, los LLM de propósito general por defecto hacia una asistencia de alta directividad (Explicación y Resolución), involucrándose raramente en estrategias de menor andamiaje como la inducción o la pista.
Marco de Medición: Introduce una escala de andamiaje de cinco niveles validada que puede utilizarse para evaluar cómo los diseños de tutoría alternativos (ej. prompts socráticos, sistemas multi-agente) cambian la asistencia que reciben los estudiantes.
Distinción entre Interacción y Resultado: Los hallazgos sugieren que, si bien el nivel de andamiaje influye en los patrones de interacción inmediata (lo que el estudiante hace a continuación), no necesariamente se traduce en diferencias medibles en el desempeño de los exámenes posteriores en este contexto específico.

Los autores enfatizan que estos hallazgos no identifican un nivel de asistencia "óptimo", sino que proporcionan un punto de referencia. Argumentan que evaluar los tutores de LLM requiere distinguir entre dos preguntas: (1) Conductual: ¿Cambia una intervención pedagógica la asistencia que reciben los estudiantes? y (2) Educativa: ¿Mejora ese cambio el aprendizaje? La medida de andamiaje aborda la primera pregunta directamente, mientras que la segunda sigue siendo una pregunta empírica abierta que requiere mayor investigación.

Limitaciones

Los autores reconocen cuatro limitaciones principales:

Especificidad del Contexto: Los datos provienen de un único curso de introducción a la IA y una única configuración de modelo; los resultados caracterizan este entorno en lugar de todos los LLM de propósito general.
Granularidad de la Clasificación: La clasificación automatizada es imperfecta, particularmente en el límite $L_3/L_4$ , y los niveles de baja asistencia son raros, lo que limita el análisis detallado de $L_0$ – $L_2$ .
Naturaleza Observacional: El estudio no puede establecer causalidad; el contenido del prompt, la dificultad de la tarea y las características del estudiante pueden influir tanto en la respuesta como en el comportamiento posterior.
Alcance de la Evaluación: El análisis evalúa la predicción incremental en lugar de los efectos de aprendizaje causales, y la concentración de respuestas en niveles altos de andamiaje limita la variación disponible para detectar diferencias de desempeño.