💻 computer science

INSIDE the Student's Mind: Jointly Modeling Latent Reasoning and Action in LLM Student Simulators

El artículo presenta INSIDE, un marco de modelado de estudiantes que ajusta finamente Modelos de Lenguaje Extensos para generar tanto las acciones del estudiante como su razonamiento interno subyacente fundamentado en la Taxonomía de Bloom, mejorando así significativamente la fidelidad de la simulación y la alineación del razonamiento en comparación con los métodos de inducción existentes.

Autores originales: Rose Niousha, Minwoo Kang, Narges Norouzi

Publicado 2026-08-12

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Rose Niousha, Minwoo Kang, Narges Norouzi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot cómo ser un estudiante. Le muestras miles de ejemplos de niños escribiendo código, quedándose estancados, pidiendo ayuda e intentándolo de nuevo. La mayoría de los robots actuales son como excelentes actores que pueden memorizar el guion perfectamente; pueden escribir exactamente el mismo código que un estudiante humano escribiría. Pero son terribles comprendiendo por qué el humano escribió eso. No saben si el estudiante está confundido, frustrado, adivinando o teniendo un "momento de iluminación". Solo ven la actuación final, no el desordenoso monólogo interno que ocurre en la cabeza del estudiante. Este artículo, titulado "INSIDE the Student's Mind" (DENTRO de la mente del estudiante), proviene del campo de la Inteligencia Artificial y la Educación. Aborda un problema específico: cómo crear simuladores de IA que no solo copien lo que los estudiantes hacen, sino que también piensen como ellos. Los autores se basan en la idea de que, para comprender verdaderamente el aprendizaje, necesitamos modelar el razonamiento invisible detrás de las acciones visibles, de forma muy parecida a un detective que intenta averiguar no solo qué hizo un sospechoso, sino qué estaba pensando cuando lo hizo.

Los investigadores presentan un nuevo marco de trabajo llamado INSIDE (Diálogo Interno del Estudiante). Piensa en esto como darle al robot de IA una "voz secreta" o un "globo de pensamiento". En lugar de simplemente pedirle a la IA que "escriba la siguiente línea de código", le piden que primero susurre sus pensamientos internos y luego escriba el código. Para enseñar a la IA a hacer esto, el equipo utilizó un truco ingenioso: tomaron datos reales de una clase de ciencias de la computación donde los estudiantes enviaban código, recibían comentarios de un tutor de IA e intentaban de nuevo. Como nadie grabó los pensamientos reales de los estudiantes, los investigadores utilizaron una IA "maestra" superinteligente para observar los cambios en el código y los comentarios, y luego reconstruir lo que un estudiante probablemente estaba pensando en ese momento. Crearon un conjunto de datos donde cada envío de código está emparejado con una historia de "pensar en voz alta" inventada pero realista.

Cuando entrenaron sus modelos de IA utilizando estos nuevos datos de "pensamiento + acción", algo interesante sucedió. El artículo encuentra que estos modelos, a los que llaman INSIDE, se volvieron mucho mejores imitando a los estudiantes reales que los modelos que solo miraban el código. De hecho, los modelos INSIDE coincidieron con los patrones de codificación de los estudiantes reales (como cuántas líneas escribieron o con qué frecuencia cometieron errores) incluso mejor que los métodos anteriores. Pero la verdadera magia estaba en los "pensamientos". Los investigadores midieron qué tan bien el razonamiento interno de la IA coincidía con los cambios reales que el estudiante realizó en su código. Encontraron que los modelos INSIDE lograron una alineación de razonamiento de hasta el 57.9%, que fue la puntuación más alta entre todos los modelos probados.

El artículo argumenta explícitamente en contra de la idea de que basta con hacer que una IA "piense más duro" o "piense lógicamente". Muestran que si simplemente se le pide a una IA estándar que razone antes de actuar, a menudo produce pensamientos perfectos y lógicos que conducen a un código perfecto, lo cual es exactamente lo que los estudiantes reales no hacen. Los estudiantes reales suelen tener pensamientos confundidos, incompletos o ligeramente erróneos que conducen a un código con errores. El artículo sugiere que para construir un simulador de estudiante verdaderamente realista, la IA debe tener permitido estar insegura, cometer errores en su razonamiento y, a veces, malinterpretar los comentarios, tal como lo hace un humano. Los resultados sugieren que al obligar a la IA a generar este diálogo interno "desordenado" primero, se crea una imagen mucho más precisa de cómo aprende un estudiante, ofreciendo una nueva forma de probar y mejorar los tutores de IA sin necesidad de tener humanos reales en el proceso.

Resumen Técnico: INSIDE – Modelado Conjunto de Razonamiento Latente y Acción en Simuladores de Estudiantes basados en LLM

Planteamiento del Problema

Los simuladores basados en Modelos de Lenguaje de Gran Escala (LLM) en la educación suelen replicar acciones observables de los estudiantes (por ejemplo, el envío de código), pero no logran capturar los procesos de razonamiento latentes subyacentes. En contextos educativos, dos estudiantes pueden producir un código idéntico por razones fundamentalmente distintas, o llegar a la misma solución incorrecta a través de caminos cognitivos distintos. Los enfoques existentes suelen tratar el comportamiento del estudiante como una caja negra, centrándose únicamente en la predicción de resultados. Esta limitación dificulta el diagnóstico de ideas erróneas, la generación de retroalimentación dirigida o la evaluación efectiva de los sistemas de tutoría, ya que las acciones observables proporcionan solo una visión parcial de la cognición. Además, mientras que la investigación en el razonamiento de los LLM suele centrarse en mejorar la corrección, el aprendizaje humano implica errores frecuentes, conceptos erróneos y estrategias incompletas que los modelos actuales luchan por simular de manera auténtica.

Metodología

El artículo propone INSIDE (INTERNAL STUDENT DIALOGUE), un marco que modela conjuntamente las acciones del estudiante y sus procesos de razonamiento interno. La metodología consta de tres componentes principales:

1. Datos y Contexto

El estudio utiliza datos de un curso de programación introductoria en UC Berkeley, que abarca dos semestres (Primavera 2024 y Primavera 2025). El conjunto de datos incluye aproximadamente 900 estudiantes, 10 tareas de programación y flujos de múltiples intentos de envío. Cada intento captura el código del estudiante, los resultados del calificador automático (autograder) y la retroalimentación en lenguaje natural de un tutor de IA. Los datos se dividen en conjuntos de entrenamiento (Primavera 2025) y de prueba (Primavera 2024), con divisiones adicionales para "Problemas Viejos" (problemas familiares, nuevos estudiantes) y "Problemas Nuevos" (problemas no vistos).

2. Generación de Diálogo Interno (Modelo Profesor)

Dado que el razonamiento interno de verdad fundamental es inobservable, los autores emplean un modelo profesor (GPT-5) para realizar una inferencia retrospectiva. Dada la situación de interacción (problema, envíos previos, retroalimentación) y el siguiente envío observado, el modelo profesor genera:

Resúmenes de Estado Estructurados: Análisis en tercera persona de los estados cognitivos (comprensión/conceptos erróneos), afectivos (emociones/motivación) y de acción (pasos concretos) del estudiante, fundamentados en la Taxonomía de Bloom.
Diálogo Interno en Primera Persona: Un "rastro de pensamiento" ( $z_t$ ) que simula el monólogo interno del estudiante antes del envío. Este diálogo está diseñado para reflejar el razonamiento de un novato, incluyendo la incertidumbre, la comprensión parcial y los posibles errores.

3. Marco de Modelado del Estudiante

La contribución central es un modelo de estudiante entrenado para generar tanto el diálogo interno como el envío de código subsiguiente ( $c_t$ ) condicionado por el historial de interacción.

Ajuste Fino (INSIDE): Los modelos (Qwen2.5, Qwen3, LLaMA-3) son ajustados mediante LoRA utilizando secuencias emparejadas de (Contexto $\to$ Diálogo Interno $\to$ Código). El diálogo interno sirve como una capa cognitiva intermedia.
Líneas Base (Baselines): El marco se compara contra:
- SFT: Ajuste fino sin diálogo interno (contexto directo $\to$ código).
- Prompting (CoT): Prompting estándar de Cadena de Pensamiento (Chain-of-Thought).
- Prompting (BloomCoT): Prompting estructurado inspirado en la Taxonomía de Bloom.

Contribuciones Clave

Reconstrucción de Rastros de Razonamiento Fundamentados Pedagógicamente: El artículo introduce un método para reconstruir rastros de razonamiento latentes a partir de datos de interacción mediante inferencia retrospectiva, permitiendo que los modelos generen diálogos internos interpretables a pesar de la ausencia de un razonamiento de verdad fundamental.
Marco de Modelado Conjunto (INSIDE): Un nuevo marco que condiciona la generación de código al diálogo interno inferido, modelando explícitamente el proceso de razonamiento latente que precede a las acciones observables.
Evaluación Bidimensional: Una métrica de evaluación exhaustiva que evalúa tanto la Fidelidad de la Acción (similitud de las distribuciones de código generado con los estudiantes reales) como la Calidad del Razonamiento (alineación entre el diálogo generado y las ediciones de código reales).

Resultados

La evaluación demuestra que INSIDE supera tanto a las líneas base de ajuste fino sin razonamiento (SFT) como a diversas estrategias de prompting.

Fidelidad de la Acción

Utilizando la distancia de Wasserstein para medir la similitud de la distribución entre el código generado por el modelo y el de los estudiantes reales:

INSIDE logra consistentemente las distancias de Wasserstein más bajas en todas las métricas (Tasa de Aprobación, Líneas de Código, profundidad/anchura de AST, violaciones de PEP 8) en el conjunto de prueba de "Problemas Viejos" ( $test\_OP$ ).
En "Problemas Nuevos" ( $test\_NP$ ), INSIDE se desempeña de manera comparable a SFT, aunque la brecha es menor. Los autores atribuyen esto a la mayor tasa de éxito en $test\_NP$ , donde SFT ya está cerca de la distribución objetivo.
Trayectorias de Tasa de Aprobación: Los estudiantes reales exhiben tasas de aprobación iniciales bajas con incrementos agudos cerca de los pasos finales. Los modelos SFT siguen esto bien, pero los modelos basados en prompting suelen mantener tasas de aprobación artificialmente altas desde el principio. Los modelos INSIDE coinciden estrechamente con el progreso incremental de los estudiantes reales, presentando el Menor Error Absoluto Medio (MAE) en las trayectorias de tasa de aprobación.

Calidad del Razonamiento (Alineación)

La alineación mide la fracción de afirmaciones atómicas en el diálogo interno generado que se ven reflejadas en las ediciones de código de la verdad fundamental:

INSIDE logra los puntajes de alineación más altos entre los modelos probados. Específicamente, Qwen3-8B-INSIDE alcanza un 57.9% en $test\_NP$ , mientras que Qwen2.5-7B-INSIDE alcanza un 51.8% en $test\_OP$ , superando a las mejores líneas base de prompting en ambos entornos.
Notablemente, los modelos más grandes y capaces (por ejemplo, GPT-5, Qwen3-32B) a menudo logran puntajes de alineación más bajos, lo que sugiere que una capacidad de razonamiento general superior no se traduce automáticamente en la simulación de un razonamiento propenso a errores propio de un novato.
Autoconsistencia: Mientras que los modelos de prompting muestran una alta autoconsistencia (el razonamiento coincide con su propio código generado), a menudo fallan en coincidir con el comportamiento del estudiante real. INSIDE mantiene una autoconsistencia competitiva mientras logra una alineación superior con las ediciones de código reales de los estudiantes.

Significado y Reivindicaciones

El artículo sostiene que modelar el razonamiento más allá de las acciones observables es esencial para construir simuladores de estudiantes realistas. Al incorporar el diálogo interno, INSIDE cierra la brecha entre la explicación y el comportamiento, produciendo simulaciones donde el razonamiento es consistente con las ediciones de código observadas.

Los autores destacan dos implicaciones principales:

Evaluación y Optimización: Los simuladores de estudiantes con diálogo interno permiten evaluar si la retroalimentación del tutor de IA resuelve los conceptos erróneos y permiten el análisis contrafáctico de las intervenciones antes de su despliegue.
Herramientas para el Estudiante: Externalizar el diálogo interno puede apoyar la reflexión y la metacognición del estudiante, y permitir la agrupación de estudiantes basada en patrones de razonamiento en lugar de solo en el comportamiento superficial.

El artículo reconoce limitaciones, principalmente que el diálogo interno es reconstruido en lugar de observado, lo que podría reflejar un razonamiento más coherente que el de los estudiantes novatos reales. Sin embargo, afirma que este enfoque proporciona un proxy útil para las señales cognitivas inobservables, avanzando en el estado del arte de la IA centrada en el ser humano en la educación.