Resumen Técnico: BEAGLE – Agente de Emulación de Aprendiz Fundamentado con Comportamiento Forzado

Enunciado del Problema

El avance de la inteligencia artificial generativa en la educación depende en gran medida de datos auténticos de estudiantes para entrenar, evaluar y refinar modelos pedagógicos. Sin embargo, la obtención de dichos datos se ve obstaculizada por estrictas regulaciones de privacidad (por ejemplo, FERPA, GDPR), los altos costos de los estudios longitudinales y las preocupaciones éticas sobre las intervenciones en menores reales. Aunque los Modelos de Lenguaje Grande (LLM) ofrecen una solución potencial para simular comportamientos estudiantiles, adolecen de un sesgo de competencia fundamental. Los LLM ajustados por preferencia están optimizados para la calidad del resultado y la eficiencia, lo que provoca que generen soluciones lineales y correctas incluso cuando se les instruye para actuar como novatos. Esto da lugar a tres tipos específicos de infidelidad:

1. Infidelidad Conductual: Los LLM evitan los ciclos iterativos de ensayo y error (por ejemplo, bucles persistentes de depuración) característicos del Aprendizaje Autorregulado (SRL).
2. Infidelidad Epistémica: Los LLM actúan como "expertos enmascarados", poseyendo a menudo la intuición para diagnosticar errores que no deberían conocer, fallando en simular la "maldición de la incompetencia" (desconocidos desconocidos).
3. Infidelidad Perceptiva: El entrenamiento mediante RLHF aplanar la diversidad de las salidas, fallando en capturar el ruido y la variabilidad emocional de la expresión estudiantil auténtica.

Metodología: El Marco BEAGLE

BEAGLE (Agente de Emulación de Aprendiz Fundamentado con Comportamiento Forzado) es un marco neuro-simbólico diseñado para superar el sesgo de competencia mediante restricciones arquitectónicas en lugar de la ingeniería de prompts únicamente. Opera como un sistema sin entrenamiento que utiliza esqueletos de LLM congelados, integrando tres subsistemas acoplados:

1. Control Simbólico (El "Governor")

Este subsistema impone las dinámicas temporales y estructurales del aprendizaje basadas en la teoría del SRL.

• Dinámicas Semi-Markovianas: A diferencia de los modelos de Markov estándar que imponen distribuciones de duración geométricas, BEAGLE utiliza un controlador semi-Markoviano con distribuciones de duración Gamma. Esto captura la persistencia irregular de los estudiantes reales (por ejemplo, quedarse "atascado" en un estado) y gobierna las transiciones entre comportamientos metacognitivos (Planificación, Ejecución, Monitoreo, Reflexión) y comportamientos cognitivos (Construcción, Depuración, Evaluación).
• Inyección Explícita de Fallos (EFI) y Rastreo Bayesiano del Conocimiento (BKT): Para simular "desconocidos desconocidos", BEAGLE combina BKT con EFI. BKT rastrea la probabilidad de dominio para Componentes de Conocimiento (KC) específicos. Cuando un KC no está dominado, EFI bloquea al agente de acceder a ese concepto en su vocabulario. El agente se ve forzado a improvisar soluciones incorrectas o permanecer confundido, impidiendo que el LLM aproveche su conocimiento experto latente para "hacer trampa".
• Filtrado de Observaciones: La retroalimentación se controla mediante el estado metacognitivo del agente. Durante estados impulsivos de "Ejecución", las trazas de error se redactan, obligando al agente a participar en un ensayo y error realista en lugar de un diagnóstico inmediato.

2. Acción Neuronal (El "Actor")

Este subsistema utiliza una arquitectura de Estratega/Ejecutor para desacoplar la planificación de alto nivel de la generación de código, evitando la autocorrección silenciosa.

• Estratega: Sintetiza un plan de alto nivel compuesto por un Objetivo, una Mentalidad y una Directiva basados en el estado simbólico actual. Actúa como un monólogo interno.
• Ejecutor: Genera la acción final (código y monólogo) estrictamente condicionada a la directiva del Estratega. Crucialmente, el Ejecutor está restringido a implementar la directiva incluso si es defectuosa; no puede anular el plan con una solución "mejor". Esta separación arquitectónica asegura que el agente siga un camino de razonamiento defectuoso propio de un novato en lugar de corregirlo.

3. Entorno

El entorno ejecuta el código generado en un entorno aislado de Python (IDE Oracle) y proporciona observaciones filtradas de vuelta al agente. Actualiza las probabilidades de dominio de BKT solo durante estados de evaluación consciente (Monitoreo/Reflexión), reflejando cómo los humanos consolidan el conocimiento.

Contribuciones Clave

1. Arquitectura Novel: El primer sistema que impone conjuntamente dinámicas conductuales (mediante control semi-Markoviano) y restricciones de conocimiento (mediante BKT + EFI) para simular aprendices novatos.
2. Diseño de Agente Desacoplado: La división Estratega/Ejecutor previene eficazmente la "autocorrección silenciosa" común en los LLM, imponiendo fidelidad epistémica al obligar al agente a implementar planes defectuosos.
3. Inyección Explícita de Fallos: Un mecanismo para simular "desconocidos desconocidos" bloqueando determinísticamente el acceso a conceptos específicos, forzando al agente a improvisar en lugar de acceder a conocimiento experto latente.
4. Evaluación Exhaustiva: Una evaluación rigurosa a través de cuatro tareas (tres simulaciones de física dentro de la distribución, una tarea matemática fuera de la distribución), seis esqueletos de LLM de vanguardia y nueve líneas base.

Resultados

BEAGLE fue evaluado en métricas de fidelidad conductual, epistémica y perceptiva:

• Fidelidad Conductual: BEAGLE redujo significativamente la divergencia KL ($D_{KL}$) entre las distribuciones de comportamiento cognitivo simulado y real (0.31 frente a líneas base $\ge$ 0.53). Reprodujo con éxito bucles iterativos de depuración (transiciones C$\leftrightarrow$D) que las líneas base eludían sistemáticamente.
• Fidelidad Epistémica: BEAGLE logró una tasa de recurrencia de errores del 86.2%, coincidiendo estrechamente con la "maldición de la incompetencia" donde los novatos luchan repetidamente con los mismos errores. En contraste, líneas base como los LLM Vanilla resolvieron los errores inmediatamente (7.8% de recurrencia).
• Fidelidad Perceptiva (Test de Turing Humano): En un estudio con N=71 participantes (incluyendo estudiantes, profesionales y educadores), los participantes no pudieron distinguir fiablemente las trazas de BEAGLE de los datos de estudiantes reales. La precisión de clasificación fue del 52.8%, estadísticamente equivalente al azar ($p=0.053$). El análisis de la Teoría de la Detección de Señales arrojó un índice de discriminabilidad de $d' = 0.15$, y la prueba de equivalencia (TOST) confirmó que las trazas eran perceptivamente indistinguibles de los datos reales ($p_{TOST} = 0.038$).
• Generalización: El marco mantuvo una alta fidelidad a través de diferentes esqueletos de LLM (Gemini, GPT, Claude) y tareas fuera de la distribución (Descenso de Gradiente), demostrando que las restricciones arquitectónicas se generalizan más allá de las capacidades específicas del modelo.

Significado y Afirmaciones

El artículo afirma que BEAGLE representa un paso significativo hacia adelante en la generación de estudiantes sintéticos al pasar de la adopción de personas basada en prompts a la imposición arquitectónica de la teoría del aprendizaje. Al simular con éxito la "lucha" del aprendizaje, incluidos errores persistentes, falta de autoconciencia y resolución de problemas no lineales, BEAGLE permite una investigación educativa de IA escalable y ética. Permite a los investigadores poner a prueba intervenciones pedagógicas y entrenar sistemas de tutoría adaptativa sin los riesgos y costos asociados a la experimentación con estudiantes reales. Los autores señalan que, aunque existe un sesgo de competencia residual en los esqueletos más fuertes, el marco proporciona una base principista para trabajos futuros en aulas multiagente y control simbólico adaptable a las capacidades.