Resumen Técnico: LearnOpt – Recuperando la Estructura Cognitiva Latente de los Exámenes Estandarizados

1. Planteamiento del Problema

La preparación para exámenes estandarizados en la India, particularmente para el National Eligibility cum Entrance Test (NEET), se aborda tradicionalmente como un problema de cobertura uniforme del temario. Los estudiantes y los centros de formación suelen asignar el tiempo de manera equitativa entre los capítulos o priorizan basándose en la frecuencia histórica de los temas. Los autores argumentan que este enfoque sufre de dos fallos estructurales:

1. Muestreo No Uniforme: Los exámenes no muestrean el temario de forma uniforme; ciertas operaciones cognitivas aparecen con frecuencias sistemáticamente más altas que otras.
2. Confluencia de Tema y Habilidad: Las preguntas dentro de un mismo capítulo del temario pueden exigir operaciones cognitivas completamente diferentes (por ejemplo, recuperación directa de hechos frente a integración de múltiples conceptos), pero las estrategias estándar las tratan como equivalentes.

El desafío central es reformular la preparación para el examen como un probleente de optimización con restricciones: maximizar la puntuación esperada dado un presupuesto de tiempo fijo y el estado de conocimiento actual de un estudiante. Esto requiere la "asunción de estacionariedad": que la estructura cognitiva latente del examen sea lo suficientemente estable en el tiempo como para que los datos históricos sean predictivos. El artículo investiga si esta asunción se cumple para el NEET y, si no es así, cómo detectar y adaptarse a los cambios de régimen.

2. Metodología: El Marco de Trabajo LearnOpt

LearnOpt es un flujo de trabajo de cuatro componentes diseñado para recuperar la estructura latente del examen y generar planes de estudio personalizados.

2.1 Ingestión de Datos y Etiquetado mediante LLM

• Entrada: 1,496 preguntas de NEET en inglés de 2016–2024 (Biología, Química, Física).
• Proceso: Los PDF originales se extraen mediante PyMuPDF. Cada pregunta es procesada por un Modelo de Lenguaje Grande (LLM) utilizando un prompt de cadena de evidencia (chain-of-evidence).
• Salida: Registros estructurados en JSON que contienen la pregunta, las opciones, la respuesta y una clasificación en una de cinco categorías de habilidades latentes (S1–S5). El LLM debe proporcionar evidencia textual para la clasificación para permitir la revisión humana.
• Fiabilidad: El acuerdo inter-modelo (kappa de Cohen) entre dos LLM diferentes en un subconjunto de 74 preguntas fue de 0.51 (moderado). Los desacuerdos se concentraron en la frontera entre "Aplicación Conceptual" (S2), "Integración de Múltiples Conceptos" (S3) y "Razonamiento Cuantitativo" (S4), mientras que la categoría de "Eliminación/Negación" (S5) mostró una alta concordancia.

2.2 Grafo de Conocimiento del Examen

• Estructura: Un grafo $G=(V, E)$ almacenado en FalkorDB.
• Nodos: Preguntas, Temas, Capítulos, Asignaturas, Habilidades y Secciones de NCERT.
• Aristas: Las relaciones incluyen TESTA (evalúa), PARTE_DE, REQUIERE_HABILIDAD, ENSEÑADO_EN y PRERREQUISITO_DE.
• Construcción: Las aristas de prerrequisitos se infieren de la secuenciación de capítulos de NCERT y de las dependencias conceptuales inferidas por el LLM.

2.3 Taxonomía de Habilidades Latentes

Los autores definen cinco categorías de habilidades basadas en la discriminabilidad estructural superficial (evitando la baja fiabilidad inter-evaluador de la Taxonomía de Bloom de 6 niveles):

• S1 (Recuerdo Directo): Recuperación de un hecho único.
• S2 (Aplicación Conceptual): Aplicar un principio conocido a un nuevo contexto.
• S3 (Integración de Múltiples Conceptos): Combinar conocimientos de distintos capítulos.
• S4 (Razonamiento Cuantitativo): Cálculo numérico o aplicación de fórmulas.
• S5 (Eliminación/Negación): Preguntas estructuradas como "¿cuál NO es correcta?" o "todo EXCEPTO", que requieren la verificación exhaustiva de afirmaciones.

2.4 Motor de Optimización de Estudio

El plan de estudio se formula como una variante del Problema de la Mochila resuelto mediante el solver Google OR-Tools CP-SAT.

• Objetivo: Maximizar la ganancia de puntuación esperada.
• Restricciones: Presupuesto de tiempo y orden de prerrequisitos (un estudiante no puede dominar un concepto sin sus prerrequisitos).
• Función de Valor: Incorpora la frecuencia histórica ($R_i$), el dominio actual ($m_i$) y un término ponderado por habilidad ($W_s$) basado en la frecuencia empírica de la categoría de habilidad en el examen.
• Modelo de Aprendizaje: Utiliza el Rastreo de Conocimiento Bayesiano (BKT) con restricciones conscientes de los prerrequisitos para actualizar los estados de dominio después de cada sesión de estudio.

3. Resultados Clave

3.1 Estabilidad de Régimen y Ruptura Estructural

El análisis del conjunto de datos 2016–2024 revela que la distribución de habilidades latentes del NEET es estacionaria por tramos:

• Régimen Pre-2023 (2016–2021): La distribución es estable. La divergencia de Kullback-Leibler (KL) consecutiva de año a año oscila entre 0.004 y 0.032, sin cambios significativos bajo pruebas de permutación ($p > 0.05$).
• El Cambio de 2023: Ocurre una ruptura estructural significativa coincidiendo con la racionalización del temario de NCERT 2023.
  • Comparación: La agrupación de 2016–2021 ($n=1,072$) frente a 2023–2024 ($n=392$) arroja una divergencia KL de 0.040 ($p=0.0005$).
  • Naturaleza del Cambio: Las preguntas de Recuerdo Directo (S1) cayeron de aproximadamente 4–6% a ~2%. Las preguntas de Eliminación/Negación (S5) aumentaron de 20–29% a 31–35%.
  • Atribución: El cambio se atribuye a la eliminación de capítulos enteros del temario de NCERT, lo que obliga a los elaboradores de preguntas a evaluar el material restante de manera más rigurosa mediante la verificación de múltiples afirmaciones (S5) en lugar de la recuperación de hechos aislados (S1).

3.2 Predictores de Asignatura vs. Tiempo

Dentro de un régimen de temario, la asignatura predice el perfil de habilidades con mayor fuerza que el año.

• Física: Dominada por la Integración de Múltiples Conceptos (S3, 51.9%) y casi carente de S5.
• Biología: Rica en S5 (34.6%) y S1 (7.8%).
• Química: Equilibrada entre S2 y S3.
• Divergencia: La divergencia KL entre asignaturas (por ejemplo, Física vs. Biología = 0.420) supera ampliamente la divergencia año tras año dentro de un mismo régimen (máximo 0.032).

3.3 Evaluación de la Optimización

El objetivo ponderado por habilidades se probó contra dos líneas de base (cobertura uniforme y solo frecuencia de temas) a través de tres perfiles de estudiantes (uno real y dos sintéticos).

• Hallazgos: El enfoque ponderado por habilidades produjo un reordenamiento modesto pero real de los temas recomendados. Por ejemplo, priorizó temas dominados por S5 (alta frecuencia en el régimen post-2023) sobre temas con una frecuencia histórica similar pero con perfiles de habilidad menos ponderados.
• Limitación: La señal de personalización se vio diluida porque solo el 28.2% de las preguntas podían mapearse al número específico de ~18 temas utilizados en la autoevaluación de los estudiantes; el resto adoptó valores neutros por defecto.

3.4 Comparación entre Exámenes (JEE Advanced)

La aplicación del flujo de trabajo al JEE Advanced reveló una estructura cognitiva fundamentalmente diferente:

• JEE Advanced: Dominado por la Integración de Múltiples Conceptos (80.9%) con casi nulo recuerdo puro.
• Divergencia: La divergencia KL entre JEE Advanced y NEET (0.505) supera la mayor divergencia entre asignaturas dentro de NEET, lo que indica que el nivel del examen moldea la estructura latente más que la asignatura misma.

4. Significado y Reivindicaciones

El artículo reivindica las siguientes contribuciones:

1. Evidencia Empírica de Estacionariedad por Tramos: Demuestra que, si bien las estructuras de los exámenes no son permanentemente estáticas, son estables dentro de identificables regímenes de temario. Esto valida el uso de datos históricos para la optimización siempre que se detecten y se tengan en cuenta los cambios de régimen (como los cambios de NCERT de 2023).
2. Extracción de Habilidades Latentes: Introduce una taxonomía de cinco categorías que captura características estructurales de los MCQs (específicamente S5: Eliminación/Negación) que a menudo se pasan por alto en las taxonomías estándar, mostrando que el formato de la pregunta es un predictor distinto de la demanda cognitiva.
3. Marco de Optimización: Presenta LearnOpt, un sistema que va más allá del consejo de "capítulo de gran peso" hacia un modelo de optimización con restricciones que pondera el tiempo de estudio tanto por la frecuencia del tema como por la demanda cognitiva empírica del examen.
4. Datos Abiertos: Los autores liberan el código, el grafo de conocimiento y el conjunto de datos anotado (1,496 preguntas con etiquetas de habilidad) para permitir la verificación independiente de estos patrones.

Los autores mantienen la modestia respecto al estado actual de la herramienta, señalando que la señal de personalización está actualmente limitada por la granularidad del mapeo de temas, y que los datos de 2025 no pudieron analizarse de forma fiable debido a la falta de texto completo de las preguntas en las fuentes disponibles. La contribución principal es el análisis de la estructura latente del examen más que un sistema de tutoría plenamente maduro y listo para producción.