Detecting Knowledge Gaps from Conversational AI Interactions Using Curriculum Prerequisite Graphs

Resumen Técnico: Detección de brechas de conocimiento a partir de interacciones con IA conversacional mediante grafos de prerrequisitos curriculares

Planteamiento del problema
Los cursos en línea a gran escala generan vastos registros de interacción de asistentes de enseñanza de IA conversacional; sin embargo, estos datos permanecen en gran medida sin explotar para fines de diagnóstico individualizado. Mientras que los métodos existentes de detección de brechas de conocimiento dependen de respuestas estructuradas de ítems (por ejemplo, respuestas correctas/incorrectas a evaluaciones) alineadas con taxonomías de habilidades, no pueden procesar preguntas de formato libre. Estas preguntas no estructuradas son difíciles de analizar porque carecen de un mapeo explícito hacia los temas del currículo, y la señal diagnóstica (la dificultad del estudiante) es implícita. El desafío radica en transformar las preguntas puramente textuales de los estudiantes en señales fundamentadas en el currículo que reflejen brechas de conocimiento reales a nivel de tema, sin requerir un banco de ítems preexistente o una evaluación de corrección por pregunta.

Metodología
Los autores proponen un flujo de trabajo de cinco pasos que vincula los registros conversacionales con la estructura del currículo utilizando un clasificador de texto de pocos disparos (few-shot) y un grafo de conocimiento de prerrequisitos.

1. Construcción del Grafo de Conocimiento:

   • Fuente: 26 archivos PDF de lecciones de un curso de posgrado en IA.
   • Proceso: Un instructor experto en la materia utilizó un protocolo de tres etapas con GPT-4 para extraer 54 temas enseñables distintos y 47 aristas de prerrequisitos dirigidas (ej. Redes Semánticas → Frames).
   • Validación: Se descartaron las relaciones ambiguas o bidireccionales para asegurar una estructura defendible y auditable por el instructor. Este grafo define el espacio de etiquetas cerrado para el flujo de trabajo.

2. Clasificación de Preguntas (Hipótesis H1):

   • Etiquetado: Se utilizó GPT-4 para generar etiquetas de entrenamiento para 1,046 preguntas únicas de estudiantes frente al espacio de 54 temas (más una clase de "desconocido").
   • Modelo: Se entrenó un clasificador FastFit (un modelo de clasificación de texto de pocos disparos que utiliza aprendizaje contrastivo por lotes sobre incrustaciones de oraciones) con los datos etiquetados por el LLM.
   • Arquitectura: El modelo utiliza un núcleo de incrustación de oraciones all-mpnet-base-v2 congelado.
   • Gestión de Datos: Para abordar el desequilibrio de clases (mediana de 5 muestras por tema, máximo 89), se realizó un submuestreo de la clase "desconocido" y se aumentaron los temas de baja frecuencia con paráfrasis derivadas de sus definiciones en el grafo de conocimiento. El conjunto de entrenamiento final consistió en 737 ítems a través de 43 clases efectivas (42 temas + 1 desconocido).

3. Validación mediante Encuesta (Hipótesis H2):

   • Métrica: El flujo de trabajo compara el volumen de preguntas al asistente por tema contra la dificultad auto reportada en una encuesta de mitad de semestre de Qualtrics ($n=280$).
   • Alineación: Se emparejaron manualmente 28 temas entre la lista de la encuesta y los nodos del grafo de conocimiento.
   • Análisis: Se calculó la correlación de rango de Spearman ($\rho$) para probar si el alto volumen de preguntas se correlaciona con la alta dificultad auto reportada.

Resultos Clave

• Precisión de Clasificación (H1): El clasificador FastFit logró una precisión del 80.0% y un F1 macro de 0.669 en un conjunto de oro de 70 preguntas anotadas por humanos (43 clases). Este rendimiento superó ligeramente el uso de GPT-4 directamente como clasificador en tiempo de inferencia (78.6% de precisión).
  • Análisis de Errores: Las clasificaciones erróneas se agruparon en tres patrones: trampas de palabras clave superficiales, confusión entre temas de razonamiento adyacentes (ej. Razonamiento Analógico vs. Reducción de Problemas) y preguntas vagas que activan la clase de abstención.
• Alineación de la Encuesta (H2): Se encontró una correlación positiva estadísticamente significativa entre el volumen de preguntas por tema y la dificultad auto reportada ($\rho = 0.491, p = 0.008$) en los 28 temas emparejados.
  • Observación: Los temas con el mayor volumen de preguntas (ej. Razonamiento Analógico, Generalización) generalmente coincidieron con los temas que los estudiantes reportaron como más difíciles.

Significancia y Reivindicaciones
El artículo sostiene que los registros de interacción de la IA conversacional, cuando se mapean en un grafo de conocimiento de prerrequisitos curriculares, proporcionan señales accionables sobre las brechas de conocimiento a nivel de tema. La importancia de este trabajo reside en:

1. Granularidad Accionable: Al tratar los temas (en lugar de las preguntas individuales) como la unidad de análisis, el sistema produce señales que coinciden con la granularidad en la que los instructores pueden intervenir.
2. Fundamentación Curricular: El enfoque valida la dificultad del estudiante contra una estructura curricular independiente y redactada por el instructor, en lugar de depender únicamente de métricas de compromiso o retención.
3. Viabilidad sin Bancos de Ítems: El flujo de trabajo demuestra que las señales diagnósticas pueden extraerse de texto de formato libre utilizando aprendizaje de pocos disparos y grafos extraídos por LLM, evitando la necesidad de bancos de ítems cuidadosamente diseñados o modelos de rastreo de conocimiento bayesiano.

Limitaciones y Direcciones Futuras
Los autores señalan explícitamente tres limitaciones:

1. La tasa de error de clasificación del 20% introduce ruido en las etiquetas, lo que probablemente atenúa la correlación medida.
2. La evaluación está limitada a un único curso de IA de posgrado; se requiere replicación en otras disciplinas.
3. Los resultados actuales son agregados (a nivel de cohorte) y aún no identifican a estudiantes individuales con dificultades en temas específicos.

El trabajo futuro pretende extender este flujo de trabajo para:

• Detección de brechas por estudiante: Identificar estudiantes cuyas distribuciones de preguntas divergen anomalamente de la cohorte.
• Propagación de Prerrequisitos: Utilizar las aristas del grafo para rastrear las dificultades descendentes hacia los prerrequisitos de causa raíz ascendentes para estudiantes individuales.
• Estudios de Intervención: Probar un tablero de control de ciclo cerrado donde se presenten prompts de remediación fundamentados en el currículo a instructores o estudiantes.