From Learning Resources to Competencies: LLM-Based Tagging with Evidence and Graph Constraints

Resumen Técnico: De Recursos de Aprendizaje a Competencias: Etiquetado Basado en LLM con Evidencia y Restricciones de Grafos

Formulación del Problema
El artículo aborda el desafío de alinear automáticamente recursos heterogéneos de un Sistema de Gestión del Aprendizaje (LMS) (por ejemplo, PDFs, diapositivas, cuestionarios, tareas) con marcos de competencias institucionales estructurados. Si bien el etiquetado manual es preciso, resulta intensivo en mano de obra y difícil de escalar. Los métodos totalmente automáticos a menudo carecen de transparencia, lo que los hace inadecuados para la auditoría educativa. El problema central se define como el cálculo de una asignación de competencias a nivel de recurso $M: R \to 2^C$ (donde $R$ es un conjunto de recursos y $C$ es un conjunto de nodos de competencia en un grafo dirigido $G$) que sea tanto precisa como trazable mediante segmentos de evidencia verificables dentro del texto.

Metodología: El Pipeline LBG
Los autores proponen un pipeline de extremo a extremo, denominado LBG (LLM+BM25+Grafo), que opera a nivel de fragmento antes de agregarse a nivel de recurso. El proceso consta de cuatro etapas distintas:

1. Representación y Fragmentación de Recursos:
   Los recursos heterogéneos del LMS se descomponen en fragmentos pedagógicos ($\phi(r)$) basados en estructuras autorizadas por el instructor (por ejemplo, secciones, diapositivas, ítems de cuestionario). Si falta una estructura explícita, la segmentación de respaldo utiliza los límites de párrafo y oración. Cada fragmento conserva metadatos de procedencia para permitir una auditoría posterior.

2. Generación de Candidatos (Recuperación):
   Para restringir el espacio de predicción y evitar la generación sin restricciones, el sistema recupera un conjunto acotado de las $K$ mejores competencias candidatas ($Cand(x)$) para cada fragmento $x$. Esto se logra comparando el texto del fragmento con perfiles de competencia (que contienen etiquetas, descripciones, sinónimos y contexto de grafo) utilizando clasificación léxica (BM25).

3. Etiquetado Basado en LLM con Evidencia:
   Un Modelo de Lenguaje Grande (LLM), específicamente gpt-4o-mini, actúa como un módulo de decisión semántica restringido. Dado un fragmento y su conjunto de candidatos recuperados, el LLM:

   • Selecciona competencias relevantes exclusivamente del conjunto de candidatos.
   • Asigna una puntuación de confianza.
   • Extrae un segmento de evidencia verificable (desplazamientos de caracteres) del texto del fragmento que respalda la selección.
     Las salidas se formatean en un esquema JSON estricto para garantizar la parsabilidad por máquina.

4. Reconciliación y Agregación Conscientes del Grafo:
   Las predicciones a nivel de fragmento se refinan utilizando las relaciones estructurales del grafo de competencias $G$ (por ejemplo, prerequisitos, relaciones jerárquicas). Esta etapa realiza:

   • Control de Granularidad: Reducir las asignaciones redundantes entre nodos padres e hijos.
   • Verificaciones de Coherencia de Prerequisitos: Señalar etiquetas potencialmente incoherentes (por ejemplo, una competencia avanzada predicha sin evidencia de sus prerequisitos) sin forzar una corrección automática.
   • Deduplicación: Fusionar predicciones superpuestas.
     Finalmente, las puntuaciones de fragmento se agregan (mediante suma ponderada o máximo) para producir una puntuación de competencia a nivel de recurso, que se umbraliza para generar la asignación final.

Contribuciones Clave

• Etiquetado Fundamentado en Evidencia: A diferencia de la clasificación estándar, el pipeline requiere que el modelo genere segmentos de texto específicos que justifiquen cada etiqueta, facilitando la auditoría humana y la transparencia.
• Espacio de Decisión Restringido: Al integrar la recuperación (BM25) con la selección del LLM, el método mitiga el problema de que los LLM alucinen competencias o rindan mal en marcos locales menos representados.
• Reconciliación Consciente del Grafo: El enfoque utiliza explícitamente la topología del grafo de competencias (prerequisitos y jerarquías) para procesar las predicciones, asegurando la consistencia estructural en la salida final.
• Pipeline de Extremo a Extremo: El sistema cierra la brecha entre el contenido crudo del LMS y el análisis estructurado de competencias, operando eficazmente a través de tipos de recursos heterogéneos.

Resultados Experimentales
El enfoque se evaluó en un conjunto de datos del departamento de Ciencias de la Computación de la Université de Technologie de Compiègne (UTC), que comprende 430 recursos, 26 unidades de curso y 22 competencias. La evaluación utilizó validación cruzada de 5 pliegues a nivel de unidad de curso.

• Rendimiento: El pipeline LBG logró un Micro-F1 de 0.571 y un Macro-F1 de 0.504 a nivel de fragmento, y un Macro-F1 de 0.507 a nivel de recurso.
• Ventaja Comparativa: LBG superó a:
  • LLM de Zero-shot y Few-shot: Que carecían de restricciones de recuperación y reconciliación de grafos.
  • Líneas Base de Recuperación/Similitud: Incluyendo BM25, codificadores bi-densos densos y SBERT, que tuvieron dificultades al convertir listas clasificadas en predicciones multietiqueta.
  • Clasificadores Supervisados: Incluyendo LogReg, LinearSVC y un Transformador Supervisado, que generalizaron menos efectivamente a través de unidades de curso no vistas.
• Validez de la Evidencia: LBG logró la mayor Validez de Segmento (0.511) entre los métodos que generan segmentos, lo que indica que el enfoque restringido estabiliza la extracción de evidencia mecánicamente trazable.
• Calidad de la Clasificación: El pipeline logró un Ranking Recíproco Medio (MRR) de 0.82, significativamente superior a las líneas base, lo que sugiere que las competencias correctas se clasifican altamente en la lista de candidatos.

Significado y Afirmaciones
El artículo afirma que combinar el etiquetado de LLM restringido por recuperación con la reconciliación basada en grafos ofrece una solución robusta para el análisis de currículos basados en competencias. Los autores enfatizan que su método produce segmentos de evidencia mecánicamente trazables, lo cual es crítico para la auditoría humana y el análisis educativo, abordando la naturaleza de "caja negra" de las salidas estándar de los LLM.

Los resultados sugieren que, aunque los LLM muestran promesa para el etiquetado de habilidades, su rendimiento en marcos locales se mejora significativamente al restringir el espacio de etiquetas mediante recuperación y hacer cumplir la consistencia estructural mediante restricciones de grafos. Los autores señalan que su enfoque es agnóstico al modelo y que el diseño del pipeline soporta aplicaciones posteriores en el LMS, como recuperación basada en competencias, alineación de evaluaciones y análisis de cobertura curricular.

Limitaciones
Los autores reconocen modestamente varias limitaciones:

• La evaluación se restringe a un único marco institucional (Ciencias de la Computación de UTC) y recursos de solo texto.
• La métrica de validez de la evidencia prueba la trazabilidad mecánica de los desplazamientos en lugar de la fidelidad semántica (es decir, si el texto justifica realmente la etiqueta).
• El sistema depende del texto del perfil de competencia para la recuperación, lo que puede limitar el rendimiento en competencias altamente ambiguas o implícitas sin restricciones de grafo más ricas.
• Se necesita trabajo futuro para validar el enfoque en taxonomías más grandes y multilingües (por ejemplo, ESCO, ROME) y para mejorar la generación de candidatos.