Resumen Técnico: Recomendación Automatizada de Contenido de Aprendizaje de Programación mediante Componentes de Conocimiento Basados en Patrones

Planteamiento del Problema

La instrucción inicial de programación depende en gran medida de la práctica directa y de actividades de aprendizaje breves, tales como "ejemplos resueltos" (soluciones correctas con explicaciones) y tareas orientadas a la práctica (por ejemplo, completado de código o reordenamiento). Aunque existen abundantes recursos, organizar estos en vínculos instruccionalmente significativos es un desafío sin la curaduría intensiva de expertos. El vinculación manual tradicional no escala, y los enfoques automatizados tempranos que dependían de señales superficiales (palabras clave, n-gramas) a menudo fallan al distinguir entre código que es léxicamente similar pero conceptualmente diferente, o conceptualmente similar pero sintácticamente distinto. Además, los enfoques basados en el conocimiento existentes (por ejemplo, vinculación basada en ontologías) suelen requerir modelos de dominio extensamente diseñados a mano y anotación de expertos. Existe la necesidad de un método escalable y automatizado para identificar y vincular recursos de aprendizaje basados en los patrones y conceptos de programación subyacentes que estos apuntan, sin depender de una pesada curaduría manual.

Metodología

Los autores proponen un marco de recomendación fundamentado en Componentes de Conocimiento (KC) basados en patrones. Estos KC se definen como patrones estructurales recurrentes y semánticamente significativos extraídos de los Árboles de Sintaxis Abstracta (AST) de los programas. La metodología procede a través de cuatro etapas principales:

1. Descubrimiento de KC basados en patrones:

   • Extracción de Subárboles: Los programas se convierten en ASTs. Una Red Neuronal de Atención basada en Subárboles (SANN) modificada asigna pesos de atención a los subárboles para identificar fragmentos estructurales que representan la lógica relevante para el tema.
   • Normalización: Los subárboles seleccionados se abstraen mediante la anonimización de identificadores y valores literales, y la canonicalización de alternativas sintácticas (por ejemplo, operadores conmutativos) para asegurar la similitud conceptual en lugar de la similitud léxica.
   • Codificación sensible al contexto: Los subárboles normalizados se codifican utilizando un Autoencoder Variacional $\beta$ ($\beta$-VAE) con un LSTM. Esto captura cómo los patrones coocurren dentro de programas completos, aprendiendo un espacio latente donde los patrones estructural y semánticamente similares son próximos.
   • Agrupamiento (Clustering): Los subárboles retenidos se agrupan mediante K-means para formar el conjunto final de KC basados en patrones.

2. Construcción del Vector de Conocimiento:

   • Cada actividad de aprendizaje (muestra de código) se mapea a un vector de incidencia binaria que indica la presencia de KCs específicos.
   • Se aplica un esquema de ponderación de Frecuencia Inversa de Documento (IDF) para enfatizar los patrones discriminativos y reducir el peso de los ubicuos.
   • Los vectores resultantes se normalizan con L2 para facilitar los cálculos de similitud de coseno.

3. Motor de Recomendación:

   • Dado un elemento objetivo (desafío o ejemplo resuelto), los elementos candidatos se clasifican por la similitud de coseno de sus vectores de conocimiento.
   • El sistema recupera elementos que instancian patrones de programación subyacentes similares en lugar de aquellos que son meramente léxica o sintácticamente similares.

4. Explicabilidad:

   • El marco proyecta los KCs con mayor contribución de vuelta al código fuente. Al rastrear los subárboles de alta atención asociados con un KC hacia sus extensiones de código específicas, el sistema proporciona justificaciones a nivel de línea sobre por qué se realizó una recomendación.

Contribuciones Clave

El artículo presenta tres contribuciones primarias:

1. Un enfoque de recomendación basado en KC: Un método que deriva la similitud entre actividades de programación utilizando vectores de conocimiento basados en KCs de patrones, permitiendo la recuperación dirigida a través de ejemplos resueltos y actividades de práctica.
2. Un modelo de KC basado en patrones explicable: Un modelo que descubre e identifica patrones de programación directamente del código, permitiendo la generación de explicaciones a nivel de línea para las recomendaciones.
3. Evaluación Exhaustiva: Una evaluación que demuestra cómo diferentes modelos de KC mejoran la precisión de la recomendación y la alineación con los conjuntos definidos por expertos, comparando el enfoque propuesto contra varios baselines.

Resultados Experimentales

El enfoque fue evaluado en un conjunto de datos de Python del sistema PCEX, que contiene 123 programas organizados por expertos en 49 paquetes (grupos de desafíos y ejemplos que apuntan a los mismos constructos). La evaluación trató la membresía de los paquetes definidos por expertos como la verdad fundamental (ground truth).

• Alineación con la Organización de Expertos: El análisis de cohesión (tightness) mostró que los elementos dentro de un mismo paquete definido por expertos formaban grupos significativamente más compactos (distancia de coseno promedio 0.51) que los elementos que compartían solo un tema (0.81), lo que indica que la representación captura una similitud instruccional fina.
• Agrupamiento No Supervisado: El agrupamiento jerárquico en los vectores de conocimiento recuperó la estructura de los paquetes definidos por expertos con un Índice de Rand Ajustado (ARI) de 0.605 y una Medida V de 0.933, lo que sugiere que el espacio latente organiza naturalmente los elementos por similitud conceptual sin etiquetas manuales.
• Desempeño de Recuperación: El enfoque basado en patrones superó a varios baselines, incluyendo code2vec, embeddings de SANN, KCs basados en ontologías y KCs generados por LLM (KCGen-KT y LLM-KCI).
  • Recuperación de ejemplos resueltos: Alcanzó una precisión Top-5 de 0.89, MRR de 0.81 y mAP de 0.82.
  • Recuperación de desafíos: Alcanzó una precisión Top-5 de 0.90, MRR de 0.80 y mAP de 0.79.
  • El enfoque superó consistentemente a code2vec, métodos basados en ontologías y embeddings de SANN. Los estudios de ablación confirmaron que la ponderación IDF mejoró significamente el desempeño (por ejemplo, una ganancia de +10% en mAP para la recuperación de ejemplos resueltos).
• Explicabilidad: El sistema logró resaltar regiones de código específicas (por ejemplo, estructuras condicionales, predicados de módulo) responsables de las coincidencias, proporcionando justificaciones transparentes tanto para estudiantes como para instructores.

Significado y Reivindicaciones

El artículo afirma que este marco ofrece una alternativa escalable a la curaduría manual para organizar el contenido de aprendizaje de programación. Al alinear las recomendaciones con los KCs basados en patrones, el sistema soporta:

• Guía Dirigida: Proporcionar recursos contextualmente apropiados que coincidan con las habilidades específicas que un estudiante necesita practicar.
• Reducción de la Carga del Experto: Automatizar el descubrimiento de vínculos instruccionales sin requerir ontologías extensamente diseñadas a mano o agrupamientos manuales.
• Transparencia: Ofrecer explicaciones a nivel de línea que permiten a los instructores auditar las recomendaciones y ayudar a los estudiantes a enfocarse en patrones estructurales específicos.

Los autores posicionan este trabajo como un paso hacia cerrar la brecha entre los grandes repositorios de materiales de programación y el apoyo personalizado orientado a conceptos. Observan que, aunque el conjunto de datos actual es pequeño, la capacidad del método para recuperar estructuras definidas por expertos sugiere un potencial de generalización para repositorios más grandes y no etiquetados. El enfoque se presenta como una forma de apoyar la organización, el agrupamiento y la recomendación de contenido instruccional a escala, complementando el trabajo previo sobre el valor pedagógico de agrupar actividades de aprendizaje relacionadas.