💬 NLP

Using LLMs for Knowledge Component-level Correctness Labeling in Open-ended Coding Problems

Este artículo propone un marco automatizado que utiliza modelos de lenguaje grandes (LLMs) para generar etiquetas de corrección a nivel de componentes de conocimiento en problemas de programación abiertos, superando las limitaciones de las etiquetas a nivel de problema y mejorando tanto el ajuste de las curvas de aprendizaje como el rendimiento predictivo en comparación con los métodos tradicionales.

Autores originales: Zhangqi Duan, Arnav Kankaria, Dhruv Kartik, Andrew Lan

Publicado 2026-03-31

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Zhangqi Duan, Arnav Kankaria, Dhruv Kartik, Andrew Lan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás aprendiendo a cocinar. Tienes un libro de recetas (el problema de programación) y tratas de preparar un plato (escribes el código).

En el mundo de la educación tradicional, si tu plato sale quemado o salado, el profesor te dice simplemente: "Fallaste". Punto. No importa si cortaste las verduras perfectamente o si mediste la sal con exactitud; como el resultado final no fue un 10, todo se marca como un error.

Este es el problema que resuelve este artículo. Los investigadores de la Universidad de Massachusetts Amherst dicen: "¡Espera! Eso no es justo ni útil".

Aquí te explico cómo lo solucionan, usando una analogía sencilla:

1. El Problema: La "Etiqueta de Todo o Nada"

En los cursos de programación, los estudiantes escriben código para resolver problemas. A veces, el código no funciona al 100%, pero el estudiante sí entendió la mitad de las cosas.

Ejemplo: Imagina que el problema requiere: 1) Cortar cebollas, 2) Saltearlas y 3) Añadir especias.
Si el estudiante corta y saltea perfecto, pero olvida las especias, el código falla.
El método viejo: Dice "Fallaste en todo". El sistema piensa que el estudiante no sabe ni cortar cebollas. Esto es como si te suspendieran en matemáticas por no saber dibujar un círculo, aunque hubieras resuelto la ecuación perfecta.

2. La Solución: El "Chef Robot" (La IA)

Los autores crearon un sistema que usa una Inteligencia Artificial muy avanzada (un modelo de lenguaje grande, o LLM) para actuar como un chef experto y paciente.

En lugar de solo mirar si el plato final salió bien, el "Chef Robot" revisa tu código paso a paso y te da un reporte detallado:

✅ Cortar cebollas: ¡Perfecto! (Dominio correcto).
✅ Saltear: ¡Bien hecho! (Dominio correcto).
❌ Añadir especias: Olvidaste esto. (Error).

Así, el sistema sabe exactamente qué sabe el estudiante y qué necesita practicar, en lugar de solo decir "fallaste".

3. El Truco Inteligente: "El Contexto del Tiempo"

Aquí viene la parte más creativa de su investigación. A veces, un estudiante empieza con una idea loca y termina con una solución diferente.

Imagina que el estudiante empieza intentando hacer una pizza, pero al final decide hacer una ensalada.
Si la IA mira solo el primer intento, podría pensar que el estudiante no sabe hacer ensaladas.
El truco: La IA mira el último intento del estudiante para entender qué quería hacer realmente (la estrategia final), y luego usa esa comprensión para evaluar el primer intento.
Es como si el profesor dijera: "Veo que al final decidiste hacer una ensalada, así que voy a evaluar tu primer intento de ensalada, no tu intento fallido de pizza". Esto hace que la evaluación sea mucho más justa y precisa.

4. ¿Por qué es importante? (La Curva de Aprendizaje)

El objetivo final es trazar un mapa del progreso del estudiante (una "curva de aprendizaje").

Con el método viejo: El mapa parece un caos. Como todo se marca como error al principio, el sistema cree que el estudiante nunca mejora, o que mejora de forma extraña.
Con el método nuevo: El mapa se ve claro. Ves cómo el estudiante mejora poco a poco en cada habilidad específica (cortar, saltear, etc.), tal como predice la teoría de cómo aprende el cerebro humano.

En Resumen

Este paper nos dice que la Inteligencia Artificial puede ser un mejor "tutor" que los métodos antiguos.

En lugar de dar una calificación general de "Aprobado/Reprobado", la IA actúa como un detective de habilidades que:

Mira el código línea por línea.
Entiende la intención del estudiante.
Te dice exactamente qué partes del código son geniales y cuáles necesitan trabajo.

Esto permite a los profesores y sistemas educativos dar ayuda personalizada: si sabes que un estudiante sabe cortar cebollas pero falla en las especias, le das un ejercicio solo sobre especias, en lugar de obligarlo a repetir todo el curso de cocina. ¡Es como tener un entrenador personal para cada habilidad!

Resumen Técnico: Etiquetado de Corrección a Nivel de Componente de Conocimiento en Problemas de Codificación Abierta mediante LLMs

1. El Problema

En el modelado estudiantil y el análisis de aprendizaje, los Componentes de Conocimiento (KC, por sus siglas en inglés) son unidades finas de habilidades o conceptos que permiten un diagnóstico preciso del dominio de un estudiante. Sin embargo, en conjuntos de datos reales, especialmente en tareas de programación de código abierto, las etiquetas de corrección a nivel de KC rara vez están disponibles.

Limitación actual: Generalmente solo existen etiquetas de corrección a nivel de problema (éxito/fracaso total).
Consecuencia: Propagar la corrección del problema a todos los KCs asociados oculta el dominio parcial (un estudiante puede dominar algunos KCs mientras falla en otros). Esto resulta en curvas de aprendizaje mal ajustadas que no siguen la Ley del Práctica (donde la tasa de error debería disminuir monótonamente con más intentos) y reduce la capacidad predictiva de los modelos.
Desafío de la programación: Obtener etiquetas manuales es costoso, propenso a errores y no escalable. Los métodos automáticos anteriores basados en Árboles de Sintaxis Abstracta (AST) solo capturan KCs sintácticos superficiales, ignorando KCs algorítmicos de alto nivel.

2. Metodología

Los autores proponen un marco automatizado que utiliza Modelos de Lenguaje Grande (LLMs) para generar etiquetas de corrección binaria para cada KC directamente desde el código escrito por el estudiante. El enfoque consta de tres componentes principales:

Estrategia de Prompting (Cadena de Pensamiento):
- Se utiliza un modelo LLM (GPT-4o y Qwen3 Coder) con una estrategia de Chain-of-Thought (CoT).
- Entradas: Enunciado del problema, código del estudiante y el conjunto de KCs mapeados.
- Proceso: Se incluyen ejemplos in-context (few-shot). El modelo debe razonar paso a paso: primero determinar si un KC específico se utiliza en el código y luego asignar una etiqueta binaria (correcto/incorrecto) sobre su aplicación. Si un KC requerido no se usa, se etiqueta como incorrecto.
- Decodificación: Se utiliza decodificación greedy (temperatura=0) para garantizar salidas deterministas.
Generación Automatizada de KCs:
- Para abordar la diversidad de estrategias de solución, el marco no se limita a KCs creados por humanos.
- Se generan KCs candidatos agrupando soluciones correctas (usando embeddings de CodeBERT) y solicitando al LLM que sintetice KCs que cubran estas variaciones.
Mapeo Código-KC Consciente del Contexto Temporal:
- Dado que un estudiante puede usar una estrategia específica que no cubre todos los KCs posibles de un problema, el sistema alinea los KCs con el código individual.
- Mecanismo: Se compara el último intento del estudiante (que suele ser una versión casi completa) con soluciones correctas de referencia para identificar la estrategia más cercana. Luego, se aplican los KCs asociados a esa estrategia para evaluar el primer intento del estudiante. Esto permite una atribución más precisa de la corrección, ya que el primer intento refleja mejor el dominio inicial de la habilidad antes de la depuración.

3. Contribuciones Clave

Primera aplicación sistemática de LLMs: Es el primer trabajo que explora el uso de LLMs para el etiquetado de corrección a nivel de KC en código de estudiantes.
Marco de Prompting CoT: Demuestra que el razonamiento paso a paso es crucial para distinguir entre la presencia de un concepto y su aplicación correcta en código complejo.
Mecanismo de Mapeo Temporal: Introduce una técnica para alinear dinámicamente los KCs con la estrategia de solución específica del estudiante, mejorando la granularidad de las etiquetas.
Validación Rigurosa: Evalúa el marco utilizando tanto modelos propietarios (GPT-4o) como de código abierto (Qwen3), y con diferentes conjuntos de KCs (humanos, generados y seleccionados).

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos CodeWorkout (10,834 códigos de 246 estudiantes en Java).

Ajuste de Curvas de Aprendizaje:
- El método propuesto (LLM) superó significativamente a la línea base (etiquetado a nivel de problema) en métricas de ajuste a la Ley del Práctica.
- RMSE (Error Cuadrático Medio): Reducción drástica (ej. de 0.110 en la línea base a ~0.069-0.077 con LLMs).
- $R^2$ : Mejora sustancial en la varianza explicada (ej. de 0.253 a ~0.383).
- Las curvas generadas mostraron una tendencia decreciente coherente con la teoría cognitiva, mientras que la línea base mostraba fluctuaciones erráticas y aumentos de error al final.
Rendimiento Predictivo (Modelo de Factores Aditivos - AFM):
- El uso de etiquetas de LLM mejoró la capacidad de predecir el éxito futuro de los estudiantes (AUC aumentó de ~0.53 a ~0.63-0.67).
Evaluación Humana:
- Se compararon las etiquetas del LLM con las de dos expertos humanos.
- Acuerdo: El Kappa de Cohen entre humanos y GPT-4o fue de 0.74 (acuerdo sustancial), y entre dos humanos fue de 0.86. Esto valida la fiabilidad del enfoque automatizado.
Estudio de Ablación:
- La eliminación del razonamiento Chain-of-Thought (CoT) resultó en un rendimiento significativamente menor, confirmando que el razonamiento intermedio es vital para la tarea.

5. Significado e Impacto

Este trabajo ofrece una alternativa escalable y fundamentada cognitivamente a los métodos heurísticos actuales para el análisis de aprendizaje.

Mejora en Sistemas Adaptativos: Las etiquetas precisas a nivel de KC permiten detectar el dominio parcial, evitando diagnósticos erróneos que podrían llevar a intervenciones inapropiadas (como saltar práctica necesaria o ofrecer soporte redundante).
Interpretabilidad: Proporciona una visión más clara de cómo los estudiantes consolidan habilidades específicas a lo largo del tiempo.
Escalabilidad: Permite aplicar modelado estudiantil de alta granularidad en grandes conjuntos de datos de programación donde la anotación manual es inviable.

En conclusión, la sustitución de etiquetas de corrección gruesas por etiquetas finas generadas por LLMs mejora tanto la fidelidad teórica de las curvas de aprendizaje como la utilidad práctica de los sistemas de tutoría inteligente.