🤖 machine learning

Disentangling Knowledge States with Ability and Proficiency Modeling for Knowledge Tracing

Este artículo propone el Rastreo de Conocimiento Consciente de la Fase (PAKT, por sus siglas en inglés), un nuevo marco que desentraña el aprendizaje del estudiante en fases de construcción de capacidad y de orientación a la competencia mediante un Transformer de múltiples ramas para abordar las limitaciones de los modelos agnósticos de fase y lograr un rendimiento superior en múltiples evaluaciones de referencia.

Autores originales: Duantengchuan Li, Yingqian Bi, Jinsong Chen, Rui Zhang, Mingwen Tong

Publicado 2026-07-16

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Duantengchuan Li, Yingqian Bi, Jinsong Chen, Rui Zhang, Mingwen Tong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde un tutor informático pudiera observarte estudiar y saber instantáneamente no solo qué sabes, sino cómo lo aprendiste. Este es el corazón del "Rastreo del Conocimiento" (Knowledge Tracing), un campo de la tecnología educativa que intenta predecir qué tan bien le irá a un estudiante en su próximo examen basándose en sus tareas pasadas. Piensa en ello como un GPS para el aprendizaje: en lugar de solo mostrarte dónde estás, intenta adivinar hacia dónde vas después. Durante años, estos tutores informáticos trataron cada pregunta que respondías simplemente como otro paso en el mismo y largo camino. Asumían que la forma en que te costó entender un concepto el primer día era exactamente la misma que la forma en que lo dominaste con fluidez el décimo día. Pero cualquiera que haya aprendido una nueva habilidad sabe que eso no es cierto. Al principio, eres torpe y estás descifrando las cosas; más tarde, eres fluido y automático. La gran pregunta que se hacen los investigadores es: ¿Podemos construir un tutor más inteligente que entienda la diferencia entre la fase de "descubrimiento" y la fase de "maestría"?

Esto es precisamente lo que aborda el artículo "Disentangling Knowledge States with Ability and Proficiency Modeling for Knowledge Tracing". Los autores, un equipo de investigadores, argumentan que los tutores informáticos actuales están pasando por alto un detalle crucial: están mezclando dos tipos de comportamientos de aprendizaje muy diferentes. Proponen un nuevo sistema llamado PAKT (Phase-Aware Knowledge Tracing) que divide la historia de un estudiante en dos capítulos distintos: la Fase de Habilidad y la Fase de Proficiencia.

Para entender la magia de PAKT, imagina que estás aprendiendo a hacer malabares. Al principio, estás en la Fase de Habilidad. Estás dejando caer las pelotas, tus brazos se agitan de un lado a otro, y cada vez que atrapas una, se siente como una gran victoria. Estás construyendo la habilidad bruta desde cero. Tu éxito aquí depende enteramente de tu "habilidad" natural para captar el concepto. Pero una vez que has practicado lo suficiente y finalmente dejas de dejar caer las pelotas, entras en la Fase de Proficiencia. Ahora, no solo estás atrapando pelotas; estás haciendo malabares con ritmo y facilidad. Tu éxito aquí no se trata de si puedes hacerlo ya; se trata de qué tan fluido y constante puedes hacerlo después de toda esa práctica.

El artículo sugiere que los antiguos tutores informáticos eran como un entrenador que observaba toda tu carrera de malabarista y te daba una única calificación, mezclando tus primeros movimientos torpes con tu fluidez posterior. Esto crea una "señal confusa". El nuevo modelo PAKT, sin embargo, actúa como un entrenador con dos portapapeles diferentes. Separa tu historia: un portapapeles rastrea tus dificultades iniciales (Habilidad), y el otro rastrea tu consistencia posterior (Proficiencia).

Así es como lo construyeron y lo que encontraron:

La División: Los investigadores crearon una regla ingeniosa para dividir los datos. Contaron cuántas veces un estudiante acertó un concepto específico. Una vez que un estudiante alcanzaba un cierto número de respuestas correctas (un umbral que llaman $k$ ), el modelo dejaba de tratar ese concepto como "nuevo" y empezaba a tratarlo como "dominado". Todo lo anterior a ese conteo iba al cubo de Habilidad; todo lo posterior iba al cubo de Proficiencia.
El Motor: Alimentaron estos dos cubos separados, además de la historia completa original, en un cerebro de IA especial llamado "Multi-branch Transformer" (Transformador de múltiples ramas). Piensa en esto como tener tres expertos diferentes observando al mismo estudiante: un experto se enfoca solo en las dificultades iniciales, otro se enfoca solo en la fluidez posterior, y un tercero observa el panorama completo.
El Resultado: Cuando probaron este nuevo sistema en seis conjuntos de datos del mundo real (que van desde álgebra hasta geografía y español), superó consistentemente a los mejores modelos existentes. El artículo reporta que PAKT mejoró la precisión de la predicción (medida por una métrica llamada AUC) en un promedio de 0.82%, siendo el salto más grande de 1.33% en el conjunto de datos de español. Aunque estos números puedan parecer pequeños, en el mundo de las pruebas de alto nivel y la IA, una ganancia constante como esta es una victoria significativa.

Los autores también utilizaron un método llamado "análisis causal" para explicar por qué la forma antigua estaba fallando. Demostraron que, al mezclar la habilidad y la proficiencia, los modelos antiguos creaban un "sesgo de confusión". Es como intentar adivinar qué tan rápido irá un coche mezclando la potencia del motor (habilidad) con qué tan bien agarran el camino los neumáticos (proficiencia). Si no los separas, no puedes saber cuál de los dos está ayudando realmente al coche a avanzar. Al desenredarlos, PAKT ofrece una imagen más clara y precisa de lo que un estudiante realmente sabe.

Sin embargo, el artículo tiene cuidado de no afirmar que este es un problema perfecto y resuelto. Los autores señalan que su método depende de un número específico ( $k$ ) para decidir cuándo cambiar de "habilidad" a "proficiencia", y este número debe ajustarse cuidadosamente para diferentes materias. Si un estudiante no practica lo suficiente como para alcanzar ese número, el modelo no puede ver la parte de "proficiencia" de su historia. Pero, en general, el estudio sugiere que, al reconocer que el aprendizaje tiene diferentes etapas, podemos construir tutores que entiendan a los estudiantes mucho mejor que antes.

Resumen Técnico: Rastreo de Conocimiento Consciente de Fases (PAKT)

Declaración del Problema

El Rastreo de Conocimiento (KT, por sus siglas en inglés) tiene como objetivo predecir el desempeño futuro de un estudiante mediante el modelado de sus estados de conocimiento evolutivos basados en secuencias de interacciones históricas. Si bien los métodos actuales de aprendizaje profundo basados en KT (por ejemplo, DKT, SAINT, AKT) han logrado avances significativos, estos tratan predominantemente la secuencia de interacción bruta como un proceso de comportamiento unificado. Este paradigma unificado asume implícitamente que todas las interacciones contribuyen a la evolución del estado de conocimiento de la misma manera, ignorando la naturaleza específica de cada fase en el aprendizaje.

Los autores observan que los comportamientos de aprendizaje de los estudiantes difieren significamente a través de las etapas: las interacciones tempranas reflejan principalmente la construcción de la capacidad (adquisición inicial y comprensión de conceptos), mientras que las interaciones posteriores reflejan la proficiencia (automatización de habilidades, fluidez y consistencia tras el dominio). Tratar estas distintas fases como una única secuencia homogénea puede entrelazar señales de aprendizaje complejas, lo que genera un sesgo de confusión y limita la capacidad del modelo para caracterizar con precisión la evolución dinámica de los estados de conocimiento.

Metodología: Rastreo de Conocimiento Consciente de Fases (PAKT)

Para abordar estas limitaciones, los autores proponen PAKT, un marco que descompone las secuencias de interacción de los estudiantes en fases distintas de Capacidad y Proficiencia para un modelado específico de cada fase. La metodología consta de tres componentes principales:

1. Descomposición de Secuencias Consciente del Comportamiento de Aprendizaje

La innovación central es un mecanismo de descomposición que particiona el historial de respuestas de un estudiante para cada concepto de conocimiento (KC) basándose en el conteo acumulado de respuestas correctas.

Mecanismo: Se define una función de indicador de fase binaria $\delta(s, c, t)$ utilizando un umbral $k$ . Si el conteo acumulado de aciertos para un concepto $c$ por parte del estudiante $s$ en el paso $t$ es menor que $k$ , la interacción se asigna a la Fase de Capacidad. Una vez que el conteo alcanza o supera $k$ , las interacciones subsiguientes se asignan a la Fase de Proficiencia.
Salida: Este proceso genera dos matrices de máscara de descomposición ( $M^{A}$ y $M^{F}$ ) que dividen la secuencia original en una subsecuencia de Capacidad y una subsecuencia de Proficiencia, manteniendo al mismo tiempo la secuencia completa original.

2. Backbone Basado en Transformer Multirrama

PAKT emplea una arquitectura Transformer multirrama para procesar las secuencias descompuestas:

Tres Ramas de Entrada:
1. Rama de Capacidad: Procesa las interacciones enmascaradas por $M^{A}$ , capturando la capacidad cognitiva intrínseca y la adquisición inicial.
2. Rama de Proficiencia: Procesa las interacciones enmascaradas por $M^{F}$ , capturando la automatización inducida por la práctica y la consistencia.
3. Rama Completa: Procesa la secuencia original, no descompuesta, para mantener una visión holística de la trayectoria de aprendizaje.
Entrenamiento de Dos Etapas: El backbone utiliza un mecanismo de decodificador de dos etapas. La primera etapa utiliza un decodificador Transformer compartido en todas las ramas para aprender características secuenciales universales de manera eficiente. La segunda etapa emplea decodificadores independientes para cada rama para permitir la especialización específica de cada fase.

3. Módulo de Lectura Consciente del Tipo

Para integrar las representaciones de las tres ramas, se diseñó un módulo de lectura consciente del tipo:

Fusión Adaptativa: Las representaciones de Capacidad ( $H_A$ ) y Proficiencia ( $H_F$ ) se fusionan mediante un coeficiente aprendible $\alpha$ : $H_{AF} = \alpha \cdot H_A + (1-\alpha) \cdot H_F$ .
Ganancia Diferencial: Se calcula un vector de brecha $H_{\Delta} = H_F - H_A$ para capturar explícitamente la mejora del desempeño impulsada por la práctica.
Representación Final: La representación final del estudiante $H_S$ se construye concatenando el vector fusionado de capacidad-proficiencia, la representación de la rama completa ( $H_C$ ) y el vector de ganancia diferencial: $H_S = [H_{AF} \parallel H_C \parallel H_{\Delta}]$ .
Predicción: Esta representación se combina con las características de la pregunta objetivo y se pasa a través de un MLP para predecir la probabilidad de una respuesta correcta.

Análisis Causal

El artículo proporciona un análisis causal utilizando un Modelo Causal Estructural (SCM). Postula que en los modelos de KT convencionales, la capacidad intrínseca del estudiante ( $A$ ) y la proficiencia adquirida ( $F$ ) están entrelazadas a través del historial de interacciones observado ( $D$ ), creando un sesgo de confusión que afecta la representación latente del estudiante ( $S$ ). Al desentrelazar y modelar por separado $A$ y $F$ , PAKT rompe esta correlación espuria, permitiendo una estimación más precisa de la verdadera contribución de cada factor al resultado de la predicción.

Contribuciones Clave

Mecanismo de Descomposición: Desarrollo de un nuevo mecanismo consciente del comportamiento de aprendizaje que particiona las secuencias de interacción en fases de capacidad y proficiencia basadas en los aciertos acumulados.
Arquitectura del Modelo: Propuesta de un backbone Transformer multirrama con un módulo de lectura consciente del tipo para capturar conjuntamente los estados de conocimiento específicos de cada fase y los holísticos.
Validación Empírica: Experimentos extensos que demuestran mejoras consistentes sobre bases de referencia representativas en seis conjuntos de datos públicos.
Perspectiva Teórica: Un análisis causal que revela el sesgo de confusión en los modelos ajenos a las fases y justifica la necesidad de desentrelazar los comportamientos de aprendizaje.

Resultados Experimentales

Los autores evaluaron PAKT en seis referentes públicos: Algebra05, ASSISTments09, ASSISTments17, Ed-Net, Slepemapy y Spanish.

Desempeño: PAKT logró el mejor desempeño en los seis conjuntos de datos tanto en las métricas de AUC (Área Bajo la Curva ROC) como de ACC (Exactitud).
Mejora: El método mostró ganancias consistentes sobre las bases de referencia más fuertes, con una ganancia promedio de AUC del 0.82% y una ganancia máxima de AUC del 1.33% (en el conjunto de datos Spanish).
Comparación: Aunque DisKT (un método de descomposición previo) mostró resultados competitivos, su desempeño fue inestable. La descomposición de fase de grano fino de PAKT demostró ser más robusta y universalmente efectiva.
Sensibilidad: El análisis de sensibilidad sobre el parámetro de umbral $k$ indicó que el desempeño óptimo generalmente ocurre en valores bajos ( $k \le 5$ ), con valores óptimos específicos que varían según las características del conjunto de datos (por ejemplo, densidad de conceptos y volumen de interacción).
Ablación: Eliminar la rama "Completa" causó la mayor degradación del desempeño, confirmando la necesidad de la visión holística, mientras que ambas ramas específicas de fase proporcionaron refinamientos complementarios.

Significado y Limitaciones

El artículo afirma que PAKT hace avanzar el campo al ir más allá del "paradigma de modelado homogéneo" para modelar explícitamente la transición temporal de la adquisición de capacidad a la consolidación de habilidades. Este enfoque se alinea mejor con la semántica conductual del aprendizaje y mitiga el sesgo de confusión.

Sin embargo, los autores reconocen limitaciones específicas:

Escasez de Datos: Si un estudiante tiene demasi few interacciones con un concepto para alcanzar el umbral $k$ , la rama de proficiencia recibe poca o ninguna señal, lo que podría debilitar su efectividad.
Ajuste de Hiperparámetros: El umbral óptimo $k$ debe ajustarse manualmente y varía entre conjuntos de datos, lo que sugiere la necesidad de futuras estrategias de descomposición automática.
Secuencias Cortas: El método puede tener dificultades con secuencias de interacción muy cortas donde la transición de fase no es observable.

Este trabajo cuenta con el apoyo de la Fundación Nacional de Ciencias Naturales de China y varios proyectos de reforma universitaria.