💬 NLP

Mechanistic Interpretability of Cognitive Complexity in LLMs via Linear Probing using Bloom's Taxonomy

Este estudio demuestra que los Modelos de Lenguaje de Gran Escala codifican niveles de complejidad cognitiva definidos por la Taxonomía de Bloom en un subespacio linealmente separable de sus representaciones internas, logrando una alta precisión de clasificación y sugiriendo que la dificultad cognitiva se resuelve tempranamente en la pasada hacia adelante.

Autores originales: Bianca Raimondi, Maurizio Gabbrielli

Publicado 2026-07-20

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Bianca Raimondi, Maurizio Gabbrielli

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de descubrir cómo piensa un robot superinteligente. Durante mucho tiempo, los científicos trataron a estos robots, llamados Modelos de Lenguaje de Gran Escala (LLM), como cajas negras mágicas. Escribes una pregunta y sale una respuesta perfecta, pero nadie sabe cómo el robot llegó allí. Es como observar a un chef cocinar una comida gourmet sin haber visto nunca la cocina ni los ingredientes. Recientemente, un campo llamado "interpretabilidad mecánica" ha comenzado a echar un vistazo dentro de la cocina, intentando mapear los circuitos cerebrales del robot. Una gran pregunta que se plantean es: ¿Realmente el robot entiende la dificultad de una tarea, o solo está adivinando basándose en las palabras que ve? Para responder a esto, los investigadores utilizan una famosa herramienta educativa llamada "Taxonomía de Bloom". Piensa en esto como una escalera de habilidades de pensamiento. El peldaño inferior es la memoria simple (recitar un hecho) y el peldaño superior es la creatividad de alto nivel (diseñar algo nuevo). Si un robot es verdaderamente inteligente, sus señales cerebrales internas deberían cambiar a medida que subes por esta escalera, tal como lo hace el cerebro humano cuando pasa de memorizar una fecha a resolver un misterio complejo.

Este artículo toma una lupa para examinar el cerebro del robot y ver si organiza sus pensamientos de acuerdo con esta escalera de dificultad. Los investigadores, Bianca Raimondi y Maurizio Gabbrielli, no solo le hicieron preguntas al robot; observaron las señales eléctricas (activaciones) dentro del cerebro del robot mientras pensaba. Probaron cuatro cerebros de robots populares diferentes (Llama, Qwen, Gemma y DeepSeek) utilizando 1,128 preguntas que iban desde tareas simples de "definir esto" hasta desafíos complejos de "diseñar un nuevo sistema". Querían saber: ¿Podemos dibujar una línea recta simple a través de los datos del cerebro del robot para saber si está realizando una tarea de memoria simple o una tarea creativa compleja?

La respuesta es un sí rotundo, y ocurre sorprendentemente rápido. El equipo descubrió que tan pronto como el robot comienza a procesar una oración (dentro de las primeras capas de su cerebro), ya sabe qué tan difícil es la tarea. A este momento lo llaman "Inicio de la Separabilidad Cognitiva". Es como si el robot tuviera un interruptor especial de "dificultad" que se activa casi de inmediato. Para la capa 5 (de 30 a 36 capas en estos modelos), las señales cerebrales del robot para "Recordar" son tan claramente diferentes de las de "Crear" que una herramienta matemática simple puede distinguirlas con aproximadamente un 90% de precisión. Es como si el robot clasificara sus pensamientos en montones ordenados y separados según qué tan difícil es el trabajo, y hace esto antes de siquiera empezar a escribir la respuesta.

Aún más genial, el robot comete errores de una manera muy humana. Cuando el robot se confunde, generalmente mezcla pasos que están justo uno al lado del otro en la escalera. Por ejemplo, puede confundir "Analizar" con "Evaluar", pero casi nunca confunde "Recordar" con "Crear". Esto sugiere que el robot no está simplemente memorizando etiquetas aleatorias; ha construido un mapa mental donde los niveles de dificultad están dispuestos en una línea suave y ordenada, tal como pretendía la teoría educativa.

Para asegurarse de que el robot no estaba haciendo trampa al buscar pistas simples (como notar que "diseñar" usualmente significa "difícil" y "listar" significa "fácil"), los investigadores realizaron pruebas de control. Intentaron adivinar la dificultad usando solo las palabras en la página, sin mirar el cerebro del robot. Esos métodos simples de conteo de palabras fallaron estrepitosamente, obteniendo solo un 73% de precisión y cometiendo errores aleatorios y dispersos. Esto demuestra que el robot está haciendo algo más profundo que solo leer el prompt; está construyendo una representación interna compleja de la dificultad de la tarea.

Finalmente, el equipo intentó "dirigir" el cerebro del robot. Encontraron una dirección específica en las señales cerebrales del robot que apunta hacia una "mayor dificultad". Cuando empujaron el cerebro del robot en esa dirección, las respuestas del robot realmente cambiaron. Si empujaban una pregunta simple hacia la dirección "creativa", el robot comenzaba a dar respuestas más complejas y analíticas. Sin embargo, si empujaban demasiado fuerte o demasiado tarde en el proceso, el robot comenzaba a tartamudear y a repetir palabras, lo que demuestra que esta "dirección de dificultad" es una parte real y funcional de cómo piensa el robot, no solo un patrón pasivo.

En resumen, este artículo sugiere que estos modelos de IA tienen un sentido medible de la complejidad cognitiva. No solo procesan palabras; organizan sus pensamientos internos de acuerdo con una escalera de dificultad, clasificando hechos simples de ideas complejas de una manera estructurada y lineal que refleja el aprendizaje humano. Este descubrimiento nos brinda una nueva forma de mirar dentro de la caja negra y comprender que, al menos en algunos aspectos, estos modelos organizan sus "pensamientos" de manera muy similar a como lo hacemos nosotros.

Resumen Técnico: Interpretabilidad Mecanística de la Complejidad Cognitiva en LLMs mediante Probing Lineal usando la Taxonomía de Bloom

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) han demostrado capacidades en razonamiento complejo y generación, sin embargo, sus mecanismos internos siguen siendo una "caja negra". Los marcos de evaluación actuales dependen fuertmente de métricas de rendimiento superficiales (p. ej., la corrección de la respuesta), las cuales no logran distinguir entre la memorización por repetición y el razonamiento genuino de múltiples pasos. Este artículo aborda la necesidad de evaluar la profundidad cognitiva de los LLMs investigando si sus representaciones neuronales internas codifican una estructura jerárquica de complejidad cognitiva, específicamente alineada con la Taxonomía de Bloom (Recordar, Comprender, Aplicar, Analizar, Evaluar, Crear). Las preguntas centrales de investigación se centran en si estos niveles cognitivos son linealmente separables dentro de las corrientes residuales del modelo, en qué profundidad emergen y si estas representaciones son causalmente activas durante la generación.

Metodología

El estudio emplea un enfoque de interpretabilidad mecanística utilizando probing lineal (linear probing) sobre las activaciones de la corriente residual de cuatro LLMs de pesos abiertos de última generación: Llama-3.1-8B-Instruct, Qwen3-4B-Instruct-2507, gemma-3-4b-it y DeepSeek-R1-Distill-Llama-8B.

Construcción del Conjunto de Datos: Se curó un conjunto de datos equilibrado de 1,128 preguntas en lenguaje natural, con 188 preguntas por cada nivel de la Taxonomía de Bloom (0–5). Las fuentes incluyeron consultas de cursos de Ciencias de la Computación y el conjunto de datos EduQG. El conjunto de datos fue submuestreado para asegurar el equilibrio de clases y evitar que los sesgos estadísticos influyeran en la precisión del probe.
Extracción de Activaciones: Para cada modelo, los autores realizaron un pase hacia adelante (forward pass) sin ajuste fino (fine-tuning), extrayendo el vector de estado oculto ( $x_l$ ) en la posición del último token para cada capa $l$ en la corriente residual.
Probing Lineal: Se entrenó un clasificador de regresión logística en cada capa para predecir el nivel de Bloom ( $y \in \{0, \dots, 5\}$ ) a partir de los vectores de activación extraídos. El uso de un probe lineal asegura que una clasificación exitosa refleje información que es linealmente decodificable de las representaciones, en lugar de depender de la capacidad expresiva de clasificadores no lineales.
Experimentos de Control: Para descartar la posibilidad de que la precisión del probe fuera impulsada únicamente por pistas léxicas superficiales (p. ej., verbos específicos como "definir" frente a "diseñar"), los autores compararon sus resultados contra:
- Análisis de Longitud: Verificación de que no existieran diferencias significativas de longitud entre niveles.
- Baselines Superficiales: Entrenamiento de regresión logística sobre vectores TF-IDF y embeddings de oraciones del texto bruto.
Validación Causal (Direccionamiento de Activación): Para probar si estas representaciones son causalmente activas, los autores definieron vectores de dirección (steering vectors) como la diferencia entre la media de las activaciones del nivel cognitivo más alto (Crear) y los niveles inferiores. Estos vectores se inyectaron en la corriente residual en diversas capas con diferentes intensidades ( $\alpha$ ) para observar los cambios en el nivel cognitivo predicho por el modelo y la naturaleza cualitativa de los outputs generados.

Resultados Clave

1. Separabilidad Lineal y el Inicio de la Separabilidad Cognitiva (CSO)

Los probes lineales alcanzaron una alta precisión (acercándose al rendimiento de techo) en todos los modelos, lo que indica que la complejidad cognitiva está codificada en un subespacio linealmente accesible de la corriente residual.

Profundidad de Emergencia: La profundidad cognitiva no es linealmente separable en el nivel de entrada o de embedding. En su lugar, ocurre un Inicio de la Separabilidad Cognitiva (CSO) de manera consistente alrededor de la Capa 5 en diferentes arquitecturas.
Estabilidad: Una vez alcanzado el CSO, la precisión del probe permanece estable o mejora ligeramente en las capas más profundas, lo que sugiere que la representación de la complejidad cognitiva se establece tempranamente y se preserva, en lugar de ser recomputada en cada paso.

2. Estructura Geométrica y Patrones de Error

Análisis de Centroides: La distancia euclidiana entre los centroides de niveles de Bloom adyacentes aumenta de forma monótona con la profundidad, mostrando un desentrelazamiento geomético progresivo de los niveles cognitivos.
Errores Estructurados: Las matrices de confusión revelan que las clasificaciones erróneas ocurren predominantemente entre niveles de Bloom adyacentes (p. ej., Analizar vs. Evaluar). Los errores de largo alcance (p. ej., Recordar vs. Crear) son raros. Esto sugiere que el modelo codifica la profundidad cognitiva como un manifold continuo y ordenado en lugar de clases discretas arbitrarias, reflejando la estructura ordinal de la teoría educativa humana.

3. Experimentos de Control

Los baselines de texto superficial (TF-IDF y embeddings de oraciones) lograron una precisión significativamente menor (~~61–73%) en comparación con los probes de la corriente residual (~~90%). Además, los patrones de error en los baselines superficiales fueron ruidosos y no ordinales, mientras que los errores de la corriente residual fueron estrictamente adyacentes. Esto confirma que la estructura cognitiva observada no es simplemente un reflejo de pistas léxicas superficiales, sino que representa una organización interna más profunda del espacio latente del modelo.

4. Validación Causal mediante Direccionamiento (Steering)

Los experimentos de direccionamiento de activación demostraron que perturbar la corriente residual a lo largo de la dirección cognitiva identificada induce un cambio sistemático en el comportamiento del modelo:

Dependencia de la Capa: El direccionamiento en capas tempranas/intermedias (p. ej., Capa 5) resultó en cambios coherentes en el estilo de razonamiento (p. ej., pasar de listar hechos a analizar relaciones). El direccionamiento en capas más profundas a menudo derivó en degradación de la fluidez y repetición sin cambios significativos en el razonamiento.
Dependencia de la Fuerza: Las fuerzas de direccionamiento moderadas produjeron transiciones interpretables en el encuadre cognitivo, mientras que las fuerzas altas causaron inestabilidad.
Magnitud del Cambio: Las intervenciones indujeron un cambio promedio de +1 a +1.5 en el nivel de Bloom predicho por el probe.

Significancia y Reivindicaciones

El artículo afirma proporcionar evidencia mecánica directa de que los LLMs organizan espontáneamente sus representaciones internas para codificar una demanda cognitiva jerárquica, abstraída del contenido de dominio específico.

Más allá de las Métricas Superficiales: Los hallazgos sugieren que la complejidad cognitiva no es solo un output conductual, sino una propiedad estructural del espacio latente del modelo, que emerge temprano en el pase hacia adelante (forward pass).
La Taxonomía de Bloom como Lente: El estudio valida la Taxonomía de Bloom no solo como una herramienta para la educación humana, sino también para analizar la mecánica interna de la IA, revelando que los modelos alinean su geometría interna con las jerarquías cognitivas definidas por humanos.
Relevancia Causal: Al demostrar que el direccionamiento de estas representaciones altera el output del modelo, los autores argumentan que estas representaciones cognitivas son componentes causalmente activos del proceso de generación, y no meros artefactos correlacionales.

Los autores mantienen un alcance modesto, señalando que su análisis está actualmente limitado a transformadores de solo decodificador (decoder-only) y preguntas educativas en inglés. Postulan que estos resultados sientan las bases para trabajos futuros en el monitoreo y regulación de los ajustes cognitivos de la IA mediante sus correlatos neuronales, avanzando hacia estándares de evaluación comparables a la inteligencia humana.