💬 NLP

Linear Probes Detect Task Format, Not Reasoning Mode in Language Model Hidden States

Este artículo demuestra que, si bien las sondas lineales en los estados ocultos de los LLM logran una alta precisión al distinguir entre tareas de razonamiento deductivo, inductivo y abductivo, esta separación está impulsada enteramente por factores de confusión en el formato de la tarea más que por representaciones computacionales distintas de los propios modos de razonamiento.

Autores originales: Subramanyam Sahoo, Vinija Jain, Aman Chadha, Divya Chaudhary

Publicado 2026-06-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Subramanyam Sahoo, Vinija Jain, Aman Chadha, Divya Chaudhary

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Pregunta: ¿Tienen los cerebros de la IA diferentes "modos"?

Imagina que estás tratando de descubrir cómo cocina un chef. Notas que cuando hace una ensalada, usa un delantal verde, y cuando cocina un filete, usa un delantal rojo. Podrías suponer: "¡Ah! El delantal verde significa que está usando una 'estrategia de ensalada', y el delantal rojo significa que está usando una 'estrategia de filete'".

Esto es exactamente lo que los investigadores han estado haciendo con los Modelos de Lenguaje Extensos (LLM). Observan los "estados ocultos" de la IA (su actividad cerebral interna) y utilizan una prueba simple llamada sonda lineal para ver si la IA cambia entre diferentes "modos de razonamiento" (como Deductivo, Inductivo y Abductivo) tal como un chef cambia de delantal.

Durante mucho tiempo, los datos parecieron perfectos. El "delantal verde" (tareas deductivas) y el "delantal rojo" (tareas inductivas) estaban en partes completamente diferentes del cerebro de la IA. Los investigadores pensaron: "¡Genial! La IA ha construido circuitos internos distintos para diferentes tipos de pensamiento".

Este artículo dice: "Un momento. No estás viendo el pensamiento; estás viendo el uniforme".

La Investigación: ¿Qué está pasando realmente?

Los investigadores examinaron más de cerca a la IA (específicamente un modelo llamado Qwen3-14B) utilizando tres tipos diferentes de acertijos lógicos:

Deductivo: Acertijos de lógica (como una demostración matemática).
Inductivo: Preguntas científicas (encontrar patrones).
Abductivo: Resolución de misterios (adivinar la mejor explicación).

Descubrieron que la actividad cerebral de la IA sí se veía completamente diferente para cada tipo. Pero sospecharon de un truco.

La Confusión del "Uniforme"

Piénsalo así:

Los acertijos Deductivos provenían de un sitio web donde cada pregunta tiene 4 posibles respuestas y una historia larga.
Los acertijos Inductivos provenían de un sitio web diferente donde cada pregunta también tiene 4 posibles respuestas pero utiliza palabras científicas.
Los acertijos Abductivos provenían de un tercer sitio web donde cada pregunta solo tiene 2 posibles respuestas y es muy corta.

Los investigadores se dieron cuenta de que la IA no estaba necesariamente cambiando su estilo de pensamiento. En su lugar, simplemente estaba reaccionando al formato de la pregunta. Era como si el chef llevara el delantal verde no porque esté haciendo una ensalada, sino porque la cocina donde se hace la ensalada está pintada de verde.

Las Tres Pruebas (El "Trabajo de Detective")

Para probar su teoría, los investigadores realizaron tres pruebas específicas:

1. La Prueba de "Quitar el Uniforme" (Análisis Residual)
Tomaron la actividad cerebral de la IA y matemáticamente "lavaron" los detalles del formato (como cuántas respuestas había, qué tan largo era el texto y de qué sitio web provenía la pregunta).

Resultado: Una vez que eliminaron el "uniformo" (el formato), el "delantal verde" y el "delantal rojo" desaparecieron. La actividad cerebral para las tres tareas se veía exactamente igual. La separación perfecta había desaparecido, cayendo al nivel del azar.
Analogía: Si le quitas los delantales verde y rojo, el chef se ve exactamente igual, ya sea que esté haciendo ensalada o filete.

2. La "Verificación de Comportamiento" (Acuerdo de Modo de Traza)
Observaron las palabras reales que la IA escribía mientras resolvía los problemas. ¿Realmente actuaba la IA de forma diferente al resolver un acertijo de lógica frente a un misterio?

Resultado: No. La IA resolvió los tres tipos de problemas correctamente (8 de cada 10 veces / 86% de precisión), pero la forma en que explicaba la solución era casi idéntica para todos ellos. No cambió de estrategia; usó una "super-estrategia" para todo.
Analogía: El chef utiliza exactamente las mismas habilidades de cuchillo y el mismo movimiento de picado tanto para cortar un tomate como para una zanahoria. No está usando una "técnica de tomate" frente a una "técnica de zanahoria".

3. La Prueba del "Empujón" (Direccionamiento Causal)
Los investigadores intentaron "empujar" el cerebro de la IA en una dirección específica para forzarlo a actuar como si estuviera en "Modo Deductivo" o "Modo Inductivo". Compararon esto con empujarlo en una dirección aleatoria.

Resultado: Empujarlo en la dirección "Deductiva" no funcionó mejor que empujarlo al azar. La geometría del cerebro no controlaba realmente el estilo de pensamiento.
Analogía: Intentar forzar al chef a cambiar de delantal mediante un empujón no cambió lo que cocinaba. El color del delantal era solo una coincidencia, no la causa del estilo de cocina.

La Conclusión

El artículo concluye que una alta precisión en estas pruebas no demuestra que la IA tenga diferentes circuitos de razonamiento interno.

Cuando los investigadores utilizan diferentes conjuntos de datos para diferentes tipos de razonamiento (una práctica estándar), la IA aprende a reconocer el formato del conjunto de datos (el "uniforme") en lugar de la lógica de la tarea. La "geometría distinta" que los investigadores ven en el cerebro de la IA es solo un reflejo del formato de la pregunta, no un refleño de un modo de pensamiento especial.

La Conclusión Clave:
Que el cerebro de una IA se vea diferente para distintas tareas no significa que esté pensando de forma diferente. Podría simplemente estar vistiendo un uniforme distinto. Para entender realmente cómo razona la IA, necesitamos despojarla del formato y ver si el pensamiento realmente cambia. En este caso, la IA parece utilizar una estrategia poderosa y uniforme para resolver todo tipo de problemas lógicos, en lugar de cambiar entre modos especializados.

(se eliminan los bloques). El pipeline consta de cinco etapas:

Sondeo Lineal por Capas: Se entrena un sondeo de regresión logística en cada capa para predecir el modo de razonamiento a partir de los estados ocultos. Se analiza la geometría del manifold (dimensionalidad intrínseca, curvatura, contaminación del envolvente convexo) en la capa con mejor rendimiento.
Descomposición de Confund de Formato: Se introduce un pipeline de análisis residual de cuatro etapas:
- Predicción de la Fuente: Sondeo de la identidad de la fuente del conjunto de datos para verificar la equivalencia con la predicción del modo.
- Sondeo de Conteo de Opciones: Prueba de si el número escalar de opciones (2 frente a 4) separa por sí solo los modos.
- Comparación Controlada por Formato: Restricción del análisis únicamente a tareas de 4 opciones (LogiQA + ARC).
- Análisis Residual: Uso de regresión Ridge para predecir los estados ocultos a partir de un vector de características de formato (fuente one-hot, conteo de opciones, longitud de la respuesta) y eliminación de esta información lineal. El sondeo se reevalúa sobre los residuales.
Acuerdo de Traza-Modo: Las trazas de razonamiento generadas por el modelo se incrustan (embedded) y se comparan con descripciones de anclaje diseñadas a mano para cada modo. Se miden las tasas de acuerdo para determinar si el comportamiento observable del modelo se adapta al tipo de tarea.
Direccionamiento Causal con Controles Aleatorios: Se aplica el direccionamiento de activación (activation steering) utilizando vectores derivados de las diferencias de centroides entre modos. Crucialmente, esto se compara contra controles de dirección aleatoria ( $N=20$ ) de igual magnitud para probar si la estructura geométrica tiene un vínculo causal funcional con el razonamiento o si cualquier perturbación de esa magnitud produce efectos similares.

Contribuciones Clave

Descomposición de Confund de Formato: El artículo introduce un pipeline de análisis residual que demuestra que, cuando se eliminan las características de formato (identidad de la fuente, conteo de opciones, longitud de la respuesta) mediante regresión, la precisión del sondeo colapsa a niveles de azar.
Análisis de Acuerdo de Traza-Modo: Los autores muestran que, si bien el modelo alcanza una alta precisión general (86%), sus trazas de razonamiento exhiben solo un 42.5% de acuerdo con los modos pretendidos (frente al 33.3% de azar), lo que sugiere una falta de adaptación de la estrategia.
Controles Causales con Baselines Aleatorios: El estudio implementa controles de dirección aleatoria para los experimentos de direccionamiento (steering), un método frecuentemente ausente en trabajos previos, para establecer que los desplazamientos geométricos observados no están vinculados causalmente al razonamiento.
Recomendaciones Metodológicas: El artículo propone que la deconfusión de formato y los controles de dirección aleatoria deberían convertirse en prácticas estándar en la interpretabilidad basada en sondeos.

Resultados

1. Separación Perfecta Aparente

En la capa 32 (80% de la profundidad de la red), los sondeos lineales logran una precisión de validación cruzada del 100% al distinguir los tres modos de razonamiento. La geometría del manifold en esta capa muestra clusters distintos con dimensionalidades intrínsecas variables (20.6 para deductivo, 28.5 para inductivo, 33.6 para abductivo) y una contaminación mínima del envolvente convexo ( $\le 1.5\%$ ).

2. La Separación es Enteramente Impulsada por el Formato

El análisis residual revierte el hallazgo inicial:

Equivalencia de Fuente: Un sondeo que predice la fuente del conjunto de datos logra una precisión del 100%, idéntica a la predicción del modo.
Conteo de Opciones: Un sondeo que utiliza solo el número de opciones logra un 33.3% de precisión (el prior para la clase de 2 opciones), confirmando que las características estructurales son explotables.
Colapso Residual: Tras eliminar la información lineal de formato, la precisión del sondeo tanto para el modo de razonamiento como para la fuente del conjunto de datos cae a $\approx 33.5\%$ , indistinguible del azar. La "geometría del modo de razonamiento" es enteramente un artefacto del formato de la tarea.

3. Estrategia de Razonamiento Uniforme

El modelo logra un 86% de precisión en todos los tipos de tareas, pero exhibe solo un 42.5% de acuerdo de traza-modo. Esto indica que el modelo no altera sustancialmente su estrategia de razonamiento al cambiar entre tareas deductivas, inductivas y abductivas; probablemente emplea un mecanismo de propósito general.

4. Sin Vínculo Funcional en la Geometría

Los experimentos de direccionamiento causal revelan que el direccionamiento a lo largo de la dirección de la diferencia de centroides no produce resultados significativamente diferentes en comparación con las perturbaciones aleatorias de igual magnitud. El valor p empírico es 0.286, y la inyección de conflicto causa un colapso de coherencia tanto para pares dirigidos como aleatorios. Esto confirma que la separación geométrica no tiene un rol causal funcional en la selección de los modos de razonamiento.

Significancia y Reivindicaciones

El artículo argumenta que una alta precisión de sondeo lineal no es evidencia suficiente de una estructura computacional interna cuando las etiquetas de razonamiento están confundidas con las fuentes de los conjuntos de datos. Las "representaciones distintas" observadas en la literatura previa son probablemente artefactos del diseño de evaluación multifuente estándar, más que evidencia de circuitos de razonamiento especializados.

Los autores afirman que el modelo razona bien en todos los tres tipos, pero parece hacerlo utilizando una estrategia mayormente uniforme en lugar de modos computacionales distintos. En consecuencia, el artículo pide un cambio en las prácticas de interpretabilidad mecánica:

Los investigadores deben reportar la precisión de predicción de la fuente junto con la precisión de predicción del modo.
El análisis residual para eliminar las características de formato debe ser un control estándar.
Los experimentos de direccionamiento deben incluir controles de dirección aleatoria para verificar la direccionalidad.
Los benchmarks futuros deben imponer formatos de superficie idénticos a través de los tipos de razonamiento para aislar las diferencias reales de razonamiento.

El estudio concluye que, si bien los LLM poseen capacidades de razonamiento, la suposición de que utilizan geometrías internas distintas para diferentes modos de razonamiento no está sustentada cuando los confund de formato se controlan adecuadamente.