Reasoning as Pattern Matching: Shared Mechanisms in Human and LLM Everyday Reasoning

Título: El razonamiento como reconocimiento de patrones: Mecanismos compartidos en el razonamiento cotidiano humano y de los LLM

Planteamiento del problema
La visión predominante en la ciencia cognitiva y la seguridad de la IA postula que el razonismo humano se basa en "modelos de mundo" abstractos y estructurados que preservan la estructura causal, la composicionalidad y la independencia entre rol y contenido. En contraste, los Modelos de Lenguaje de Gran Escala (LLM) suelen ser criticados por fallar en la generalización o por cometer errores erráticos, lo que lleva a la conclusión de que simplemente realizan un "reconocimiento de patrones" superficial basado en asociaciones estadísticas en lugar de un verdadero razonamiento. Sin embargo, también se sabe que el razonamiento humano es altamente sensible al contenido y propenso a errores que violan la estricta composicionalidad lógica (por ejemplo, la tarea de selección de Wason, o el fenómeno "798 es menos par"). Este artículo investiga si los fallos de razonamiento observados en los LLM son únicos de su arquitectura o si refleen un mecanismo cognitivo compartido con los humanos. Específicamente, los autores se preguntan: ¿El razonamiento causal cotidiano tanto en humanos como en LLM se explica mejor mediante modelos de mundo abstractos o mediante una forma de reconocimiento de patrones dependiente del contexto?

Metodología
El estudio emplea un enfoque multidimensional que combina experimentos conductuales con humanos y LLM, seguido de un análisis de interpretabilidad mecánica.

1. Evaluación conductual:

   • Participantes: 142 participantes humanos y 25 LLM (incluyendo modelos de código abierto como Gemma y Llama, y modelos propietarios como GPT-4.1 y DeepSeek-R1).
   • Tarea: Una tarea de razonamiento causal modular que involucra 11 categorías de escenarios cotidianos (por ejemplo, geocéntrico-cercano, egocéntrico-distante, estado-sigue, acción-no sigue).
   • Diseño: Los prompts se presentaron en dos encuadres: objetivo (inferir un resultado dado una causa) y contexto (inferir una causa dado un resultado). Crucialmente, el estudio incluyó pares de diferencia mínima donde solo cambiaban palabras de contenido ostensiblemente irrelevantes (por ejemplo, "La sopa está sobre la mesa" frente a "El estofado está sobre la mesa") mientras que el resultado causal de verdad fundamental permanecía idéntico.
   • Métricas: La precisión humana se midió mediante elección binaria. La precisión de los LLM se midió mediante diferencias de logit entre los tokens correctos e incorrectos (para modelos de pesos abiertos) o corrección binaria (para modelos de API).

2. Interpretabilidad mecánica:

   • Modelo: El enfoque se centró en gemma-2-27b-it debido a su fuerte alineación con los patrones conductuales humanos.
   • Identificación causal: Los autores realizaron experimentos de ablación para identificar las cabezas de atención top-$k$ causalmente responsables de los resultados del modelo (es decir, cabezas cuya eliminación causó el mayor cambio en las diferencias de logit).
   • Parcheo de activación (Activation Patching): Para determinar a qué información atienden estas cabezas, los autores parchearon las activaciones de prompts "críticos" (donde el contenido cambia el resultado de verdad) y prompts "no críticos" (donde el contenido cambia pero el resultado permanece igual) en el prompt base.
   • Predicción: La entropía de estas cabezas de atención causalmente críticas se utilizó como una característica para predecir la precisión humana en prompts y escenarios no utilizados en el entrenamiento (held-out).

Resultados clave

1. Perfiles de fallo compartidos: Tanto los humanos como los LLM exhibieron una "precisión graduada", donde el rendimiento fue altamente sensible a cambios superficiales y pequeños en el contenido del prompt.

   • Los humanos y los LLM fueron más precisos en relaciones geocéntricas que involucran referencias distantes (por ejemplo, ciudades) que en objetos cercanos (por ejemplo, pinturas), y más precisos en relaciones egocéntricas para objetos cercanos que para distantes.
   • Alteraciones menores en los prompts (por ejemplo, cambiar "sopa" por "estofado" en un escenario donde la estufa está encendida) indujeron estados de fallo similares en ambos grupos, incluso cuando el resultado lógico era inalterado.
   • Los LLM con mayor precisión general (por ejemplo, DeepSeek-R1) no fueron necesariamente más similares a los humanos; en algunos casos, modelos más pequeños (como Gemma-3-27b-it) se alinearon mejor con los patrones de error humanos.

2. Mecanismo de las respuestas de los LLM:

   • Sensibilidad al contenido: El parcheo de activación reveló que las cabezas de atención top-$k$ causalmente importantes eran significativamente más sensibles a las sustituciones de contenido no críticas (por ejemplo, cambiar "pintura" por "estatua") que a los cambios estructurales críticos (por ejemplo, cambiar "Norte" por "Sur"). Esto respalda la hipótesis de que estas cabezas implementan una forma de reconocimiento de patrones basada en el contenido superficial en lugar de una estructura causal abstracta.
   • Predicción de errores humanos: La entropía de estas cabezas de atención específicas predijo con éxito la precisión humana. Un modelo lineal utilizando estas activaciones de cabeza explicó una varianza significativa en las respuestas humanas ($R^2 \approx 0.65$ para los prompts de prueba), incluso tras controlar por categoría, formato de prompt y frecuencia de n-gramas.
   • Escenarios de diferencia mínima: En una evaluación de seguimiento con 96 prompts que diferían solo por una palabra de contenido, las activaciones de estas cabezas de reconocimiento de patrones predijeron la precisión humana con alta fidelidad, explicando hasta el 76% de la varianza.

Contribuciones clave

• Alineación empírica: El artículo proporciona evidencia robusta de que los fallos de razonamiento humanos y de los LLM no son fenómenos distintos, sino que comparten un perfil común de sensibilidad al contenido y fragilidad.
• Explicación mecánica: Va más allá de la correlación conductual para identificar el circuito interno específico (un subconjunto de cabezas de atención) en los LLM que impulsa estos comportos.
• Reencuadre del razonamiento: Los autores demuestran que el mecanismo de "reconocimiento de patrones", a menudo descartado como un fallo de los LLM, es en realidad el mismo mecanismo que permite a estos modelos predecir errores humanos. Esto sugiere que el razonamiento humano mismo puede depender fuertemente del reconocimiento de patrones en lugar de modelos de mundo puramente abstractos.

Significado y afirmaciones
El artículo argumenta que la distinción entre "razonamiento" (modelos de mundo abstractos) y "reconocimiento de patrones" (asociaciones superficiales) puede ser una falsa dicotomía para el razonamiento causal cotidiano. Los autores afirman que:

1. El razonamiento humano es dependiente del contexto: El razonamiento humano no es totalmente composicional o abstracto; está profundamente influenciado por el contenido y el contexto específicos de un problema. Los "estados de fallo" vistos en los LLM no son evidencia de una falta de inteligencia, sino un reflejo de cómo opera realmente la cognición humana.
2. Los LLM como herramienta para la ciencia cognitiva: Debido a que los LLM permiten la manipulación causal de sus mecanismos internos (a diferencia de los humanos), sirven como una herramienta única para la ingeniería inversa de la cognición humana. El hecho de que las cabezas de atención de los LLM puedan predecir errores humanos sugiere que la "desprolijidad" del razonamiento humano es una característica, no un error, probablemente evolucionada para manejar la naturaleza abierta y rica en contexto de los problemas del mundo real.
3. El reconocimiento de patrones como un mecanismo válido: El estudio postula que el reconocimiento de patrones no es meramente un recurso de respaldo o una heurística superficial, sino una forma fundamental en la que las redes neuronales (tanto biológicas como artificiales) resuelven problemas. La capacidad de rastrear detalles "ostensiblemente irrelevantes" puede ser adaptativa en entornos naturalistas donde las entidades específicas involucradas (por ejemplo, un tipo específico de comida o una ciudad específica) portan información contextual implícita que los modelos abstractos rígidos podrían descartar.

Los autores concluyen que razonar sobre escenarios causales cotidianos es, tanto para las personas como para los LLM, una forma de reconocimiento de patrones que es altamente sensible al contenido completo de un prompt, en lugar de un proceso impulsado únicamente por modelos de mundo abstractos que preservan la estructura.