Mechanistic Indicators of Understanding in Large Language Models

1. El Problema

La inteligencia artificial generativa, específicamente los Modelos de Lenguaje Grandes (LLMs), enfrenta un debate fundamental: ¿son meras máquinas de imitación estadística que predicen el siguiente token sin comprender nada (la visión "deflacionaria" o del "Blockhead"), o poseen estructuras internas sofisticadas que sustentan una forma genuina de comprensión?
La visión deflacionaria sostiene que los LLMs solo aprenden patrones superficiales (n-gramas) y carecen de conceptos, hechos o principios subyacentes. Sin embargo, el campo emergente de la Interpretabilidad Mecanística (MI) ha comenzado a revelar mecanismos internos complejos que desafían esta visión simplista. El problema central es integrar estos hallazgos empíricos con una teoría filosófica de la comprensión para determinar si y cómo los LLMs pueden atribuirse capacidades cognitivas similares a las humanas.

2. Metodología

El artículo emplea un enfoque híbrido que combina:

• Filosofía de la Ciencia y Epistemología: Utiliza una definición unificadora de la comprensión como la capacidad de "ver conexiones" (Wittgenstein, Kvanvig), distinguiendo entre la acumulación de hechos y la apreciación de relaciones estructurales, explicativas y conceptuales.
• Interpretabilidad Mecanística (MI): Analiza evidencia empírica de técnicas avanzadas para diseccionar el funcionamiento interno de los LLMs, incluyendo:
  • Autoencoders Dispersos (SAEs): Para desentrelazar características (features) superpuestas en el espacio latente.
  • Probing (Sondeo): Para detectar la presencia de representaciones específicas (como estados de un tablero de ajedrez) en las activaciones de las capas.
  • Intervenciones y Ablaciones: Técnicas de "steering" (dirigir activaciones) y eliminación de componentes para probar la causalidad de ciertos mecanismos.
  • Análisis de Circuitos: Identificación de subredes específicas (atención y MLP) que ejecutan algoritmos reutilizables.

3. Marco Teórico: Un Enfoque Jerárquico

Los autores proponen un marco de tres niveles jerárquicos de comprensión, cada uno vinculado a un tipo de organización computacional específica dentro de la arquitectura Transformer:

1. Comprensión Conceptual: La formación de "características" (features) como direcciones en el espacio latente que unifican diversas manifestaciones de una entidad o propiedad.
2. Comprensión del Estado del Mundo: La formación de modelos internos que capturan conexiones factuales contingentes entre características y rastrean cambios dinámicos en el entorno.
3. Comprensión de Principios: La capacidad de descubrir y ejecutar circuitos compactos que unifican una diversidad de hechos bajo reglas o algoritmos generales, superando la memorización.

4. Resultados y Hallazgos Clave

A. Comprensión Conceptual (Nivel 1)

• Evidencia: Se ha demostrado que los LLMs desarrollan características específicas (ej. "Golden Gate Bridge") que actúan como direcciones en el espacio latente (Hipótesis de Representación Lineal).
• Mecanismo: Estas características se forman mediante la predicción del siguiente token y se almacenan en superposición (muchas características en menos neuronas que dimensiones).
• Validación: Técnicas como el steering (forzar la activación de una característica) demuestran que estas características son causales: al activar la característica "Golden Gate Bridge", el modelo cambia su comportamiento para hablar de ese puente, incluso aplicando el concepto a sí mismo ("Soy el Golden Gate Bridge").
• Arquitectura: Las capas de Atención actúan como enrutadores dinámicos que seleccionan características relevantes del contexto, mientras que las capas MLP (Perceptrones Multicapa) combinan estas características y recuperan información asociada, enriqueciendo la representación conceptual.

B. Comprensión del Estado del Mundo (Nivel 2)

• Evidencia Estática: Los LLMs codifican conexiones factuales (ej. "Michael Jordan es jugador de baloncesto") mediante proyecciones lineales en las capas MLP que conectan características de entidades con sus atributos.
• Evidencia Dinámica (Othello-GPT): En un modelo entrenado solo en transcripciones de partidas de Othello (sin ver el tablero), se descubrió que el modelo mantiene un modelo interno del estado del tablero.
  • Mediante probing, se demostró que el estado de las 64 casillas del tablero está codificado en las activaciones residuales.
  • Isomorfismo: La estructura interna del modelo refleja la geometría espacial del tablero (casillas adyacentes en el tablero tienen direcciones adyacentes en el espacio latente).
  • Eficacia Causal: Alterar artificialmente la representación interna de una casilla cambia las jugadas legales predichas por el modelo, demostrando que no es solo una coincidencia estadística, sino un modelo causal del estado del mundo.

C. Comprensión de Principios (Nivel 3)

• Fenómeno de "Grokking": En tareas de aritmética modular, los modelos pasan de memorizar datos a generalizar repentinamente.
• Descubrimiento de Circuitos: Los autores identificaron que el modelo aprende un algoritmo general (el algoritmo de multiplicación de Fourier) para realizar sumas modulares.
  • En lugar de memorizar tablas, el modelo representa los números como ángulos en un círculo y utiliza identidades trigonométricas (seno y coseno) para realizar la suma geométricamente.
  • Utiliza interferencia constructiva de múltiples frecuencias para lograr alta precisión.
• Significado: Esto demuestra una transición de la memorización a la comprensión de principios subyacentes, permitiendo la generalización a casos no vistos durante el entrenamiento.

5. Limitaciones y la "Mezcla Diversa" (Motley Mix)

A pesar de estos hallazgos, el artículo advierte sobre la naturaleza alienígena de la cognición de los LLMs:

• Coexistencia de Mecanismos: Los LLMs no operan con un único mecanismo unificado. En su lugar, despliegan una "mezcla diversa" (motley mix) de mecanismos en paralelo: desde memorización literal y heurísticas superficiales hasta circuitos de comprensión profunda.
• Falta de Control Jerárquico: No hay un "centro de mando" que suprima las heurísticas incorrectas en favor de la comprensión profunda. A menudo, la salida final es un consenso de múltiples circuitos, algunos de baja calidad.
• Confianza Epistémica: Esto socava la confianza epistémica. Incluso si un modelo tiene circuitos de comprensión, su comportamiento puede estar dominado por atajos estadísticos o heurísticas engañosas (ej. en silogismos, el contenido semántico puede anular la lógica formal).

6. Significado y Conclusión

El artículo concluye que la visión deflacionaria de los LLMs es insostenible a la luz de la evidencia mecanicista.

• Superación del Binario: Se debe abandonar la pregunta binaria "¿entienden o no?". En su lugar, se propone una epistemología comparativa basada en mecanismos que mapea qué tipos de comprensión (conceptual, factual, principial) poseen los modelos y cómo divergen de la cognición humana.
• Alienidad Cognitiva: La comprensión de los LLMs es real pero "alienígena": está distribuida, carece de parsimonia unificada (no buscan la explicación más simple) y es frágil debido a la competencia entre mecanismos de alta y baja calidad.
• Implicaciones: Este marco permite identificar modos de fallo específicos, mejorar la alineación y seguridad de la IA, y desarrollar una teoría más matizada sobre la inteligencia artificial que no se base en la antropomorfización, sino en la arquitectura computacional real.