Resumen Técnico: Los LLM no explican: Un post-mortem sobre la interpretabilidad semántica en modelos Transformer

Declaración del Problema

El artículo aborda una brecha crítica en la interpretabilidad de los Modelos de Lenguaje de Gran Escala (LLM), particularmente en el contexto de la computación ubicua y distribuida donde los modelos se comprimen y despliegan como componentes de un sistema. Mientras que métodos como el análisis de cabezales de atención y la inferencia de propiedades basadas en embeddings son ampliamente utilizados para afirmar que los LLM poseen estructuras semánticas internas (por ejemplo, relaciones lingüísticas, conocimiento conceptual), los autores argumentan que los fundamentos metodológicos de estas técnicas permanecen sin probar. El problema central es que estos métodos de interpretabilidad pueden producir visualizaciones convincentes o puntuaciones predictivas elevadas que son, en realidad, artefactos de la estructura del conjunto de datos o de las restricciones metodológicas, más que evidencia de un entendimiento genuino. Los autores investigan si los canales establecidos para detectar la abstracción lingüística en los LLM resisten un escrutinio sistemático.

Metodología

Los autores realizaron un análisis de "post-mortem" replicando dos canales de interpretabilidad estándar utilizando experimentos controlados y transparentes. Utilizaron modelos basados en transformers (incluyendo BERT) y conjuntos de datos estándar, asegurando que su configuración coincidiera con la literatura prevaleciente para aislar fallos metodológicos en lugar de errores de implementación.

1. Explicaciones Relacionales Basadas en la Atención

• Hipótesis: Los pesos de atención indican la influencia de un token hacia otro, reflejando relaciones semánticas o sintácticas (por ejemplo, la hiperonimia entre "perro" y "Labradoodle").
• Supuestos Probados:
  1. Persistencia de la Identidad del Token: La representación oculta en una posición específica en capas más profundas todavía corresponde al token de entrada original.
  2. Interpretabilidad de la Atención: Las distribuciones de atención codifican un flujo de información significativo.
• Procedimiento: Los autores extrajeron matrices de atención de todas las capas y cabezales, generando mapas de calor y diagramas de tipo dependencia. Introdujeron perturbaciones, incluyendo el barajado de embeddings de tokens, la inyección de ruido en los logits de atención y el intercambio de posiciones, para probar la robustidad de las visualizaciones resultantes.

2. Inferencia de Propiedades Basada en Embeddings

• Hipótesis: Si un modelo predictivo puede mapear embeddings de palabras hacia características semánticas interpretables por humanos (por ejemplo, propiedades perceptuales, categorías taxonómicas), los embeddings deben codificar ese conocimiento semántico.
• Supuestos Probados: El supuesto de "predicción como explicación": que la predicción exitosa implica conocimiento internalizado.
• Procedimiento:
  • Conjuntos de Datos: Se utilizaron tres conjuntos de datos de normas de características: McRae (categórico), Buchanan (categórico) y Binder (continuo).
  • Mapeo: Los embeddings de nivel de tipo (desde la capa 0) se mapearon a características utilizando Regresión de Mínimos Cuadrados Parciales (PLSR) y Redes Neuronales Feedforward (FFNN).
  • Controles: Para distinguir la codificación semántica de los artefactos metodológicos, los autores realizaron estudios de ablación:
    • Experimentos de límite superior (upper-bound): Mapeo de matrices de características a sí mismas.
    • Líneas base aleatorias/barajadas: Reemplazo de características con ruido aleatorio o barajado de valores preservando la dispersión (sparsity).
    • Corrupción semántica: Reemplazo de relaciones taxonómicas correctas por alternativas aleatorias.
    • Sin sentido estructurado: Reemplazo de valores continuos por diferencias de longitud de caracteres.

Resultados Clave

Fallo del Canal Basado en la Atención

Los autores encontraron que el supuesto de la persistencia de la identidad del token es inválido en las capas más profundas.

• Pérdida de Identidad del Token: El rastreo del flujo residual reveló que las representaciones de los tokens se convierten rápidamente en mezclas de múltiples posiciones ascendentes. A mitad de la profundidad de las capas, la alineación de coseno entre el estado oculto de un token y su embedding original disminuyó sustancialmente.
• Estructura Artificial: Las visualizaciones de atención mantuvieron estructuras lingüísticamente plausibles incluso cuando los embeddings de los tokens fueron barajados o se inyectó ruido, lo que indica que la "estructura" observada en los mapas de atención es un resultado de las propiedades de mezcla del mecanismo de atención y de las transformaciones no lineales (MLP, normalización de capa) en lugar de un razonamiento genuino a nivel de token.

Fallo del Canal de Inferencia de Propiedades Basado en Embeddings

Los autores demostraron que las altas puntuaciones en la inferencia de propiedades son impulsadas por la geometría del conjunto de datos y la dispersión, no por el contenido semántico.

• Predictibilidad del Sin Sentido: Los modelos alcanzaron un rendimiento sustancial (acercándose a los límites metodológicos superiores) incluso cuando las características fueron barajadas aleatoriamente o reemplazadas con valores sin sentido (por ejemplo, diferencias de longitud de caracteres).
• Insensibilidad a la Semántica: El reemplazo de hiperónimos taxonómicos significativos por alternativas aleatorias resultó en una degradación de rendimiento insignificante (por ejemplo, el F1@10 de McRae cayó solo de 0.25 a 0.23).
• Geométrico vs. Semántico: Los análisis de precisión de vecindad muestran que los métodos de mapeo principalmente reproducen estructuras de clúster geométricos inherentes a los datos. Las puntuaciones altas reflejan las restricciones de bajo rango y la dispersión de las normas de características, más que la decodificación de propiedades semánticas.

Contribuciones Clave

1. Refutación Empírica de Supuestos Centrales: El artículo proporciona evidencia sistemática de que el supuesto de "continuidad del token" en el análisis de atención y el supuesto de "predicción como explicación" en la inferencia de propiedades son metodológicamente erróneos.
2. Identificación de Artefactos: Los autores identifican que el éxito aparente de estos métodos de interpretabilidad se debe a menudo a los límites metodológicos superiores, la dispersión de los datos y la similitud geométrica, que pueden confundirse con la comprensión semántica.
3. Marco Metodológico para Resultados Negativos: El estudio establece un protocolo riguroso para poner a prueba los supuestos de la interpretabilidad mediante ablaciones controladas (barajado, corrupción, estimación de límite superior) para distinguir el mecanismo genuino del artefacto.
4. Relevancia Contextual: Los hallazgos resaltan riesgos específicos para la computación ubicua y distribuida, donde la interpretabilidad es fundamental para la depuración y la compresión, advirtiendo que los supuestos no probados pueden conducir a conclusiones erróneas a nivel de sistema.

Significado y Reivindicaciones

El artículo afirma modestamente que su contribución principal no es derribar la utilidad de los LLM, sino demostrar que dos de las técnicas de interpretabilidad más confiables actualmente son "mejores creando historias convincentes que produciendo explicaciones reales".

Los autores argumentan que:

• La plausibilidad visual y la precisión predictiva no equivalen al entendimiento. Los mapas de atención y las puntuaciones de inferencia de propiedades pueden ser engañosos si los supuestos subyacentes (identidad del token, codificación semántica) no se prueban explícitamente.
• Los resultados negativos son esenciales. Documentar estos fallos es necesario para evitar que el campo construya sobre premisas erróneas y para guiar el desarrollo de herramientas de interpretabilidad más rigurosas y conscientes de los mecanismos.
• Riesgo Sistémico: En despliegues del mundo real (por ejemplo, Edge AI), confiar en estos métodos de interpretabilidad no verificados para la compresión y depuración del modelo plantea un riesgo de falsa confianza y fallo del sistema.

El artículo concluye que, si bien estos métodos producen salidas que son fáciles de interpretar, actualmente carecen del rigor científico requerido para explicar cómo los LLM representan la estructura y el significado. Los autores llaman a un cambio hacia una investigación de la interpretabilidad que priorice la prueba de supuestos sobre la generación de narrativas intuitivas.