Resumen Técnico: ¿Qué hace que dos modelos de lenguaje piensen igual?

Planteamiento del Problema

Los métodos tradicionales para comparar Grandes Modelos de Lenguaje (LLM) dependen de métricas de similitud geométrica (por ejemplo, Análisis de Similitud de Representación, Análisis de Correlación Canónica o regresión lineal) para determinar si dos modelos comparten espacios representacionales similares. Si bien estos métodos pueden confirmar que las representaciones se alinean, funcionan como "cajas negras" que no logran explicar por qué se alinean. Específicamente, no pueden distinguir si la similitud surge de estrategias lingüísticas explícitas compartidas (por ejemplo, codificar las mismas estructuras sintácticas) o de sesgos léxicos superficiales.

Este artículo aborda la cuestión de si los modelos de lenguaje convergen al nivel algorítmico de la jerarquía de Marr (el nivel de las representaciones y las operaciones) a pesar de las divergentes elecciones de implementación (arquitectura y entrenamiento). Busca identificar qué características lingüísticas específicas impulsan las similitudes y diferencias entre los modelos, yendo más allá de la geometría bruta hacia la interpretabilidad basada en características.

Metodología: Similitud de la Firma Lingüística

Los autores proponen un nuevo enfoque utilizando Modelos de Codificación de Aprendizaje Métrico (MLEM) para mapear la actividad neuronal sobre características lingüísticas interpretables.

1. Modelos de Codificación de Aprendizaje Métrico (MLEM):

   • En lugar de predecir características a partir de la actividad neuronal (decodificación) o ajustar modelos de codificación univariantes a neuronas individuales, los MLEM aprenden una función de distancia sobre un conjunto de características de estímulos interpretables (por ejemplo, tiempo verbal, número del sujeto, tipo de cláusula relativa).
   • El modelo aprende una matriz de definición positiva simétrica $W$ que pondera las características individuales y sus interacciones.
   • El objetivo es maximizar la correlación de Spearman entre las distancias de pares de embeddings neuronales ($D_N$) y las distancias de pares de vectores de características ($D_F$) ponderadas por $W$. Esto preserva la topología relativa de los estímulos en lugar de las escalas absolutas.

2. Firmas Lingüísticas (Perfiles de Importancia de Características):

   • Para cada capa de un modelo de lenguaje, los autores computan la Importancia de las Características (FI). Estas se definen como la disminución promedio en la puntuación de correlación de Spearman del MLEM cuando la matriz de distancia de una característica específica se permuta aleatoriamente.
   • Este vector de FI constituye la firma lingüística de la capa, cuantificando cuánto impulsa cada característica lingüística la organización de las distancias neuronales en esa capa.
   • La firma global de un modelo se define como el perfil de estas FIs por capa.

3. Medición de Similitud:

   • A nivel de capa: Las firmas de dos capas específicas se comparan utilizando la distancia euclidiana (L2).
   • A nivel de modelo: Para comparar modelos enteros con diferentes números de capas, los autores utilizan Dynamic Time Warping Multidimensional (DTW). Esto alinea los perfiles de importancia de características a lo largo del eje de profundidad, permitiendo la comparación de modelos con diferentes conteos de capas o puntos de emergencia de características desplazados.
   • Modelado Predictivo: Se entrena un segundo MLEM sobre la matriz de similitud resultante a nivel de modelo para determinar qué propiedades del modelo (por ejemplo, arquitectura, escala, fecha de lanzamiento) predicen mejor la similitud de la firma lingüística.

Configuración Experimental

• Modelos: 43 modelos de lenguaje autorregresivos de 10 familias, cubriendo desde 100M hasta 14B de parámetros.
• Arquitecturas: Transformers de decodificador (por ejemplo, GPT-2, Llama-3.2, OLMo-2), Modelos de Espacio de Estados (Mamba, Mamba-2) y Redes Neuronales Recurrentes (RWKV-7).
• Dataset: Un dataset sintético de 7.7k oraciones generadas mediante Gramáticas Libres de Contexto (dataset de Cláusulas Relativas), equilibrado para mitigar las correlaciones entre 12 características lingüísticas (incluyendo propiedades sintácticas, sitios de apego y frecuencias léxicas).
• Evaluación: Se extrajeron los estados ocultos del último token para todos los modelos.

Resultados Clave

1. Dinámica por Capa

• Desempeño de Codificación: El desempeño del MLEM (correlación de Spearman) sigue un perfil consistente a través de los modelos: bajo en las capas superficiales y profundas, alcanzando su punto máximo en las capas medias (0.5–0.7). Esto se alinea con hallazgos previos de que la información sintáctica se procesa principalmente en las capas medias.
• Evolución de Características: Las características sintácticas (Tipo de Cláusula Relativa, Sitio de Apego) muestran una importancia máxima en las capas medias.
• Trayectorias de Familia: Los modelos dentro de la misma familia trazan trayectorias notablemente similares en un espacio PCA compartido de firmas lingüísticas, incluso cuando difieren significativamente en conteo de parámetros y profundidad. Algunas familias exhiben trayectorias de "bucle" donde las capas finales regresan cerca de las firmas de las capas iniciales, lo que potencialmente refleja las restricciones impuestas por el objetivo de predicción del siguiente token.

2. Impulsores de la Similitud de los Modelos

• Impulsores Primarios: La similitud entre las firmas lingüísticas de los modelos es impulsada más fuertemente por la fecha de lanzamiento y la familia del modelo.
  • La Fecha de Lanzamiento actúa como un proxy del desarrollo general de los LLM, resumiendo cambios correlacionados en arquitectura, normalización, codificación posicional y datos de entrenamiento.
  • La Familia del Modelo indica que las firmas lingüísticas están moldeadas por linajes arquitectónicos específicos en lugar de solo por la escala.
• Impulsores Secundarios/Menores: El conteo de parámetros, el conteo de tokens de entrenamiento y la profundidad realizan contribuciones menores.
• Clase de Arquitectura: Una vez que se contabilizan la familia y la fecha de lanzamiento, la clase de arquitectura general (Transformer vs. SSM vs. RNN) contribuye poco a explicar la similitud.

3. Convergencia vs. Divergencia

• Los resultados apoyan una versión parcial de la Hipótesis de la Representación Platónica. Aunque diferentes arquitecturas pueden compartir perfiles representacionales, no colapsan hacia un único punto final a medida que aumenta la escala. En su lugar, la convergencia está estructurada por la familia del modelo y la generación.
• El análisis a nivel de características confirma que las firmas similares corresponden a una organización real del espacio neuronal respecto a las características principales (validado mediante Escalamiento Multidimensional), mientras que las firmas disímiles muestran patrones de agrupamiento distintos.

Significancia y Reivindicaciones

El artículo afirma proporcionar un método para vincular descripciones simbólicas teóricamente motivadas directamente con representaciones neuronales. Al cambiar de comparaciones geométricas puras a comparaciones basadas en características, el enfoque:

1. Explica la Alineación: Va más allá de afirmar que los modelos son similares para explicar por qué (es decir, que priorizan las mismas variables lingüísticas).
2. Desafía la Primacía de la Escala/Arquitectura: Sugiere que la "forma" en que los modelos de lenguaje resuelven el procesamiento del lenguaje está moldeada más por la familia del modelo y la generación (fecha de lanzamiento) que por la escala o clases arquitectónicas específicas.
3. Generalizabilidad: Los autores postulan que este marco de comparación basado en características puede extenderse a otros dominios (habla, visión) y otros sistemas neurales (cerebros biológicos) siempre que los estímulos puedan emparejarse con características teóricas explícitas.

El trabajo no pretende resolver el problema de la interpretabilidad por completo, sino que ofrece una métrica interpretable específica para comparar las "prioridades lingüísticas" de diferentes sistemas neurales.