💬 NLP

A Systematic Comparison of Multilingual Interpretability Methods Reveals Anisotropy-Driven Failures

Este artículo evalúa sistemáticamente cuatro métodos de interpretabilidad multilingüe a través de 21 modelos, encontrando que la anisotropía distorsiona la mayoría de las métricas mientras que el ILO se correlaciona de manera única y robusta con el rendimiento de la transferencia translingüística, lo que lleva a los autores a recomendar el ILO como la métrica de compartición primaria junto con los diagnósticos de anisotropía.

Autores originales: Oskar Holmström, Marcel Bollmann, Marco Kuhlmann

Publicado 2026-09-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Oskar Holmström, Marcel Bollmann, Marco Kuhlmann

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los sistemas modernos de inteligencia artificial que comprenden el lenguaje se construyen sobre una base matemática que mapea palabras y oraciones en vastos espacios multidimensionales. En estos espacios, el significado de una palabra está representado por un punto específico, y la relación entre las palabras se define por la distancia y la dirección entre esos puntos. Cuando estos modelos son entrenados con muchos idiomas diferentes a la vez, desarrollan una capacidad notable: comienzan a usar los mismos puntos internos para representar conceptos similares a través de esos idiomas, creando efectivamente un diccionario mental compartido. Este fenómeno, conocido como intercambio translingüístico, es el motor que permite que un modelo entrenado principalmente en inglés pueda responder preguntas en suajili o traducir poesía del japonés. Sin embargo, durante años, los científicos han luchado por medir exactamente qué tan bien ocurre este intercambio. Diferentes equipos de investigación han construido diferentes reglas para medir lo mismo, y a menudo, esas reglas daban respuestas contradictorias. Un equipo podría decir que un modelo comparte su conocimiento perfectamente, mientras que otro, utilizando un método diferente, podría decir que apenas comparte nada. Esta confusión dificultaba saber qué modelos eran verdaderamente multilingües y cuáles solo estaban fingiendo.

Un equipo de investigadores se propuso resolver esta confusión comparando cuatro herramientas de medición representativas, seleccionadas para contrastar diferentes familias metodológicas contra una amplia variedad de modelos de lenguaje. Reunieron veintiún modelos diferentes, que iban desde versiones pequeñas y eficientes hasta otras masivas y complejas, representando cinco familias distintas de inteligencia artificial. Estos modelos variaban en tamaño desde 125 millones hasta 14 mil millones de parámetros, una escala que captura la diversidad del campo. Los investigadores alimentaron estos modelos con un conjunto estándar de oraciones en diez idiomas diferentes, incluyendo árabe, chino, inglés y turco, y luego aplicaron cada una de las cuatro herramientas de medición para ver cuánto mezclaban los modelos sus idiomas. También probaron el rendimiento en el mundo real de los modelos enseñándoles una nueva tarea en inglés y observando qué tan bien podían aplicar ese conocimiento a otros idiomas sin entrenamiento adicional. Esta prueba funcional sirvió como un criterio de validación, una forma de ver si las mediciones realmente predecían la capacidad de los modelos para transferir conocimiento, aunque los autores señalan que la transferencia es impulsada por factores que van más allá de la alineación representacional.

Los resultados revelaron que el desacuerdo entre las herramientas de medición no era un reflejo de los modelos mismos, sino un fallo en cómo fueron construidas las herramientas. Los investigadores descubrieron que las representaciones internas de estos modelos son a menudo "anisotrópicas", un término que describe una forma que se estira en un cono estrecho y similar a una aguja en lugar de extenderse uniformemente en todas las direcciones. Imaginen la diferencia entre una esfera y un lápiz delgado; en el espacio con forma de lápiz, casi cualquier par de puntos parece estar cerca uno del otro simplemente porque el espacio es muy estrecho. Tres de las cuatro herramientas de medición fueron engañadas por esta forma. Interpretaron el hecho de que todos los puntos estuvieran agrupados como evidencia de un fuerte intercambio, incluso cuando los modelos no estaban mezclando realmente sus idiomas. Una herramienta, en particular, dependía de un método que eliminaba las direcciones de información más importantes para encontrar patrones, solo para descubrir que la identidad del idioma había sido desplazada hacia las direcciones descartadas. Era como intentar encontrar un sabor específico en una sopa eliminando la sal, para luego concluir que la sopa era insípida porque la sal ya no estaba.

En contraste, una medición específica, llamada Interlingual Local Overlap (Traslape Local Interlingüístico), demostró ser la única regla confiable. Esta herramienta observaba a los vecinos inmediatos de cada palabra en el espacio interno del modelo, preguntando si palabras de diferentes idiomas estaban de pie una al lado de la otra. A diferencia de las otras herramientas, este método sobrevivió a pruebas rigurosas. Predijo consistentemente qué modelos funcionarían bien en tareas translingüísticas, mostrando una correlación fuerte que se mantuvo constante independientemente del tamaño o la familia del modelo. Los investigadores encontraron que los modelos con puntuaciones altas en esta métrica específica eran aquellos que podían transferir con éxito el conocimiento del inglés a otros idiomas. Las otras herramientas fallaron al distinguir entre modelos que compartían conocimiento y aquellos que no lo hacían, o estaban tan influenciadas por la forma estrecha de los datos que producían puntuaciones engañosamente altas para modelos que en realidad eran bastante deficientes en el intercambio.

El estudio concluye que el campo ha sido engañado por herramientas que son sensibles a las distorsiones geométricas de los datos en lugar del intercambio real de idiomas. Los investigadores recomiendan que los estudios futuros utilicen el Interlingual Local Overlap como la métrica de intercambio primaria, pero que se reporte junto con diagnósticos de anisotropía. Además, sugieren que siempre que alguien reporte una puntuación de intercambio de idiomas, también debe reportar un control de diagnóstico para la forma de los datos, asegurando que una puntuación alta refleje un intercambio genuino y no solo un espacio estrecho y distorsionado. Este trabajo no pretende haber resuelto el misterio de cómo aprenden los modelos de lenguaje, pero proporciona una forma clara y confiable de medir lo que han aprendido. Al identificar las herramientas que funcionan y las que fallan, los investigadores han despejado la niebla, permitiendo que la comunidad científica finalmente compare los modelos en un campo de juego nivelado y comprenda la verdadera naturaleza de la inteligencia multilingüe. Estos resultados son correctivos en lugar de desestimar las métricas de intercambio global: una puntuación global única sigue siendo el instrumento adecuado para cuantificar y comparar el intercambio entre modelos, mientras que explicar cómo se implementa el intercambio requiere métodos mecánicos.

Resumen Técnico: Una comparación sistemática de los métodos de interpretabilidad multilingüe revela fallos impulsados por la anisotropía

Planteamiento del problema

Los modelos de lenguaje multilingües (MLM) desarrollan representaciones compartidas translingüísticas sin supervisión explícita de alineación. Aunque varios métodos de interpretabilidad pretenden cuantificar este intercambio, la mayoría han sido desarrollados de forma aislada. En consecuencia, cuando diferentes métricas arrojan conclusiones contradictorias sobre el grado de intercambio en un modelo, no queda claro si el desacuerdo refleja diferencias arquitectónicas genuinas o si es un artefacto de la técnica de medición misma.

Un factor de confusión crítico es la anisotropía representacional: la tendencia de los embeddings contextuales a ocupar un cono estrecho en el espacio de embeddings en lugar de distribuirse isotrópicamente. Esta geometría infla la similitud aparente entre vectores y confina la variación significativa a subespacios de baja dimensión. El artículo investiga si las métricas de intercambio existentes son robustas a esta distorsión o si, inadvertidamente, miden la anisotropía en lugar de una alineación translingüística genuina.

Metodología

Los autores llevaron a cabo una comparación sistemática de cuatro métricas de intercambio representativas en 21 modelos base de cinco familias distintas (BLOOM, OPT, XGLM, Qwen3, SmolLM3), que oscilan entre 125M y 14B de parámetros. El estudio utilizó el conjunto de desarrollo FLORES-200 (10 idiomas) para el análisis de representaciones y cinco tareas de seguimiento (Belebele, XNLI, XCSR, SIB-200, XQuAD) para la validación funcional.

Las cuatro métricas evaluadas

CKA (Alineación de Kernel Centrada): Mide la similitud geométrica global entre matrices de representación translingüísticas.
ANC (Correlación de Neuronas Promedio): Mide la alineación por neurona mediante la correlación de Pearson de las activaciones en oraciones paralelas.
$\lambda$ (Dominancia de GMM por Token): Ajusta un Modelo de Mezcla Gaussiana (GMM) en un subespacio de PCA (que retiene el 98% de la varianza) y calcula la fracción de tokens que tienen mayor probabilidad bajo un componente de lengua extranjera que bajo su propia lengua.
ILO (Solapamiento Local Interlingüístico): Una métrica basada en vecindad utilizando $k$ -vecinos más cercanos ( $k=5$ ) en el espacio completo del estado oculto para medir las puntuaciones de puente y alcanzabilidad entre lenguas.

Marco experimental

Validación funcional: Los autores correlacionaron cada métrica con el rendimiento de transferencia translingüística zero-shot (tras el ajuste fino en inglés).
Controles estadísticos: Emplearon correlaciones de rango de Spearman, correlaciones parciales (controlando el tamaño del modelo) y pruebas de permutación (mezclando dentro de las familias) para distinguir relaciones genuinas de factores de confusión.
Diagnósticos de anisotropía: Midieron la dimensionalidad efectiva ( $n_{pca}$ ) y la similitud de coseno aleatoria media para cuantificar el grado de anisotropía.
Sondeo (Probing): Se entrenaron sondas de lenguaje en el estado oculto completo, en el subespacio principal de PCA y en el subespacio residual para localizar dónde se codifica la identidad del lenguaje.

Hallazgos clave

1. Tres patrones distintos de intercambio

El análisis reveló tres patrones distintos de intercambio translingüístico, en lugar de una división binaria:

Intercambio concentrado (BLOOM $\ge$ 1B, Qwen3, SmolLM3): $\lambda$ e ILO altos, con la varianza concentrada en solo 2 dimensiones ( $n_{pca}=2$ ) en las capas pico.
Intercambio distribuido (XGLM): ILO alto pero $\lambda$ cercano a cero, con la varianza distribuida en miles de dimensiones.
Intercambio mínimo (OPT): Valores bajos en todas las métricas, consistente con un entrenamiento centrado en el inglés.

2. Fallos impulsados por la anisotropía

El desacuerdo entre las métricas es directamente rastreable a la anisotropía:

CKA está inflada por la dirección del cono compartido, mostrando un rango estrecho y poco informativo a través de las familias.
$\lambda$ (Dominancia de GMM) falla catastróficamente en modelos distribuidos (como XGLM). Debido a que opera en un subespacio de PCA que retiene el 98% de la varianza, descarta las dimensiones donde la identidad del lenguaje reside realmente en estos modelos. Los experimentos de sondeo mostraron que, en modelos con $\lambda$ alto, la identidad del lenguaje se relocaliza en el subespacio residual (descartado por $\lambda$ ), mientras que en modelos distribuidos, el subespacio principal no contiene estructura de agrupamiento para que el GMM la ajuste. Por lo tanto, $\lambda$ mide el comportamiento de un modelo de mezcla en un subespacio del cual se ha eliminado la información lingüística.
ANC es más robusta ya que resta las medias de las neuronas, lo que la hace invariante al componente de desplazamiento común de la anisotropía.
ILO sigue siendo robusta porque opera en el estado oculto completo y es invariante al escalado por vector. Una variante centrada (ILOc) confirmó que la métrica no es impulsada por el desplazamiento de la media anisotrópica compartida.

3. Predicción de la transferencia translingüística

Solo ILO demostró una asociación robusta con el rendimiento de la transferencia translingüística:

ILO: Spearman $\rho = 0.90$ en todos los modelos. Esta correlación sobrevivió a los controles de tamaño de modelo, pertenencia a familia y variación por tarea.
ANC: Mostró una correlación fuerte ( $\rho = 0.84$ ) pero esta dependía fuertemente de los contrastes entre familias; no sobrevivió a las pruebas de permutación que mezclaban los datos dentro de las familias.
$\lambda$ : Correlación moderada ( $\rho = 0.52$ ) que no logró mantenerse de forma consistente a través de tareas y familias.
CKA: Sin asociación significativa ( $\rho = 0.14$ ).

4. Dinámica de entrenamiento

El intercambio no emerge gradualmente. En modelos como BLOOM, $\lambda$ e ILO experimentan transiciones de fase abruptas en pasos de entrenamiento específicos (por ejemplo, entre 10K y 100K pasos para BLOOM-1.1B). El ajuste fino de instrucciones puede inducir el intercambio en modelos pequeños (por ejemplo, BLOOMZ-560m), pero tiene efectos insignificantes en modelos más grandes que ya exhiben un fuerte intercambio.

Significado y recomendaciones

El artículo argumenta que las puntuaciones de intercambio geométrico no pueden interpretarse independientemente de la geometría en la que se encuentran. La contribución principal es la identificación de la anisotropía como el motor del desacuerdo entre métricas, mostrando específicamente que los métodos basados en PCA como $\lambda$ pueden reportar "intercambio" donde la identidad del lenguaje simplemente se ha relocalizado en dimensiones descartadas, o perder el intercambio donde este se encuentra distribuido.

Recomendaciones:

Adoptar ILO: Los autores recomiendan ILO como la métrica principal para cuantificar el intercambio translingüístico, ya que es la única cuya asociación con la transferencia sobrevive a controles rigurosos.
Reportar diagnósticos de anisotropía: Cualquier métrica de intercambio geométrico debe reportarse junto con diagnósticos de anisotropía (por ejemplo, dimensionalidad efectiva $n_{pca}$ y similitud de coseno aleatoria media) para permitir a los lectores distinguir el intercambio genuino del colapso anisotrópico.
Precaución con PCA: Las métricas que dependen de proyecciones ordenadas por varianza (como $\lambda$ ) son poco fiables en modelos altamente anisotrópicos donde la información lingüística puede residir en direcciones de baja varianza.

Los autores concluyen que, si bien las métricas de intercambio global siguen siendo instrumentos útiles para comparar modelos, su fiabilidad depende de la geometría representacional subyacente, lo que requiere un cambio hacia métricas que sean robustas a la anisotropía.