💬 NLP

A Systematic Comparison of Multilingual Interpretability Methods Reveals Anisotropy-Driven Failures

Este artigo avalia sistematicamente quatro métodos de interpretabilidade multilíngue em 21 modelos, constatando que a anisotropia distorce a maioria das métricas enquanto o ILO se correlaciona de forma única e robusta com o desempenho de transferência translinguística, levando os autores a recomendar o ILO como a principal métrica de compartilhamento juntamente com diagnósticos de anisotropia.

Autores originais: Oskar Holmström, Marcel Bollmann, Marco Kuhlmann

Publicado 2026-09-07

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Oskar Holmström, Marcel Bollmann, Marco Kuhlmann

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os sistemas modernos de inteligência artificial que compreendem a linguagem são construídos sobre uma base matemática que mapeia palavras e frases em vastos espaços multidimensionais. Nesses espaços, o significado de uma palavra é representado por um ponto específico, e a relação entre as palavras é definida pela distância e direção entre esses pontos. Quando esses modelos são treinados em muitas línguas diferentes ao mesmo tempo, eles desenvolvem uma habilidade notável: começam a usar os mesmos pontos internos para representar conceitos semelhantes através dessas línguas, criando efetivamente um dicionário mental compartilhado. Esse fenômeno, conhecido como compartilhamento translinguístico, é o motor que permite que um modelo treinado principalmente em inglês responda a perguntas em suaíli ou traduza poesia do japonês. No entanto, durante anos, cientistas lutaram para medir exatamente quão bem esse compartilhamento ocorre. Diferentes equipes de pesquisa construíram diferentes réguas para medir a mesma coisa e, frequentemente, essas réguas davam respostas conflitantes. Uma equipe poderia dizer que um modelo compartilha seu conhecimento perfeitamente, enquanto outra, usando um método diferente, poderia dizer que ele mal compartilha qualquer coisa. Essa confusão dificultava saber quais modelos eram verdadeiramente multilíngues e quais estavam apenas fingindo.

Uma equipe de pesquisadores partiu para resolver essa confusão comparando quatro ferramentas de medição representativas, selecionadas para contrastar diferentes famílias metodológicas contra uma ampla variedade de modelos de linguagem. Eles reuniram vinte e um modelos diferentes, variando de versões pequenas e eficientes a outras massivas e complexas, representando cinco famílias distintas de inteligência artificial. Esses modelos variavam em tamanho, de 125 milhões a 14 bilhões de parâmetros, uma escala que captura a diversidade do campo. Os pesquisadores alimentaram esses modelos com um conjunto padrão de frases em dez línguas diferentes, incluindo árabe, chinês, inglês e turco, e então aplicaram cada uma das quatro ferramentas de medição para ver o quanto os modelos misturavam suas línguas. Eles também testaram o desempenho real desses modelos ensinando-lhes uma nova tarefa em inglês e observando quão bem eles poderiam aplicar esse conhecimento a outras línguas sem treinamento adicional. Esse teste funcional serviu como um critério de validação, uma forma de ver se as medições realmente previam a capacidade dos modelos de transferir conhecimento, embora os autores observem que a transferência é impulsionada por fatores que vão além do simples alinhamento representacional.

Os resultados revelaram que o desacordo entre as ferramentas de medição não era um reflexo dos próprios modelos, mas sim uma falha na construção das ferramentas. Os pesquisadores descobriram que as representações internas desses modelos são frequentemente "anisotrópicas", um termo que descreve uma forma que é esticada em um cone estreito, semelhante a uma agulha, em vez de se espalhar uniformemente em todas as direções. Imagine a diferença entre uma esfera e um lápis fino; no espaço em forma de lápis, quase quaisquer dois pontos parecem próximos simplesmente porque o espaço é tão estreito. Três das quatro ferramentas de medição foram enganadas por essa forma. Elas interpretaram o fato de todos os pontos estarem amontoados como evidência de um forte compartilhamento, mesmo quando os modelos não estavam realmente misturando suas línguas. Uma ferramenta, em particular, baseou-se em um método que removia as direções mais importantes de informação para encontrar padrões, apenas para descobrir que a identidade da língua havia sido empurrada para as direções descartadas. Era como tentar encontrar um sabor específico em uma sopa removendo o sal, apenas para concluir que a sopa estava insossa porque o sal havia sumido.

Em contraste, uma medição específica, chamada Sobreposição Local Interlinguística (Interlingual Local Overlap), provou ser a única régua confiável. Esta ferramenta observava os vizinhos imediatos de cada palavra no espaço interno do modelo, perguntando se palavras de diferentes línguas estavam paradas próximas umas das outras. Ao contrário das outras ferramentas, este método sobreviveu a testes rigorosos. Ele previu consistentemente quais modelos teriam um bom desempenho em tarefas translinguísticas, mostrando uma correlação forte que se manteve independentemente do tamanho ou da família do modelo. Os pesquisadores descobriram que os modelos com pontuações altas nesta métrica específica eram aqueles que podiam transferir conhecimento com sucesso do inglês para outras línguas. As outras ferramentas ou falharam em distinguir modelos que compartilhavam conhecimento daqueles que não o faziam, ou foram tão influenciadas pela forma estreita dos dados que produziram pontuações enganosamente altas para modelos que eram, na verdade, bastante ruins no compartilhamento.

O estudo conclui que o campo tem sido induzido ao erro por ferramentas que são sensíveis às distorções geométricas dos dados, em vez da mistura real das línguas. Os pesquisadores recomendam que estudos futuros utilizem a Sobreposição Local Interlinguística como a métrica primária de compartilhamento, mas que esta seja reportada junto com diagnósticos de anisotropia. Além disso, sugerem que, sempre que alguém reportar uma pontuação de compartilhamento de linguagem, deve também reportar uma verificação diagnóstica da forma dos dados, garantindo que uma pontuação alta reflita uma mistura genuína e não apenas um espaço estreito e distorcido. Este trabalho não pretende alegar que resolveu o mistério de como os modelos de linguagem aprendem, mas fornece uma maneira clara e confiável de medir o que eles aprenderam. Ao identificar as ferramentas que funcionam e as que falham, os pesquisadores dissiparam a névoa, permitindo que a comunidade científica finalmente compare modelos em um campo de jogo nivelado e entenda a verdadeira natureza da inteligência multilíngue. Estes resultados são corretivos, e não de descarte, das métricas globais de compartilhamento: uma pontuação global única continua sendo o instrumento correto para quantificar e comparar o compartilhamento entre modelos, enquanto explicar como o compartilhamento é implementado exige métodos mecanísticos.

Resumo Técnico: Uma Comparação Sistemática de Métodos de Interpretabilidade Multilíngue Revela Falhas Impulsionadas pela Anisotropia

Declaração do Problema

Modelos de linguagem multilíngues (MLMs) desenvolvem representações cross-linguais compartilhadas sem supervisão explícita de alinhamento. Embora vários métodos de interpretabilidade afirmem quantificar esse compartilhamento, eles têm sido desenvolvidos, em grande parte, de forma isolada. Consequentemente, quando diferentes métricas apresentam conclusões conflitantes sobre o grau de compartilhamento em um modelo, permanece incerto se o desacordo reflete diferenças arquitetônicas genuínas ou se é um artefato da própria técnica de medição.

Um fator de confusão crítico é a anisotropia representacional: a tendência de embeddings contextuais ocuparem um cone estreito no espaço de embedding em vez de se espalharem isotropicamente. Essa geometria infla a similaridade aparente entre vetores e confina a variação significativa a subespaços de baixa dimensão. O artigo investiga se as métricas de compartilhamento existentes são robustas a essa distorção ou se medem inadvertidamente a anisotropia em vez do alinhamento cross-lingual genuíno.

Metodologia

Os autores conduziram uma comparação sistemática de quatro métricas de compartilhamento representativas em 21 modelos base de cinco famílias distintas (BLOOM, OPT, XGLM, Qwen3, SmolLM3), variando de 125M a 14B de parâmetros. O estudo utilizou o conjunto devtest do FLORES-200 (10 idiomas) para análise de representação e cinco tarefas downstream (Belebele, XNLI, XCSR, SIB-200, XQuAD) para validação funcional.

As Quatro Métricas Avaliadas

CKA (Centered Kernel Alignment): Mede a similaridade geométrica global entre matrizes de representação cross-lingual.
ANC (Average Neuron Correlation): Mede o alinhamento por neurônio via correlação de Pearson de ativações em sentenças paralelas.
$\lambda$ (GMM Dominance per Token): Ajusta um Modelo de Mistura Gaussiana (GMM) em um subespaço PCA (retendo 98% da variância) e calcula a fração de tokens que são mais prováveis sob um componente de língua estrangeira do que de sua própria língua.
ILO (Interlingual Local Overlap): Uma métrica baseada em vizinhança usando $k$ -vizinhos mais próximos ( $k=5$ ) no espaço total do estado oculto para medir pontuações de ponte e alcançabilidade entre línguas.

Estrutura Experimental

Validação Funcional: Os autores correlacionaram cada métrica com o desempenho de transferência cross-lingual zero-shot (após fine-tuning em inglês).
Controles Estatísticos: Empregaram correlações de Spearman, correlações parciais (controlando o tamanho do modelo) e testes de permutação (embaralhando dentro das famílias) para distinguir relações genuínas de fatores de confusão.
Diagnósticos de Anisotropia: Mediram a dimensionalidade efetiva ( $n_{pca}$ ) e a similaridade de cosseno média aleatória para quantificar o grau de anisotropia.
Sondagem (Probing): Probes de linguagem foram treinados no estado oculto total, no subespaço principal do PCA e no subespaço residual para localizar onde a identidade da língua é codificada.

Principais Descobertas

1. Três Padrões Distintos de Compartilhamento

A análise revelou três padrões distintos de compartilhamento cross-lingual, em vez de uma divisão binária:

Compartilhamento Concentrado (BLOOM $\ge$ 1B, Qwen3, SmolLM3): Alto $\lambda$ e ILO, com a variância concentrada em apenas 2 dimensões ( $n_{pca}=2$ ) nas camadas de pico.
Compartilhamento Distribuído (XGLM): Alto ILO, mas $\lambda$ próximo de zero, com a variância distribuída por milhares de dimensões.
Compartilhamento Mínimo (OPT): Valores baixos em todas as métricas, consistente com o treinamento centrado em inglês.

2. Falhas Impulsionadas pela Anisotropia

O desacordo entre as métricas é diretamente rastreável à anisotropia:

CKA é inflada pela direção do cone compartilhado, mostrando um intervalo estreito e pouco informativo entre as famílias.
$\lambda$ (GMM Dominance) falha catastroficamente em modelos distribuídos (como o XGLM). Como opera em um subespaço PCA que retém 98% da variância, ele descarta as dimensões onde a identidade da língua realmente reside nesses modelos. Experimentos de sondagem mostraram que, em modelos de alto $\lambda$ , a identidade da língua é realocada para o subespaço residual (descartado pelo $\lambda$ ), enquanto em modelos distribuídos, o subespaço principal não contém estrutura de agrupamento para o GMM ajustar. Assim, o $\lambda$ mede o comportamento de um modelo de mistura em um subespaço do qual a informação de linguagem foi removida.
ANC é mais robusta pois subtrai as médias dos neurônios, tornando-se invariante ao componente de deslocamento comum da anisotropia.
ILO permanece robusta porque opera no estado oculto total e é invariante ao escalonamento por vetor. Uma variante centrada (ILOc) confirmou que a métrica não é impulsionada pelo deslocamento de média anisotrópica comum.

3. Predição de Transferência Cross-Lingual

Apenas o ILO demonstrou uma associação robusta com o desempenho de transferência cross-lingual:

ILO: Spearman $\rho = 0.90$ em todos os modelos. Esta correlação sobreviveu aos controles de tamanho de modelo, pertencimento à família e variação por tarefa.
ANC: Mostrou uma correlação forte ( $\rho = 0.84$ ), mas isso dependia fortemente de contrastes entre famílias; não sobreviveu aos testes de permutação que embaralharam os dados dentro das famílias.
$\lambda$ : Correlação moderada ( $\rho = 0.52$ ) que falhou em se manter consistente entre tarefas e famílias.
CKA: Nenhuma associação significativa ( $\rho = 0.14$ ).

4. Dinâmica de Treinamento

O compartilhamento não emerge gradualmente. Em modelos como o BLOOM, o $\lambda$ e o ILO passam por transições de fase abruptas em etapas específicas de treinamento (ex: entre 10K e 100K passos para o BLOOM-1.1B). O ajuste de instrução (instruction tuning) pode induzir o compartilhamento em modelos pequenos (ex: BLOOMZ-560m), mas tem efeitos negligenciáveis em modelos maiores que já exibem forte compartilhamento.

Significância e Recomendações

O artigo argumenta que as pontuações de compartilhamento geométrico não podem ser interpretadas independentemente da geometria na qual estão inseridas. A principal contribuição é a identificação da anisotropia como o motor do desacordo entre métricas, especificamente mostrando que métodos baseados em PCA, como o $\lambda$ , podem reportar "compartilhamento" onde a identidade da língua foi meramente realocada para dimensões descartadas, ou perder o compartilhamento onde este está distribuído.

Recomendações:

Adotar o ILO: Os autores recomendam o ILO como a métrica primária para quantificar o compartilhamento cross-lingual, sendo a única cuja associação com a transferência sobrevive a controles rigorosos.
Reportar Diagnósticos de Anisotropia: Qualquer métrica de compartilhamento geométrico deve ser reportada junto com diagnósticos de anisotropia (ex: dimensionalidade efetiva $n_{pca}$ e similaridade de cosseno média aleatória) para permitir que os leitores distingam o compartilhamento genuíno do colapso anisotrópico.
Cautela com o PCA: Métricas que dependem de projeções ordenadas por variância (como o $\lambda$ ) são pouco confiáveis em modelos altamente anisotrópicos, onde a informação de linguagem pode residir em direções de baixa variância.

Os autores concluem que, embora as métricas de compartilhamento global continuem sendo instrumentos úteis para comparar modelos, sua confiabilidade é contingente à geometria representacional subjacente, exigindo uma mudança para métricas que sejam robustas à anisotropia.