💬 NLP

Similarity All The Way Up: Multilingual Generalization in LLMs Relies on Language-Level Similarity Structures

Este artigo demonstra que os Grandes Modelos de Linguagem generalizam melhor entre idiomas quando suas representações latentes capturam com precisão as estruturas de similaridade hierárquica das famílias linguísticas, como a árvore indo-europeia, sendo que este alinhamento estrutural correlaciona-se diretamente com o desempenho aprimorado em benchmarks multilíngues como o XNLI.

Autores originais: Supantho Rakshit, Adele Goldberg, Henry Conklin

Publicado 2026-08-14

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Supantho Rakshit, Adele Goldberg, Henry Conklin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a entender o mundo. Você não apenas lhe dá um dicionário; você deixa que ele leia milhões de livros, sites e histórias. Com o tempo, o robô começa a construir um mapa mental de como as coisas se relacionam umas com as outras. No mundo da ciência da computação, isso é chamado de "Grande Modelo de Linguagem" (LLM). Pense nesses modelos como cérebros digitais superinteligentes que leram quase tudo na internet. Mas aqui está a parte complicada: a maior parte do que eles leram é em inglês. Quando você pede que eles falem uma língua que não viram muito, como o suaíli ou o islandês, eles costumam tropeçar.

Cientistas há muito se perguntam por que isso acontece. Uma ideia fundamental da psicologia sugere que nossos cérebros (e computadores inteligentes) aprendem percebendo semelhanças. Se você sabe o que é um "cachorro", pode adivinhar o que é um "lobo" porque eles se parecem e agem de forma semelhante. Isso é chamado de "generalização". Quanto melhor o seu mapa mental agrupa coisas semelhantes, melhor você é em adivinhar coisas novas. Mas será que essa mesma regra se aplica a línguas inteiras? Será que esses cérebros digitais organizam secretamente as línguas da mesma forma que uma árvore genealógica organiza parentes? Essa é a grande questão que este artigo se propõe a responder.

O Grande Reencontro das Famílias Linguísticas

Imagine uma festa gigante e invisível onde cada língua da família indo-europeia (um grupo enorme que inclui inglês, espanhol, hindi e russo) foi convidada. No mundo real, sabemos que essas línguas são relacionadas como primos, irmãos e parentes distantes. Algumas, como o espanhol e o italiano, são como gêmeos que cresceram na mesma casa. Outras, como o inglês e o hindi, são primos distantes que não se veem há milhares de anos.

Os pesquisadores deste artigo queriam ver se os Grandes Modelos de Linguagem (LLMs) conhecem secretamente essa árvore genealógica. Eles não perguntaram aos modelos: "Ei, essas línguas são relacionadas?". Em vez disso, observaram os "pensamentos" dos modelos (sua matemática interna) para ver como eles agrupavam as línguas. É como observar um convidado na festa e ver ao lado de quem ele está parado. Se o modelo coloca o espanhol e o italiano próximos, mas os mantém longe do hindi, ele está mostrando que entende as conexões familiares sem nunca ter sido explicitamente ensinado.

A Descoberta: Os Modelos Têm um Mapa Secreto

A equipe testou 12 modelos de IA diferentes, variando de modelos mais antigos a outros mais novos e poderosos. Eles alimentaram os modelos com milhares de frases em 38 línguas diferentes. Depois, usaram um truque matemático especial para mapear como os modelos "sentiam" cada língua.

O resultado foi surpreendente e encantador: os modelos construíram acidentalmente um mapa que era quase idêntico à verdadeira árvore genealógica das línguas.

Assim como um genealogista desenhando uma árvore genealógica, os modelos naturalmente agruparam as línguas nas mesmas subfamílias: as línguas germânicas (como o inglês e o alemão) se amontoaram juntas; as línguas românicas (como o francês e o espanhol) formaram seu próprio círculo; e as línguas eslavas (como o russo e o polonês) mantiveram-se em seu próprio grupo. Os modelos não precisaram de um professor para dizer: "Estas são línguas românicas". Eles descobriram por conta própria apenas lendo os dados.

Por que Alguns Modelos São Melhores na Festa

Mas aqui está a reviravolta: nem todos os modelos são igualmente bons nisso. Os pesquisadores encontraram uma ligação direta entre o quão bem um modelo organizava seu mapa linguístico e o quão bem ele realmente desempenhava em um teste difícil chamado XNLI (um teste onde o modelo tem que adivinhar se uma frase prova, contradiz ou não tem relação com outra frase em uma língua diferente).

Pense nisso da seguinte forma: se um aluno tem um caderno bagunçado e desorganizado onde mistura todos os fatos de história, ele terá dificuldade em responder a uma pergunta de teste. Mas se o seu caderno estiver perfeitamente organizado por tópicos, ele poderá encontrar a resposta instantaneamente. O artigo descobriu que os modelos que organizavam seu "caderno de línguas" corretamente (mantendo línguas semelhantes próximas) eram muito melhores em resolver os problemas do teste.

Especificamente, os modelos que foram treinados com dados de muitas línguas diferentes (modelos multilíngues) fizeram um trabalho muito melhor em desenhar essa árvore genealógica do que os modelos treinados principalmente em inglês. É como se os modelos multilíngues tivessem um mapa maior e mais claro, enquanto os modelos focados apenas em inglês estivessem tentando navegar com um esboço borrado e incompleto.

A Armadilha do "Roteiro" e Outras Surpresas

Poder-se-ia supor que os modelos apenas agruparam as línguas pela forma como aparecem no papel (seu alfabeto ou escrita). Por exemplo, talvez eles achassem que o hindi e o urdu eram semelhantes apenas porque ambos usam a escrita Devanagari? O artigo diz que não. Embora a forma como as palavras são escritas (ortografia) tenha um pequeno efeito, não é a razão principal. Os modelos foram inteligentes o suficiente para ver que o hindi e o urdu são primos linguísticos, mesmo usando escritas diferentes, e que o persa (que usa uma escrita árabe) é na verdade relacionado às línguas do norte da Índia, não às árabes. Os modelos estavam olhando para a estrutura da língua, não apenas para a fonte.

No entanto, os modelos não eram perfeitos. Às vezes, eles ficavam um pouco confusos com línguas "órfãs" como o grego, o galês e o albanês. Em alguns modelos, o grego e o galês foram emparelhados de forma estranha, embora não sejam intimamente relacionados. Isso sugere que, embora os modelos sejam ótimos em ver o quadro geral, às vezes eles tropeçam nos ramos únicos e isolados da árvore genealógica.

Quando Eles Aprenderam Isso?

Os pesquisadores também observaram os modelos enquanto eles estavam sendo treinados, como observar um bebê aprendendo a andar. Eles descobriram que os modelos começaram a organizar as línguas nesses grupos familiares muito cedo em seu treinamento — após apenas 100 etapas de aprendizado. Isso sugere que descobrir "quem é relacionado a quem" é uma das primeiras coisas que um modelo de linguagem inteligente aprende, antes mesmo de entrar nos detalhes minuciosos de palavras específicas.

A Conclusão

Este artigo sugere que o segredo para o sucesso de um modelo de linguagem não é apenas memorizar mais palavras; é construir um bom mapa mental de como as línguas se relacionam entre si. Quando um modelo entende que o espanhol e o italiano são primos próximos, e que o inglês e o alemão são irmãos, ele se torna muito melhor em traduzir ideias de um para o outro.

Acontece que esses cérebros digitais são surpreendentemente bons em história. Eles não precisaram de um livro didático para aprender a árvore genealógica indo-europeia; eles só precisaram ler o mundo, e os padrões emergiram por conta própria. E quanto melhor eles ficam em desenhar esse mapa, melhor eles ficam em falar cada língua contida nele.

Resumo Técnico: Similaridade em Toda a Escala

Declaração do Problema
Embora os Grandes Modelos de Linguagem (LLMs) demonstrem capacidades impressionantes em diversas tarefas, sua habilidade de generalização — particularmente de forma multilíngue para línguas de baixos recursos fora do inglês — permanece pouco compreendida. Os modelos atuais frequentemente enfrentam dificuldades com línguas pouco atestadas nos dados de treinamento. O artigo postula que essa limitação decorre das estruturas representacionais aprendidas pelos LLMs. Baseando-se na ciência cognitiva, os autores argumentam que a generalização bem-sucedida depende da geometria subjacente dos espaços de similaridade (Shepard, 1957; Tenenbaum & Griffiths, 2001). Especificamente, o artigo investiga se os LLMs aprendem implicitamente as estruturas de similaridade hierárquica das línguas naturais (ex: a árvore genealógica indo-europeia) e se a fidelidade dessas estruturas aprendidas correlaciona-se com o desempenho de transferência translinguística.

Metodologia
O estudo analisa a geometria representacional de 12 LLMs através de cinco famílias (BERT, RoBERTa, mT5, XLM, e Pythia), incluindo variantes monolíngues e multilíngues.

Dados e Árvore de Referência: A análise foca em 38 línguas indo-europeias vivas através de cinco subfamílias (Românica, Germânica, Indo-Ariana, Eslava, Báltica) e línguas independentes. Uma "Árvore de Referência" é construída utilizando a árvore de Máxima Credibilidade de Clado (MCC) Bayesiana de Heggarty et al. (2023), que estima a similaridade hierárquica baseada em julgamentos de cognatos lexicais. Isso serve como a verdade fundamental (ground truth) para as relações linguísticas.
Extração de Representação: Para cada modelo, os autores estimam a densidade condicional das representações linguísticas no espaço de embeddings. Usando um estimador de densidade suave (Conklin, 2025), eles discretizam estados ocultos contínuos em um código (codebook) via softmax escalonado por temperatura. Isso gera uma distribuição condicional específica da língua $P(\hat{Z}|\text{língua})$ para cada camada.
Cálculo de Distância: Divergências de Jensen-Shannon (JS) pareadas são computadas entre as distribuições das línguas em todas as camadas para criar uma matriz de distância. O agrupamento UPGMA é aplicado a esta matriz para induzir um dendrograma que representa a estrutura de similaridade interna do modelo.
Métricas de Alinhamento: Três métricas são usadas para comparar o dendrograma induzido pelo modelo contra a Árvore de Referência:
- Correlação Cophenética (CC): Mede a preservação das relações de distância pareadas (ajuste global).
- Kernel de Caminho (Path Kernel): Mede caminhos compartilhados da raiz à folha, capturando o aninhamento hierárquico global (ex: pertencimento a subfamílias).
- Kernel de Subárvore (Subtree Kernel): Mede agrupamentos e topologias locais exatas (o teste mais rigoroso).
Correlação de Desempenho: Os escores de alinhamento são correlacionados com o desempenho do modelo no benchmark XNLI (Cross-lingual Natural Language Inference), que mede capacidades de transferência zero-shot.

Resultos Principais

Recuperação Implícita da Filogenia: Os LLMs recuperam implicitamente a estrutura hierárquica da família linguística indo-europeia. Os modelos agrupam línguas pertencentes à mesma subfamília (ex: Germânica, Românica) de forma próxima no espaço de representação sem supervisão explícita.
Correlação com o Desempenho: Existe uma correlação positiva significativa entre o grau em que a representação de um modelo se alinha com a Árvia de Referência e sua precisão no XNLI. Especificamente, a Correlação Cophenética ( $\rho=0,81$ ) e o Kernel de Caminho ( $\rho=0,79$ ) mostram fortes relações positivas com o desempenho. O Kernel de Subárvore não correlaciona significativamente ( $\rho=0,38$ ), sugerindo que capturar estruturas de subfamília amplas e de ordem superior é mais crítico para a generalização do que corresponder a relações de vizinho mais próximo exatas.
Impacto dos Dados de Treinamento: Modelos multilíngues (mBERT, XLM-Roberta) alinham-se significativamente melhor com a Árvore de Referência do que seus equivalentes monolíngues (BERT, RoBERTa), apesar de compartilharem arquiteturas idênticas.
Emergência Temporal: A análise de checkpoints do modelo Pythia revela que as estruturas de similaridade ao nível da língua começam a emergir cedo no pré-treinamento (por volta do passo de gradiente 100), alinhando-se com teorias de diferenciação progressiva onde distinções amplas são aprendidas antes de propriedades sutis.
Ortografia vs. Linguística: Embora a tokenização seja sensível ao alfabeto (ex: Cirílico vs. Latino), a parentela linguística permanece o sinal dominante. Por exemplo, Hindi e Urdu (alfabetos diferentes) são agrupados corretamente, enquanto o Persa (alfabeto Árabe) não migra para o cluster Semítico apesar da sobreposição de escrita.

Significância e Alegações
O artigo alega estender o framework teórico de generalização baseada em similaridade do nível de palavras e conceitos para o nível de línguas inteiras.

Extensão Teórica: Demonstra que a organização geométrica das representações, um princípio central na ciência cognitiva e em modelos conexionistas, escala para LLMs multilíngues.
Poder Preditivo: O estudo estabelece que a fidelidade da estrutura de similaridade linguística interna de um modelo é um preditor de sua capacidade de generalização translinguística. Modelos que representam línguas similares de forma similar generalizam melhor.
Mecanismo de Transferência: Os resultados sugerem que o desempenho multilíngue depende da habilidade do modelo de alinhar conceitos semânticos relacionados entre línguas ao recuperar a estrutura de similaridade hierárquica da família linguística, em vez de meramente compartilhar vocabulário.

Os autores mantêm um escopo modesto, observando que, embora os resultados sejam robustos para línguas indo-europeias, erros sistemáticos (como pareamentos inesperados de Grego e Galês) merecem investigação adicional. Eles não propõem novos algoritmos de treinamento, mas sim oferecem uma lente diagnóstica para entender como a geometria representacional impulsiona a generalização multilíngue.