💬 NLP

Multilinguality of Large Language Models From a Structural Perspective

Este artigo investiga a multilinguidade de grandes modelos de linguagem por meio da análise estrutural representacional, revelando que línguas de baixos recursos são estruturalmente mais distintas do inglês do que as línguas de altos e médios recursos e que o pós-treinamento específico de cada língua modifica essas estruturas enquanto mantém as relações entre as línguas.

Autores originais: Haruki Sakajo, Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe

Publicado 2026-06-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Haruki Sakajo, Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um Modelo de Linguagem de Grande Escala (LLM) como uma enorme biblioteca de vários andares, onde cada livro representa uma língua diferente. Durante muito tempo, pesquisadores tentaram entender como essa biblioteca organiza seus livros. A maioria dos estudos anteriores olhava para a biblioteca examinando palavras individuais (ou "tokens") nas prateleiras, perguntando: "Quão semelhante é a palavra 'gato' em inglês à palavra 'gato' em japonês?"

Este artigo, no entanto, adota uma abordagem diferente. Em vez de olhar para palavras individuais, os autores olham para a estrutura completa da biblioteca em si. Eles perguntam: "Como o edifício inteiro está organizado? A seção de inglês e a seção de japonês parecem pertencer ao mesmo estilo arquitetônico ou foram construídas com plantas completamente diferentes?"

Aqui está uma análise de suas descobertas usando analogias simples:

1. O Problema de Apenas Olhar para as Palavras

Pense em um tokenizador (a ferramenta que divide o texto em palavras) como uma tesoura. Em inglês, a tesoura corta o texto em pedaços pequenos e organizados. Em outras línguas, a tesografia pode cortar o texto em blocos enormes ou em fragmentos minúsculos. Como as "peças" têm tamanhos diferentes, comparar palavra por palavra é como tentar comparar uma pilha de peças de Lego com uma pilha de areia. Você pode ver que ambos são "coisas", mas perde a visão geral de como são construídos.

2. A Nova Ferramenta: "Raio-X Estrutural"

Os autores usaram uma ferramenta chamada STRUCTLENS. Imagine isso como uma máquina de raio-X que não olha apenas para os tijolos, mas escaneia todo o esqueleto da biblioteca. Ela constrói uma "árvore genealógica" para cada língua, mostrando como as diferentes partes de uma frase se conectam umas às outras conforme o modelo as processa.

Eles mediram a distância entre essas árvores genealógicas. Se a árvore do inglês for muito semelhante à do alemão, a distância é pequena. Se a árvore do inglês não tiver nada a ver com a de uma língua de baixo recurso (como o Jinghpaw), a distância é enorme.

3. Descobertas Principais

A Divisão entre Línguas "Ricas" e "Pobres"
O estudo encontrou uma divisão clara na forma como a biblioteca é organizada:

Línguas de Alto e Médio Recurso (Os "Bairros Ricos"): Língas como alemão, japonês, chinês e indonésio são como bairros bem conectados. Embora sejam diferentes, a estrutura interna da biblioteca as trata de forma muito semelhante. Elas compartilham uma planta arquitetônica parecida.
Línguas de Baixo Recurso (As "Vilas Remotas"): Línguas com menos dados disponíveis (como o aranês, guarani e jinghpaw) são estruturalmente muito diferentes do inglês. Elas são como vilas remotas com um estilo de construção completamente diferente. Mesmo que o modelo consiga "lê-las", a forma interna como ele as processa é fundamentalmente distinta de como processa o inglês.

A Armadilha da "Similaridade de Cosseno"
Os autores descobriram que uma medida comum usada por cientistas (chamada "Similaridade de Cosseno") é como olhar para a cor média de uma pintura.

Se você misturar tinta vermelha e azul, a média pode parecer roxa.
Se você misturar vermelho e azul em uma proporção diferente, a média também pode parecer roxa.
A Armadilha: A visão "média" do modelo sobre o inglês e o japonês pode parecer muito semelhante (alta similaridade de cosseno), fazendo parecer que o modelo entende ambos igualmente bem.
A Realidade: A "Distância Estrutural" (o raio-X) revela que o padrão da tinta é totalmente diferente. O modelo está organizando as palavras japonesas em um padrão interno completamente diferente das palavras inglesas, mesmo que a "média" pareça a mesma.

O Efeito do "Treinamento Especializado" (Pós-treinamento)
Os pesquisadores também observaram o que acontece quando você pega um modelo geral e lhe dá treinamento extra específico para uma língua (como o japonês).

A Analogia: Imagine um empreiteiro geral que constrói casas para todos. Se você contratá-lo para construir um tipo específico de casa japonesa, ele ficará muito bom nos detalhes dessa casa (o telhado, as portas de correr).
A Descoberta: O modelo melhora no japonês, e a estrutura interna da seção japonesa torna-se mais refinada e única. No entanto, a distância entre a seção japonesa e a seção de inglês permanece exatamente a mesma. O modelo não mudou a forma como relaciona o japonês ao inglês; ele apenas poliu a seção japonesa em si.

Resumo

Em suma, este artigo argumenta que, para entender verdadeiramente como a IA lida com diferentes línguas, não podemos apenas contar palavras ou olhar para similaridades médias. Temos que olhar para o esqueleto estrutural de como a IA pensa.

Eles descobriram que:

Línguas familiares (muitos dados) compartilam uma "arquitetura" interna semelhante.
Línguas desconhecidas (poucos dados) possuem uma arquitetura interna totalmente diferente, mesmo que o modelo tecnicamente consiga lê-las.
O treinamento especializado melhora a estrutura interna de uma língua específica, mas não altera necessariamente como essa língua se relaciona com outras na mente do modelo.

Isso ajuda a entender que, embora os modelos de IA estejam se tornando multilíngues, eles ainda tratam as línguas "ricas" e "pobres" de formas fundamentalmente diferentes dentro de seus "cérebros".

Resumo Técnico: Multilinguidade de Grandes Modelos de Linguagem sob uma Perspectiva Estrutural

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado capacidades multilingues através de pré-treinamento em corpora multilingues e pós-treinamento contínuo, as análises existentes desta multilinguidade são predominantemente limitadas ao nível do token (ou subpalavra). Trabalhos anteriores utilizaram ferramentas como o Logit Lens para interpretar estados ocultos como símbolos ou analisaram a geometria das representações de tokens. No entanto, esta abordagem centrada no token falha em capturar as propriedades estruturais inerentes da linguagem, tais como diversas características morfossintáticas. Além disso, como os tokenizadores variam significativamente entre as línguas, a granularidade semântica das unidades mínimas processadas pelos LLMs é inconsistente, limitando a capacidade da análise de nível de token de compreender holisticamente como os LLMs representam e processam múltiplas línguas.

Metodologia

Para abordar estas limitações, este estudo propõe uma perspectiva estrutural sobre as representações multilingues, indo além da análise de nível de token para examinar a organização de sequências de entrada inteiras.

1. Análise Estrutural via STRUCTLENS
Os autores utilizam o STRUCTLENS (Sakajo et al., 2026), um método que deriva estruturas de árvores a partir de distâncias L2 pareadas entre representações de tokens dentro dos fluxos residuais de modelos Transformer.

Construção de Árvore Geradora (Spanning Tree): Para cada camada $\ell$ e língua, o método constrói uma árvore geradora máxima baseada na similaridade entre tokens. A matriz de adjacência $A$ é definida pelo inverso da distância L2 entre os estados ocultos $h^{(\ell)}_i$ e $h^{(\ell)}_j$ .
Medição de Distância Estrutural: Para comparar as estruturas internas de diferentes línguas, o estudo computa a Distância de Edição de Árvore (TED - Tree Edit Distance) entre as árvores geradoras de duas línguas. Esta distância é normalizada pelo maior comprimento de entrada para garantir uma comparação justa entre línguas com diferentes comprimentos de sequência de tokens. O custo de renomeação é definido como zero para focar estritamente em diferenças estruturais em vez de discrepâncias léxicas.

2. Configuração Experimental

Modelos: O estudo avalia tanto modelos multilingues pré-treinados (Gemma3 4B PT, Qwen3 8B Base) quanto um modelo monolingue centrado no inglês (Olmo3 7B Base). Inclui também modelos específicos de uma língua pós-treinados (Qwen3 Swallow 8B CPT para Japonês) para analisar os efeitos do pré-treinamento contínuo.
Línguas: Um conjunto diversificado de línguas é selecionado, incluindo línguas de alto/médio recurso (Inglês, Alemão, Japonês, Chinês, Indonésio) e de baixo recurso (Aranes, Guarani, Jinghpaw).
Datasets: Pares de frases de tradução paralela do FLORES+ e dados correspondentes de Jinghpaw são utilizados.
Métricas Comparativas: Para contextualizar as descobertas estruturais, o estudo também mede métricas não estruturais: Perplexidade, Desempenho de Tradução Automática (BLEU, chrF, TER), Similaridade de Cosseno de representações médias e distância L2.

Principais Contribuições e Resultados

1. A Distância Estrutural Revela Agrupamentos Baseados em Recursos
O estudo descobre que a distância estrutural (TED) distingue línguas com base na disponibilidade de recursos de formas que a similaridade de cosseno não faz.

Modelos Multilingues: Em modelos multilingues (Gemma3, Qwen3), línguas de alto e médio recurso formam um cluster com estruturas internas relativamente uniformes e baixa distância estrutural em relação ao Inglês. Em contraste, línguas de baixo recurso exibem distâncias estruturais significativamente maiores em relação ao Inglês.
Modelos Monolingues: O modelo monolingue Olmo3 7B Base mostra uma separação distinta entre o Inglês e todas as outras línguas, com altas distâncias estruturais em todo o espectro, refletindo o seu treino centrado no Inglês.
Contraste com a Similaridade de Cosseno: Enquanto a similaridade de cosseno entre o Inglês e outras línguas permanece alta e uniforme através das camadas nos modelos multilingues (sugerindo centros semânticos abstratos alinhados), a distância estrutural revela diferenças relacionais internas significativas. Isto indica que, embora o "centro" do espaço de representação possa estar alinhado, a topologia interna das relações entre tokens difere com base na familiaridade da língua.

2. Impacto do Pós-Treinamento Específico de uma Língua
O estudo investiga como o pós-treinamento específico de uma língua (pré-treinamento contínuo em dados da língua alvo) altera as estruturas do modelo.

Diferenciação da Língua Alvo: O pós-treinamento no Japonês (Qwen3 Swallow 8B CPT) altera significativamente a distância estrutural interna do Japonês, tornando-o distinto do seu estado pré-treinado.
Preservação de Relações Inter-línguas: Crucialmente, enquanto a estrutura interna da língua alvo muda, a distância estrutural entre línguas (por exemplo, entre Inglês e Japonês, ou Inglês e Chinês) permanece amplamente invariante. Isto sugere que o pós-treinamento refina a organização interna específica da língua sem interromper as relações estruturais mais amplas estabelecidas durante o pré-treinamento.

3. Influência de Características Linguísticas
Entre as línguas de baixo recurso, a distância estrutural correlaciona-se com a similaridade linguística com o Inglês. O Aranes, que é tipologicamente mais próximo do Inglês, exibe uma distância estrutural menor do que o Jinghpaw, que é mais distante. Isto sugere que a similaridade linguística facilita o alinhamento estrutural no espaço de representação, mesmo para línguas de baixo recurso.

Significância e Alegações

O artigo afirma que uma perspectiva de estrutura de representação fornece medidas distintas de similaridade linguística que não são capturadas pelas métricas convencionais de nível de token ou baseadas em centroides.

Visão Holística: As descobertas demonstram que os LLMs organizam sequências de entrada de acordo com padrões estruturais específicos de cada língua que evoluem através das camadas Transformer.
Familiaridade vs. Desfamiliaridade: A distância estrutural serve como uma métrica de "familiaridade" do modelo. Os modelos multilingues exibem alta similaridade estrutural entre línguas familiares (alto recurso), mas divergem significativamente para línguas não familiares (baixo recurso).
Mecanismo de Adaptação: O estudo revela que o pós-treinamento específico de uma língua opera modificando a organização estrutural interna da língua alvo, preservando as relações estruturais globais entre as línguas.

Os autores concluem que esta perspectiva estrutural é essencial para compreender como os LLMs processam múltiplas línguas, destacando que os modelos distinguem entre línguas familiares e não familiares através da sua organização estrutural interna, e que o pós-treinamento permite a melhoria do desempenho em línguas específicas sem apagar as relações multilingues aprendidas durante o pré-treinamento.