💬 NLP

No Optimal Language Set Exists for Multilingual Instruction Tuning: Insights from a Linguistically-Informed Study

Este artigo avalia sistematicamente estratégias de seleção de idiomas informadas linguisticamente para o ajuste fino de instrução multilíngue e conclui que não existe um conjunto de idiomas universalmente ótimo, uma vez que o desempenho é altamente dependente de tarefas e modelos específicos, com a adição de mais idiomas frequentemente desencadeando a maldição da multilinguidade.

Autores originais: Gürkan Soykan, Gözde Gül Şahin

Publicado 2026-07-28

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Gürkan Soykan, Gözde Gül Şahin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine o mundo da inteligência artificial como uma biblioteca enorme e faminta. Nos últimos anos, cientistas têm ensinado esses cérebros digitais a seguir instruções, não apenas em um idioma como o inglês, mas em dezenas ou até centenas. Isso é chamado de "ajuste de instrução multilíngue". Pense nisso como treinar um novo funcionário que precisa falar com clientes de todos os países da Terra. O objetivo é tornar o funcionário inteligente o suficiente para entender um pedido em francês, responder em suaíli e explicar uma piada em japonês, tudo isso sem se confundir.

No entanto, há um problema. A biblioteca tem um espaço limitado nas prateleiras (poder computacional) e uma quantidade limitada de tempo para treinar o funcionário. Se você tentar espremer cada um dos idiomas no cronograma de treinamento, o funcionário pode ficar sobrecarregado e começar a esquecer como falar qualquer um deles bem. Isso é conhecido como a "maldição da multilinguidade". Por causa disso, muitos pesquisadores se perguntaram: existe uma "receita mágica" para escolher o grupo perfeito de idiomas? Talvez se escolhermos idiomas que estejam geograficamente espalhados, ou que soem muito diferentes entre si, possamos criar um funcionário superinteligente que trabalhe perfeitamente para todos, em todos os lugares. É uma ideia esperançosa: encontrar a mistura perfeita e você terá o melhor IA possível.

Este artigo, intitulado "Não Existe um Conjunto de Idiomas Ótimo para Ajuste de Instrução Multilíngue", entra no laboratório para testar exatamente essa esperança. Os pesquisadores, Gürkan Soykan e Gözde Gül Şahin, prepararam uma série de experimentos para ver se conseguiam encontrar essa receita mágica. Eles pegaram três tipos diferentes de modelos de IA (pense neles como três estagiários diferentes com diferentes estilos de aprendizagem) e tentaram ensiná-los usando várias estratégias "linguisticamente informadas". Essas estratégias eram como diferentes formas de escolher uma equipe: uma equipe foi escolhida com base em onde os idiomas são falados em um mapa (Geografia), outra com base em como os idiomas são construídos gramaticalmente (Tipologia), e outras com base no quão semelhantes são seus significados ou como foram aprendidos por computadores. Eles compararam essas escolhas inteligentes contra uma escolha "aleatória" simples, como tirar nomes de um chapéu.

Os resultados foram um pouco de reviravolta na trama. Os autores descobriram que não existe um único "melhor" time de idiomas que vença sempre. Não é como encontrar uma chave universal que abre todas as portas. Em vez disso, a melhor escolha dependia inteiramente de qual modelo de IA específico você estava treinando e de qual tarefa específica você pedia a ele. Para um modelo, escolher idiomas baseados na geografia funcionou muito bem; para outro, escolher baseando-se na gramática foi melhor. Às vezes, as escolhas "inteligentes" tiveram um desempenho pior do que apenas escolher idiomas aleatoriamente!

O estudo também descobriu um limite rígido. Quando eles continuavam adicionando mais idiomas à mistura de treinamento, o desempenho da IA não continuava melhorando para sempre. Assim que atingiam um certo ponto — por volta de 13 ou 14 idiomas — o desempenho começava a cair. É como tentar comer em um buffet: os primeiros pratos são deliciosos, mas se você continuar empilhando mais comida no seu prato, eventualmente ficará cheio demais para aproveitar qualquer coisa. Isso confirmou a "maldição da multilinguidade": com uma quantidade fixa de tempo de treinamento, adicionar muitos idiomas prejudica a capacidade da IA de aprender todos eles bem.

Além disso, os pesquisadores descobriram que o que funciona para um modelo de IA pode ser terrível para outro. Uma estratégia que tornava um modelo mais inteligente poderia tornar um modelo diferente mais burro. Eles também notaram que, às vezes, ensinar a IA em apenas um idioma (como o vietnamita) era tão bom quanto, ou até melhor do que, ensinar em uma mistura de muitos idiomas, dependendo do modelo.

No fim, o artigo sugere que a busca por um único e perfeito "conjunto de idiomas ótimo" é um beco sem saída. Não existe uma solução única para todos. A melhor abordagem parece ser um pouco mais cautelosa: escolher um grupo diverso de cerca de 10 a 15 idiomas é geralmente uma aposta segura, mas você deve estar pronto para testar diferentes combinações para cada novo modelo e cada nova tarefa. Os autores alertam que simplesmente tirar a média das pontuações em diferentes testes pode ser enganoso, escondendo o fato de que uma estratégia pode ser ótima para um trabalho, mas terrível para outro. Portanto, embora não possamos encontrar uma receita mágica, sabemos que ser cuidadoso sobre como escolhemos nossos idiomas — e saber quando parar de adicionar mais — é a chave para construir uma IA multilíngue melhor e mais útil.

Resumo Técnico: Não Existe um Conjunto de Linguagens Ótimo para o Ajuste de Instrução Multilíngue

Declaração do Problema

O ajuste de instrução multilíngue (MIT - Multilingual Instruction Tuning) visa melhorar o desempenho cross-lingual de grandes modelos de linguagem (LLMs), mas enfrenta três desafios principais: a maldição da multilinguidade (onde o desempenho por idioma degrada à medida que a capacidade do modelo é dividida entre mais idiomas), a escassez de dados e os altos custos computacionais. Uma hipótese prevalecente sugere que a seleção cuidadosa de um subconjunto linguisticamente diverso de idiomas deveria gerar modelos universalmente superiores, que generalizam melhor entre tarefas e idiomas do que a seleção aleatória ou o ajuste monolíngue. No entanto, trabalhos anteriores não investigaram sistematicamente se estratégias de seleção informadas linguisticamente resultam em uma estratégia de MIT universalmente ótima sob orçamentos computacionais fixos.

Metodologia

Os autores conduzem uma avaliação sistemática de várias estratégias de seleção de idiomas contra um baseline aleatório em três famílias de modelos e cinco benchmarks multilingues.

Conjunto de Dados: O estudo utiliza o Bactrian-X, um conjunto de dados de instrução-resposta paralelo e multilingue contendo 3,4 milhões de pares de instrução-resposta em 52 idiomas.
Configuração Experimental:
- Controle de Orçamento: Seguindo Chen et al. (2023a), o orçamento total de treinamento é fixo em 67.000 instâncias por experimento. Para subconjuntos de 14 idiomas, isso equivale a aproximadamente 4.786 instâncias por idioma.
- Estratégias de Seleção: Os autores selecionam subconjuntos de 14 idiomas usando $k$ $k$ -means clustering ( $k=14$ $k = 14$ ) em diferentes espaços de características:
  - GEO: Vetores geográficos.
  - TYPO: Vetores tipológicos.
  - SEM: Embeddings de tipologia semântica.
  - LEARN: Vetores de linguagem aprendidos.
  - FAM: Um idioma por família linguística.
  - RND: Seleção aleatória (baseline).
  - ALL: Todos os 52 idiomas (usado para testar os limites do orçamento).
- Modelos: Três famílias de modelos são ajustadas por instrução usando LoRA:
  - mGPT-1.3B
  - mT5-XL-3.7B
  - BLOOM (variantes de 1.7B, 3B e 7B)
- Avaliação: Os modelos são avaliados zero-shot em cinco benchmarks: XNLI, PAWS-X, XCOPA, XStoryCloze e XWinograd.
- Rigor Estatístico: Cada configuração é executada com três sementes aleatórias. A significância é avaliada via testes t pareados, com tamanhos de efeito medidos pelo Cohen's $d_z$ .

Resultados Principais

1. Não Existe uma Estratégia Ótima Universal

A descoberta central é que nenhuma estratégia de seleção de idiomas única supera consistentemente as outras em todos os modelos e tarefas.

O desempenho é altamente dependente da tarefa e do modelo. Por exemplo, a estratégia GEO lidera para o BLOOM-7B no XStoryCloze, enquanto a TYPO alcança o melhor desempenho médio para o BLOOM-7B no geral, e a FAM apresenta o melhor desempenho médio para o mT5-xl, enquanto GEO ou TYPO lideram para o mGPT em tarefas de NLU.
Melhorias sobre o baseline aleatório (RND) são frequentemente não significativas estatisticamente. Ganhos significativos foram observados apenas em combinações específicas de modelo-tarefa (ex: GEO vs. RND para mGPT no XNLI), mas estes não se generalizaram.
Em algumas configurações, subconjuntos informados linguisticamente tiveram um desempenho significativamente inferior ao baseline aleatório, indicando que a seleção informada pode ser contraproducente.

2. A Maldição da Multilinguidade Reemerge

Aumentar o número de idiomas além de um limite modesto desencadeia a degradação do desempenho.

Para o BLOOM-7B, o desempenho atinge o pico com 13–14 idiomas e declina consistentemente à medida que o número de idiomas aumenta para 52 (a configuração "ALL").
A configuração "ALL" nunca alcançou o melhor desempenho médio para nenhum dos modelos testados, confirmando que, sob um orçamento computacional fixo, maximizar a contagem de idiomas é prejudicial.

3. Generalização Dependente do Modelo

A generalização cross-lingual para idiomas não vistos (idiomas presentes nos benchmarks, mas não no subconjunto de treinamento) varia significativamente conforme a arquitetura do modelo.

Embora subconjuntos informados linguisticamente tenham geralmente melhorado o modelo base para mGPT, mT5-xl e BLOOM-3B, os resultados divergiram para os modelos BLOOM maiores (7B), onde apenas dois dos cinco subconjuntos melhoraram em relação ao modelo base.
Isso sugere uma interação não trivial entre a composição do corpus de pré-treinamento e a seleção de subconjuntos; uma estratégia eficaz para a distribuição de pré-treinamento de um modelo pode ser prejudicial para outro.

4. Tamanho do Modelo e Competição Monolíngue

Efeitos de Escala: As classificações das estratégias mudam conforme a escala do modelo aumenta. Por exemplo, GEO se destaca nas escalas 3B e 7B, enquanto FAM começa forte em 1.7B, mas diminui. Nenhuma estratégia permanece uniformemente melhor à medida que a escala aumenta.
Monolíngue vs. Multilíngue: Em um estudo de caso sobre o vietnamita, o ajuste monolíngue (67k exemplos) ficou em primeiro lugar para o mT5 e em segundo para o mGPT, performando competitivamente com os melhores subconjuntos multilingues. Isso desafia a suposição de que subconjetos multilingues são sempre preferíveis.

5. O Papel da Sobreposição

O estudo analisa a sobreposição entre os corpora de pré-treinamento, os subconjetos de treinamento e os idiomas de avaliação.

O BLOOM possui uma pequena sobreposição entre seu corpus de pré-treinamento e os idiomas de avaliação do XNLI (8/15), e a maioria dos subconjuntos informados pontuou significativamente abaixo do baseline aleatório no XNLI para o BLOOM-7B.
O mGPT cobre 14/15 idiomas do XNLI no pré-treinamento, e os subconjuntos informados pontuaram significativamente mais alto ali.
No entanto, a sobreposição sozinha não dita os resultados; o GEO melhorou significativamente o XStoryCloze em ambos os modelos, apesar de compartilhar poucos idiomas de avaliação, sugerindo que os conjuntos de idiomas dos benchmarks mal se interceptam, tornando a otimalidade universal estruturalmente impossível.

Significância e Implicações

O artigo argumenta que o campo deve se afastar da busca por um conjunto de idiomas "tamanho único" ideal para o ajuste de instrução multilingue.

Aviso Metodológico: Relatar pontuações agregadas únicas através de tarefas e modelos é profundamente enganoso. Uma estratégia que parece superior no agregado pode ter um desempenho significativamente inferior em tarefas específicas (ex: FAM teve a melhor média para o mT5-xl, mas a pior pontuação no XNLI). Os autores instam a comunidade a relatar desmembramentos por tarefa e por modelo com intervalos de confiança e evitar generalizações excessivas a partir de benchmarks limitados.
Lição Prática: Embora não exista um ótimo universal, a seleção informada linguisticamente (particularmente GEO e TYPO) tende a ser um padrão mais seguro do que a seleção aleatória, especialmente em escalas de modelos maiores. Para praticantes, a chave é mirar em 10–15 idiomas linguisticamente diversos em vez de maximizar a contagem de idiomas, pois adicionar mais idiomas além deste limiar desencadeia a maldição da multilinguidade sob orçamentos fixos.
Resultados Negativos como Orientação: A ausência de um vencedor universal é atribuída a três fatores compostos: incompatibilidade do corpus de pré-treinamento, restrições de alinhamento tarefa-idioma e sensibilidade à semente (seed sensitivity). Essas descobertas alertam contra prescrições universais simples para a curadoria de dados de MIT e destacam a necessidade de avaliações específicas para cada tarefa e modelo com o devido reporte estatístico.

Os autores concluem que, embora a seleção informada linguisticamente geralmente supere a seleção aleatória na média, a complexidade das interações entre a arquitetura do modelo, os dados de pré-treinamento e os requisitos da tarefa impede a existência de um único conjunto de idiomas ideal para todos os cenários.