💬 NLP

Disentangling Linguistic Relatedness from Task Alignment in Cross-Lingual Transfer

Este artigo demonstra que a transferência translinguística em grandes modelos de linguagem é impulsionada primariamente pelo alinhamento do formato da tarefa em vez da relação linguística, uma vez que os modelos apresentam melhorias uniformes entre famílias linguísticas, independentemente de seu desempenho basal ou do uso de raciocínio de cadeia de pensamento.

Autores originais: Ahmed Haj Ahmed, Ruochen Zhang, Alvin Grissom II

Publicado 2026-06-19

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Ahmed Haj Ahmed, Ruochen Zhang, Alvin Grissom II

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma equipe de sete estudantes diferentes (os modelos de IA), variando de um estudante de ensino médio brilhante, mas inexperiente, até um professor experiente. Você quer ver se ensinar a eles um assunto específico em Árabe os ajuda a se tornarem subitamente especialistas em responder perguntas em Hebraico, Amárico e Maltês (línguas relacionadas ao árabe), ou se isso apenas os ajuda a responder perguntas em Japonês, Coreano e Francês (línguas não relacionadas) com a mesma eficiência.

A grande descoberta dos pesquisadores foi: Ensinar Árabe a eles não transferiu magicamente o "conhecimento de Árabe" para as línguas relacionadas. Em vez disso, apenas os ensinou como fazer a prova.

Aqui está a divisão usando analogias simples:

1. A Configuração: O Teste da "Família de Línguas"

Os pesquisadores escolheram a família de línguas semíticas (Árabe, Hebraico, Amárico, Maltês) porque elas são como primas. Elas compartilham raízes familiares profundas, embora pareçam diferentes no papel (o Árabe e o Hebraico usam um sistema de escrita que é como um esqueleto de letras, o Amárico usa um sistema diferente e o Maltês usa o alfabeto latino padrão que usamos no inglês).

A ideia era: Se ensinarmos Árabe a um modelo, ele naturalmente melhorará no Hebraico ou no Amárico porque eles são "da família"?

2. O Experimento: Um "Curso Intensivo de Árabe"

Eles pegaram sete grandes modelos de IA e deram a eles um "curso intensivo" (ajuste fino/fine-tuning) usando apenas dialetos árabes. Eles não ensinaram nada sobre as outras línguas. Depois, testaram os modelos em compreensão de leitura com perguntas em todas as outras línguas sem treinamento adicional (zero-shot).

3. Os Resultados: Era Tudo Sobre "Habilidades de Fazer Prova"

Os resultados foram surpreendentes.

Os "Modelos Fracos" (Os Estudantes com Dificuldade): Os modelos que começaram indo mal (como os modelos GPT-OSS) tiveram um aumento massivo após o treinamento em Árabe. Eles saltaram de 45% de acertos para quase 80%.
- A Reviravolta: Eles melhoraram tanto em Japonês e Francês quanto em Hebraico e Amárico.
- A Analogia: Imagine um aluno que não sabe como preencher corretamente uma folha de respostas de marcar X. Você ensina a ele como preencher a folha usando um teste prático de Árabe. De repente, ele fica melhor em todos os testes, mesmo nos de Japonês, simplesmente porque finalmente aprendeu como marcar as bolinhas corretamente. Ele não aprendeu Japonês; ele aprendeu o formato.
Os "Modelos Fortes" (Os Melhores Alunos): Os modelos que já estavam indo muito bem (como o DeepSeek de 671 bilhões de parâmetros) mal melhoraram.
- A Analogia: Se um aluno já é um aluno nota A+ que sabe exatamente como preencher a folha de respostas, dar a ele mais prática na folha não ajuda muito. Eles já estavam calibrados.

4. A Prova do "Cadeia de Pensamento" (Chain-of-Thought)

Para provar que não se tratava de aprender novos fatos linguísticos, os pesquisadores tentaram um truque diferente: Cadeia de Pensamento (CoT). Em vez de retreinar os modelos, eles apenas pediram para eles "pensarem em voz alta" (escrever um passo de raciocínio) antes de responder.

O Resultado: Exatamente os mesmos modelos que melhoraram com o treinamento de Árabe também melhoraram com o "pensar em voz alta".
A Conclusão: Se o treinamento de Árabe tivesse transferido "conhecimento linguístico" (como regras gramaticais), o "pensar em voz alta" não deveria ter ajudado tanto. Mas como ambos os métodos ajudaram os mesmos modelos pela mesma quantidade, isso prova que o problema não era a falta de conhecimento. O problema era que os modelos não sabiam como alinhar suas respostas com o formato da prova.

5. O Mito do Sistema de Escrita

Os pesquisadores também verificaram se o sistema de escrita importava. Como o Árabe e o Hebraico ambos usam um sistema de escrita que parece um esqueleto de letras (abjad), eles pensaram que talvez o Hebraico recebesse um impulso especial.

A Realidade: O Hebraico não recebeu um impulso especial. A melhoria foi a mesma, independentemente de a língua usar o mesmo sistema de escrita que o Árabe ou um completamente diferente. A conexão da "árvore genealógica" não importou.

O Resumo Final

O artigo conclui que, quando vemos uma IA melhorar em uma língua após o treinamento em uma língua relacionada, não devemos assumir que é porque a IA "aprendeu a família linguística".

Em vez disso, a IA provavelmente estava apenas aprendendo as regras do jogo. Ela estava aprendendo como olhar para uma pergunta, processar as opções e escolher o número da resposta correta (1, 2, 3 ou 4). Uma vez que aprendeu esse "formato de jogo" usando o Árabe, ela pôde aplicar essa mesma habilidade a qualquer língua, fosse um primo (Hebraico) ou um estranho (Japonês).

Em resumo: Os modelos não aprenderam a falar Hebraico; eles aprenderam a fazer a prova.

Resumo Técnico: Desvendando a Relação Linguística da Alinhamento de Tarefas na Transferência Cross-Lingual

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham avançado em capacidades multilíngues, os mecanismos que impulsionam a transferência cross-lingual permanecem obscuros. Frequentemente assume-se que o ajuste fino (fine-tuning) de um modelo em uma língua de alto recurso (ex: árabe) gera ganhos de desempenho em línguas de baixo recurso linguisticamente relacionadas (ex: hebraico, amárico) devido a estruturas morfológicas ou sintáticas compartilhadas. No entanto, trabalhos anteriores sugerem que fatores como a escala do modelo e o ajuste de instrução (instruction tuning) isoladamente são insuficientes para explicar o comportamento de transferência, e a "maldição da multilinguidade" pode diluir o desempenho em modelos de capacidade fixa.

Este artigo investiga se os ganhos observados em compreensão de leitura zero-shot após o ajuste fino em árabe são impulsionados pela relação linguística (transferência de conhecimento específico das línguas semíticas) ou pelo alinhamento do formato da tarefa (aprender como estruturar saídas para a tarefa de avaliação). Os autores postulam que, se a transferência for linguística, os ganhos devem estar concentrados em línguas semíticas; se for baseada em alinhamento, os ganhos devem ser uniformes em todas as línguas, independentemente de família ou escrita.

Metodologia

Design Experimental

O estudo utiliza uma configuração controlada de transferência cross-lingual usando o benchmark Belebele, um conjunto de dados de compreensão de leitura de múltipla escolha massivamente paralelo que abrange mais de 120 línguas.

Língua de Origem: O ajuste fino é realizado exclusivamente em dialetos árabes (mesopotâmico, tunisiano, levantino do sul, levantino do norte, najdi e marroquino), totalizando 4.800 exemplos.
Línguas Alvo: A avaliação zero-shot é conduzida em:
- Alvos Semíticos: Hebraico, amárico, maltês.
- Controles Não-Semíticos: Japonês, coreano, francês.
Controle Estrito: O conjunto de dados utiliza identificadores de questões idênticos entre as línguas, garantindo que não haja sobreposição de conteúdo entre treino e teste, apenas de formato.

Modelos

Sete LLMs multilíngues foram avaliados, variando em escala (4B a 671B de parâmetros) e arquitetura:

Arquiteturas Densas: Qwen3-4B-Instruct, Qwen3-8B, Qwen3-8B-Base, Qwen3-32B.
Mistura de Especialistas (MoE): GPT-OSS-20B, GPT-OSS-120B, DeepSeek-V3.1 (671B).

Protocolo de Treinamento e Avaliação

Ajuste Fino (Fine-tuning): Ajuste fino supervisionado (SFT) usando LoRA (Rank 32) em dados de dialetos árabes. O formato de treinamento imita exatamente o prompt de avaliação (instrução em árabe, conteúdo na língua alvo, resposta de um único dígito). Nenhuma anotação de Cadeia de Pensamento (CoT) foi fornecida durante o treinamento.
Avaliação: A precisão zero-shot é medida via pontuação de logprob. O modelo é provocado com a passagem e a questão, seguido por "ANSWER: ", e a log-probabilidade dos tokens '1' através de '4' é computada. O dígito com a maior log-probabilidade é selecionado.
Estudo de Ablação: Uma ablação de raciocínio de Cadeia de Pensamento (CoT) foi realizada nos modelos de linha de base (não ajustados). Os modelos são solicitados a gerar um traço de raciocínio antes de pontuar a resposta, permitindo que os autores comparem os efeitos das atualizações de parâmetros (ajuste fino) contra o raciocínio em tempo de inferência.

Principais Contribuições

Estudo Cross-Lingual Controlado: Os autores apresentam um estudo rigoroso através da família semítica que varia conjuntamente a relação linguística, a escrita (Abjad, Abugida, Latim, CJK), a escala do modelo e a arquitetura (Densas vs. MoE) em dados paralelos.
Alinhamento do Formato da Tarefa vs. Transferência Linguística: O artigo demonstra que os ganhos de desempenho observados são atribuíveis ao alinhamento do formato da tarefa e não à transferência de família linguística. Uma análise de regressão controlando a precisão da linha de base mostra que as línguas semíticas não ganham mais do que os controles não-semíticos; de fato, elas ganham ligeiramente menos quando a precisão basal é contabilizada.
Ablação de Raciocínio CoT: Os autores introduzem uma ablação de CoT mostrando que os modelos que mais se beneficiam do ajuste fino são os mesmos que mais se beneficiam do raciocínio em tempo de inferência. Isso sugere que ambos os mecanismos abordam o mesmo déficit subjacente: calibração do formato da tarefa.

Resultados

1. Ganhos Uniformes Entre Famílias de Línguas

Modelos de Linha de Base Fracos (MoE): GPT-OSS-120B e GPT-OSS-20B mostraram melhorias dramáticas após o ajuste fino em árabe (ganhos médios de +33,5 pp e +22,0 pp, respectivamente). Crucialmente, esses ganhos foram uniformes em todas as línguas alvo. Para o GPT-OSS-120B, os ganhos em línguas não-semíticas (Francês +33,0 pp, Coreano +32,0 pp) foram comparáveis aos das línguas semíticas (Hebraico +44,0 pp, Maltês +41,0 pp).
Modelos de Linha de Base Fortes: DeepSeek-V3.1 (671B) e Qwen3-32B, que partiram de uma alta precisão basal, mostraram apenas melhorias marginais (+2,3 pp e +1,0 pp, respectivamente), independentemente da família linguística.
Modelos Densos Pequenos: Modelos como o Qwen3-8B mostraram transferência quase nula, com algumas línguas experimentando leve degradação, sugerindo que o ajuste fino LoRA em dados árabes forneceu sinal insuficiente para essas escalas.

2. Análise de Regressão

Uma análise de regressão dos ganhos de ajuste fino contra a precisão basal e um indicador binário "Semítico" revelou:

A precisão basal sozinha explicou ~48% da variância nos ganhos ( $R^2 = 0,479$ ).
A adição do indicador Semítico resultou em um coeficiente negativo ( $\beta_{Semítico} = -8,2$ pp), indicando que, após controlar a precisão basal, as línguas semíticas ganharam menos do que os controles não-semíticos. Isso contradiz a hipótese de transferência linguística.
A similaridade de escrita (Abjad vs. outros) também foi considerada não significativa para prever a transferência.

3. Ablação de Raciocínio

A ablação de CoT confirmou que os modelos que mais melhoraram com o ajuste fino (modelos GPT-OSS) também foram os que mais melhoraram com o raciocínio CoT.

GPT-OSS-120B ganhou +33,5 pp com ajuste fino e +41,0 pp com CoT.
GPT-OSS-20B ganhou +22,0 pp com ajuste fino e +22,8 pp com CoT.
Modelos fortes (DeepSeek-V3.1) viram ganhos negligenciáveis ou negativos com CoT.
Interpretação: Tanto o ajuste fino quanto o CoT compensam a falta de calibração do formato da tarefa. Modelos fracos possuem o conhecimento, mas falham em expressá-lo via pontuação direta de logprob; ambos os mecanismos ajudam a trazer esse conhecimento à superfície.

4. Calibração Distribucional

A análise das distribuições de logprob das escolhas de resposta mostrou que:

Modelos fracos exibiram alta entropia (incerteza) na linha de base. Tanto o ajuste fino quanto o CoT reduziram a entropia e aumentaram a massa de probabilidade na resposta correta ( $\Delta P^* > 0$ ).
Modelos fortes já possuíam distribuições agudas; o ajuste fino às vezes aumentou a entropia (difundindo a distribuição) sem melhorar a precisão, indicando um efeito de "esquecimento catastrófico" ou interferência em modelos bem calibrados.

Significância e Alegações

O artigo argumenta que o ajuste fino em árabe não induz a transferência cross-lingual específica para línguas semíticas no contexto de compreensão de leitura de múltipla escolha. Em vez disso, o principal mecanismo é o alinhamento do formato da tarefa.

Cautela Metodológica: Os autores afirmam que os ganhos observados em benchmarks multilíngues não devem ser atribuídos incriticamente à transferência de conhecimento cross-lingual sem controlar o alinhamento do formato da tarefa. O que parece ser "transferência" pode ser simplesmente o modelo aprendendo o formato de saída específico da tarefa de avaliação.
Implicações para Estratégias de Baixo Recurso: Profissionais que buscam melhorar o desempenho em línguas semíticas de baixo recurso via ajuste fino em árabe não devem esperar uma vantagem especial da relação de família linguística. A alavanca mais confiável é melhorar o alinhamento geral do formato da tarefa.
Arquitetura vs. Língua: O estudo sugere que o paradigma arquitetural (MoE vs. Denso) e a capacidade basal são preditores mais fortes dos benefícios de ajuste fino do que as propriedades linguísticas da língua alvo.

Os autores concluem que, para o paradigma específico de compreensão de leitura de múltipla escolha com pontuação de logprob, o gargalo para modelos mais fracos não é a falta de conhecimento linguístico, mas sim a falta de alinhamento com o formato da tarefa. Este achado inverte a narrativa do "imposto de alinhamento" (alignment tax), sugerindo que o alinhamento insuficiente do formato — e não a insuficiência de conhecimento — é a principal barreira para modelos mais fracos.