💬 NLP

Exploring Language-Agnosticity in Function Vectors: A Case Study in Machine Translation

Este estudo demonstra que os vetores de função (FVs) extraídos de modelos de linguagem multilíngues exibem agnosticismo linguístico, permitindo que vetores de tradução aprendidos em inglês sejam transferidos com sucesso para melhorar a tradução em múltiplas línguas-alvo não vistas, inclusive em variantes instruídas e em diferentes níveis de granularidade.

Autores originais: Nurkhan Laiyk, Gerard I. Gállego, Javier Ferrando, Fajri Koto

Publicado 2026-04-22

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Nurkhan Laiyk, Gerard I. Gállego, Javier Ferrando, Fajri Koto

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que os Grandes Modelos de Linguagem (como o ChatGPT ou o Llama) são como cozinheiros mestres que conhecem receitas em dezenas de idiomas. Eles sabem cozinhar um "bolo" (fazer uma tarefa) em inglês, francês ou espanhol.

A pergunta que os autores deste estudo fizeram foi: Existe uma "receita mágica" universal dentro da mente desse cozinheiro que funciona para traduzir qualquer coisa, independentemente do idioma de destino?

Aqui está a explicação do artigo, traduzida para uma linguagem simples e com analogias do dia a dia:

1. O que são "Vetores de Função" (Function VVs)?

Pense em um vetor de função como um "adesivo de comando" ou um "botão de atalho".

Quando você ensina ao modelo uma tarefa (ex: "traduza esta palavra do inglês para o francês") usando alguns exemplos, o modelo cria uma representação matemática dessa tarefa.
Os pesquisadores pegam essa representação (o "adesivo") e a colam na "mente" do modelo (na sua camada de memória residual) durante a geração de texto.
O efeito: Assim que você cola esse adesivo, o modelo "pula" para o modo de tradução, mesmo sem você ter dito "traduza" novamente. É como se você desse um empurrãozinho na direção certa.

2. A Grande Descoberta: A "Tradução Universal"

O estudo testou se esse "adesivo de tradução" era específico para um par de idiomas (ex: só funcionava de Inglês para Francês) ou se era agnóstico ao idioma (funcionava para qualquer coisa).

A Analogia da Chave Mestra:
Imagine que você tem uma chave que abre a porta da cozinha para fazer um bolo.

O que eles esperavam: Que a chave só abrisse a porta "Inglês -> Francês".
O que eles descobriram: A chave é uma Chave Mestra. Eles pegaram um adesivo criado apenas para traduzir do Inglês para o Espanhol, colaram no modelo e... funcionou! O modelo começou a traduzir palavras do Inglês para o Francês, Alemão, Russo, Chinês e até Hindi com muito mais precisão.

Isso significa que, no "cérebro" do modelo, a lógica de "como traduzir" é compartilhada entre todos os idiomas. Não há um mecanismo separado para cada idioma; existe um centro de tradução universal.

3. Como eles provaram isso? (O Experimento)

Eles fizeram três testes principais:

O Teste do "Empurrão" (Melhoria): Eles pegaram palavras em inglês e viram onde o modelo ia colocar a resposta. Sem o adesivo, a resposta correta em Russo ou Japonês estava lá no fundo da lista (como um candidato esquecido). Com o adesivo, a resposta correta subiu para o topo da lista. O adesivo funcionou para idiomas que ele nunca "viu" durante o treinamento do adesivo.
O Teste da "Remoção" (Ablação): Eles fizeram o inverso. Pegaram o adesivo e apagaram essa parte da memória do modelo.
- Resultado: A tradução piorou em todos os idiomas, não apenas no original.
- Importante: O modelo continuou sendo inteligente em outras tarefas (como responder perguntas de lógica ou contar histórias). Isso prova que o adesivo não era apenas "memória geral", mas sim o motor específico de tradução.
O Teste da "Fábrica vs. Loja" (Transferência): Eles criaram o adesivo no modelo "puro" (base) e colaram no modelo "instruído" (que foi treinado para conversar). Funcionou! O conhecimento de tradução é robusto e transfere entre versões do modelo.

4. Palavras vs. Frases Completas

Eles testaram se isso funcionava apenas para palavras soltas (ex: "cachorro" -> "perro") ou para frases inteiras.

Palavras: Funcionou perfeitamente, como um farol guiando o modelo.
Frases: Funcionou, mas com menos precisão. É como se o adesivo dissesse "traduza o significado", mas o modelo ainda tivesse dificuldade em organizar a gramática complexa de uma frase inteira. É mais fácil traduzir uma palavra do que uma história completa sem errar a estrutura.

5. Conclusão Simples

Este estudo nos diz que, quando um modelo de IA aprende a traduzir, ele não cria uma "caixa de ferramentas" separada para cada idioma. Em vez disso, ele constrói um centro de comando de tradução que é compartilhado por todos.

Se você ensinar esse centro a funcionar bem em um idioma, ele automaticamente fica melhor em todos os outros. É como descobrir que, no cérebro humano, a capacidade de entender a ideia de "tradução" é a mesma, não importa se você está falando português ou mandarim.

Em resumo: A inteligência artificial tem um "superpoder" de tradução universal escondido dentro dela, e os pesquisadores aprenderam a ativar esse poder com um simples "adesivo" matemático, melhorando a comunicação entre idiomas que o modelo nunca viu juntos antes.

1. Problema e Motivação

O trabalho investiga se a aglossia (independência de idioma) observada em representações internas de Modelos de Linguagem Grandes (LLMs) multilíngues também se aplica aos Vetores de Função (Function Vectors - FVs).

Contexto: Estudos anteriores demonstraram que representações de conceitos, estruturas gramaticais e circuitos neurais em LLMs são frequentemente agnósticos ao idioma (ou seja, "o que é dito" é separado de "em qual idioma é dito").
Questão Central: Os Vetores de Função, que são representações compactas de tarefas extraídas de in-context learning (ICL) e injetadas no stream residual para induzir comportamentos, também compartilham essa propriedade? Especificamente, um FV extraído para traduzir do Inglês para um idioma X (ex: Francês) pode induzir traduções corretas para outros idiomas não vistos (ex: Russo, Japonês) sem re-treinamento?

2. Metodologia

Os autores utilizaram a tradução automática (MT) como caso de estudo para testar essa hipótese.

Modelos: Foram avaliados três LLMs decoder-only multilíngues de pequena escala:
- Gemma-2-2B
- Llama-3.2-3B
- Tiny Aya
Extração de FV:
- Foram utilizados prompts de ICL com pares de palavras (ex: Inglês $\to$ Francês).
- Para extrair o vetor, compararam-se prompts corretos com prompts "corrompidos" (onde os rótulos de tradução foram embaralhados).
- Utilizou-se activation patching para identificar os heads de atenção que causam o maior efeito causal indireto (CIE) na probabilidade do token de resposta correta.
- O FV é a soma das saídas médias condicionadas à tarefa desses heads selecionados.
Experimentos Principais:
1. Transferência Cross-Linguística: Extraíram FVs de direções específicas (ex: EN $\to$ FR) e os aplicaram para avaliar a tradução de palavras em inglês para múltiplos idiomas-alvo não vistos (espanhol, alemão, italiano, russo, árabe, chinês, japonês, hindi, etc.).
2. Análise de Heads: Verificaram a sobreposição dos heads de atenção selecionados entre diferentes direções de tradução.
3. Ablação: Removeram a projeção do FV do stream residual para medir a degradação na tradução.
4. Transferência de Base para Instrução: Testaram se FVs extraídos de modelos base funcionam em suas variantes ajustadas por instrução (instruction-tuned).
5. Generalização para Frases: Avaliaram a aplicação do FV em tradução de sentenças (usando o conjunto FLORES-200), medindo BLEU e XCOMET.

3. Contribuições Principais

Evidência de Aglossia em FVs: Demonstraram que FVs de tradução extraídos de uma única direção (Inglês $\to$ X) promovem traduções corretas em múltiplos idiomas-alvo, indicando que o vetor captura uma representação de tarefa compartilhada.
Análise de Mecanismos: Confirmaram que o efeito cross-linguístico é sustentado por uma alta sobreposição nos heads de atenção selecionados entre diferentes direções de tradução (6 a 8 dos 10 principais heads são compartilhados).
Robustez e Especificidade: Mostraram que a ablação do FV degrada a tradução em todos os idiomas, mas não afeta tarefas não relacionadas (como raciocínio ou QA), provando que o vetor captura um subespaço específico de tradução.
Generalização: Evidenciaram que FVs de modelos base transferem-se para modelos ajustados por instrução e possuem generalização parcial para o nível de sentença.

4. Resultados Chave

Ranking de Tokens: A intervenção com FV (extraído de EN $\to$ FR, por exemplo) aumentou consistentemente o ranking (diminuiu o rank) dos tokens de tradução corretos em idiomas como Russo, Japonês e Árabe, mesmo sem ter sido treinado nesses pares.
Camadas Intermediárias: Os efeitos positivos da injeção do FV e as degradações causadas pela ablação concentraram-se em uma faixa específica de camadas intermediárias do modelo, alinhando-se com trabalhos anteriores sobre circuitos de tradução.
Ablação Específica: A remoção do FV piorou a tradução em todos os idiomas testados, mas manteve a performance em benchmarks gerais (MMLU, ARC, etc.), confirmando que o vetor não é apenas um viés de ruído, mas um componente causal crítico para a tarefa de tradução.
Nível de Sentença: A intervenção em nível de sentença mostrou resultados mistos. O FV ajudou a manter a adequação semântica (XCOMET alto), mas a fluência e a sobreposição superficial (BLEU) foram menores em comparação com prompts de instrução explícitos, sugerindo que a tradução de sentenças exige planejamento composicional mais complexo que o vetor de palavra não captura totalmente.

5. Significado e Conclusão

Este trabalho estende o conceito de aglossia de representações estáticas e circuitos gramaticais para representações de tarefas dinâmicas (Vetores de Função).

Implicação Teórica: Sugere que LLMs multilíngues possuem um espaço conceitual unificado onde a "intenção de traduzir" é independente do idioma de destino. O mecanismo computacional para realizar a tradução é compartilhado, e o FV atua como uma chave para ativar esse mecanismo.
Implicação Prática: Permite controlar o comportamento de tradução em modelos multilíngues usando apenas um par de idiomas de treinamento, facilitando a adaptação para idiomas com poucos recursos (low-resource languages) sem a necessidade de dados de treinamento específicos para cada par.

Em resumo, o estudo prova que é possível "hackear" a capacidade de tradução de um modelo multilíngue de forma agnóstica ao idioma, manipulando apenas um vetor extraído de um único par de idiomas.