Language Steering for Multilingual In-Context Learning

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) demonstraram capacidades multilingues notáveis, mas persiste uma lacuna significativa de desempenho entre o inglês (e outras línguas de alto recurso) e línguas de baixo recurso em tarefas downstream.

• Desafio do Aprendizado em Contexto Multilingue (ICL): Em cenários onde as demonstrações (few-shot) são fornecidas em inglês (devido à disponibilidade de dados de alta qualidade), mas a consulta de teste está em uma língua alvo de baixo recurso, os modelos frequentemente falham em transferir o entendimento da tarefa e realizar o raciocínio corretamente.
• Hipótese Central: Os autores questionam se essa lacuna reflete uma limitação fundamental do modelo ou se o conhecimento multilingue já está codificado internamente, apenas aguardando ser ativado. Eles propõem que, se os modelos operam em um espaço semântico universal, a identidade da língua deve ocupar direções estruturadas e separáveis no espaço de ativação. Portanto, um simples deslocamento (offset) de ativação deveria ser suficiente para redirecionar o modelo para o modo da língua alvo, sem necessidade de re-treinamento.

2. Metodologia: Vetores de Língua (Language Vectors)

O artigo propõe uma abordagem livre de treinamento (training-free) chamada Language Steering. O método consiste em três etapas principais:

• Etapa 1: Extração de Estados Ocultos:

  • O modelo processa pares de exemplos paralelos (fonte/inglês e alvo/língua $L_t$) no formato de few-shot (perguntas e respostas concatenadas).
  • Os estados ocultos ($h$) são extraídos em uma camada específica $t$ do modelo para ambos os idiomas.
  • Utiliza-se mean-pooling (média) sobre todos os tokens de cada amostra para obter uma representação vetorial única por exemplo.

• Etapa 2: Cálculo do Vetor de Direção:

  • O Vetor de Língua $v(t)$ é computado offline como a média das diferenças de ativação entre as representações da língua alvo e da língua fonte:
    $$v(t) = \frac{1}{N} \sum_{i=1}^{N} (h^{L_t}_i(t) - h^{L_s}_i(t))$$
  • Este vetor captura a direção no espaço de ativação que transforma a representação do inglês para a representação da língua alvo.

• Etapa 3: Navegação (Steering) em Tempo de Inferência:

  • Durante a inferência, onde as demonstrações estão em inglês e a pergunta de teste está na língua alvo, o vetor pré-computado é adicionado aos estados ocultos em posições específicas do prompt.
  • A modificação é feita pela equação: $h'_p(t) = h_p(t) + \alpha \cdot v(t)$, onde $\alpha$ é um hiperparâmetro de escala.
  • Isso "navega" o modelo para padrões de raciocínio da língua alvo sem atualizar nenhum parâmetro do modelo.

3. Contribuições Principais

1. Introdução dos Vetores de Língua: Uma nova abordagem de navegação que estende trabalhos anteriores de activation steering para o cenário de ICL multilingue, focando na precisão da tarefa downstream em vez de apenas na fidelidade da língua de saída.
2. Avaliação Empírica Abrangente: Testes realizados em três conjuntos de dados (MGSM - raciocínio matemático, MSVAMP - problemas aritméticos, XNLI - inferência de linguagem natural), cobrindo 19 línguas e 3 modelos (Llama-3.1-8B, Qwen2.5-7B, Qwen2.5-14B).
3. Descoberta de Estrutura Linguística Interpretável: Demonstração de que os vetores codificam estrutura linguística genuína. Línguas relacionadas formam clusters apertados no espaço vetorial, e a distância euclidiana (norma L2) dos vetores reflete a distância tipológica e de escrita em relação ao inglês.
4. Transferência entre Tarefas: Evidência de que os vetores capturam representações agnósticas à tarefa (cross-lingual), permitindo que vetores computados em uma tarefa (ex: matemática) melhorem o desempenho em outra (ex: inferência), embora existam limitações em casos de incompatibilidade de tarefas.

4. Resultados

• Melhoria Consistente: O método superou consistentemente as linhas de base (baseline de fonte única e Multilingual Few-Shot) em todas as tarefas e línguas testadas.
• Desempenho em Raciocínio: As maiores melhorias foram observadas em tarefas de raciocínio estruturado (MGSM), com ganhos de precisão variando de 2,9% a 5,4% sobre a linha de base em modelos como o Llama-3.1-8B.
• Eficiência: O método não requer atualização de parâmetros, tornando-o prático para cenários de baixo recurso.
• Análise de Camadas: As camadas intermediárias (ex: camada 10 no Llama-8B) foram identificadas como as mais eficazes para a navegação, especialmente para tarefas de inferência de linguagem natural, enquanto camadas mais iniciais funcionaram melhor para raciocínio matemático.
• Validação de Estrutura: A análise de agrupamento hierárquico (clustering) dos vetores mostrou que línguas como Catalão e Galego, ou Hindi e Urdu, agrupam-se juntas, refletindo suas relações linguísticas reais, confirmando que o modelo aprende uma geometria linguística estruturada.

5. Significado e Conclusão

O trabalho valida a hipótese de que a identidade da língua em LLMs não é difusa, mas ocupa direções estruturadas e separáveis no espaço de ativação.

• Impacto Prático: Oferece uma solução eficiente e de baixo custo computacional para mitigar a lacuna de desempenho entre inglês e línguas de baixo recurso em cenários de in-context learning, sem a necessidade de dados de treinamento massivos ou fine-tuning.
• Impacto Teórico: Contribui para a interpretabilidade mecânica, sugerindo que o conhecimento multilingue está intrinsecamente disponível nos modelos e pode ser acessado através de intervenções simples no espaço vetorial.
• Limitações: A seleção de hiperparâmetros (camada e escala) ainda depende de um conjunto de validação por língua, e a transferência entre tarefas falhou em casos específicos (ex: vetores de matemática aplicados a inferência natural), indicando que algumas representações podem conter padrões específicos da tarefa que não são universais.

Em suma, o artigo demonstra que é possível "redirecionar" a mente de um modelo de IA para pensar em outra língua simplesmente adicionando um vetor matemático calculado a partir de exemplos paralelos, melhorando significativamente a equidade no acesso à tecnologia de linguagem.