Language steering in latent space to mitigate unintended code-switching

1. O Problema

Os Modelos de Linguagem Grandes (LLMs) multilíngues frequentemente exibem alternância de código não intencional (unintended code-switching). Isso ocorre quando o modelo gera tokens em um idioma diferente do solicitado, mesmo diante de instruções monolíngues explícitas.

• Impacto: Essa falha reduz a confiabilidade em tarefas downstream, degrada a experiência do usuário (ex.: um chatbot de atendimento ao cliente que muda para inglês no meio de uma resposta em espanhol) e pode ser explorada para contornar filtros de segurança.
• Limitações das Soluções Atuais: As abordagens existentes geralmente exigem fine-tuning custoso, intervenções complexas no tempo de decodificação que aumentam a latência, ou engenharia de prompts frágil.

2. Metodologia Proposta

Os autores propõem uma técnica leve de direcionamento de linguagem no espaço latente (latent-space language steering), que opera durante a inferência sem necessidade de fine-tuning do modelo.

Principais Etapas:

1. Identificação de Direções de Linguagem (PCA):

   • Utiliza um pequeno corpus paralelo (traduções de conceitos idênticos entre idiomas) para extrair estados ocultos (hidden states) do modelo.
   • Aplica Análise de Componentes Principais (PCA) nas representações de cada camada.
   • Descoberta Chave: A identidade da linguagem concentra-se principalmente nas camadas finais do modelo. O primeiro componente principal (PC1) captura a maior parte da variância e atua como um eixo linear separando os idiomas, enquanto a semântica permanece preservada em subespaços ortogonais.

2. Direcionamento (Steering):

   • Durante a geração, para cada token nas camadas finais (ex.: camadas 27-28 em modelos de 28 camadas), o vetor de representação é projetado e ajustado.
   • Fórmula: $\tilde{h}^{(\ell)}_t = h^{(\ell)}_t - s \cdot (h^{(\ell)}_t \cdot v^{(\ell)}) v^{(\ell)}$
     • Onde $v^{(\ell)}$ é o vetor do componente principal (direção da linguagem) e $s$ é um coeficiente de força.
   • O método remove ou "empurra" ativamente a representação para longe da direção do idioma indesejado (geralmente o inglês, devido ao viés de treinamento), forçando o modelo a manter o idioma alvo.

3. Calibração:

   • Requer apenas dados paralelos mínimos para calibração.
   • O coeficiente $s$ é otimizado via busca em grade (grid search) para minimizar a divergência da distribuição de tokens ou métricas de alternância de código.

3. Contribuições Principais

• Método Leve: Uma técnica de inferência com custo computacional negligenciável (apenas um produto escalar e subtração de vetores por token).
• Classificador Quase Perfeito: Demonstração de que um classificador logístico simples, baseado apenas no PC1 das camadas finais, atinge 95-99% de precisão na identificação de idiomas.
• Validação Empírica: Testes extensivos em modelos Qwen2.5-1.5B e Llama-3.2-1B em múltiplos pares de idiomas (Inglês, Espanhol, Russo, Chinês e Hindi).
• Análise Geométrica: Evidência de que a identidade linguística cristaliza-se nas camadas finais com separabilidade linear quase perfeita, ocupando subespaços ortogonais à semântica.
• Código Aberto: Liberação de código e dados para facilitar pesquisas futuras.

4. Resultados

Os experimentos demonstraram eficácia significativa tanto em análises distribucionais quanto na geração de texto:

• Precisão de Classificação: O classificador baseado em PCA atingiu precisão de 0,96 a 1,00 em todos os pares de idiomas testados.
• Redução de Divergência Distribucional:
  • Redução de até 55% na divergência KL (Kullback-Leibler) entre a distribuição de tokens do modelo direcionado e a linha de base monolíngue.
  • Aumento significativo na sobreposição de tokens de alta probabilidade (Top-50) com o idioma alvo.
• Avaliação Baseada em Geração (Llama-3.2):
  • Redução de 63% a 99% no Code-Switching Index (CSI) em textos gerados.
  • O modelo conseguiu gerar texto coerente no idioma alvo, eliminando a alternância indesejada.
• Desempenho por Par de Idiomas:
  • Pares tipologicamente distantes (ex.: Inglês-Chinês) apresentaram os melhores resultados.
  • Pares mais próximos ou com desafios de tokenização (ex.: Inglês-Hindi) mostraram menor melhoria, indicando limitações na reconstrução linear completa.

5. Significado e Limitações

Significado:

O trabalho prova que a identidade linguística em LLMs multilíngues é uma propriedade geométrica explícita e linearmente acessível no espaço latente. Isso oferece uma alternativa viável e barata ao fine-tuning para controle de idioma, permitindo intervenções precisas sem re-treinar o modelo.

Limitações e Trade-offs:

• Fragilidade dos Coeficientes: Os coeficientes de direcionamento são altamente sensíveis. Valores agressivos (necessários para eliminar totalmente a alternância) podem levar a degeneração da geração, causando repetições ou padrões de texto sem sentido. Existe um trade-off claro entre controle de idioma e fluência.
• Reconstrução Incompleta: A projeção linear não consegue reconstruir perfeitamente a distribuição monolíngue original (deixando um gap de divergência), sugerindo interações não lineares entre linguagem e semântica.
• Escopo de Avaliação:
  • Limitado a modelos pequenos (1-1.5B parâmetros).
  • Dados de teste artificiais (alternância forçada no meio da frase) podem não refletir a complexidade da alternância natural.
  • Foco em pares de idiomas específicos (principalmente Indo-europeus e Chinês), com desempenho inferior em Hindi.
• Direção Unidirecional: A avaliação focou em direcionar para o inglês. O direcionamento bidirecional ou multilíngue simultâneo ainda é trabalho futuro.

Conclusão

O artigo estabelece que o controle de identidade linguística em LLMs pode ser alcançado de forma eficiente através da manipulação de vetores no espaço latente. Embora existam desafios relacionados à fluência e à sensibilidade dos parâmetros, a abordagem abre caminho para ferramentas de inferência leves que garantem a consistência linguística em sistemas multilíngues.