A Universal Vibe? Finding and Controlling Language-Agnostic Informal Register with SAEs

Título: Uma Vibração Universal? Encontrando e Controlando o Registro Informal Agnóstico à Linguagem com SAEs

1. O Problema: A "Lacuna de Registro" (Register Gap)

Embora os Grandes Modelos de Linguagem (LLMs) multilíngues tenham dominado a sintaxe e a recuperação de fatos entre idiomas, eles enfrentam dificuldades significativas ao processar registros pragmáticos específicos da cultura, como gírias e linguagem informal.

• A Lacuna: Os modelos são treinados e alinhados predominantemente em texto padrão e editado, criando uma "lacuna de registro". Eles frequentemente falham ao interpretar a linguagem dinâmica e dependente do contexto usada na interação humana real.
• A Questão Central: Quando um LLM encontra um registro informal em culturas diversas, ele processa cada instância como uma memorização isolada e específica da língua (superficial), ou constrói uma abstração unificada e agnóstica à linguagem de "interação humana casual"?
• Risco: A incapacidade de entender o registro informal pode levar a respostas descalibradas e vulnerabilidades de segurança, onde intenções nocivas são disfarçadas por linguagem casual.

2. Metodologia

Os autores investigaram o modelo Gemma-2-9B-IT utilizando Autoencoders Esparsos (SAEs) para dissecar as representações internas do modelo.

• Conjunto de Dados Inovador: Para isolar o processamento do registro pragmático de vieses lexicais triviais (ex: detectar informalidade apenas pela presença de uma palavra específica), criaram um novo dataset multilíngue (Inglês, Hebraico e Russo).
  • Controle Lexical Rigoroso: Cada termo alvo no dataset é polisêmico, aparecendo tanto em seu sentido literal (padrão) quanto em seu sentido de gíria (informal). Isso força o modelo a resolver o registro exclusivamente com base no contexto pragmático, e não na identidade da palavra.
• Extração de Características (SAEs):
  • Utilizaram SAEs pré-treinados para decompor as ativações neurais densas em uma base esparsa e interpretável.
  • Analisaram as ativações nas camadas 9 (média) e 20 (profunda) do modelo.
  • Calcularam a frequência diferencial de ativação ($\Delta_i$) para cada característica, comparando contextos de gíria vs. literal.
• Análise Geométrica e Causal:
  • Identificaram um "núcleo" de características compartilhadas entre as três línguas.
  • Realizaram Direcionamento de Ativação (Activation Steering): injetaram vetores derivados dessas características no fluxo residual do modelo durante a geração para testar se poderiam alterar causalmente a formalidade do texto.
  • Testaram a transferência zero-shot em seis línguas não vistas durante a extração de características (Alemão, Japonês, Hindi, Tailandês, Georgiano e Amárico).

3. Principais Contribuições

1. Métodológica: Introdução de um dataset controlado lexicalmente com termos polisêmicos em três línguas tipologicamente diversas para isolar o registro pragmático.
2. Observacional: Identificação de um "subespaço de registro informal" geometricamente coerente e agnóstico à linguagem dentro do espaço latente do SAE. Este subespaço torna-se mais definido e coeso nas camadas mais profundas do modelo.
3. Causal: Demonstração de que essas características latentes compartilhadas causam a mudança na formalidade da geração. O direcionamento dessas características altera o registro de saída em todas as línguas de origem e transfere-se zero-shot para línguas totalmente novas.

4. Resultados Chave

• Estrutura Híbrida: A maior parte do sinal de registro informal é distribuída em características específicas de cada língua. No entanto, existe um núcleo pequeno, mas robusto e compartilhado (9 características na camada 20) que aparece consistentemente em Inglês, Hebraico e Russo.
• Coerência Geométrica: As características compartilhadas não são apenas uma sobreposição estatística; elas formam um "agrupamento" (ou "ilha") denso e coerente no espaço do decodificador do SAE. Essa coerência geométrica aumenta significativamente nas camadas mais profundas (Camada 20).
• Controle Causal e Transferência Zero-Shot:
  • Ao direcionar (steer) o modelo com o vetor médio dessas características compartilhadas, foi possível modular sistematicamente a formalidade da saída.
  • Correlação Negativa: Um coeficiente de direção positivo (apontando para o registro informal) reduziu consistentemente a pontuação de formalidade em todas as línguas testadas.
  • Generalização: O controle transferiu-se eficazmente para seis línguas não vistas (incluindo famílias linguísticas distantes como Japonês e Amárico), provando que o modelo internalizou o conceito de informalidade como uma abstração pragmática portátil, e não apenas como gírias traduzidas do inglês.
• Qualidade de Geração: O texto gerado manteve-se coerente (baixa perplexidade) e preservou a língua alvo em mais de 92% dos casos, evitando a troca indesejada para o inglês, mesmo com direcionamento forte.

5. Significado e Implicações

• Evidência Mecanística: Este é o primeiro estudo a fornecer evidência mecânica de que LLMs multilíngues internalizam o registro informal não como heurísticas de superfície ou memorizações desconectadas, mas como uma abstração pragmática universal.
• Arquitetura de Representação: Sugere que, além de fatos e sintaxe, os modelos também constroem subespaços compartilhados para conceitos sociolinguísticos complexos e culturalmente idiossincráticos.
• Aplicações Futuras:
  • Segurança: Melhorar a detecção de intenções nocivas disfarçadas em linguagem casual.
  • Sociolinguística Computacional: Fornecer ferramentas quantitativas para mapear deslocamentos de registro em diversas línguas.
  • Interpretabilidade: Oferecer um ponto de partida para circuitos de registro informal agnósticos à linguagem, permitindo intervenções mais precisas no comportamento do modelo.

Limitações Notadas: O estudo focou em um único modelo (Gemma-2-9B-IT) e em camadas específicas. Além disso, houve uma leve tendência de viés em direção ao inglês no espaço de projeção de vocabulário, sugerindo que o "subespaço universal" pode funcionar parcialmente como um hub ancorado no inglês, embora a transferência zero-shot tenha sido bem-sucedida.

Em suma, o artigo demonstra que a "vibração" informal é, de fato, uma representação latente unificada e controlável dentro dos modelos de linguagem modernos.