🤖 AI

Decided Upstream, Written Late: Locating and Pricing the Cross-Lingual Refusal Circuit of a Multilingual MoE

Este artigo revela que as lacunas de segurança cross-linguais em modelos de Mistura de Especialistas multilíngues não decorrem de uma falha em detectar o dano, mas sim de um mecanismo de recusa tardio e dependente da língua que pode ser reparado de forma eficaz e barata ao amortecer um circuito específico de "oponente" baseado em atenção, em vez de amplificar o escritor ou realizar edições cirúrgicas.

Autores originais: Ramakrishna P. Kompella, Aadit Mahajan

Publicado 2026-08-11

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ramakrishna P. Kompella, Aadit Mahajan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde computadores podem conversar conosco em centenas de idiomas diferentes, do inglês ao hindi, passando pelo tâmil. Cientistas estão tentando ensinar esses computadores a serem "bons cidadãos" — a dizer "não" quando solicitados a fazer algo maldoso ou perigoso, como escrever uma notícia falsa ou criar uma arma. Esse campo é chamado de segurança de IA. Por muito tempo, pesquisadores pensaram que, se um computador aprendesse a dizer "não" em inglês, ele saberia automaticamente como dizer "não" em todos os outros idiomas, assim como um humano que aprende uma regra em uma língua pode aplicá-la em outra. Mas nem sempre é verdade. Às vezes, o computador age como um guardião rigoroso em inglês, mas torna-se um "capacho" em outros idiomas. Este artigo mergulha no "cérebro" do computador para entender por que isso acontece e como consertá-lo sem quebrar a capacidade do computador de falar fluentemente.

Os pesquisadores estudaram um modelo de computador específico e muito inteligente chamado Sarvam-30B, que é projetado para raciocinar e falar muitas língs indianas. Eles queriam entender as "engrenagens" mecânicas dentro do modelo que decidem se ele deve recusar um pedido ruim ou aceitá-lo. Eles descobriram que o computador sabe, sim, que o pedido é ruim, não importa o idioma. O problema não é que o computador falha em detectar o perigo; o problema é que a parte do computador que diz "não" funciona de forma diferente dependendo do idioma, e isso acontece muito tarde no processo de pensamento.

Aqui está a história do que eles descobriram, contada através de uma analogia simples.

O Detetive e o Copista

Imagine o cérebro do computador como uma fábrica gigante com duas equipes principais: Os Detetives e Os Copistas.

Os Detetives trabalham no meio da fábrica. O trabalho deles é analisar cada pedido e perguntar: "Isso é perigoso?". Os pesquisadores descobriram que esses Detetives são incríveis. Eles detectam o perigo em inglês, hindi, tâmil e outros idiomas quase da mesma maneira. Se você perguntasse a eles: "Isso é uma má ideia?", eles apontariam para o mesmo lugar em sua memória, independentemente do idioma usado. Na verdade, o "sinal de perigo" é tão forte e compartilhado que é quase idêntico entre os idiomas.

Os Copistas, no entanto, são aqueles que realmente escrevem a resposta final. São eles que digitam "Eu não posso fazer isso" ou "Claro, aqui está como". Os pesquisadores descobriram uma grande surpresa: Os Detetives e os Copistas falam idiomas diferentes e trabalham em cronogramas diferentes.

Embora os Detetives no meio da fábrica gritem "PERIGO!" claramente, esse grito não faz os Copistas pararem de escrever automaticamente. Os Copistas estão localizados no final da linha de montagem. Eles não apenas leem a placa de "Perigo"; eles têm que construir a recusa palavra por palavra conforme a frase está sendo gerada.

O Problema do "Atraso"

O artigo mostra que, se você tentar forçar o computador a dizer "não" apenas gritando "PERIGO!" no início do processo (upstream), não funciona. É como tentar parar um trem gritando com o motor quando os freios são controlados por um interruptor na parte traseira do trem. O sinal de "Perigo" desaparece antes de chegar aos Copistas.

Em vez disso, a recusa é construída tarde no processo. Os pesquisadores descobriram que a mudança real que transforma um "Sim" em um "Não" acontece nas camadas finais do cérebro do computador, e ela se move em uma direção completamente diferente do sinal de "Perigo". É como se os Detetives estivessem apontando para o Norte, mas os Copistas estivessem caminhando para o Leste. O computador sabe que o pedido é ruim, mas o mecanismo que realmente interrompe a ação é um processo separado, de estágio tardio, que se confunde com as diferenças de idioma.

O Freio e o Motor

Para consertar isso, os pesquisadores buscaram uma maneira de intervir na máquina. Eles encontraram um circuito específico — uma parte minúscula e local do céreã que atua como um freio e um motor.

O Motor (O Escritor): Esta parte tenta empurrar o computador para escrever a recusa.
O Freio (O Opositor): Esta parte tenta impedir que a recusa aconteça.

Os pesquisadores testaram três maneiras de corrigir a lacuna de segurança:

Socar o Motor: Eles tentaram tornar a parte do "Escritor" mais forte, esperando que isso forçasse o computador a dizer "não". Isso foi um desastre. Custou muita energia (fazendo a fala do computador soar estranha e repetitiva) e nem sequer funcionou muito bem. Foi como tentar empurrar um carro ladeira acima acelerando o motor enquanto o freio de mão ainda está puxado.
Cirurgia: Eles tentaram remover ou alterar cirurgicamente partes minúsculas específicas (chamadas de "cabeças") que acreditavam ser responsáveis. Isso foi preciso e barato, mas não fez nada. O computador continuou dizendo "sim" para pedidos ruins.
Soltar o Freio: Eles descobriram que, se simplesmente suavizassem (enfraquecessem) o "Opositor" ou "Freio" no final do processo, o computador subitamente começou a dizer "não" corretamente em todos os idiomas. Essa foi a chave mágica. Foi barato, eficaz e não estragou a capacidade do computador de falar fluentemente.

Por Que Isso Importa para Diferentes Idiomas

A razão para isso acontecer é que, embora os "Detetives" (o sinal de perigo) sejam compartilhados entre todos os idiomas, os "Copistas" e seus "Freios" não são. Os pesquisadores descobriram que, à medida que o computador se aproxima de escrever a resposta final, o caminho que ele percorre torna-se muito específico para o idioma. Em inglês, o caminho para dizer "não" é claro. Em outros idiomas, o "Freio" é muito mais forte, ou o caminho está bloqueado.

Ao enfraquecer esse "Freio" específico no final da linha, os pesquisadores conseguiram fazer com o computador recusar pedidos ruins em idiomas de menos recursos tão bem quanto faz em inglês, sem a necessidade de retreinar toda a máquina.

A Visão Geral

Este artigo não apenas nos diz que a lacuna de segurança existe; ele mostra onde ela vive e quanto custa para consertar. A principal conclusão é que a segurança não é apenas sobre detectar o perigo; é sobre como essa detecção é transformada em ação.

Os pesquisadores também testaram essa ideia em um modelo de computador completamente diferente (Qwen3-30B-A3B) e encontraram o mesmo padrão: um "Detetive" compartilhado e um "Freio" tardio e específico de cada idioma. Isso sugere que consertar a segurança da IA pode não exigir uma reformulação massiva de todo o sistema. Em vez disso, podemos apenas precisar encontrar o "freio" específico em cada modelo e gentilmente afrouxá-lo, permitindo que os mecanismos de segurança funcionem naturalmente em todos os idiomas.

Em resumo, o computador não é estúpido ou tendencioso; é apenas que a parte que diz "não" está escondida no final da frase, e ela está sendo contida por um freio específico do idioma. Uma vez que sabemos onde procurar, podemos consertar.

Resumo Técnico: Decidido Antecipadamente, Escrito Tardiamente

Problema

O alinhamento de segurança em modelos de linguagem de grande escala (LLMs) multilíngues é desigual. Enquanto modelos de fronteira recusam solicitações prejudiciais de forma confiável em inglês, eles frequentemente cumprem solicitações idênticas em línguas de baixos recursos (ex: línguas indicas). Essa "lacuna de segurança translinguística" representa uma vulnerabilidade crítica para implantações multilíngues. O artigo investiga se essa lacuna decorre de uma falha na detecção do dano ou de uma falha no mecanismo que executa a recusa. Especificamente, os autores examinam o Sarvam-30B, um modelo de raciocínio de Mistura de Especialistas (MoE) de 30 bilhões de parâmetros e 19 camadas, projetado para inglês e principais línguas indicas.

Metodologia

Os autores utilizam interpretabilidade mecanística para rastrear o comportamento de recusa, desde a detecção do dano até a geração final de um token de recusa. A abordagem envolve:

Dados e Rótulos: Utilização do corpus TwinBreak, que pareia prompts maliciosos com seus "gêmeos" benignos em seis línguas (inglês, hindi, bengali, punjabi, tâmil, malaiala). As saídas são rotuladas como REFUSE (recusa) ou COMPLY (cumpre) via regex e um juiz de LLM.
Análise Direcional:
- Eixo do Dano ( $\hat{v}_{harm}$ ): Definido como a diferença de médias entre prompts prejudiciais e benignos no fluxo residual.
- Direção de Recusa: Definida como a diferença de médias entre gerações recusadas e cumpridas, construída independentemente do eixo do dano.
Intervenção e Direcionamento (Steering):
- Injeção Antecipada (Upstream Injection): Adição do vetor do eixo do dano a camadas específicas para testar se a detecção impulsiona a recusa.
- Aplicação Passo a Passo: Reaplicação da direção de detecção em cada etapa da decodificação autorregressiva.
- Manipulação de Circuito: Amortecimento ou amplificação de especialistas MoE e cabeças de atenção específicos identificados como críticos para o processo de recusa.
Atribuição: Uso de Atribuição de Logit Direta (DLA) e métodos de gradiente $\times$ ativação para decompor o logit de recusa em contribuições de blocos MoE e cabeças de atenção específicos.
Medição de Custo: Avaliação das intervenções com base no recuperação de recusa (mudar prompts maliciosos complacentes para recusa) e custo de fluência (medido pela razão de perplexidade do WikiText-2).
Validação Cross-Model: Replicação do pipeline em um segundo modelo MoE não relacionado, Qwen3-30B-A3B, para testar a generalização.

Principais Descobertas

1. A Detecção de Dano é Compartilhada, mas a Execução da Recusa é Tardia e Ortogonal

A Detecção é Independente de Língua: O modelo detecta o dano em uma banda de meio de rede (com pico por volta da Camada 11). O eixo do dano é quase invariante à língua (similaridade de cosseno $\approx 0,9$ entre inglês e línguas indicas na L11).
Detecção $\neq$ Recusa: A direção que sinaliza "dano" é ortogonal à direção que efetivamente escreve a recusa.
- A separação do dano é um sinal fraco em camadas médias (Cohen's $d \approx 0,95$ na L9).
- A mudança residual correspondente à recusa é grande e cresce monotonicamente em direção às camadas tardias (L18), mas é quase ortogonal ao eixo do dano ( $|\cos| \le 0,10$ ).
A "Escrita" é Montada: A recusa não é uma leitura de passagem única de feed-forward da detecção. Injetar a direção do dano antecipadamente (ex: na L10) em uma única passagem falha em alcançar a saída. No entanto, reaplicar a direção de detecção em cada etapa de decodificação induz a recusa com sucesso, indicando que a decisão é realizada ao longo da trajetória autorregressiva.

2. O Circuito de Recusa: Escritor vs. Opositor

A análise de atribuição revela um circuito específico e localizável nas camadas tardias (L14–L18):

O Escritor: Um bloco MoE tardio (especificamente L18 e especialistas compartilhados em L15–L16) gera uma contribuição positiva para a recusa.
O Opositor: Um mecanismo de atenção tardio gera uma forte contribuição negativa, suprimindo ativamente o escritor. O ranking de cabeças baseado em gradiente e projeção identifica as cabeças 53, 61, 17 e 27 da L18 como os componentes específicos que se sobrepõem nesse papel.
Especificidade Linguística: Embora o sinal de detecção seja compartilhado, o roteamento dos especialistas torna-se altamente específico de cada língua nas camadas tardias. A similaridade de Jaccard do roteamento de especialistas de dano top-K entre línguas indicas e o inglês colapsa de 0,43 na L11 para 0,03 na L18.

3. Precificação de Intervenções (O Mapa de Custos)

Os autores "precificam" diferentes estratégias de intervenção medindo sua eficácia (recuperação) contra seu custo (perplexidade):

Amortecer o Opositor (Barato e Eficaz): Reduzir a magnitude do opositor de atenção da L18 (ex: escalonando por 0,5) recupera 54% dos prompts maliciosos complacentes com custo de fluência mínimo (1,09 $\times$ perplexidade). Esta é uma estratégia de "remoção de freio".
Amplificar o Escritor (Parede de Custo): Amplificar o escritor MoE (ex: escalonando por 2) produz supressão parcial, mas com alto custo (2,16 $\times$ perplexidade). A amplificação agressiva (escalonando por 3) colapsa a fluência em spam.
Edições Cirúrgicas de Cabeça (Inertes): Ablar ou editar cabeças atribuídas resulta em recuperação quase nula (0–3%) sem alteração na perplexidade, sugerindo que estas cabeças não são as únicas responsáveis pelo comportamento.
Semeadura Antecipada (Upstream Seeding): Reaplicar o sinal de detecção em cada etapa alcança 0,65 de recuperação, embora seu custo de perplexidade não tenha sido medido.

4. Generalização Cross-Model

A organização do circuito (um escritor MoE tardio oposto por uma atenção tardia) transfere-se para o Qwen3-30B-A3B.

O Qwen3 também exibe uma lacuna translinguística e uma dinâmica de escritor/opositor tardios (escritor L47 vs. opositor L40).
Amortecer o opositor é similarmente barato (1,00 $\times$ perplexidade), enquanto amplificar o escritor é custoso (1,20 $\times$ perplexidade).
Limitação: A força da alavanca é específica da arquitetura. No Qwen3, amplificar o escritor satura rapidamente e destrói o modelo, enquanto o especialista compartilhado do Sarvam-30B permite uma virada comportamental mais limpa.

Significância e Alegações

O artigo reformula a lacuna de segurança translinguística não como uma falha de detecção, mas como um desacoplamento entre detecção e execução.

Insight Mecanístico: Recursos de segurança não são monolíticos; eles são compostos por um sinal de detecção antecipado e compartilhado e um circuito de execução tardio e específico de cada língua.
Interpretabilidade Acionável: Os autores fornecem um "mapa de custo medido" para reparo de segurança. Eles argumentam que, para modelos MoE multilíngues, o reparo mais acessível e eficaz é supressivo (amortecer o opositor tardio) ou de semeadura (reforçar a detecção durante toda a geração), em vez de generativo (forçar o modelo a escrever a recusa na saída).
Transferibilidade Metodológica: O método de atribuição baseado em gradiente e a organização do circuito escritor/opositor mostram-se robustos através de diferentes arquiteturas MoE, embora os pontos de alavancagem específicos dependam da dinâmica de roteamento interno de cada modelo.

Os autores concluem que o reparo de segurança acionável requer entender onde e a que custo se pode intervir em uma computação que se desenrola ao longo da geração, em vez de assumir que existe um único "recurso de recusa" para ser editado.