🤖 machine learning

When the Same Coefficients Reach Different Places: Asymmetric Realizability in Transplanting Tokenizers across Large Language Models

Este artigo identifica uma vulnerabilidade estrutural de "realizabilidade assimétrica" no transplante de tokenizadores entre grandes modelos de linguagem, onde vetores de coeficientes específicos podem ser projetados como "tokens quebra" que permanecem inativos no modelo doador, mas desencadeiam reconstruções de alta saliência no modelo base, evadindo assim verificações padrão de fusão de pesos e mitigações baseadas em LoRA.

Autores originais: Xiaoze Liu, Weichen Yu, Matt Fredrikson, Xiaoqian Wang, Jing Gao

Publicado 2026-05-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xiaoze Liu, Weichen Yu, Matt Fredrikson, Xiaoqian Wang, Jing Gao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: O Bug do "Tradutor Universal"

Imagine que você tem dois idiomas diferentes: Doador (o modelo de origem) e Base (o modelo de destino). Às vezes, os desenvolvedores querem combiná-los. Eles pegam uma palavra que existe apenas no dicionário do Doador e tentam "transplantá-la" para o dicionário da Base, para que a Base possa entendê-la.

Para fazer isso, eles usam um Tradutor (uma ferramenta como o mergekit). O Tradutor olha para a palavra do Doador e diz: "Ok, esta palavra é composta por 10% da Palavra A, 5% da Palavra B e 2% da Palavra C". Em seguida, ele pega essas porcentagens exatas (os coeficientes) e as aplica ao dicionário da Base para criar uma nova palavra.

A Descoberta do Artigo: Os pesquisadores encontraram uma falha oculta nesse processo de tradução. Como os dois dicionários (Doador e Base) são estruturados de forma diferente, o mesmo conjunto de porcentagens pode significar duas coisas completamente diferentes.

No dicionário do Doador, essas porcentagens podem somar uma palavra chata e invisível que ninguém nunca usa.
No dicionário da Base, essas mesmas porcentagens exatas podem somar uma palavra barulhenta e chamativa que o modelo adora dizer.

O artigo chama isso de "Realizabilidade Assimétrica". É como ter um código secreto que é silencioso em um quarto, mas grita em outro.

O Ataque: O "Token Fantasma"

Os pesquisadores demonstraram como um atacante poderia explorar isso. Eles criaram o que chamam de "Token Quebrador".

A Configuração: O atacante adiciona uma nova palavra falsa ao dicionário do modelo Doador.
O Truque: Eles elaboram cuidadosamente os "ingredientes" (o vetor de incorporação) dessa palavra falsa para que:
- No modelo Doador, os ingredientes sejam chatos. O modelo ignora completamente essa palavra. É como um fantasma que atravessa a mente do Doador sem deixar rastro.
- No modelo Base, após a "tradução" acontecer, esses mesmos ingredientes se tornam repentinamente um ímã. O modelo Base começa a dizer essa palavra falsa constantemente.

A Analogia: Imagine que você tem uma receita de bolo (o Doador). Você adiciona uma pitada de "pó invisível" à receita.

Quando você assa o bolo na Cozinha A (o Doador), o pó não faz nada. O bolo tem gosto normal.
Você envia a receita para a Cozinha B (a Base). Como a Cozinha B usa xícaras de medição e fornos diferentes, essa mesma "pitada de pó invisível" faz o bolo ficar vermelho brilhante e gritar "OLÁ!" toda vez que sai do forno.

O atacante não precisa hackear o modelo Base diretamente. Ele só precisa envenenar a receita do Doador, e o processo de "tradução" faz o resto.

O Que Este Token Quebrador Pode Fazer?

O artigo mostra três maneiras pelas quais essa "palavra fantasma" pode causar problemas, dependendo do nome que o atacante der a ela:

Degradação do Serviço (O Rádio Quebrado): Se o atacante nomear o token de algo que faz o modelo repetir a si mesmo, o modelo Base pode apenas gerar esse token repetidamente, recusando-se a responder a qualquer pergunta. É como um rádio preso em um único ruído estático.
Envenenamento da Reputação (O Insulto Oculto): O atacante pode fazer o modelo dizer algo ofensivo (como um insulto) escondido dentro de uma resposta normal e útil. O restante da resposta parece bom, mas essa única "palavra fantasma" arruína a reputação da empresa que usa o modelo.
Marca D'água Adversarial (A Assinatura Invisível): O atacante pode fazer o modelo anexar um código secreto (como [WM-8472]) a cada resposta. Isso permite que o atacante prove mais tarde: "Ei, este modelo está usando meu vocabulário roubado", sem que ninguém note que o código está lá.

Por Que Não Podemos Apenas Consertar Isso?

Os pesquisadores testaram maneiras comuns pelas quais as pessoas tentam limpar modelos de IA após mesclá-los e descobriram que esses métodos falham contra este ataque específico:

Ajuste Fino (Ensinar Novos Truques ao Modelo): Se você tentar reeducar o modelo Base para parar de dizer a palavra ruim, isso só funciona se você o treinar no exato mesmo tipo de perguntas que foram feitas durante o ataque. Se você fizer uma pergunta ligeiramente diferente (como um problema de matemática em vez de uma história), o modelo esquece a lição e começa a dizer a palavra ruim novamente.
Mesclagem com um Modelo Limpo: Se você misturar o modelo "envenenado" com um modelo "limpo" para diluir as partes ruins, o ataque sobrevive. A "palavra fantasma" está tão estruturalmente embutida na tradução que misturá-la com pesos limpos não a remove.
Filtros Espectrais (O Detector de Metais): As pessoas usam ferramentas para escanear modelos em busca de números "estranhos" que parecem ataques. Os pesquisadores descobriram que seus "tokens fantasmas" parecem perfeitamente normais para esses scanners. Eles se escondem à vista de todos, parecendo apenas uma palavra comum no dicionário do Doador.

A Conclusão

Este artigo revela uma fraqueza estrutural na maneira como combinamos modelos de IA hoje. Não é um bug em um modelo específico; é um problema fundamental com a matemática de "tradução" usada para combiná-los.

O Aviso: Se você está construindo produtos de IA misturando e combinando modelos de código aberto (uma prática comum atualmente), você pode estar importando inconscientemente "palavras fantasmas" de uma fonte maliciosa. Essas palavras permanecerão silenciosas na fonte, mas explodirão em ação no seu produto, e verificações de segurança padrão podem não detectá-las.

Os autores sugerem que precisamos de novas maneiras de verificar essas palavras "transplantadas" antes de permitirmos que entrem em nossos sistemas, porque as ferramentas atuais de "misturar e combinar" são confiáveis demais.

Resumo Técnico: Realizabilidade Assimétrica em Transplante de Tokenizadores

Declaração do Problema

O artigo aborda uma vulnerabilidade estrutural na cadeia de suprimentos de modelos de linguagem grandes (LLM) de pesos abertos, especificamente dentro dos pipelines de transplante de tokenizadores sem treinamento. À medida que os desenvolvedores passam a compor novos modelos cada vez mais frequentemente, mesclando checkpoints existentes (por exemplo, via mergekit), eles devem preencher as lacunas de vocabulário entre um modelo "doador" (fonte de novos tokens) e um modelo "base" (destinatário).

Os operadores de transplante mais avançados atuais (como OMP, CLP, WECHSEL e FOCUS) baseiam-se na reconstrução de base compartilhada. Esses métodos reconstróem o embedding de um token exclusivo do doador no espaço do modelo base, fazendo o seguinte:

Ajustando um conjunto esparsos de coeficientes ( $\beta$ ) para representar o token doador como uma soma ponderada de tokens "âncora" compartilhados no espaço de embedding do doador.
Reutilizando esses mesmos coeficientes para sintetizar o novo embedding no espaço do modelo base ( $\hat{x}_b = \Phi_b^\top \beta$ ).

Os autores identificam uma falha geométrica crítica: Realizabilidade Assimétrica. O mesmo vetor de coeficientes $\beta$ pode mapear para uma região de baixa energia e estatisticamente inerte no span de âncoras do doador, enquanto simultaneamente mapeia para uma região de alta saliência e alta probabilidade no span de âncoras do base. Essa lacuna permite que um atacante manipule os artefatos de vocabulário do doador para induzir comportamentos específicos e de alta frequência no modelo base, sem alterar os pesos internos do doador ou o código de transplante.

Metodologia

Os autores propõem um ataque de "token quebra" sem treinamento que explora essa assimetria geométrica. O ataque não requer acesso a gradientes do modelo base nem modificação dos pesos do transformador do doador.

1. Construção do Ataque

O atacante anexa um único novo token $\tau^*$ ao tokenizador do doador e elabora seu vetor de embedding $x_d(\tau^*)$ para satisfazer dois objetivos conflitantes:

Inércia do Doador: O token deve permanecer estatisticamente invisível no modelo do doador (baixa probabilidade de emissão). Isso é alcançado restringindo o embedding do token para que ele se situe nas direções de "baixa energia" da distribuição de estados ocultos do doador (especificamente, ortogonal às componentes principais da variação do doador, denotadas como subespaço $U$ ).
Saliência da Base: Após o transplante, o token deve se reconstruir em uma direção de alta saliência no modelo base. O atacante visa a média empírica dos estados ocultos da última camada do modelo base ( $\mu_{base}$ ) derivada de texto público.

2. Framework de Otimização

O atacante resolve um problema de otimização de objetivo duplo para encontrar os coeficientes ótimos $\alpha$ (ou diretamente o embedding $x_d$ ):
$\mathcal{L}(\theta) = \underbrace{\| \hat{x}_b(\theta) - \mu_{base} \|_2^2}_{\text{Saliência da Base}} + \lambda \underbrace{\| U x_d(\theta) \|_2^2}_{\text{Inércia do Doador}} + \rho R(\theta)$

Para OMP (Busca Ortogonal de Correspondência): O atacante utiliza uma estratégia de seleção de suporte gananciosa para escolher um subconjunto de âncoras compartilhadas $S$ e resolve para coeficientes $\alpha$ que minimizam a projeção do doador sobre $U$ enquanto maximizam o alinhamento com $\mu_{base}$ .
Para Operadores Diferenciáveis (CLP, WECHSEL, FOCUS): O atacante otimiza o embedding do doador diretamente usando descida de gradiente, simulando o mapa forward do operador específico durante a otimização.

3. Modos de Realização

O artigo demonstra que a forma superficial do token quebra é controlada pelo atacante. Dependendo da string escolhida, o ataque pode se manifestar como:

Degradação de Serviço: O token domina a geração, fazendo com que o modelo produza texto repetitivo e sem sentido.
Envenenamento de Reputação: O token (por exemplo, um insulto) é inserido esparsamente em cadeias de raciocínio que, de outra forma, seriam coerentes.
Marca D'água Adversarial: Uma tag covert é anexada às saídas, permitindo que o atacante rastreie o uso não autorizado do vocabulário comprometido.

Contribuições Principais

Identificação da Realizabilidade Assimétrica: O artigo caracteriza formalmente a propriedade geométrica onde a reconstrução de base compartilhada permite que um único vetor de coeficientes seja "silencioso" no espaço do doador, mas "alto" no espaço da base. Isso é provado por meio de análise de Decomposição em Valores Singulares Generalizada (GSVD) dos dicionários de âncoras emparelhados.
Construção de Token Quebra: Os autores fornecem um método concreto e sem treinamento para construir esses tokens. Eles demonstram que um único checkpoint de doador (por exemplo, Gemma-2-2B) pode ser armado para atacar 13 bases diferentes a jusante em cinco famílias de modelos (Llama, Mistral, Qwen, Gemma, SmolLM2), simplesmente anexando diferentes linhas de quebra para cada alvo.
Avaliação de Defesas:
- Filtros Espectrais: Detectores heurísticos padrão (como o Magikarp, que verifica colapso de norma ou alinhamento de lixo) falham em detectar tokens quebra porque os tokens são projetados para imitar a distribuição estatística de tokens naturais do doador (mimetismo espectral).
- Ajuste Fino LoRA: O ajuste fino LoRA pós-transplante suprime o ataque apenas em prompts que correspondem ao corpus de ajuste fino. Em prompts fora da distribuição (OOD), o ataque persiste com altas Taxas de Emissão de Sequência (SER).
- Mesclagem de Pesos: Mesclar a base atacada com um modelo de referência limpo não remove a direção plantada; o modelo mesclado herda a linha de embedding comprometida.

Resultados Experimentais

Os autores avaliaram seu método em 65 pares doador-base (incluindo um "clique leve" de 20 pares e um pool "escala padrão" de 65 pares) usando OMP, com validação cruzada de operadores em CLP, WECHSEL e FOCUS.

Assimetria: No clique leve, 13 de 20 pares alcançaram uma Taxa de Emissão de Sequência (SER) máxima de $\ge 0.2$ na base atacada, mantendo o SER do doador $\le 0.05$ . Vários pares alcançaram emissão perfeita (SER = 1.0) na base, permanecendo completamente silenciosos (SER = 0.0) no doador.
Preservação de Utilidade: Os modelos doadores corrigidos mantiveram suas pontuações de utilidade originais (por exemplo, MMLU, perplexidade Wikitext) em benchmarks padrão, confirmando o sigilo do ataque.
Alcance entre Modelos: Um único checkpoint de doador Gemma-2-2B atacou com sucesso 13 bases diferentes. O SER médio da base excedeu 0,99 em 8 dessas bases, enquanto o SER do doador permaneceu abaixo de 0,014.
Falha de Defesa: O ajuste fino LoRA padrão falhou em mitigar o ataque em distribuições OOD retidas (por exemplo, continuação WikiText), onde o SER permaneceu acima de 0,87 mesmo após o ajuste fino.

Significado e Alegações

O artigo afirma que a geometria de reutilização de coeficientes é um critério de design fundamental para operadores de transplante de tokenizadores que foi negligenciado. Os autores argumentam que:

Risco na Cadeia de Suprimentos: A cadeia de suprimentos de composição de pesos abertos é vulnerável a ataques "um-para-muitos", onde um único doador malicioso pode comprometer uma ampla gama de modelos a jusante sem exigir adaptação por vítima.
Limitações das Defesas Atuais: Heurísticas atuais de auditoria (filtros espectrais) e estratégias de mitigação post-hoc (LoRA, mesclagem de pesos) são insuficientes contra essa classe específica de ataques geométricos.
Chamada à Ação: Os autores propõem que futuros operadores de transplante devem incorporar validação do lado do destinatário das linhas sintetizadas (por exemplo, verificando realizabilidade assimétrica ou usando auditoria comportamental), em vez de depender exclusivamente da suposição de que a reutilização de coeficientes é benigna. Eles fornecem um diagnóstico concreto (energia de assimetria GSVD) para avaliar a robustez de novos operadores.

O trabalho não afirma quebrar as capacidades de raciocínio central dos modelos em geral, mas sim destaca um modo de falha estrutural específico na camada de interoperabilidade do ecossistema LLM que permite manipulação direcionada, persistente e sigilosa das saídas do modelo.