💻 computer science

CNT: Safety-oriented Function Reuse across LLMs via Cross-Model Neuron Transfer

O artigo apresenta o Cross-Model Neuron Transfer (CNT), um método pós-treinamento que reutiliza funcionalidades de segurança transferindo um subconjunto mínimo de neurônios de modelos LLM doadores para modelos-alvo, permitindo a adaptação modular de segurança com desempenho preservado e superando métodos existentes.

Autores originais: Yue Zhao, Yujia Gong, Ruigang Liang, Shenchen Zhu, Kai Chen, Xuejing Yuan, Wangjun Zhang

Publicado 2026-03-20

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yue Zhao, Yujia Gong, Ruigang Liang, Shenchen Zhu, Kai Chen, Xuejing Yuan, Wangjun Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que os Grandes Modelos de Linguagem (LLMs), como o ChatGPT ou o Llama, são como cozinheiros extremamente talentosos, mas que foram treinados em cozinhas diferentes. Alguns são ótimos em fazer sobremesas seguras, outros são mestres em cozinhar pratos picantes, e alguns podem até ter aprendido receitas perigosas sem querer.

O problema é que, às vezes, precisamos mudar o "cardápio" de segurança desse cozinheiro depois que ele já foi contratado. Se ele aprendeu a fazer algo perigoso, queremos tirar essa habilidade. Se ele não sabe recusar pedidos ruins, queremos ensinar essa habilidade. Tradicionalmente, para fazer isso, teríamos que demitir o cozinheiro, contratar um novo e treiná-lo do zero (o que é caro e demorado) ou tentar reescrever a memória dele com força bruta (o que pode bagunçar tudo).

Este artigo apresenta uma solução inteligente chamada CNT (Transferência de Neurônios entre Modelos). Pense nisso como uma cirurgia de transplante de órgãos, mas para a inteligência artificial.

A Analogia da "Cadeira de Rodas" e o "Transplante"

Aqui está como o CNT funciona, passo a passo, usando uma linguagem simples:

1. O Problema: A "Doença" ou a "Falta de Habilidade"
Imagine que você tem um cozinheiro (o modelo de destino) que, por acidente, aprendeu a fazer um prato venenoso (uma falha de segurança) ou não sabe dizer "não" para pedidos perigosos. Você não quer reescrever todo o livro de receitas dele do zero.

2. A Solução: Encontrar um "Doador" Compatível
O CNT olha para a vasta biblioteca de cozinheiros de código aberto (modelos gratuitos) e procura um "doador" que seja muito parecido com o seu cozinheiro, mas que tenha a habilidade que você precisa (ou que não tenha a habilidade ruim).

Analogia: É como procurar um doador de rim que tenha o mesmo tipo sanguíneo. O CNT usa uma métrica chamada "Taxa de Rejeição Neuronal" para garantir que o "órgão" (os neurônios) não será rejeitado pelo corpo do modelo.

3. A Cirurgia: O Transplante de "Neurônios" (Pequenos Trechos de Código)
Em vez de trocar o cérebro inteiro do cozinheiro, o CNT faz algo muito mais preciso: ele identifica apenas algumas poucas células cerebrais (neurônios) responsáveis por aquela habilidade específica.

Adição de Função: Se o cozinheiro não sabe recusar pedidos perigosos, o CNT pega os "neurônios de recusa" de um modelo seguro e os "enxerta" no modelo inseguro.
Remoção de Função: Se o cozinheiro sabe fazer algo perigoso, o CNT pega neurônios de um modelo que não sabe fazer isso e os substitui nos neurônios perigosos do seu modelo, "apagando" a habilidade ruim.

4. A Magia: "Células de Contra-Ação"
Aqui está a parte mais interessante. O artigo descobre que, ao invés de apenas apagar (pruning) os neurônios ruins (o que pode deixar o cérebro do cozinheiro "mudo" ou confuso), o CNT substitui esses neurônios por outros que fazem o oposto.

Analogia: Imagine que o cozinheiro tem um botão que diz "Fazer Prato Venenoso".
- Método antigo (Pruning): Você arranca o botão. O cozinheiro fica confuso e às vezes ainda tenta fazer o prato, mas de um jeito estranho e quebrado.
- Método CNT: Você troca o botão "Fazer Veneno" por um botão "Recusar com Polidez". O cozinheiro agora sabe exatamente o que fazer quando alguém pede algo perigoso: ele diz "Não posso fazer isso" de forma clara e educada, sem quebrar o resto da conversa.

Por que isso é revolucionário?

Sem Treinamento Novo: Você não precisa gastar meses treinando o modelo com novos dados. É como se você pegasse um manual de instruções pronto de um modelo amigo e colasse apenas a página certa no seu.
Precisão Cirúrgica: O CNT transfere apenas uma fração minúscula do modelo (menos de 0,24% do peso total). É como trocar apenas algumas peças de um relógio para consertá-lo, sem precisar refazer todo o mecanismo.
Funciona em Tudo: O teste mostrou que isso funciona tanto para remover preconceitos (racismo, sexismo) quanto para adicionar segurança, e funciona em modelos de tamanhos e arquiteturas diferentes.

Resumo Final

Pense no CNT como um "Canivete Suíço" para a segurança da IA. Em vez de reconstruir a casa inteira porque uma janela está quebrada, você vai até o vizinho, pega o vidro exato que falta, ajusta a moldura e instala. A casa continua funcionando perfeitamente, mas agora está segura novamente, sem precisar de uma reforma completa.

Os autores provaram que essa técnica é rápida, barata e muito mais eficaz do que os métodos antigos, permitindo que a comunidade de IA adapte modelos rapidamente a novas regras de segurança sem perder a inteligência original deles.

Título: CNT: Reutilização de Funções Orientadas à Segurança entre LLMs via Transferência de Neurônios Cruzada

1. Problema

A rápida evolução e implantação de Grandes Modelos de Linguagem (LLMs) criaram uma necessidade urgente de métodos post-hoc (pós-treinamento) para adaptar modelos a requisitos de segurança em mudança. No entanto, as abordagens atuais apresentam limitações significativas:

Ajuste Fino (Fine-tuning): Requer a coleta de grandes conjuntos de dados supervisionados e treinamento computacionalmente caro.
Edição de Conhecimento: Foca principalmente em corrigir fatos ou memórias internas, não sendo eficaz para adicionar ou remover funcionalidades complexas.
Fusão de Modelos: Geralmente opera no nível do modelo inteiro, dificultando a reutilização seletiva de funcionalidades específicas de modelos de código aberto.

Existe uma lacuna na capacidade de reutilizar funcionalidades de segurança existentes de modelos de código aberto para outros modelos sem necessidade de retreinamento ou coleta de dados, especialmente para cenários onde dados supervisionados são escassos ou indisponíveis.

2. Metodologia: Cross-Model Neuron Transfer (CNT)

O CNT é um método post-hoc que transfere um subconjunto mínimo de neurônios (pesos) de um modelo doador (donor) para um modelo receptor (recipient), permitindo a adição ou remoção de funcionalidades de segurança.

O processo envolve quatro componentes principais:

A. Seleção do Modelo Doador (NTRR)

Para garantir a compatibilidade, o CNT introduz a Taxa de Rejeição de Transferência Neural (NTRR).

Calcula-se a divergência KL entre as distribuições de vocabulário do modelo receptor e versões do receptor com pesos aleatoriamente substituídos pelo doador.
Uma NTRR baixa indica alta compatibilidade entre as arquiteturas e espaços de características, guiando a seleção do melhor doador.

B. Construção de Solicitações de Sonda de Baixo Ruído

Para localizar os neurônios responsáveis por uma função específica (ex: alinhamento de segurança), o método utiliza pares de solicitações:

F-req (Com Função): Prompt que ativa fortemente a função alvo no modelo doador.
Fl-req (Sem Função): Prompt gerado para manter a mesma estrutura, contexto e tópico do F-req, mas sem ativar a função alvo.
Objetivo: Minimizar variações de ativação irrelevantes, isolando apenas as diferenças causadas pela função de interesse, o que melhora a precisão da atribuição entre modelos.

C. Atribuição de Lacuna Funcional via Caminho (Path-wise Function Gap Attribution)

Como os modelos são treinados independentemente, não há um caminho de gradiente contínuo entre eles. O CNT resolve isso usando Integração de Caminho:

Cria-se um caminho de interpolação linear virtual entre os pesos do receptor ( $\theta_r$ ) e do doador ( $\theta_d$ ).
Calcula-se a contribuição de cada peso para a diferença funcional ao longo desse caminho, gerando uma pontuação de atribuição para cada peso.
Isso permite identificar quais pesos específicos no doador são responsáveis pela funcionalidade que falta (ou é indesejada) no receptor.

D. Transferência de Pesos

Adição de Função: Pesos do doador (que possuem a funcionalidade de segurança) são transferidos para o receptor para adicionar a capacidade.
Remoção de Função: Pesos de um doador que não possui a funcionalidade indesejada (ex: um modelo não alinhado) são transferidos para suprimir a funcionalidade no receptor.
Apenas uma fração mínima de pesos (tipicamente 0,012% a 0,24%) é transferida, preservando a utilidade geral do modelo.

3. Contribuições Principais

Novo Paradigma de Reutilização: Propõe o CNT como um framework que permite a reutilização de funcionalidades de segurança entre LLMs sem necessidade de dados supervisionados ou retreinamento.
Mecanismo de Adição e Remoção: Diferente de métodos de edição que apenas corrigem, o CNT suporta tanto a injeção de novas capacidades quanto a supressão de comportamentos indesejados.
Validação Extensiva: O método foi testado em 7 LLMs populares (incluindo arquiteturas densas e MoE, como Llama, Mistral, Yi e DeepSeek) e 3 cenários de aplicação: desalinhamento de segurança, aprimoramento de alinhamento e remoção de viés.
Eficiência e Precisão: Demonstra que a transferência de uma fração ínfima de pesos pode alterar comportamentos complexos de segurança com degradação mínima de desempenho geral.

4. Resultados Experimentais

Os resultados mostram que o CNT supera consistentemente as linhas de base (como LoRA, Model Surgery, ED, RD):

Remoção de Função (Ataque de Desalinhamento):
- Redução média de 81,6% na Taxa de Recusa (RR) em modelos alinhados.
- Aumento de 76,8% na Taxa de Conteúdo Prejudicial (HR) e 77,13% no HarmBench.
- Preservação de Utilidade: Degradação mínima no MMLU (apenas -1,37 pontos), superando métodos de poda que causam colapso maior.
Adição de Função (Aprimoramento de Alinhamento):
- Aumento médio de 40,84% na precisão de alinhamento (RA).
- Melhora ou estabilidade no desempenho geral (MMLU), ao contrário do LoRA que pode causar degradação.
Remoção de Viés:
- Redução significativa do Escore de Estereótipos (SS) de 77,47 para 64,73, mantendo a capacidade linguística.
Universalidade: Funciona eficazmente em modelos de 3B a 16B parâmetros e em arquiteturas Densa e MoE.

5. Significado e Implicações

Segurança e Defesa: O CNT revela uma vulnerabilidade crítica: funcionalidades de segurança podem ser removidas ou adicionadas com facilidade transferindo poucos pesos, o que representa um risco de segurança para modelos implantados.
Eficiência de Recursos: Oferece uma solução prática para adaptar modelos em cenários onde a coleta de dados é impossível (ex: domínios especializados) ou o custo de treinamento é proibitivo.
Compreensão de LLMs: O estudo sugere que funcionalidades de segurança são localizadas em subconjuntos específicos de neurônios e que a transferência de pesos pode induzir "contra-ativações" que neutralizam funções existentes, algo que a simples poda de neurônios não consegue fazer tão eficientemente.
Futuro: O trabalho aponta para a necessidade de desenvolver defesas que distribuam computações críticas de segurança por múltiplos módulos, tornando a extração de funções via transferência de neurônios mais difícil.

Em resumo, o CNT estabelece um novo estado da arte na edição funcional de LLMs, demonstrando que a reutilização de conhecimento entre modelos é viável, precisa e altamente eficiente, mas também expõe novas vulnerabilidades de segurança que devem ser consideradas no desenvolvimento futuro de IA.