🤖 machine learning

Crafting Reversible SFT Behaviors in Large Language Models

Este artigo introduz a Descida Dual com Restrição de Perda (LCDD) e o SFT-Eraser para comprimir comportamentos de ajuste fino supervisionado em sub-redes esparsas e causalmente necessárias ("portadoras") que podem ser suprimidas seletivamente no momento da inferência por meio de um prompt suave, sem modificar os pesos do modelo.

Autores originais: Yuping Lin, Pengfei He, Yue Xing, Yingqian Cui, Jiayuan Ding, Subhabrata Mukherjee, Hui Liu, Zhen Xiang

Publicado 2026-05-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yuping Lin, Pengfei He, Yue Xing, Yingqian Cui, Jiayuan Ding, Subhabrata Mukherjee, Hui Liu, Zhen Xiang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô muito inteligente (um Modelo de Linguagem de Grande Escala) que foi ensinado um novo truque, como sempre dizer "não sei" a perguntas, recusar-se a responder perguntas perigosas ou falar como Shakespeare. Esse processo é chamado de Ajuste Fino Supervisionado (SFT).

O problema que os autores encontraram é que, quando ensinam esse novo truque ao robô, o "conhecimento" de como fazê-lo fica espalhado por todo o cérebro do robô. É como ensinar alguém a andar de bicicleta, mas fazendo com que use cada músculo do corpo para isso, em vez de apenas as pernas e o equilíbrio. Como a habilidade está em todo lugar, é difícil desligá-la depois sem quebrar a capacidade do robô de falar normalmente.

Este artigo apresenta uma maneira de ensinar ao robô um novo truque de forma muito específica e compacta, de modo que o truque viva em um pequeno "quarto" isolado dentro de seu cérebro. Em seguida, eles mostram que podem desligar esse quarto específico com um código secreto, fazendo o robô esquecer o truque instantaneamente, enquanto mantêm o restante de seu cérebro perfeitamente intacto.

Veja como eles fizeram isso, usando analogias simples:

1. O Problema: O "Ático Bagunçado"

Geralmente, quando você faz o ajuste fino de um modelo, o novo comportamento se espalha como um ático bagunçado. Se você quiser remover o comportamento mais tarde, terá que revirar todo o ático e pode acabar jogando fora a capacidade do robô de fazer matemática ou escrever e-mails. Você não consegue encontrar facilmente o "interruptor" exato para o novo comportamento porque ele está emaranhado com tudo o mais.

2. A Solução Parte 1: LCDD (O "Especialista em Embalagem")

Os autores criaram um método chamado Descida Dual Constrained por Perda (LCDD). Pense nisso como um especialista em embalagem superorganizado.

O Objetivo: Eles querem pegar o "novo comportamento" e forçá-lo a caber em uma pequena "mochila" esparsa (que chamam de Portador) dentro do cérebro do robô.
A Restrição: Eles dizem ao especialista em embalagem: "Você deve caber todo o novo comportamento nessa pequena mochila, mas não pode fazer o robô esquecer como fazer seus outros trabalhos (como responder perguntas corretamente)."
O Resultado: O especialista comprime com sucesso o novo comportamento em uma pequena sub-rede isolada. O restante do cérebro do robô permanece exatamente como estava antes do treinamento. O novo comportamento agora depende 100% dessa pequena mochila. Se a mochila estiver lá, o comportamento acontece. Se a mochila for bloqueada, o comportamento desaparece.

3. A Solução Parte 2: SFT-Eraser (O "Código Secreto")

Uma vez que o comportamento está trancado dentro dessa pequena mochila, os autores criaram uma segunda ferramenta chamada SFT-Eraser.

Como funciona: Eles não alteram os pesos do cérebro do robô (o que seria como não reescrever o manual do robô). Em vez disso, criam um prompt suave especial (uma sequência de "palavras" matemáticas invisíveis adicionadas à entrada).
A Magia: Quando esse código secreto é adicionado a uma pergunta, ele age como uma chave que especificamente trava a "mochila" onde o novo comportamento vive.
O Resultado: O robô reverte instantaneamente para sua personalidade original. Se foi treinado para falar como Shakespeare, de repente volta a falar inglês moderno. Se foi treinado para recusar perguntas perigosas, começa a respondê-las novamente. O robô não foi "desaprendido"; a parte específica de seu cérebro que continha esse comportamento foi temporariamente neutralizada.

4. A Prova: Por que a Estrutura Importa

Os autores realizaram um teste crucial para provar que a estrutura (a pequena mochila) foi a verdadeira heroína, e não apenas o código secreto.

O Experimento: Eles tentaram usar o mesmo "código secreto" em um robô que não tinha a pequena mochila (um robô padrão onde o comportamento está espalhado por toda parte).
O Resultado: O código falhou. Não conseguiu desligar o comportamento porque não havia um único alvo isolado para travar.
A Lição: Isso prova que você não pode simplesmente "hackear" um comportamento fora de um cérebro bagunçado. Você deve primeiro construir uma estrutura limpa e isolada para que esse comportamento viva. Uma vez isolado, você pode controlá-lo perfeitamente.

Resumo do que Eles Encontraram

Podemos tornar um comportamento reversível? Sim.
Como? Forçando o comportamento a entrar em um pequeno "portador" esparsos durante o treinamento (usando LCDD) e, em seguida, usando um código de entrada especial (SFT-Eraser) para bloquear esse portador.
Funciona? Eles testaram isso em três comportamentos muito diferentes:
1. Resposta Fixa: Fazer o robô sempre dizer "não sei".
2. Segurança: Fazer o robô recusar-se a responder perguntas prejudiciais.
3. Estilo: Fazer o robô falar como Shakespeare.
O Veredito: Em todos os casos, eles comprimiram com sucesso o comportamento em uma pequena parte do cérebro e puderam ligá-lo e desligá-lo à vontade, sem alterar o código subjacente do robô.

Nota Importante: O "código secreto" que eles usam é uma sequência matemática contínua (um "prompt suave"), não uma palavra simples que você possa digitar em uma caixa de chat. O artigo trata isso como uma maneira de provar que comportamentos podem ser causalmente isolados e controlados, em vez de um produto pronto para uso em chatbots do dia a dia.

Resumo Técnico: Criando Comportamentos Reversíveis de SFT em Modelos de Linguagem de Grande Escala

Declaração do Problema

O Ajuste Fino Supervisionado (SFT) é o mecanismo padrão para instilar comportamentos críticos para a implantação (por exemplo, alinhamento de segurança, seguimento de instruções, adaptação de estilo) em Modelos de Linguagem de Grande Escala (LLMs). No entanto, o processo de SFT não impõe restrições estruturais sobre como esses comportamentos são organizados internamente. Consequentemente, os comportamentos aprendidos são frequentemente codificados de forma difusa, representados de maneira redundante ou emaranhados com computações não relacionadas.

Essa falta de estrutura cria duas limitações primárias:

Falha no Diagnóstico Causal: Métodos existentes de interpretação post-hoc (por exemplo, atribuição de circuitos) identificam sub-redes esparsas correlacionadas com comportamentos. No entanto, correlação não implica causalidade. Como o modelo completo retém caminhos redundantes, ablar uma sub-rede correlacionada pode não suprimir o comportamento, tornando impossível estabelecer conclusivamente a necessidade causal.
Controllabilidade Causal Limitada: Os métodos atuais não conseguem instanciar uma subestrutura esparsa que seja mecanicamente necessária para um comportamento induzido por SFT. Embora a edição de vetores de tarefa e a edição de modelos possam modificar parâmetros, eles não produzem uma subestrutura endereçável apenas via intervenção de entrada sob pesos fixos.

O artigo aborda a seguinte questão de pesquisa: Os comportamentos induzidos por SFT podem ser deliberadamente comprimidos em subestruturas esparsas e mecanicamente necessárias (portadores) que permaneçam controláveis no momento da inferência sem modificar os pesos do modelo?

Metodologia

Os autores propõem um framework de duas etapas: Descida Dupla Constraineda por Perda (LCDD) para criar o portador, e SFT-Eraser para validar sua necessidade via intervenção de entrada.

1. Parametrização da Mudança de Pesos

A abordagem trata a computação induzida por SFT como uma mudança aditiva de pesos $\Delta W = W_{ft} - W_{base}$ . O modelo é parametrizado como $W = W_{base} + M \odot \Delta W$ , onde $M$ é uma máscara binária. O objetivo é encontrar a $M$ mais esparsa que preserve o comportamento da tarefa.

2. LCDD: Criando Portadores Esparsos

O LCDD otimiza conjuntamente a máscara de roteamento $M$ e o delta de pesos $\Delta W$ para comprimir o comportamento em um portador esparsos, aderindo a um orçamento de utilidade explícito.

Esparsidade Estruturada: Em vez de elementos de pesos arbitrários, a esparsidade é imposta no nível do canal de ativação (linhas e colunas de matrizes de pesos). Isso cria máscaras estruturadas de rank-1 ( $M_{jk} = m_{row, j} \cdot m_{col, k}$ ) que controlam as ativações de entrada e saída, isolando a computação delta induzida por SFT.
Objetivo de Otimização: O método minimiza a penalidade de esparsidade (soma dos logits de portas sigmóides) sujeito a uma restrição de que a perda da tarefa $L_{task}$ permaneça dentro de um orçamento $\epsilon$ .
Penalidade Adaptativa: Um método de penalidade adaptativa é utilizado, onde um multiplicador $\lambda_t$ é atualizado online com base na violação da restrição. Um aquecimento linear de esparsidade permite que o modelo se estabilize antes que a compressão comece.
Otimização Conjunta: Crucialmente, tanto a máscara quanto os deltas de pesos são otimizados conjuntamente. Isso permite que os pesos restantes se reorganizem em torno das conexões podadas, permitindo uma esparsidade mais profunda do que abordagens baseadas apenas em máscaras.

3. SFT-Eraser: Validando a Necessidade

Uma vez criado um portador esparsos, o SFT-Eraser testa se o comportamento pode ser suprimido por um gatilho de entrada sem modificação de pesos.

Seleção de Alvo: O gatilho visa "canais de escrita residual" (as portas de saída dos caminhos delta de FFN e atenção), que servem como a interface do portador com o fluxo residual.
Otimização do Gatilho: Um soft prompt (incorporações de tokens contínuas) é otimizado para minimizar uma perda composta:
- $L_{MSE}$ : Impulsiona as ativações de escrita do portador em direção às do modelo base no mesmo input.
- $L_{KL}$ : Garante que a distribuição de saída reverta em direção ao modelo base (prevenindo artefatos do mapeamento apenas no nível do canal).
- $L_2$ : Regulariza a magnitude do gatilho para evitar incorporações degeneradas.
Critérios de Sucesso: A reversão é considerada bem-sucedida se o gatilho suprimir o comportamento de SFT enquanto reverte a distribuição de saída em direção ao modelo base, demonstrando que o portador é o gargalo causal.

Contribuições Principais

Primeira Investigação de Portadores Construtivos: O artigo é o primeiro a investigar a viabilidade de construir deliberadamente subestruturas esparsas e mecanicamente necessárias para comportamentos de SFT durante o treinamento, em vez de descobri-los post-hoc.
Framework LCDD: Introduz um método para comprimir comportamentos de SFT em portadores esparsos via otimização conjunta de máscaras e pesos sob restrições explícitas de utilidade.
Protocolo SFT-Eraser: Propõe um protocolo de gatilho de entrada que valida a necessidade causal dos portadores construídos. Se um gatilho suprimir o comportamento sob pesos fixos, o portador é provado ser o locus causal, e não meramente correlacionado.
Validação Empírica: Demonstra, através de três tipos de comportamento (Resposta Fixa, Alinhamento de Segurança, Estilo Shakespeare) e quatro famílias de modelos (Qwen, DeepSeek, Mistral, Vicuna), que:
- O LCDD preserva comportamentos-alvo com alta fidelidade.
- O SFT-Eraser reverte confiavelmente esses comportamentos.
- A estrutura esparsa é a pré-condição necessária para a reversão; aplicar o mesmo gatilho a modelos SFT padrão (sem o portador criado) falha em alcançar a reversão distribucional.

Resultados Experimentais

Os experimentos cobrem três tarefas de complexidade estrutural crescente:

Resposta Fixa: O modelo aprende a dizer "Não sei". O LCDD alcançou alta esparsidade (73–84%) com preservação quase perfeita do comportamento. Gatilhos reduziram a taxa de resposta fixa para quase zero.
Alinhamento de Segurança: Treinado em dados intercalados prejudiciais/benignos. O LCDD manteve altas taxas de recusa de segurança (88–98%). Gatilhos degradaram com sucesso as métricas de segurança (menor recusa, maior sucesso de ataque) e revertem distribuições em direção ao modelo base.
Estilo Shakespeare: Uma tarefa de transferência de estilo distribucional. A esparsidade foi menor (30–56%) devido à natureza difusa do comportamento estilístico, mas os gatilhos ainda suprimiram efetivamente o estilo.

Descobertas de Ablação:

Estrutura vs. Gatilho: Aplicar o gatilho SFT-Eraser a um modelo SFT padrão (sem LCDD) resultou em perturbação comportamental, mas falhou em reverter a distribuição para o modelo base. Isso confirma que a estrutura esparsa é o fator operante, e não o design do gatilho.
Otimização Conjunta: A otimização apenas de máscaras (fixando pesos e otimizando apenas a máscara) falhou em alcançar profundidade de esparsidade suficiente ou reversão confiável, confirmando que a reorganização conjunta de pesos é necessária para criar um gargalo endereçável.

Significado e Alegações

O artigo alega fornecer evidência direta de que portadores aprendidos são causalmente necessários para comportamentos induzidos por SFT. Ao construir uma subestrutura esparsa que é o locus completo do comportamento, os autores habilitam:

Diagnóstico Causal: Ir além da correlação para testar a necessidade via intervenção de entrada sob pesos fixos.
Controle Modular: A capacidade de auditar ou suprimir seletivamente comportamentos específicos no momento da inferência sem retreinamento ou modificação de pesos.

Os autores notam limitações, incluindo o uso de soft prompts contínuos (em vez de tokens discretos) para gatilhos e a avaliação em uma única combinação modelo-tarefa para ablação estrutural. Eles também reconhecem o risco de uso duplo, pois a metodologia poderia teoricamente ser usada para remover o alinhamento de segurança de modelos implantados. O trabalho sugere direções futuras na pesquisa de interpretabilidade, como o uso da esparsidade do portador como um proxy para a complexidade de descrição das transformações comportamentais.