🤖 machine learning

From Parameters to Feature Space: Task Arithmetic for Backdoor Mitigation in Model Merging

Este artigo propõe o Linear Feature Path Minimization (LFPM), um novo framework que mitiga ataques de backdoor em fusão de modelos ao introduzir um vetor de tarefa anti-backdoor otimizado dentro de uma perspectiva unificada de espaço de características para suprimir eficazmente gatilhos maliciosos enquanto preserva o desempenho da tarefa limpa.

Autores originais: Zhenqian Zhu, Yamin Hu, Yiya Diao, Weixiang Li, Haodong Li, Wenjian Luo

Publicado 2026-06-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhenqian Zhu, Yamin Hu, Yiya Diao, Weixiang Li, Haodong Li, Wenjian Luo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma equipe de chefs especialistas. Um é incrível na comida italiana, outro na culinária japonesa e um terceiro na confeitaria. Em vez de contratar os três para trabalharem separadamente, você decide "mesclar" suas receitas em um único "Super Chef" que pode cozinhar qualquer coisa. Isso é Model Merging (Fusão de Modelos). É uma forma popular e econômica de combinar diferentes modelos de IA em uma única ferramenta poderosa.

No entanto, há uma falha perigosa nesse processo. Imagine que um sabotador sorrateiro se junta à equipe. Eles não tentam arruinar a cozinha inteira; eles apenas alteram sua receita específica (digamos, a italiana) para incluir uma instrução secreta e oculta: "Se você vir um pimentão vermelho, sirva um prato de veneno em vez de massa".

Quando você mescla essa receita comprometida com as outras, o "Super Chef" aprende essa instrução secreta. Agora, sempre que um cliente pede massa com pimentão vermelho, o chef serve veneno, embora ele cozinhe todo o resto perfeitamente. Isso é um Backdoor Attack (Ataque de Porta dos Fundos).

O Problema com as Defesas Atuais

As tentativas anteriores de corrigir isso foram como tentar remover uma mancha de um tecido complexo e multicolorido esfregando agressivamente todo o tecido.

O Jeito Antigo: Os defensores tentavam encontrar os "ingredientes ruins" na receita final e subtraí-los.
A Falha: Como as receitas estão tão profundamente misturadas, você não consegue distinguir facilmente qual parte da "instrução venenosa" pertence ao pimentão vermelho e qual parte pertence ao "sabor da massa". Se você tentar remover o veneno, acaba estragando a massa por acidente, fazendo com que todo o prato tenha um gosto ruim.

A Nova Solução: LFPM (Minimização de Caminho de Características Lineares)

Os autores deste artigo propõem um novo método chamado LFPM. Em vez de esfregar o tecido, eles mudam a perspectiva. Eles param de olhar para os ingredientes (parâmetros) e começam a olhar para o perfil de sabor (características) do prato.

Veja como o LFPM funciona, passo a passo, usando nossa analogia da cozinha:

1. O "Mapa de Sabores" (Linearidade entre Tarefas)

Os pesquisadores descobriram algo fascinante: quando você mistura as receitas de dois chefs, o sabor resultante em qualquer ponto da mistura é quase uma linha reta entre os dois sabores originais.

Analogia: Se o Chef A tem gosto de "Picante" e o Chef B tem gosto de "Doce", uma mistura de 50/50 tem exatamente o gosto de "Médio-Picante-Doce". Não se torna subitamente "Azedo" ou "Metálico" só porque você os misturou.
O Insight: Os autores perceberam que, se essa regra de "linha reta" for verdadeira para os sabores, eles podem consertar a porta dos fundos manipulando os sabores em vez dos ingredientes brutos.

2. Estágio Um: Separando o "Veneno" da "Massa"

Antes de consertar a receita, eles precisam isolar a parte ruim sem estragar a parte boa.

O Truque: Eles usam uma técnica chamada Particionamento de Subespaço. Imagine que o perfil de sabor é uma sala gigante. Os sabores da "Massa" vivem em um canto e os sabores do "Veneno" (backdoor) vivem em um canto separado e ortogonal.
A Ação: Eles usam uma ferramenta especial (prompts visuais aprendíveis) para encontrar o canto do "Veneno". Eles não precisam saber como o veneno se parece (o gatilho); eles só precisam encontrar a direção no quarto de sabores onde o veneno reside e separá-lo da massa. Isso garante que eles não joguem fora a massa acidentalmente enquanto procuram pelo veneno.

3. Estágio Dois: O Chef "Anti-Veneno"

Agora eles criam uma nova tarefa "Anti-Backdoor". Pense nisso como contratar um novo chef consultor cujo único trabalho é neutralizar o veneno.

A Estratégia: Em vez de apenas subtrair o veneno (o que poderia estragar a massa), eles guiam este novo chef para percorrer um caminho específico. Eles querem que o novo chef se misture com o "Super Chef" de uma forma que suavize a "agressividade" do veneno.
A Integral de Caminho: Imagine caminhar do "Super Chef Venenoso" para o "Consultor Limpo". Os autores garantem que cada passo ao longo deste caminho de caminhada seja seguro. Eles não verificam apenas os pontos de partida e de chegada; eles verificam toda a jornada.
O Resultado: Ao otimizar este caminho, eles criam um "Super Chef Purificado" que esqueceu a instrução do veneno, mas lembra como fazer a massa perfeita.

Por que isso é melhor?

Precisão: Como eles trabalham no "espaço de sabor" (espaço de características) em vez do "espaço de ingredientes" (espaço de parâmetros), eles podem visar a porta dos fundos sem borrar as tarefas limpas.
Segurança: Eles provaram que mesmo que você pare no meio do processo de "limpeza", o modelo ainda é seguro. Ele não funciona apenas no final; ele funciona ao longo de todo o caminho.
Versatilidade: Eles testaram isso tanto em receitas completas (Fine-Tuning Total) quanto em pequenos ajustes de receita (PEFT/LoRA), e funcionou em ambos os casos.

A Conclusão

O artigo afirma que o LFPM é uma forma robusta de limpar modelos de IA mesclados. Ele remove com sucesso gatilhos de "porta dos fundos" ocultos que fariam a IA se comportar mal em entradas específicas, mantendo intacta a capacidade da IA de realizar suas tarefas normais e úteis. Ele faz isso tratando o modelo não como um saco de números, mas como um conjunto de "caminhos de sabor" navegáveis, permitindo uma limpeza muito mais precisa e eficaz do que os métodos anteriores.

Resumo Técnico: Dos Parâmetros ao Espaço de Características: Aritmética de Tarefas para Mitigação de Backdoors em Fusão de Modelos

1. Definição do Problema

A Fusão de Modelos (Model Merging - MM) surgiu como uma estratégia de baixo custo para integrar múltiplos modelos ajustados para tarefas específicas em um modelo unificado, reduzendo a redundância de armazenamento e o overhead computacional. No entanto, estudos recentes revelam que a MM introduz uma vulnerabilidade de segurança significativa: ataques de backdoor. Neste cenário, um adversário pode comprometer um único componente específico de tarefa (ex: um vetor de tarefa) e injetar um backdoor no modelo fundido final sem acessar o processo de fusão global.

Os mecanismos de defesa existentes, particularmente aqueles baseados em Aritmética de Tarefas (ex: subtração de vetores), operam diretamente no espaço de parâmetros. Essas abordagens têm dificuldade em alcançar um equilíbrio favorável entre a remoção de backdoors e a preservação do desempenho da tarefa limpa. A dificuldade central reside em desvincular os parâmetros essenciais para a funcionalidade limpa daqueles que codificam comportamentos maliciosos de backdoor, pois a edição direta de parâmetros frequentemente degrada a utilidade do modelo.

2. Metodologia: Minimização de Caminho de Características Lineares (LFPM)

Para abordar as limitações da edição no espaço de parâmetros, os autores propõem a Minimização de Caminho de Características Lineares (Linear Feature Path Minimization - LFPM). Este framework desloca a perspectiva da mitigação de backdoor do espaço de parâmetros para o espaço de características, aproveitando o fenômeno da Linearidade Entre Tarefas (Cross-Task Linearity - CTL).

Fundamentação Teórica: Linearidade Entre Tarefas (CTL)

A CTL postula que modelos inicializados a partir do mesmo checkpoint pré-treinado e ajustados para diferentes tarefas exibem um comportamento quase linear em suas representações de características. Especificamente, as características de um modelo com pesos interpolados aproximam-se de perto da interpolação linear das características dos modelos individuais. Os autores derivam um limite de desvio para a CTL, mostrando que os desvios de características ao longo de um caminho de interpolação são governados pela distância de parâmetros e pela curvatura (Hessiana) do panorama de perda (loss landscape).

Estrutura Central

A LFPM constrói um vetor de tarefa anti-backdoor para fundir-se ao modelo com backdoor, criando um modelo purificado. Diferente de métodos anteriores que editam parâmetros diretamente, a LFPM otimiza este anti-backdoor de tarefa a partir de uma perspectiva unificada do espaço de características. O método consiste em duas etapas primárias:

Estágio 1: Extração de Características Adversariais via Particionamento de Subespaço

Em vez de gerar perturbações adversariais no espaço de entrada ou gatilhos de engenharia reversa, a LFPM extrai características adversariais particionando o espaço de características.

Particionamento de Subespaço: O espaço de características é decomposto em dois subespaços ortogonais: um subespaço adversarial ( $S$ ) e um subespaço semântico limpo ( $T$ ). Uma matriz de projeção aprendível $P_s$ é treinada para isolar componentes adversariais.
Mineração Baseada em Prompts: As perturbações adversariais são codificadas via prompts visuais aprendíveis ( $P$ ) em vez de modificar pixels de entrada. Isso preserva a integridade semântica das amostras originais. O objetivo de otimização garante que o input aumentado por prompt ative características relacionadas ao backdoor no modelo com backdoor, enquanto preserva características semânticas limpas no modelo purificado.

Estágio 2: Otimização do Vetor de Tarefa Anti-Backdoor

Este estágio formula o problema de mitigação como uma otimização do tipo Minimização de Consciência de Agudeza (Sharpness-Aware Minimization - SAM) dentro do framework CTL.

Reformulação no Espaço de Características: O objetivo é minimizar a agudeza da perda (curvatura) ao longo do caminho de interpolação de características entre o modelo fundido com backdoor e o modelo anti-backdoor.
Perturbação no Espaço de Prompts: Os desvios de características induzidos pela CTL são mapeados para perturbações de pior caso no espaço de prompts de baixa dimensão, em vez do espaço de parâmetros de alta dimensão.
Acúmulo de Gradiente e Integral de Caminho de Perda: Para garantir a robustez ao longo de todo o caminho de interpolação (não apenas em um único ponto), o método emprega um mecanismo de acúmulo de gradiente para aproximar os gradientes dos modelos interpolados. Ele também utiliza um procedimento de integral de caminho de perda, calculando a média da perda sobre a trajetória de interpolação para garantir a supressão consistente do backdoor.

3. Principais Contribuições

Framework de Anti-Backdoor no Espaço de Características: O artigo propõe uma nova perspectiva unificada de espaço de características para mitigação de backdoor sob o framework CTL, apoiada por análise teórica (limites de desvio) e validação empírica. Esta abordagem supera as limitações das intervenções diretas no espaço de parâmetros.
Minimização de Caminho de Características Lineares (LFPM): Um mecanismo de defesa de dois estágios que mitiga efetivamente os efeitos de backdoor enquanto preserva o desempenho da tarefa limpa. Ele elimina a necessidade de síntese de gatilhos no espaço de entrada e evita a interpolação explícita no espaço de parâmetros durante o treinamento, utilizando, em vez disso, um mecanismo de integral de caminho de perda.
Extensa Validação Empírica: Os autores demonstram que a LFPM alcança consistentemente uma forte robustez contra ataques de backdoor tanto em configurações de Ajuste Fino Total (Full Fine-Tuning) quanto em Ajuste Fino de Parâmetros Eficientes (PEFT/LoRA).

4. Resultados Experimentais

Os autores avaliaram a LFPM em 11 conjuntos de dados usando um backbone CLIP-ViT-B/32, comparando-a com baselines como IBVS (Task Arithmetic), SAU (Adversarial Unlearning), SAM e PAM.

Desempenho de Defesa: Sob o ataque BadMerging (ajuste fino total), a LFPM alcançou a menor Taxa de Sucesso de Ataque (ASR) em todas as tarefas (ex: ASR(T) médio de 0,49% vs. 64,18% para IBVS) enquanto mantinha a maior Acurácia Limpa (CA). Sob ataques LoBAM (PEFT/LoRA), a LFPM similarmente superou os baselines, alcançando um ASR menor e uma CA maior que SAM e PAM.
Robustez ao Longo do Caminho de Interpolação: Ao contrário de métodos que avaliam a robustez apenas em um coeficiente de fusão específico, a LFPM demonstrou robustez consistente ao longo de todo o caminho de interpolação de parâmetros, evidenciado pelo menor Path-ASR (vulnerabilidade cumulativa de backdoor).
Ataques Adaptativos: Mesmo contra adversários adaptativos que tentam acoplar características limpas e de backdoor ou impor consistência de interpolação, a LFPM manteve um baixo ASR (aumentando de apenas 0,49% para 2,38%), superando significativamente outras defesas.
Escalabilidade e Generalidade: A LFPM mostrou desempenho consistente através de diferentes algoritmos de fusão de modelos (Simple Average, Ties-Merging, Della-Merging) e arquiteturas maiores (ViT-L/14).

5. Significância e Alegações

O artigo afirma que a LFPM fornece uma solução fundamentada para a vulnerabilidade de backdoor na fusão de modelos ao aproveitar a Linearidade Entre Tarefas (Cross-Task Linearity) das características. Ao mover a otimização do espaço de parâmetros para o espaço de características, o método consegue desvincular comportamentos de backdoor das funcionalidades de tarefas limpas sem a severa degradação de desempenho vista em defesas existentes.

Os autores enfatizam que sua abordagem oferece um framework geral para mitigar ataques de backdoor enquanto preserva o desempenho da tarefa limpa em diferentes configurações de ajuste fino (total e PEFT). Eles observam que, embora o método introduza algum overhead computacional em comparação com métodos leves baseados em SAM, ele oferece um trade-off necessário para a robustez em cenários de fusão de modelos. O trabalho visa melhorar a confiabilidade da fusão de modelos, que é cada vez mais adotada como uma solução de baixo custo para implantação multitarefa.

Limitações e Trabalhos Futuros:
Os autores reconhecem que, como a maioria dos métodos defensivos, a LFPM pode enfrentar futuros ataques adaptativos. Eles afirmam que pesquisas adicionais são necessárias para avaliar a eficácia em escalas maiores e em cenários mais diversos do mundo real. Trabalhos futuros focarão em estender e validar a LFPM através de diversas tarefas e cenários.