🤖 machine learning

From Parameters to Feature Space: Task Arithmetic for Backdoor Mitigation in Model Merging

Dieses Paper schlägt Linear Feature Path Minimization (LFPM) vor, ein neuartiges Framework, das Backdoor-Angriffe beim Modell-Merging durch die Einführung eines Anti-Backdoor-Task-Vektors mildert, der innerhalb einer einheitlichen Merkmalsraum-Perspektive optimiert wird, um bösartige Trigger effektiv zu unterdrücken und gleichzeitig die Performance bei sauberen Aufgaben aufrechterhalten zu können.

Ursprüngliche Autoren: Zhenqian Zhu, Yamin Hu, Yiya Diao, Weixiang Li, Haodong Li, Wenjian Luo

Veröffentlicht 2026-06-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhenqian Zhu, Yamin Hu, Yiya Diao, Weixiang Li, Haodong Li, Wenjian Luo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein Team von Expertenköchen. Einer ist großartig in der italienischen Küche, ein anderer in der japanischen Küche und ein dritter im Backen. Anstatt alle drei einzeln einzustellen und sie getrennt arbeiten zu lassen, entscheiden Sie sich, ihre Rezepte zu einem „Super-Chef“ zu „verschmelzen“, der alles kochen kann. Dies ist Model Merging (Modellverschmelzung). Es ist eine beliebte, kosteneffiziente Methode, um verschiedene KI-Modelle zu einem leistungsstarken Werkzeug zu kombinieren.

Es gibt jedoch einen gefährlichen Makel in diesem Prozess. Stellen Sie sich vor, ein hinterlistiger Saboteur schließt sich dem Team an. Er versucht nicht, die ganze Küche zu ruinieren; er verändert lediglich sein spezifisches Rezept (zum Beispiel das italienische), um eine heimliche, versteckte Anweisung einzubauen: „Wenn du eine rote Paprika siehst, serviere statt Pasta einen Teller Gift.“

Wenn Sie dieses kompromittierte Rezept mit den anderen Rezepten verschmelzen, lernt der „Super-Chef“ diese geheime Anweisung. Wann immer ein Kunde also Pasta mit einer roten Paprika bestellt, serviert der Koch Gift, obwohl er alles andere perfekt zubereitet. Dies ist ein Backdoor Attack (Backdoor-Angriff).

Das Problem mit aktuellen Abwehrmethoden

Frühere Versuche, dies zu beheben, waren so, als würde man versuchen, einen Fleck aus einem komplexen, mehrfarbigen Stoff zu entfernen, indem man aggressiv den gesamten Stoff schrubbt.

Der alte Weg: Verteidiger versuchten, die „schlechten“ Zutaten im fertigen Rezept zu finden und abzuziehen.
Der Fehler: Da die Rezepte so tief miteinander vermischt sind, kann man nicht einfach unterscheiden, welcher Teil der „Gift-Anweisung“ zur „roten Paprika“ gehört und welcher Teil zum „Pasta-Geschmack“. Wenn man versucht, das Gift zu entfernen, ruiniert man oft versehentlich die Pasta, wodurch das gesamte Gericht schlecht schmeckt.

Die neue Lösung: LFPM (Linear Feature Path Minimization)

Die Autoren dieser Arbeit schlagen eine neue Methode namens LFPM vor. Anstatt den Stoff zu schrubben, ändern sie die Perspektive. Sie hören auf, nach den Zutaten (Parametern) zu suchen, und beginnen, nach dem Geschmacksprofil (Features) des Gerichts zu schauen.

So funktioniert LFPM, Schritt für Schritt, unter Verwendung unserer Küchenanalogie:

1. Die „Geschmackslandkarte“ (Cross-Task Linearity)

Die Forscher entdeckten etwas Faszinierendes: Wenn man die Rezepte zweier Köche mischt, ist der resultierende Geschmack an jedem Punkt der Mischung fast eine gerade Linie zwischen den beiden ursprünglichen Geschmäckern.

Analogie: Wenn Koch A nach „Scharf“ schmeckt und Koch B nach „Süß“, schmeckt eine 50/50-Mischung exakt wie „Mittel-Scharf-Süß“. Es schmeckt nicht plötzlich nach „Sauer“ oder „Metallisch“, nur weil man sie gemischt hat.
Die Erkenntnis: Die Autoren erkannten, dass, wenn diese „Gerade-Linie-Regel“ für Geschmäcker gilt, sie den Backdoor-Angriff durch die Manipulation der Geschmäcker anstatt der rohen Zutaten beheben können.

2. Phase Eins: Das „Gift“ vom „Pasta-Geschmack“ trennen

Bevor sie das Rezept reparieren, müssen sie den schlechten Teil isolieren, ohne den guten Teil zu ruinieren.

Der Trick: Sie verwenden eine Technik namens Subspace Partitioning (Unterraum-Partitionierung). Stellen Sie sich vor, das Geschmacksprofil ist ein riesiger Raum. Die „Pasta“-Geschmäcker leben in einer Ecke, und die „Gift“-Geschmäcker (Backdoor) leben in einer separaten, orthogonalen Ecke.
Die Aktion: Sie nutzen ein spezielles Werkzeug (lernbare visuelle Prompts), um die „Gift“-Ecke zu finden. Sie müssen nicht wissen, wie das Gift aussieht (der Trigger); sie müssen nur die Richtung im Geschmacksraum finden, in der das Gift existiert, und es vom Pasta-Geschmack trennen. Dies stellt sicher, dass sie nicht versehentlich die Pasta wegwerfen, während sie nach dem Gift suchen.

3. Phase Zwei: Der „Anti-Gift“-Koch

Nun erschaffen sie eine neue „Anti-Backdoor“-Aufgabe. Denken Sie an dies als die Einstellung eines neuen Berater-Kochs, dessen einzige Aufgabe es ist, das Gift zu neutralisieren.

Die Strategie: Anstatt das Gift einfach nur abzuziehen (was die Pasta ruinieren könnte), führen sie diesen neuen Koch auf einen bestimmten Pfad. Sie wollen, dass der neue Koch mit dem „Super-Chef“ verschmilzt, auf eine Weise, die die „Schärfe“ des Gifts glättet.
Das Pfadintegral: Stellen Sie sich vor, man geht von dem „Giftigen Super-Chef“ zum „Sauberen Berater-Koch“. Die Autoren stellen sicher, dass jeder einzelne Schritt entlang dieses Gehpfades sicher ist. Sie prüfen nicht nur die Start- und Endpunkte, sondern den gesamten Weg.
Das Ergebnis: Durch die Optimierung dieses Pfades erschaffen sie einen „Gereinigten Super-Chef“, der die Gift-Anweisung vergessen hat, aber immer noch weiß, wie man perfekte Pasta zubereitet.

Warum ist das besser?

Präzision: Da sie im „Geschmacksraum“ (Feature-Space) statt im „Zutatenraum“ (Parameter-Space) arbeiten, können sie den Backdoor gezielt bekämpfen, ohne die sauberen Aufgaben zu verfälschen.
Sicherheit: Sie haben bewiesen, dass das Modell selbst dann noch sicher ist, wenn man den „Reinigungsprozess“ mittendrin stoppt. Es funktioniert nicht erst am Ende; es funktioniert entlang des gesamten Pfades.
Vielseitigkeit: Sie haben dies sowohl bei vollständigen Rezepten (Full Fine-Tuning) als auch bei kleinen Rezept-Anpassungen (PEFT/LoRA) getestet, und es hat in beiden Fällen funktioniert.

Das Fazit

Die Arbeit behauptet, dass LFPM eine robuste Methode ist, um gemergte KI-Modelle zu reinigen. Es entfernt erfolgreich versteckte „Backdoor“-Trigger, die dazu führen würden, dass die KI bei spezifischen Eingaben falsch reagiert, während es gleichzeitig die Fähigkeit der KI erhält, ihre normalen, nützlichen Aufgaben auszuführen. Dies geschieht, indem die KI nicht als ein Beutel voller Zahlen betrachtet wird, sondern als ein Satz navigierbarer „Geschmacks-Pfade“, was eine viel präzisere und effektivere Reinigung ermöglicht als bisherige Methoden.

Technisches Resümee: Von Parametern zum Merkmalsraum: Task Arithmetic zur Backdoor-Mitigierung beim Model Merging

1. Problemstellung

Model Merging (MM) hat sich als kosteneffiziente Strategie etabliert, um mehrere auf spezifische Aufgaben feinabgestimmte Modelle in ein einheitliches Modell zu integrieren, wodurch Speicherredundanz und Rechenaufwand reduziert werden. Jüngste Studien zeigen jedoch, dass MM eine erhebliche Sicherheitslücke einführt: Backdoor-Angriffe (Backdoor Attacks). In diesem Szenario kann ein Angreifer eine einzelne aufgabenspezifische Komponente (z. B. einen Task-Vektor) kompromittieren und eine Backdoor in das endgültige gemergte Modell injizieren, ohne den gesamten Merging-Prozess zu kennen.

Bestehende Abwehrmechanismen, insbesondere solche, die auf Task Arithmetic (z. B. Vektorsubtraktion) basieren, operieren direkt im Parameterraum. Diese Ansätze haben Schwierigkeiten, einen günstigen Kompromiss zwischen der Entfernung von Backdoors und dem Erhalt der Clean-Task-Performance zu erzielen. Die Kernschwierigkeit liegt darin, die Parameter, die für die saubere Funktionalität essenziell sind, von jenen zu entwirren, die bösartige Backdoor-Verhaltensweisen kodieren, da direkte Parameter-Editierungen oft den Nutzen des Modells beeinträchtigen.

2. Methodik: Linear Feature Path Minimization (LFPM)

Um die Einschränkungen der Editierung im Parameterraum zu adressieren, schlagen die Autoren Linear Feature Path Minimization (LFPM) vor. Dieses Framework verschiebt die Perspektive der Backdoor-Mitigierung vom Parameterraum in den Merkmalsraum (Feature Space) und nutzt dabei das Phänomen der Cross-Task Linearity (CTL).

Theoretische Grundlage: Cross-Task Linearity (CTL)

CTL postuliert, dass Modelle, die vom selben vortrainierten Checkpoint initialisiert und auf unterschiedlichen Aufgaben feinabgestimmt wurden, eine nahezu lineare Charakteristik in ihren Merkmalsrepräsentationen aufweisen. Konkret nähern sich die Merkmale eines gewichtsinterpolierten Modells eng der linearen Interpolation der Merkmale der einzelnen Modelle an. Die Autoren leiten eine Abweichungsschranke (Deviation Bound) für CTL ab und zeigen, dass Merkmalsabweichungen entlang eines Interpolationspfades durch den Parameterabstand und die Krümmung (Hessian) der Verlustlandschaft bestimmt werden.

Kern-Framework

LFPM konstruiert einen Anti-Backdoor-Task-Vektor, der mit dem manipulierten Modell gemergt wird, um ein bereinigtes Modell zu erzeugen. Im Gegensatz zu bisherigen Methoden, die Parameter direkt editieren, optimiert LFPM diesen Anti-Backdoor-Task aus einer einheitlichen Merkmalsraum-Perspektive. Die Methode besteht aus zwei primären Phasen:

Phase 1: Adversarial Feature Extraction via Subspace Partitioning

Anstatt Eingabe-Raum-Adversarial-Perturbationen oder re-engineered Trigger zu generieren, extrahiert LFPM adversarielle Merkmale durch die Partitionierung des Merkmalsraums.

Subspace Partitioning: Der Merkmalsraum wird in zwei orthogonale Subräume unterteilt: einen adversariellen Subraum ( $S$ ) und einen sauberen semantischen Subraum ( $T$ ). Eine lernbare Projektionsmatrix $P_s$ wird trainiert, um adversarielle Komponenten zu isolieren.
Prompt-basiertes Mining: Adversarielle Perturbationen werden über lernbare visuelle Prompts ( $P$ ) kodiert, anstatt die Eingabepixel zu modifizieren. Dies bewahrt die semantische Integrität der Originalproben. Das Optimierungsziel stellt sicher, dass der prompt-augmentierte Input Backdoor-bezogene Merkmale im manipulierten Modell aktiviert, während die sauberen semantischen Merkmale im bereinigten Modell erhalten bleiben.

Phase 2: Optimierung des Anti-Backdoor-Task-Vektors

Diese Phase formuliert das Mitigationsproblem als eine Ähnlichkeit mit der Sharpness-Aware Minimization (SAM) innerhalb des CTL-Frameworks.

Reformulierung im Merkmalsraum: Das Ziel ist es, die Verlust-Schärfe (Krümmung) entlang des Merkmals-Interpolationspfades zwischen dem manipulierten gemergten Modell und dem Anti-Backdoor-Modell zu minimieren.
Perturbation im Prompt-Raum: Durch CTL induzierte Merkmalsabweichungen werden auf Worst-Case-Perturbationen im niedrigdimensionalen Prompt-Raum abgebildet, anstatt im hochdimensionalen Parameterraum.
Gradientenakkumulation & Loss-Path-Integral: Um Robustheit entlang des gesamten Interpolationspfades zu gewährleisten (und nicht nur an einem einzelnen Punkt), verwendet die Methode einen Mechanismus der Gradientenakkumulation, um Gradienten interpolierter Modelle zu approximieren. Zudem wird ein Loss-Path-Integral-Verfahren eingesetzt, welches den Verlust über die Interpolations-Trajektorie mittelt, um eine konsistente Backdoor-Unterdrückung zu garantieren.

3. Wichtigste Beiträge

Feature-Space Anti-Backdoor Framework: Die Arbeit schlägt eine neuartige, einheitliche Merkmalsraum-Perspektive für die Backdoor-Mitigierung unter dem CTL-Framework vor, gestützt durch theoretische Analysen (Abweichungsschranken) und empirische Validierung. Dieser Ansatz überwindet die Grenzen direkter Interventionen im Parameterraum.
Linear Feature Path Minimization (LFPM): Ein zweistufiger Abwehrmechanismus, der Backdoor-Effekte effektiv mildert und gleichzeitig die Clean-Task-Performance bewahrt. Er eliminiert die Notwendigkeit der Synthese von Input-Raum-Triggern und vermeidet explizite Interpolation im Parameterraum während des Trainings, indem er stattdessen ein Loss-Path-Integral-Verfahren nutzt.
Umfassende empirische Validierung: Die Autoren zeigen, dass LFPM konsistent eine starke Robustheit gegen Backdoor-Angriffe sowohl in Full Fine-Tuning als auch in Parameter-Efficient Fine-Tuning (PEFT/LoRA) Settings erreicht.

4. Experimentelle Ergebnisse

Die Autoren evaluierten LFPM auf 11 Datensätzen mit einem CLIP-ViT-B/32 Backbone und verglichen es mit Baselines wie IBVS (Task Arithmetic), SAU (Adversarial Unlearning), SAM und PAM.

Abwehrleistung: Unter dem BadMerging (Full Fine-Tuning) Angriff erreichte LFPM die niedrigste Attack Success Rate (ASR) über alle Aufgaben hinweg (z. B. durchschnittliche ASR(T) von 0,49 % gegenüber 64,18 % bei IBVS) bei gleichzeitig höchster Clean Accuracy (CA). Unter LoBAM (PEFT/LoRA) Angriffen übertraf LFPM die Baselines ebenfalls, indem es eine geringere ASR und eine höhere CA als SAM und PAM erzielte.
Robustheit entlang des Interpolationspfades: Im Gegensatz zu Methoden, die die Robustheit nur an einem spezifischen Merging-Koeffizienten bewerten, demonstrierte LFPM eine konsistente Robustheit entlang des gesamten Parameter-Interpolationspfades, was durch die niedrigste Path-ASR (kumulative Backdoor-Vulnerabilität) belegt wurde.
Adaptive Angriffe: Selbst gegen adaptive Angreifer, die versuchen, saubere und Backdoor-Merkmale zu koppeln oder die Interpolationskonsistenz zu erzwingen, behielt LFPM eine niedrige ASR bei (Anstieg nur von 0,49 % auf 2,38 %), was die anderen Abwehrmechanismen deutlich übertrifft.
Skalierbarkeit und Generalisierbarkeit: LFPM zeigte eine konsistente Leistung über verschiedene Model-Merging-Algorithmen (Simple Average, Ties-Merging, Della-Merging) und größere Architekturen (ViT-L/14) hinweg.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass LFPM eine fundierte Lösung für die Backdoor-Vulnerabilität beim Model Merging bietet, indem es die Cross-Task Linearity der Merkmale nutzt. Durch die Verlagerung der Optimierung vom Parameterraum in den Merkmalsraum gelingt es der Methode, Backdoor-Verhaltensweisen von sauberen Aufgabenfunktionen zu entkoppeln, ohne die schwere Leistungsdegradation zu verursachen, die bei bestehenden Abwehrmethoden auftritt.

Die Autoren betonen, dass ihr Ansatz ein allgemeines Framework zur Milderung von Backdoor-Angriffen bietet, während die Clean-Task-Performance über verschiedene Fine-Tuning-Settings (Full und PEFT) hinweg erhalten bleibt. Sie merken an, dass die Methode im Vergleich zu leichtgewichtigen SAM-basierten Methoden zwar einen gewissen Rechenaufwand einführt, dies jedoch ein notwendiger Kompromiss für die Robustheit in Model-Merging-Szenarien ist. Die Arbeit zielt darauf ab, die Zuverlässigkeit von Model Merging zu verbessern, das zunehmend als kosteneffiziente Lösung für Multi-Task-Deployments eingesetzt wird.

Einschränkungen und zukünftige Arbeit:
Die Autoren räumen ein, dass LFPM, wie die meisten Abwehrmethoden, künftigen adaptiven Angriffen ausgesetzt sein könnte. Sie geben an, dass weitere Forschung notwendig ist, um die Effektivität bei größeren Skalen und in vielfältigeren realen Szenarien zu evaluieren. Zukünftige Arbeiten werden sich darauf konzentrieren, LFPM über diverse Aufgaben und Szenarien hinweg zu erweitern und zu validieren, um die Generalisierbarkeit zu erhöhen.