💻 computer science

Filtering Memorization from Parameter-Space in Diffusion Models

Dieses Paper schlägt Base-Anchored Filtering (BAF) vor, ein trainingsfreies und datenfreies Framework, das die Auswendiglern-Problematik (Memorization) bei Diffusion-Modell-LoRAs mildert, indem es Updates in spektrale Kanäle zerlegt und jene unterdrückt, die schwach mit dem Hauptunterraum des vortrainierten Backbones ausgerichtet sind, wodurch die Reproduktion von urheberrechtlich geschützten oder sensiblen Inhalten reduziert wird, ohne die Generierungsqualität zu beeinträchtigen.

Ursprüngliche Autoren: Yu Zhe, Yang Jiayan, Wei Junhao, Yu-Lin Tsai, Wang Chen

Veröffentlicht 2026-07-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yu Zhe, Yang Jiayan, Wei Junhao, Yu-Lin Tsai, Wang Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „Fotokopierer“-LoRA

Stellen Sie sich vor, Sie haben einen Meisterkünstler (das Diffusionsmodell, wie Stable Diffusion), der gelernt hat, alles Mögliche zu malen. Nun möchte ein Nutzer diesem Künstler einen sehr spezifischen Stil beibringen, wie zum Beispiel „nur Pokémon malen“. Er verwendet dazu eine Technik namens LoRA (Low-Rank Adaptation).

Betrachten Sie LoRA als eine kleine, leichte Bedienungsanleitung oder eine Schablone, die man dem Meisterkünstler aufsteckt. Sie sagt dem Künstler: „Hey, wenn du zeichnest, lass es so aussehen wie dies.“

Der Haken: Manchmal hat die Person, die die Schablone erstellt hat, dem Künstler nicht nur den Stil beigebracht, sondern er hat dem Künstler versehentlich (oder absichtlich) beigebracht, bestimmte Fotos aus ihrem Trainingsordner perfekt zu kopieren.

Wenn der Trainingsordner ein urheberrechtlich geschütztes Bild eines berühmten Zeichentrickcharakters enthielt, könnte dieser neue LoRA immer genau diesen Charakter ausspucken, wenn danach gefragt wird.
Dies nennt man Memorization (Auswendiglernen). Es ist, als hätte der Künstler einen Fotokopierer in seinem Gehirn versteckt, der die exakten Trainingsbilder statt etwas Neuem ausdruckt.

Das Dilemma: In der realen Welt teilen Menschen diese LoRA-Schablonen online (auf Seiten wie CivitAI oder Hugging Face). Wenn Sie eine dieser Schablonen herunterladen, erhalten Sie die Schablone, aber Sie erhalten nicht die ursprünglichen Trainingsfotos oder die Notizen dazu, wie die Schablone erstellt wurde. Bestehende Sicherheitstools erfordern meistens, dass man die Trainingsfotos sieht oder den Malprozess kontrolliert, um das Kopieren zu verhindern. Aber wenn Sie nur die Schablone haben, sind Sie machtlos.

Die Lösung: BAF (Base-Anchored Filtering)

Die Autoren schlagen eine neue Methode namens BAF vor. Dies ist ein Weg, die Schablone nach ihrer Erstellung zu bereinigen, ohne jemals die ursprünglichen Fotos gesehen zu haben – und zwar „training-frei“ und „daten-frei“.

Die Kernidee: Die „Bibliothek der Richtungen“

Um zu verstehen, wie BAF funktioniert, stellen Sie sich vor, das Gehirn des Meisterkünstlers ist eine riesige Bibliothek von Richtungen (Vektoren).

Die Hauptgänge (Principal Subspace): Dies sind die viel genutzten, großen Pfade in der Bibliothek, auf denen der Künstler allgemeine Konzepte gelernt hat (wie „wie man ein Gesicht zeichnet“ oder „wie man einen Sonnenuntergang malt“). Diese Richtungen werden von fast allen geteilt und repräsentieren allgemeines Wissen.
Die verborgenen Ecken (Memorization): Wenn der Künstler ein spezifisches, einzigartiges Foto auswendig lernt (wie ein bestimmtes urheberrechtlich geschütztes Bild), erschafft er einen winzigen, seltsamen Pfad in einer verborgenen Ecke der Bibliothek. Dieser Pfad verbindet sich nicht mit den Hauptgängen; er ist eine isolierte, „abwegige“ Richtung, die nur für dieses eine spezifische Bild existiert.

Wie BAF funktioniert: Der „Kompass-Check“

BAF fungiert wie ein Kompass, der jede Anweisung in der LoRA-Schablone überprüft.

Dekomposition: BAF zerlegt die LoRA-Anweisungen in einzelne „Kanäle“ (winzige Richtungsvektoren).
Der Alignment-Check: Für jeden Pfeil fragt BAF: „Zeigt dieser Pfeil in dieselbe Richtung wie die Hauptgänge der Bibliothek des Meisterkünstlers?“
- Hohe Übereinstimmung (High Alignment): Wenn der Pfeil entlang der Hauptgänge zeigt, lehrt er wahrscheinlich einen allgemeinen Stil (z. B. „lass es wie einen Cartoon aussehen“). BAF behält dies bei.
- Geringe Übereinstimmung (Low Alignment): Wenn der Pfeil in eine seltsame, isolierte Ecke zeigt, die nicht zur Hauptbibliothek passt, handelt es sich wahrscheinlich um eine auswendig gelernte Kopie eines spezifischen Fotos. BAF markiert dies als verdächtig.
Der Filter: BAF regelt die Lautstärke herunter (oder löscht) die Pfeile, die in die seltsamen Ecken zeigen, während es die Pfeile behält, die entlang der Hauptgänge verlaufen.

Das Ergebnis: Eine sauberere Schablone

Nachdem BAF die LoRA verarbeitet hat:

Das Gute bleibt erhalten: Der Künstler kann immer noch im gewünschten Stil zeichnen (z. B. „Pokémon-Stil“).
Das Schlechte verschwindet: Der Künstler hört auf, exakte Kopien der urheberrechtlich geschützten Trainingsfotos auszuspeien.

Warum dies besonders ist

Die meisten anderen Sicherheitstools sind wie Sicherheitskräfte, die die Originalfotos sehen müssen, um zu wissen, was sie blockieren sollen. Wenn Sie die Fotos nicht haben (was bei heruntergeladenen LoRAs der Fall ist), können die Sicherheitskräfte ihren Job nicht machen.

BAF ist anders. Es ist wie ein Bauingenieur, der den Bauplan eines Gebäudes betrachtet (die LoRA-Gewichte) und sagt: „Diese Wand ist auf instabilem, isoliertem Boden gebaut. Lassen Sie uns das Hauptfundament verstärken und diese wackelige Wand entfernen.“ Er muss nicht wissen, wie das Gebäude aussieht; er kennt nur die Geometrie der Struktur.

Zusammenfassung der Ergebnisse

Die Autoren haben dies an verschiedenen Datensätzen (wie Pokémon und berühmten Gesichtern) und verschiedenen KI-Modellen getestet. Sie fanden heraus:

BAF hat erfolgreich verhindert, dass die KI bestimmte Trainingsbilder kopiert.
Es hat die Qualität der neuen Bilder nicht verschlechtert; tatsächlich sahen die Bilder manchmal sogar besser aus, weil die „verrauschten“, auswendig gelernten Richtungen entfernt wurden.
Es funktioniert ohne die ursprünglichen Trainingsdaten, was es perfekt macht, um die tausenden im Internet geteilten LoRAs zu bereinigen.

Kurz gesagt: BAF ist ein Werkzeug, das das „Gedächtnis“ aus einer KI-Bedienungsanleitung bereinigt, indem es prüft, ob die Anweisungen den allgemeinen Regeln des Universums folgen oder ob sie nur seltsame, spezifische Kopien eines einzelnen Fotos sind.

Technische Zusammenfassung: Filterung von Auswendiglernen aus dem Parameterraum in Diffusionsmodellen

Problemstellung

Low-Rank Adaptation (LoRA) ist zum Standardmechanismus für die Anpassung von Diffusionsmodellen geworden, da er es Nutzern ermöglicht, neue Stile oder Konzepte durch leichtgewichtige Parameteraktualisierungen einzuführen. Es besteht jedoch ein erhebliches Risiko, dass LoRAs Trainingsbilder auswendig lernen (Memorization), was zur Reproduktion von urheberrechtlich geschützten oder sensiblen Inhalten führt. Dieses Problem ist besonders akut in offenen Ökosystemen (z. B. Hugun Face, CivitAI), in denen Nutzer die trainierten LoRA-Gewichte verbreiten, ohne die zugrunde liegenden Trainingsdaten freizugeben.

Bestehende Minderungsstrategien sind in diesem „Black-Box“-Szenario weitgehend unanwendbar:

Interventionen zur Trainingszeit (z. B. Datendeduplizierung, Differential Privacy) erfordern Zugriff auf die Trainingspipeline und die Daten, was für nachgelagerte Nutzer oder Hosting-Plattformen nicht verfügbar ist.
Abwehrmaßnahmen zur Inferenzzeit (z. B. Prompt-Optimierung, Anti-Memorization Guidance) erfordern oft Kenntnis über die auswendig gelernten Inhalte oder die Kontrolle über den Sampling-Prozess, was auf Plattformebene nicht erzwungen werden kann.
Ansätze im Parameterraum (z. B. Concept Erasure) setzen typischerweise Vorabwissen über die spezifischen Konzepte oder Prompts voraus, die gelöscht werden sollen.

Die zentrale Herausforderung, die dieses Paper adressiert, lautet: Wie kann Auswendiglernen identifiziert und gefiltert werden, wenn nur die veröffentlichten LoRA-Gewichte und das vortrainierte Backbone verfügbar sind, ohne Zugriff auf die Trainingsdaten, das Trainingsverfahren oder die spezifischen auswendig gelernten Inhalte zu haben?

Methodik: Base-Anchored Filtering (BAF)

Die Autoren schlagen Base-Anchored Filtering (BAF) vor, ein trainingsfreies und datenfreies Framework, das direkt im Parameterraum operiert. Die Methode stützt sich auf eine geometrische Erkenntnis bezüglich der spektralen Struktur von Modellgewichten.

1. Geometrische Erkenntnis
Die Autoren hypothetisieren, dass verallgemeinerbare Anpassungen (z. B. ein neuer Kunststil) mit den dominanten spektralen Richtungen (Hauptsubraum) des vortrainierten Backbones korrelieren, während das Auswendiglernen (Memorization) schwach ausgerichtete, instanzspezifische Richtungen einführt.

Verallgemeinerbare Anpassung: Liegt in niedrigdimensionalen Subräumen, die mit den Hauptrichtungen des vortrainierten Modells ausgerichtet sind.
Auswendiglernen (Memorization): Manifestiert sich als spektrale Kanäle, die schwach mit dem vortrainierten Backbone ausgerichtet sind.

2. Anchoring Score
Um diese Ausrichtung zu quantifizieren, zerlegt die Methode die LoRA-Update-Matrix $\Delta W$ mittels Singularwertzerlegung (SVD) in spektrale Kanäle. Für jeden Kanal $i$ mit den Singulärvektoren $u_i$ und $v_i$ wird ein Anchoring Score $a_i$ berechnet:
$a_i = \|P_L u_i\|_2 \cdot \|P_R v_i\|_2$
wobei $P_L$ und $P_R$ orthogonale Projektionen auf die Top- $K$ linken und rechten Hauptsubräume der vortrainierten Gewichtmatrix $W^*$ sind.

Ein hoher Score ( $a_i \approx 1$ ) zeigt an, dass der Kanal innerhalb des vortrainierten Subraums liegt (verallgemeinerbar).
Ein niedriger Score ( $a_i \approx 0$ ) zeigt an, dass der Kanal orthogonal zur vortrainierten Struktur steht (potenzielles Auswendiglernen).
Eine Random-Projection-Baseline ( $a_{null} = K^2/mn$ ) dient als Schwellenwert, um strukturierte Ausrichtung von Rauschen zu unterscheiden.

3. Filteralgorithmus
BAF wendet eine Gating-Funktion auf die spektralen Kanäle des LoRA-Updates an:

BAF-Hard: Ein binäres Gate, das Kanäle entfernt, bei denen $a_i < a_{null}$ gilt.
BAF-Soft: Ein kontinuierliches Gate $g(a_i) = a_i^\alpha$ , das Kanäle mit geringer Ausrichtung unterdrückt, anstatt sie vollständig zu entfernen, was einen Kompromiss zwischen Unterdrückungsstärke und Generationsqualität ermöglicht.

4. Adaptive Subraumselektion
Um die heterogene spektrale Abnahme über verschiedene Layer und Architekturen hinweg zu handhaben, wird die Dimension $K$ des Hauptsubraums adaptiv basierend auf einer energieadaptiven Regel gewählt. $K$ wird so gewählt, dass die kumulative Energie der Top- $K$ Singulärwerte der vortrainierten Gewichte einen Schwellenwert $\tau_{energy}$ überschreitet.

Zentrale Beiträge

Problemformulierung: Die Autoren formulieren eine Post-hoc-Minderung von Auswendiglernen für Diffusion-LoRAs unter strengen Bedingungen der Datenunzugänglichkeit, ein Szenario, das für aktuelle Modell-Sharing-Ökosysteme relevant ist.
Geometrische Erkenntnis: Sie validieren die Hypothese, dass Auswendiglernen in spektralen Richtungen konzentriert ist, die schwach mit dem vortrainierten Hauptsubraum ausgerichtet sind, während verallgemeinerbare Anpassungen stark ausgerichtet sind.
BAF-Framework: Sie führen eine trainingsfreie, datenfreie Methode ein, die Auswendiglernen-bezogene spektrale Richtungen unter Verwendung der Parameterraumstruktur selektiv unterdrückt.
Empirische Validierung: Umfangreiche Experimente zeigen, dass BAF das Auswendiglernen reduziert und gleichzeitig die Generationsqualität erhält oder verbessert, wobei es bestehende Strategien übertrifft, die auf nicht verfügbaren Informationen basieren.

Experimentelle Ergebnisse

Die Autoren evaluierten BAF auf Stable Diffusion v1.5 und SDXL unter Verwendung von LoRAs, die auf Pokémon-, CelebA-HQ- und LAION-Art-Datensätzen trainiert wurden. Das Auswendiglernen wurde durch Duplizierung von „Canary“-Bildern während des Trainings simuliert.

Reduktion des Auswendiglernens: BAF-Varianten (Hard und Soft) erreichten konsistent die niedrigsten SSCD-Werte (Similarity to Self-Consistent Detection) unter vergleichbaren Methoden und reduzierten die Reproduktion von Trainingsbildern signifikant.
Generationsqualität: Im Gegensatz zu vielen Minderungsstrategien verbessert BAF oft die ästhetischen Scores (AES) und CLIP-Scores. Die Autoren legen nahe, dass das Entfernen schwach verankerter Kanäle verrauschte Parameterrichtungen eliminiert.
Vergleich: BAF übertraf Inference-Time-Baselines (RTA, Prompt Optimization, CFG-Reverse) sowie Training-Time-Baselines (Deduplication, DP-LoRA) im Szenario der Datenunzugänglichkeit. Es näherte sich der Leistung von AMG (Anti-Memorization Guidance) an, die Zugriff auf die Trainingsbilder erfordert, jedoch ohne diese Datenabhängigkeit.
Realwelt-Simulation: Bei 20 realen, urheberrechtlich geschützten LoRAs, die von CivitAI heruntergeladen wurden (umfassend Anime-Charaktere, Prominente und Stile), wurde BAF von menschlichen Evaluatoren als die effektivste Methode eingestuft, um die Reproduktion von Charakteren bei gleichzeitiger Beibehaltung der visuellen Qualität zu unterdrücken, und übertraf damit alle Inference-Time-Baselines.

Bedeutung und Ansprüche

Das Paper behauptet, dass die Struktur des Parameterraums allein starke Signale liefert, um zwischen Auswendiglernen und nützlicher Anpassung zu unterscheiden. Durch die Nutzung der geometrischen Beziehung zwischen LoRA-Updates und dem vortrainierten Backbone bietet BAF eine praktische Lösung zur Minderung von Urheberrechts- und Datenschutzrisiken in offenen Modell-Ökosystemen, in denen Trainingsdaten nicht verfügbar sind.

Die Autoren positionieren diese Arbeit als einen Schritt hin zu datenfreien Sicherheitsmechanismen für offene Ökosysteme. Sie betonen, dass ihr Ansatz kein Retraining, keinen Zugriff auf Originaldaten oder Kenntnisse über die spezifischen auswendig gelernten Inhalte erfordert, was ihn direkt anwendbar für Hosting-Plattformen und nachgelagerte Nutzer macht, die LoRAs sicher einsetzen möchten.