Technische Zusammenfassung: Stabiles multimodales Graphen-Unlearning durch quantilbasierte, feature-dimensionale Auswahl

1. Problemstellung

Graphen-Unlearning ist für die Einhaltung von Datenschutzbestimmungen (z. B. DSGVO) unerlässlich, indem der Einfluss spezifischer Datenpunkte (Knoten oder Kanten) aus trainierten Graph Neural Networks (GNNs) entfernt wird, ohne eine kostspielige Neukalibrierung vorzunehmen. Allerdings stoßen bestehende Unlearning-Strategien bei der Anwendung auf multimodale Graphen an eine kritische Grenze.

Multimodale Graphen integrieren hochdimensionale Merkmale (z. B. Text und Bilder, kodiert durch Modelle wie CLIP oder ImageBind) neben strukturellen Daten. In solchen Architekturen enthalten die Eingangsprojektionsschichten (die erste Schicht, die Rohmerkmale auf verborgene Räume abbildet) einen dominanten Anteil der gesamten Modellparameter. Aktuelle Unlearning-Methoden wenden typischerweise uniforme Parameterauswahl- und Bearbeitungsstrategien über alle Schichten hinweg an. Bei der Anwendung auf multimodale Graphen führt diese Uniformität zur indiskriminierenden Modifikation dieser sensiblen, hochdimensionalen Eingangsschichten. Die Studie beobachtet, dass dieses „Überbearbeiten" vortrainiertes cross-modales Wissen zerstört, was zu einer katastrophalen Verschlechterung der Nutzbarkeit (starker Rückgang der Modellleistung) oder einer Abschwächung des Vergessensmechanismus führt, um die Leistung zu erhalten.

2. Methodik: Das FDQ-Framework

Die Autoren schlagen FDQ (Feature-Dimension Aware Quantile) vor, ein Framework, das stabiles Unlearning in hochdimensionalen multimodalen Graphen ermöglicht. FDQ integriert sich in die auf der diagonalen Fisher-Information-Matrix (FIM) basierende Wichtigkeitsschätzung, führt jedoch einen neuartigen, adaptiven Quantil-Auswahlmechanismus ein.

Kernmechanismus: Feature-Dimensionale Quantil-Auswahl

Anstatt einen globalen Quantilschwellenwert $k$ zur Auswahl von Parametern für die Unterdrückung im gesamten Netzwerk anzuwenden, passt FDQ die Auswahlstärke basierend auf der Rolle der Schicht und der Eingangsmerkmalsdimension $d$ an:

1. Schichtpartitionierung: Die Modellparameter werden in Eingangsprojektionsschichten ($\theta_{in}$), die hochdimensionale Rohmerkmale verarbeiten, und tiefere Schichten ($\theta_{deep}$) unterteilt.
2. Adaptive Schwellenwertbildung: FDQ definiert einen schichtspezifischen Skalierungsfaktor $\alpha^{(\ell)}$. Für Eingangsschichten, bei denen die Merkmalsdimension $d$ einen Schwellenwert $\tau$ überschreitet, wird der effektive Quantilwert $k^{(\ell)}_{eff}$ um einen Faktor $\rho$ (wobei $\rho < 1$) verschärft (verringert).
   • Formel: $k^{(\ell)}_{eff} = \alpha^{(\ell)} \cdot k$.
   • Effekt: Dies führt zu einer konservativeren Auswahl (weniger modifizierte Parameter) für die sensiblen Eingangsschichten, während tiefere Schichten unter Standard-Schwellenwerten bearbeitbar bleiben.
3. Aufbau des Unterdrückungssets:
   • Knoten-Unlearning: Das Framework berechnet FIM-basierte Wichtigkeitsscores für den Trainingsdatensatz, den Vergessensdatensatz und den Nachbardatensatz (um Message-Passing-Effekte zu erfassen). Zwei Unterdrückungsscores ($b_1$ und $b_2$) werden abgeleitet, um Parameter zu identifizieren, die auf den Vergessensdatensatz spezialisiert sind.
   • Kanten-Unlearning: Eine angenäherte Beeinflussungs-Menge (influenced-set approximation) wird verwendet, um die Auswirkungen der Kantenentfernung abzuschätzen.
   • Auswahl und Skalierung: Parameter werden ausgewählt, wenn ihre Unterdrückungsscores unter den FDQ-angepassten Quantilschwellenwerten liegen. Ausgewählte Parameter werden dann durch ein Verhältnis ihres Scores zum Schwellenwert gedämpft, begrenzt durch einen maximalen Skalierungsfaktor $\gamma$.

Pipeline

Die FDQ-Pipeline arbeitet in drei Schritten:

1. Berechnung der diagonalen FIMs für relevante Datensätze (Behalten, Vergessen und Nachbarschaft/Beeinflussungssätze).
2. Aufbau von parametrispezifischen Unterdrückungsscores basierend auf Fisher-Verhältnissen.
3. Anwendung von FDQ-gesteuerten, schichtweisen Quantilschwellenwerten zur Auswahl und Skalierung von Parametern, wobei die Rekonstruktion von Rohdaten vermieden wird.

3. Hauptbeiträge

Die Studie umreißt drei primäre Beiträge:

1. Identifizierung einer kritischen Einschränkung: Die Autoren zeigen, dass bestehende Graphen-Unlearning-Methoden aufgrund struktureller Parameterungleichgewichte, insbesondere der Überbearbeitung hochdimensionaler Eingangsprojektionsschichten, an multimodalen Graphen unter einer schweren Verschlechterung der Nutzbarkeit leiden.
2. Vorschlag von FDQ: Ein neuartiges Framework, das Parameterauswahlschwellenwerte basierend auf Merkmalsdimensionen anpasst. Es ermöglicht stabiles Unlearning, indem es essentielles multimodales Wissen in Eingangsschichten schützt, während gleichzeitig ein effektives Vergessen in tieferen Schichten aufrechterhalten wird. Es unterstützt sowohl Knoten- als auch Kanten-Unlearning ohne Rekonstruktion von Rohdaten.
3. Empirische Validierung: Umfassende Experimente mit realen multimodalen Datensätzen (Ele-Fashion und Goodreads-NC) zeigen, dass FDQ konsistent State-of-the-Art-Methoden bei der Wahrung der Nutzbarkeit übertrifft und gleichzeitig einen effektiven Datenschutz gegen Mitgliedschafts-Inferenz-Angriffe gewährleistet.

4. Experimentelle Ergebnisse

Die Autoren bewerteten FDQ an zwei multimodalen Knotenklassifizierungsdatensätzen unter Verwendung verschiedener Encoder-Kombinationen (z. B. CLIP, ImageBind, T5+ViT).

• Wahrung der Nutzbarkeit: FDQ erzielte konsistent die höchsten Unlearning-F1-Scores auf beiden Datensätzen und über alle Encoder-Kombinationen hinweg. Auf dem großskaligen Goodreads-NC-Datensatz zeigte FDQ signifikante Vorteile gegenüber Baselines wie GNNDelete (das bei ImageBind Out-Of-Memory-Fehler hatte) und anderen Methoden, die deutliche Nutzbarkeitsverluste aufwiesen.
• Datenschutz: Unter Mitgliedschafts-Inferenz-Angriffen (MIA) reduzierte FDQ die AUC-ROC-Scores auf nahezu 50 % (zufälliges Raten), was auf eine starke Vergessenseffektivität hindeutet. Im Gegensatz dazu zeigten Baselines wie GNNDelete höhere AUC-Werte, was auf verbleibende Mitgliedschaftssignale schließen lässt.
• Robustheit gegenüber Vergiftung: In Kanten-Unlearning-Szenarien mit vergifteten Kanten behielt FDQ nach Entfernung des vergifteten Einflusses eine hohe Leistung bei, während andere Methoden erhebliche Leistungsabfälle zeigten.
• Effizienz: FDQ zeigte eine hohe Recheneffizienz und schloss Unlearning im Bereich von unter einer Sekunde bis zu wenigen Sekunden ab, deutlich schneller als Baselines, die stark auf Neukalibrierung oder komplexe Einflussabschätzungen angewiesen sind.
• Ablationsstudien: Das Entfernen der Merkmalsdimensionen-Wahrnehmung (Verwendung einheitlicher Quantile) oder des Quantil-Schwanz-Auswahlmechanismus führte zu niedrigeren F1-Scores, was bestätigt, dass beide Komponenten für eine optimale Leistung notwendig sind, insbesondere bei größeren, komplexeren Graphen.

5. Bedeutung und Behauptungen

Die Studie behauptet, dass FDQ eine prinzipielle und robuste Lösung für datenschutzbewusstes Unlearning in hochdimensionalen multimodalen Graphensystemen bietet. Ihre Bedeutung liegt in der Adressierung der spezifischen strukturellen Verwundbarkeit multimodaler GNNs, bei denen Eingangsschichten den Parameterraum dominieren. Durch die Einführung eines merkmalsdimensionenbewussten Mechanismus löst FDQ den Zielkonflikt zwischen effektivem Vergessen und Modellnutzbarkeit, der bestehende uniforme Bearbeitungsstrategien plagt.

Die Autoren positionieren FDQ als praktisches Werkzeug für das Lebenszyklusmanagement multimodaler Graphmodelle, das die Einhaltung von Datenschutzbestimmungen sicherstellt, ohne die reichen Repräsentationen zu beeinträchtigen, die aus Text- und visuellen Modalitäten gelernt wurden. Sie räumen eine Einschränkung bezüglich der Empfindlichkeit gegenüber Hyperparametern ein, die die Bearbeitungsstärke steuern, und stellen fest, dass diese in der Praxis möglicherweise angepasst werden müssen.