Technische Samenvatting: Stabiel Multimodaal Grafiekvergeten via Kwantielselectie Bewust van Feature-dimensie

1. Probleemstelling

Grafiekvergeten is essentieel voor het naleven van gegevensprivacyregels (bijv. AVG) door de invloed van specifieke datapunten (knooppunten of randen) uit getrainde Graph Neural Networks (GNN's) te verwijderen zonder kostbare hertraining. Echter, bestaande vergetenstrategieën ondervinden een kritieke beperking wanneer ze worden toegepast op multimodale grafieken.

Multimodale grafieken integreren hoogdimensionale features (bijv. tekst en afbeeldingen gecodeerd door modellen zoals CLIP of ImageBind) naast structurele data. In dergelijke architecturen bevatten de input-projectielagen (de eerste laag die ruwe features afbeeldt op verborgen ruimten) een dominante fractie van de totale parameters van het model. Huidige vergetenmethoden passen doorgaans uniforme parameterselectie- en bewerkingsstrategieën toe over alle lagen. Wanneer dit wordt toegepast op multimodale grafieken, leidt deze uniformiteit tot de onselectieve modificatie van deze gevoelige, hoogdimensionale inputlagen. Het artikel observeert dat dit "over-bewerken" vooraf getrainde cross-modale kennis vernietigt, wat resulteert in catastrofale degradatie van de bruikbaarheid (ernstige dalingen in modelprestaties) of een verzwakking van het vergeetmechanisme om prestaties te behouden.

2. Methodologie: Het FDQ-kader

De auteurs stellen FDQ (Feature-Dimension Aware Quantile) voor, een kader ontworpen om stabiel vergeten mogelijk te maken in hoogdimensionale multimodale grafieken. FDQ integreert met diagonale Fisher Information Matrix (FIM) gebaseerde importantieschatting, maar introduceert een nieuw, adaptief kwantielselectiemechanisme.

Kernmechanisme: Kwantielselectie Bewust van Feature-dimensie

In plaats van een globale kwantieldrempel $k$ toe te passen om parameters voor suppressie te selecteren over het hele netwerk, past FDQ de selectiestrakte aan op basis van de rol van de laag en de input-featuredimensie $d$:

1. Lag-partitie: De modelparameters worden verdeeld in input-projectielagen ($\theta_{in}$), die hoogdimensionale ruwe features verwerken, en diepere lagen ($\theta_{deep}$).
2. Adaptieve Drempelstelling: FDQ definieert een laag-specifieke schalingsfactor $\alpha^{(\ell)}$. Voor inputlagen waar de featuredimensie $d$ een drempel $\tau$ overschrijdt, wordt de effectieve kwantiel $k^{(\ell)}_{eff}$ aangescherpt (verlaagd) met een factor $\rho$ (waarbij $\rho < 1$).
   • Formule: $k^{(\ell)}_{eff} = \alpha^{(\ell)} \cdot k$.
   • Effect: Dit resulteert in een conservatievere selectie (minder parameters gemodificeerd) voor de gevoelige inputlagen, terwijl diepere lagen toegestaan blijven om bewerkbaar te zijn onder standaarddrempels.
3. Constructie van Suppressie-set:
   • Knooppuntvergeten: Het kader berekent FIM-gebaseerde importantiescores voor de trainingsset, de vergeetset en de buurset (om effecten van berichtenoverdracht vast te leggen). Twee suppressiescores ($b_1$ en $b_2$) worden afgeleid om parameters te identificeren die gespecialiseerd zijn in de vergeetset.
   • Randvergeten: Een benadering van de beïnvloede-set wordt gebruikt om de impact van het verwijderen van een rand te schatten.
   • Selectie & Schaling: Parameters worden geselecteerd als hun suppressiescores onder de door FDQ aangepaste kwantiel-drempels vallen. Geselecteerde parameters worden vervolgens gedempt door een ratio van hun score tot de drempel, begrensd door een maximale schalingsfactor $\gamma$.

Processtroom

De FDQ-processtroom werkt in drie stappen:

1. Diagonale FIM's berekenen voor relevante datasets (behoud, vergeet en buur/beïnvloede sets).
2. Per-parameter suppressiescores construeren op basis van Fisher-ratio's.
3. FDQ-geleide, laag-voor-laag kwantiel-drempels toepassen om parameters te selecteren en te schalen, waardoor reconstructie van ruwe data wordt vermeden.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Identificatie van een Kritieke Beperking: De auteurs demonstreren dat bestaande grafiekvergetenmethoden lijden aan ernstige degradatie van de bruikbaarheid op multimodale grafieken vanwege de structurele onbalans van parameters, specifiek het over-bewerken van hoogdimensionale input-projectielagen.
2. Voorstellen van FDQ: Een nieuw kader dat parameterselectiedrempels aanpast op basis van feature-dimensies. Het stelt stabiel vergeten mogelijk door essentiële multimodale kennis in inputlagen te beschermen terwijl effectief vergeten in diepere lagen behouden blijft. Het ondersteunt zowel knooppunt- als randvergeten zonder reconstructie van ruwe data.
3. Empirische Validatie: Uitgebreide experimenten op real-world multimodale datasets (Ele-Fashion en Goodreads-NC) tonen aan dat FDQ consequent state-of-the-art methoden overtreft in het behoud van bruikbaarheid terwijl effectieve privacybescherming tegen lidmaatschapsinferentie-aanvallen wordt gehandhaafd.

4. Experimentele Resultaten

De auteurs evalueerden FDQ op twee multimodale knooppuntclassificatiedatasets met verschillende encodercombinaties (bijv. CLIP, ImageBind, T5+ViT).

• Behoud van Bruikbaarheid: FDQ behaalde consequent de hoogste Unlearning F1-scores over beide datasets en alle encodercombinaties. Op de grootschalige Goodreads-NC-dataset toonde FDQ aanzienlijke voordelen ten opzichte van baselines zoals GNNDelete (die Out-Of-Memory-fouten ondervond met ImageBind) en andere methoden die merkbare dalingen in bruikbaarheid vertoonden.
• Privacybescherming: Onder Lidmaatschapsinferentie-aanvallen (MIA) verlaagde FDQ de AUC-ROC-scores tot bijna 50% (willekeurig gokken), wat wijst op sterk vergeten-effect. In tegenstelling hiermee vertoonden baselines zoals GNNDelete hogere AUC-waarden, wat suggereert dat er resterende lidmaatschapssignalen aanwezig waren.
• Robuustheid tegen Vergiftiging: In randvergetenscenario's met vergiftigde randen behield FDQ hoge prestaties na het verwijderen van de vergiftigde invloed, terwijl andere methoden aanzienlijke prestatiedalingen vertoonden.
• Efficiëntie: FDQ toonde hoge computationele efficiëntie, waarbij vergeten werd voltooid in tijdsbestekken van sub-seconde tot enkele seconden, aanzienlijk sneller dan hertraining-gebaseerde of complexe invloedsschatting-baselines.
• Ablatiestudies: Het verwijderen van de feature-dimensie-bewustheid (met uniforme kwantielen) of het kwantiel-tail-selectiemechanisme resulteerde in lagere F1-scores, wat bevestigt dat beide componenten noodzakelijk zijn voor optimale prestaties, met name op grotere, complexere grafieken.

5. Betekenis en Claims

Het artikel stelt dat FDQ een gebaseerde en robuuste oplossing biedt voor privacy-bewust vergeten in hoogdimensionale multimodale grafieksystemen. De betekenis ligt in het adresseren van de specifieke structurele kwetsbaarheid van multimodale GNN's waarbij inputlagen de parameter-ruimte domineren. Door een feature-dimensie-bewust mechanisme in te voeren, lost FDQ de afweging op tussen effectief vergeten en modelbruikbaarheid die bestaande uniforme bewerkingsstrategieën teistert.

De auteurs positioneren FDQ als een praktisch hulpmiddel voor het levenscyclusbeheer van multimodale grafiekmodellen, waarmee naleving van gegevensprivacyregels wordt gewaarborgd zonder afbreuk te doen aan de rijke representaties die zijn geleerd uit tekst- en visuele modaliteiten. Ze erkennen een beperking met betrekking tot de gevoeligheid voor hyperparameters die de bewerkingssterkte controleren, en merken op dat deze in de praktijk mogelijk moeten worden afgestemd.