Technische Samenvatting: Member vs. Generated Inference (MGI)

1. Probleemdefinitie: Member vs. Generated Inference (MGI)

Het artikel introduceert een nieuwe inferentietaken genaamd Member vs. Generated Inference (MGI). Nu generatieve modellen (specifiek Image Generative Models of IGM's) steeds vaker monsters produceren die niet te onderscheiden zijn van door mensen gecreëerde inhoud, ontstaat er een kritische ambiguïteit: gegeven een monster en een doelmodel, is het monster een echte trainingsmember (onderdeel van de natuurlijke trainingsset van het model) of een gegenereerde output geproduceerd door het model zelf?

Deze uitdaging wordt verergerd door twee factoren:

1. Memorizatie: Moderne modellen memoriseren en reproduceren vaak trainingsdata letterlijk of als bijna-duplicaten, waardoor de grens tussen trainingsinputs en modeloutputs vervaagt.
2. Modelderivaten (Data Circuits): In realistische scenario's worden modellen vaak getraind op data gegenereerd door voorgaande modellen. Dit creëert een "data circuit" waarbij het onderscheid tussen natuurlijke trainingsmembers en gegenereerde non-members steeds complexer wordt, aangezien opeenvolgende modellen worden getraind op de outputs van eerdere modellen.

De MGI-taak vereist het onderscheiden van drie categorieën in een directe trainingssetting ($N_M$ vs. $N_N$ vs. $G$) en een derivatieve setting ($N_M$ vs. $G_M$ vs. $G'$), waarbij $N$ staat voor natuurlijke data, $G$ staat voor gegenereerde data, en subscripten de lidmaatschapsstatus aangeven ten opzichte van specifieke modelversies.

2. Beperkingen van Bestaande Benaderingen

De auteurs tonen aan dat bestaande methoden systematisch falen in de MGI-setting vanwege hun afhankelijkheid van likelihood-gebaseerde of waarschijnlijkheidsgebaseerde signalen die verhoogd zijn voor zowel ware members als modelgegenereerde outputs.

• Membership Inference Attacks (MIA's): Ontworpen om trainingsmembers te onderscheiden van gehouden-out natuurlijke data, vertrouwen MIA's (bijv. CLiD, ICAS, PIAR) op conditionele waarschijnlijkheidsverschillen. Omdat gegenereerde monsters echter geoptimaliseerd zijn onder dezelfde latente distributie als trainingsmembers, leveren zij ook hoge likelihood-scores op. Bijgevolg classificeren MIA's gegenereerde monsters systematisch foutief als trainingsmembers.
• Image Attribution Methods: Methoden ontworpen om te detecteren of een afbeelding is gegenereerd door een specifiek model (bijv. PRADA) falen vaak door ware trainingsmembers foutief als gegenereerd te classificeren. Deze methoden vertrouwen ook zwaar op de latente generator-waarschijnlijkheden, waarbij ze signalen negeren die aanwezig zijn in de autoencoder-component van IGM's.

Beide fouten komen voort uit het feit dat krachtige generatieve modellen outputs produceren die hoge likelihood-scores delen met hun eigen trainingsdata, waardoor de aannames die ten grondslag liggen aan eerdere likelihood-gebaseerde detectie worden doorbroken.

3. Methodologie: Data Circuit Breaker (DCB)

Om MGI aan te pakken, stellen de auteurs Data Circuit Breaker (DCB) voor, een methode in drie stadia die holistisch gebruikmaakt van signalen van zowel de autoencoder (encoder-decoder paar) als de latente generator. De kerninzicht is dat hoewel de latente generator hoge scores produceert voor zowel members als gegenereerde monsters, de autoencoder meetbare artefacten introduceert: gegenereerde monsters, die de volledige encode-decode pipeline hebben doorlopen, vertonen lagere reconstructie- en kwantiseringsfouten dan natuurlijke datapunten.

Fase 1: Autoencoder-gebaseerde Filtering (Gegenereerd vs. Niet-Gegenereerd)

De eerste fase filtert monsters die waarschijnlijk door het doelmodel zijn gegenereerd uit, gebruikmakend van de zelfconsistentie van de autoencoder.

• Reconstructiefout: Voor alle modellen berekent de methode de Mean Squared Error (MSE) tussen de invoerafbeelding en de reconstructie ($\text{recloss}$).
• Normalisatie: Om de metriek over diverse inhoud te stabiliseren, wordt een dubbele reconstructieratio gebruikt, waarbij de loss wordt genormaliseerd tegen een baseline afgeleid van het opnieuw reconstrueren van de latente representatie.
• Kwantiseringsfout: Voor Image Autoregressive (IAR) modellen die VQ-VAE gebruiken, wordt een aanvullend kwantiseringsfoutsignaal berekend. Gegenereerde monsters, die door de specifieke discrete codebook van het model gaan, veroorzaken lagere kwantiseringsfouten dan natuurlijke afbeeldingen of afbeeldingen van andere modellen.
• Resultaat: Deze fase scheidt gegenereerde monsters van niet-gegenereerde data (natuurlijke members en natuurlijke non-members).

Fase 2: Membership Inference op Niet-Gegenereerde Samples

Zodra de gegenereerde monsters zijn gefilterd, bestaat de resterende dataset uit natuurlijke members en natuurlijke non-members.

• Standaard MIA-technieken (bijv. ICAS) worden toegepast op deze subset.
• Door de scope te beperken tot niet-gegenereerde data, wordt de kernelement van MIA's (dat members hogere scores hebben dan non-members) hersteld, aangezien de verwarrende factor van modelgegenereerde outputs is verwijderd.

Fase 3: Cross-Generator Attributie (Data Circuits)

In de derivatieve setting waar modellen zijn getraind op gegenereerde data, onderscheidt Fase 3 tussen gegenereerde monsters van verschillende modelversies (bijv. $M_1$ vs. $M_2$).

• Feature Vector: Een tweedimensionale feature vector wordt geconstrueerd op basis van de conditionele log-waarschijnlijkheden van de latente generatoren van twee kandidaatmodellen ($M_1$ en $M_2$).
• Likelihood Vergelijking: Class-conditional dichtheden worden geschat met behulp van Kernel Density Estimation (KDE) op referentiesets van gegenereerde data van elk model.
• Resultaat: Dit maakt het mogelijk om gegenereerde monsters toe te schrijven aan hun specifieke bron-generator, waardoor onderscheid wordt gemaakt tussen data die gebruikt is om een downstream model te trainen en data die als non-members is achtergehouden.

4. Belangrijkste Bijdragen

1. Nieuwe Taakdefinitie: De formalisering van de MGI-taak, die strikt moeilijker is dan standaard membership inference, omdat het de scheiding vereist tussen trainingsmembers en modelgegenereerde outputs, inclusief in data-circuit scenario's.
2. Identificatie van Eerdere Beperkingen: Empirische demonstratie dat state-of-the-art MIA's en attributiemethoden falen in MGI-settings, waarbij ze gegenereerde monsters systematisch misclassificeren als members of andersom.
3. Voorgestelde Methode (DCB): Een nieuwe driefasen-pipeline die gebruikmaakt van autoencoder zelfconsistentie (reconstructie/kwantiseringsfouten) en cross-generator waarschijnlijkheidsverschillen om MGI op te lossen.
4. Robuustheid tegen Memorizatie: Demonstratie dat DCB effectief blijft wanneer modellen trainingsdata letterlijk memoriseren en reproduceren, waarbij het originele trainingsdata onderscheidt van bijna-duplicaat gegenereerde tegenhangers.

5. Experimentele Resultaten

De auteurs evalueerden DCB tegen state-of-the-art baselines (CLiD, ICAS, PIAR, PRADA, LiRA, RMIA) op diverse modellen, waaronder Diffusion Models (Stable Diffusion 1.4/2.1) en Image Autoregressive Models (VAR, RAR-XXL, LlamaGen-XXL).

• Directe Trainingssetting: DCB bereikte bijna perfecte True Positive Rates bij een 1% False Positive Rate (TPR@1%FPR) in het onderscheiden van gegenereerde monsters van natuurlijke members, waarbij het baselines met meer dan 36% overtrof voor IAR's en significant beter presteerde voor Diffusion Models. Baselines faalden vaak volledig (bijv. 0% TPR) wanneer gegenereerde data werd geïntroduceerd.
• Model Derivatieve Setting: In scenario's waar $M_2$ werd getraind op data gegenereerd door $M_1$, onderscheidde DCB consistent tussen natuurlijke members, gegenereerde members en gegenereerde non-members. Baselines hadden moeite met het differentiëren binnen de gegenereerde distributies.
• Sterke MIA Vergelijking: Zelfs wanneer sterke MIA's (LiRA, RMIA) een voordeel kregen via shadow-modellen getraind op dezelfde distributie, slaagden zij er niet in de MGI-taak op te lossen, terwijl DCB een hoge prestatie behield.
• Memorizatie: In gevallen van letterlijke memorizatie (bijna-duplicaat regurgitatie), scheidde DCB memoriseerde trainingsafbeeldingen succesvol van hun gegenereerde tegenhangers, een taak waarbij likelihood-gebaseerde methoden instortten.

6. Betekenis en Claims

Het artikel claimt dat MGI een fundamentele uitdaging vormt in het tijdperk van generatieve AI, waarin de grens tussen trainingsdata en modeloutput steeds vager wordt. De betekenis van DCB ligt in het vermogen om:

• De Likelihood Trap te Doorbreken: Door gebruik te maken van autoencoder-artefacten in plaats van alleen latente likelihoods, overwint het de fundamentele beperking van voorgaande methoden.
• Data Circuits te Mitigeren: Het biedt een mechanisme om gegenereerde data te detecteren en te filteren voordat deze wordt gebruikt om nieuwe modellen te trainen, wat potentieel model collapse kan voorkomen.
• Memorizatie te Behandelen: Het biedt een robuuste oplossing voor het identificeren van memoriseerde trainingsdata, zelfs wanneer het model deze met hoge getrouwheid reproduceert.

De auteurs concluderen dat een holistische procedure die de volledige generatieve pipeline beslaat (autoencoder + generator) essentieel is voor het oplossen van MGI, en dat DCB een praktische en effectieve oplossing biedt voor het onderscheiden van trainingsmembers van gegenereerde outputs in zowel directe als derivatieve settings.