Technische Samenvatting: In-Context Probing voor Membership Inference in Fine-Tuned Taalmodellen

Probleemstelling

Fine-tuned Large Language Models (LLMs) die worden ingezet in privacygevoelige domeinen (bijv. gezondheidszorg, recht, financiën) zijn kwetsbaar voor Membership Inference Attacks (MIAs). Deze aanvallen beogen te bepalen of een specifieke dataprofiel deel uitmaakte van de trainingsdataset van een model, wat potentieel gevoelige informatie kan onthullen.

Bestaande black-box MIA-technieken voor LLM's vallen over het algemeen uiteen in twee categorieën:

1. Referentie-gebaseerde aanvallen: Deze vertrouwen op het trainen van schaduwmodellen of referentiemodellen met behulp van hulpdata uit een distributie die vergelijkbaar is met de doelstelling van de target. Deze aanname faalt vaak in real-world scenario's waar trainingsdata propriëtair of privé is.
2. Referentie-vrije aanvallen: Methoden zoals Min-K% of ReCaLL vertrouwen op ruwe confidentiescores, loss-waarden of token-likelihoods. Echter, deze signalen zijn vaak verstrengeld met de intrinsieke eigenschappen van een sample (bijv. moeilijkheidsgraad of zeldzaamheid), wat leidt tot slechte generalisatie, lage signaal-ruisverhoudingen en een gebrek aan een gefundeerde grondslag met betrekking tot trainingsdynamiek.

De kernuitdaging is het identificeren van een robuust signaal voor membership inference dat onafhankelijk is van de moeilijkheidsgraad van een sample en geen toegang vereist tot hulp-referentiedata of interne modelparameters.

Methodologie: ICP-MIA

De auteurs stellen ICP-MIA voor, een nieuw framework dat geworteld is in de theorie van trainingsdynamiek, specifiek het fenomeen van afnemende meeropbrengsten tijdens optimalisatie.

1. De Optimalisatiekloof (Optimization Gap)

De auteurs postuleren dat modellen tijdens fine-tuning snel adapteren aan geziene data (member samples) in een vroeg stadium van het proces, gevolgd door afnemende meeropbrengsten naarmate de training vordert. Bij convergentie geldt derhalve:

• Member samples hebben een minimale resterende potentie voor loss-reductie (ze zijn al geoptimaliseerd).
• Non-member samples behouden een significante potentie voor verdere optimalisatie.

Deze discrepantie wordt gedefinieerd als de Optimization Gap. De auteurs hypothetiseren dat deze kloof dient als een fundamenteel, principieel signaal voor membership inference.

2. In-Context Probing (ICP)

Aangezien aanvallers opereren in een black-box setting en geen werkelijke gradiënt-updates kunnen uitvoeren om de Optimization Gap te meten, introduceren de auteurs In-Context Probing (ICP). Dit is een training-vrije methode die een fine-tuning stap simuleert tijdens de inferentie door strategisch input-contexten te construeren.

Het kernmechanisme berust op de interpretatie van In-Context Learning (ICL) als een impliciet optimalisatieproces. Door een probe-context $C$ voor te voegen aan een input $x$, verandert de log-likelihood (LL) van het model voor de target output $y$. De ICP Score wordt gedefinieerd als:
$$\text{ICP}_{\text{score}}(s, C) = \text{LL}(y | x; M) - \text{LL}(y | C \oplus x; M)$$

• Non-members: Vertonen een grote verbetering in LL (grote negatieve ICP score) wanneer geprobeerd wordt, wat wijst op een significante resterende optimalisatiepotentie.
• Members: Vertonen een minimale verbetering in LL (score nabij nul), omdat ze al geleerd zijn.

3. Probing Strategieën

Om deze kloof te schatten, stelt het paper twee complementaire strategieën voor voor het construeren van probe-contexten:

• Reference-Data-Based (ICP-MIA-Ref): Gebruikt een externe hulpdataset om semantisch vergelijkbare samples als probe-contexten op te halen. Dit vereist geen training van een referentiemodel, maar vertrouwt op semantische uitlijning.
• Self-Perturbation (ICP-MIA-SP): Genereert probes direct vanuit de target sample zonder externe data. Dit omvat:
  • Generation-based perturbation: Het gebruik van een hulp-LLM om variant-responses te genereren voor dezelfde input.
  • Masking-based perturbation: Het willekeurig of strategisch maskeren van tokens in de target response om de afhankelijkheid van het model van geïnternaliseerde kennis versus context te testen.

Belangrijkste Bijdragen

1. Formalisering van de Optimization Gap: Het paper is het eerste dat de "Optimization Gap" — de discrepantie in resterend potentieel voor loss-reductie tussen member en non-member samples — formaliseert en presenteert als een fundamenteel signaal voor membership inference.
2. ICP-MIA Framework: Introductie van een praktische, training-vrije black-box methode (ICP) die het fine-tuning gedrag simuleert om de Optimization Gap te schatten.
3. Dual Probing Strategies: Ontwikkeling van zowel referentie-data-gebaseerde als referentie-vrije self-perturbation strategieën, wat de robuustheid over diverse datadistributies heen vergroot.
4. Empirische Validatie: Demonstratie dat door ICP geïnduceerde veranderingen in loss significant correleren met werkelijke single-step gradiënt-gebaseerde reducties in loss, wat valideert dat ICP een betrouwbare proxy is voor de Optimization Gap.

Experimentele Resultaten

Het framework werd geëvalueerd op drie datasets (HealthcareMagic, CNN-DM, MedInstruct) en meerdere LLM's (LLaMA-3.2-3B, LLaMA-3.2-3B-Instruct, Pythia-2.8B).

• Prestaties: ICP-MIA presteert significant beter dan eerdere black-box MIAs. Op de HealthcareMagic dataset met LLaMA-3.2-3B-Instruct bereikte ICP-MIA-SP een AUC van 0.942, waarmee het ReCaLL (0.847) en Min-K% (0.837) overtreft.
• High-Precision Scenario's: De methode blinkt uit in high-precision settings (lage false positive rates). Op CNN-DM bereikte ICP-MIA-SP een TPR@1%FPR van 0.518, wat meer dan 2,6 keer hoger is dan referentie-vrije baselines zoals ReCaLL (0.195).
• Robuustheid:
  • Instruction Tuning: Aanvallen zijn effectiever op instruction-tuned modellen, die sterkere ICL-capaciteiten vertonen, wat leidt tot een meer uitgesproken Optimization Gap.
  • PEFT: De aanval blijft effectief over verschillende Parameter-Efficient Fine-Tuning (PEFT) configuraties (LoRA, QLoRA), hoewel een hogere adapter-capaciteit de kwetsbaarheid vergroot.
  • Differential Privacy: Hoewel Differential Privacy (DP) het succes van de aanval onderdrukt, presteert ICP-MIA nog steeds beter dan de meeste baselines onder sterke DP-restricties.
• Masking Analyse: Random masking bleek effectiever dan deterministische LL-gebaseerde masking, wat suggereert dat diversiteit in probe-generatie cruciaal is voor het vinden van optimale perturbaties.

Betekenis en Claims

Het paper claimt dat ICP-MIA een theoretisch gefundeerd en praktisch framework vestigt voor het auditeren van privacyrisico's in gedeplyoide LLM's. Door de focus te verschuiven van ruwe confidence scores naar het resterende leerpotentieel (Optimization Gap) van een sample, overwint de methode de beperkingen van sample-intrinsieke eigenschappen die eerdere benaderingen teisteren.

De auteurs benadrukken dat deze aanpak een geprincieerd signaal biedt voor membership inference dat:

• Black-box compatibel is: Vereist enkel inference queries.
• Referentie-vrij kan zijn: Vereist niet strikt hulpdata die is uitgelijnd met de doel-distributie.
• Interpreteerbaar is: Het signaal is direct gekoppeld aan de fundamentele dynamiek van neurale netwerktraining.

Het werk suggereert dat de "afnemende meeropbrengsten" die worden waargenomen in de trainingsdynamiek een scherpe, exploiteerbare scheiding creëren tussen geziene en ongeziene data, wat een nieuw perspectief biedt voor zowel privacy-auditing als de ontwikkeling van robuustere privacy-preserverende mechanismen.