💬 NLP

Can We Infer Confidential Properties of Training Data from LLMs?

Dit onderzoek introduceert PropInfer, een benchmark om aan te tonen dat grote taalmodellen (LLM's) kwetsbaar zijn voor aanvallen waarbij vertrouwelijke eigenschappen van trainingsdata, zoals demografische gegevens, kunnen worden afgeleid.

Oorspronkelijke auteurs: Pengrun Huang, Chhavi Yadav, Kamalika Chaudhuri, Ruihan Wu

Gepubliceerd 2026-02-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Pengrun Huang, Chhavi Yadav, Kamalika Chaudhuri, Ruihan Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een geheime receptenboek hebt voor een restaurant. Je wilt niet dat mensen weten dat je 80% van je klanten met een allergie voor noten heeft, of dat je vooral gerechten maakt voor mensen met een hoog inkomen. Dat zijn geen persoonlijke gegevens van één specifieke klant, maar het zijn wel geheimen van je hele collectie.

Dit wetenschappelijke onderzoek gaat over precies dat: kunnen slimme hackers de "geheime ingrediënten" of de "verborgen patronen" van een dataset achterhalen door alleen maar te praten met een AI (zoals ChatGPT)?

Hier is de uitleg in begrijpelijke taal:

De Kern: Het "Spiegel-effect" van AI

Wanneer een AI-model wordt getraind op een specifieke set gegevens (bijvoorbeeld medische gesprekken van een ziekenhuis), werkt het als een soort spons. De AI zuigt niet alleen de feiten op, maar ook de statistische vingerafdruk van de hele groep.

De onderzoekers ontdekten dat je die vingerafdruk kunt aflezen. Als je de AI heel veel vragen stelt, begint de AI patronen te herhalen die hij heeft geleerd. Het is alsof je een spion bent die niet vraagt: "Wie is deze patiënt?" (dat is verboden), maar vraagt: "Vertel eens een verhaal over een patiënt..." en vervolgens heel goed let op de details.

De twee "Inbraakmethoden" (De Aanvallen)

De onderzoekers testten twee manieren waarop een hacker dit zou kunnen doen:

De "Verhalenverteller-methode" (Generation-based attack):
Stel je voor dat je een detective bent. Je vraagt de AI niet naar cijfers, maar je vraagt: "Schrijf een kort medisch verslag." Als de AI in 9 van de 10 verhalen onbewust woorden gebruikt die wijzen op een vrouw (zoals "dochter" of "zwangerschap"), dan weet jij als detective: "Ah, de dataset waar deze AI op getraind is, bestaat voor een groot deel uit vrouwelijke patiënten!" Je raadt het geheim door naar de verhalen te luisteren.
De "Woord-teller-methode" (Word-frequency attack):
Dit is een meer wiskundige aanpak. De hackers maken een soort "schaduw-AI's". Ze maken een AI die getraind is op een dataset met veel ziektes, en een andere met weinig ziektes. Ze kijken heel nauwkeurig naar welke woorden de eerste AI vaker gebruikt dan de tweede. Daarna vergelijken ze de echte AI met hun schaduw-modellen. Het is alsof je de stem van iemand analyseert om te raden uit welke regio hij komt, puur door te letten op kleine accenten en woordgebruik.

Wat hebben ze ontdekt?

De resultaten waren een beetje een waarschuwing:

De AI is een verklapper: Zelfs als je de AI niet direct vraagt naar geheimen, "lekt" hij de statistieken van zijn trainingsdata via zijn antwoorden.
Het hangt af van de "training-stijl": Als de AI getraind is om simpelweg vragen te beantwoorden, is hij op een andere manier kwetsbaar dan wanneer hij getraind is om een gesprek te voeren.
Het is verrassend makkelijk: De aanvallers konden met relatief weinig vragen al heel nauwkeurig raden hoe de verdeling van bijvoorbeeld geslacht of bepaalde medische diagnoses in de geheime dataset lag.

Waarom is dit belangrijk? (De moraal van het verhaal)

Dit gaat niet over het stelen van jouw naam of adres (individuele privacy). Het gaat over bedrijfsgeheimen en maatschappelijke gevoeligheid.

Als een ziekenhuis een AI gebruikt om artsen te helpen, willen ze niet dat concurrenten of verzekeraars kunnen uitrekenen: "Hé, dit ziekenhuis heeft een ongewoon hoog percentage patiënten met ziekte X." Dat kan de reputatie van het ziekenhuis schaden of zakelijke strategieën blootleggen.

De conclusie van de onderzoekers: We moeten slimmer worden in het bouwen van AI. We moeten de "spons" zo trainen dat hij de feiten opzuigt, maar de "vingerafdruk" van de hele groep niet laat zien.

Technische Samenvatting: Kunnen we vertrouwelijke eigenschappen van trainingsdata afleiden uit LLM's?

1. Het Probleem (Problem Statement)

Hoewel veel onderzoek naar privacy in Large Language Models (LLM's) zich richt op individuele privacy (het herstellen van specifieke zinnen of gegevens van één persoon), richt dit paper zich op Property Inference Attacks (PIA). Dit betreft het lekken van dataset-niveau eigenschappen: geaggregeerde, vertrouwelijke informatie over de gehele trainingsset, zoals de demografische verdeling (bijv. het percentage vrouwen in een medische dataset) of de prevalentie van bepaalde ziekten.

Het probleem is dat LLM's vaak worden gefinetuned op domeinspecifieke data (medisch, financieel, juridisch) die gevoelige statistische patronen bevatten. Het onderzoek stelt de vraag of een aanvaller deze patronen kan extraheren zonder directe toegang tot de trainingsdata, wat een ernstig risico vormt voor de bedrijfsgeheimhouding en patiëntprivacy.

2. Methodologie (Methodology)

De auteurs introduceren PropInfer, een benchmark voor het evalueren van eigenschap-inferentie in LLM's. Ze maken gebruik van de ChatDoctor-dataset en onderscheiden twee fine-tuning paradigma's:

Q&A Mode (Supervised Fine-Tuning - SFT): Het model leert alleen de antwoorden ( $y$ ) te genereren op basis van een vraag ( $x$ ).
Chat-Completion Mode (Causal Language Modeling - CLM-FT): Het model leert de volledige sequentie (vraag én antwoord) te voorspellen.

De onderzoekers stellen twee specifieke aanvalsmethoden voor:

Black-box Generation-based Attack:
- Setting: De aanvaller heeft alleen toegang tot de API (input/output).
- Techniek: De aanvaller voert specifieke prompts in die de context van de dataset simuleren. Het model genereert meerdere samples. Een labelingsmodel (zoals GPT-4o) bepaalt of de gegenereerde tekst de doel-eigenschap bevat. Door de verhouding van deze labels te aggregeren, wordt de eigenschap van de trainingsset geschat.
Shadow-Model Attack met Woordfrequentie (Grey-box):
- Setting: De aanvaller kent het fine-tuning proces en heeft toegang tot een hulp-dataset (auxiliary dataset).
- Techniek: De aanvaller traint meerdere "schaduwmodellen" op de hulp-dataset met variërende verhoudingen van de doel-eigenschap. Vervolgens wordt een meta-aanvalmodel (XGBoost) getraind dat de verhouding voorspelt op basis van woordfrequentie-signalen. De aanvaller identificeert een lijst met relevante trefwoorden die sterk correleren met de eigenschap en gebruikt de frequentie van deze woorden in de output van het doelmodel als kenmerk (feature).

3. Belangrijkste Bijdragen (Key Contributions)

PropInfer Benchmark: Een gestandaardiseerd framework om eigenschap-inferentie in LLM's te testen onder verschillende fine-tuning modi en eigenschapstypen.
Nieuwe Aanvalsvormen: De ontwikkeling van de generatie-gebaseerde aanval en de woordfrequentie-gebaseerde schaduwmodel-aanval, specifiek aangepast voor de unieke aard van tekstgeneratie.
Inzicht in Fine-tuning Paradigma's: Het aantonen dat de effectiviteit van een aanval sterk afhangt van de manier waarop het model is getraind (SFT vs. CLM-FT).

4. Resultaten (Results)

De experimenten op modellen zoals Llama-1, Pythia en Llama-3 laten significante kwetsbaarheden zien:

Afhankelijkheid van de modus:
- In Q&A Mode is de woordfrequentie-aanval het meest effectief, vooral wanneer de eigenschap (zoals geslacht) impliciet in de vraag zit.
- In Chat-Completion Mode is de generatie-gebaseerde aanval zeer effectief en simpel, omdat het model de volledige dialoog (inclusief de eigenschap) beter onthoudt.
Medische diagnoses: De generatie-aanval presteert consistent goed bij het afleiden van ziekteprevalentie (zoals mentale of spijsverteringsstoornissen), omdat deze informatie zowel in de vraag als in het antwoord verankerd zit.
Pre-training bias: De resultaten suggereren dat de initiële kennis van het model (pre-training) de aanval kan beïnvloeden, vooral wanneer de doel-eigenschap sterk afwijkt van wat het model al weet.

5. Betekenis (Significance)

Dit onderzoek legt een voorheen onbekende kwetsbaarheid bloot in LLM's. Het bewijst dat het fine-tunen van een model voor een specifieke taak onbedoeld statistische geheimen van de trainingsset kan lekken. Dit heeft grote implicaties voor de beveiliging van AI in sectoren zoals de gezondheidszorg en de financiële wereld. Het werk benadrukt de noodzaak voor nieuwe verdedigingsmechanismen (zoals differential privacy op dataset-niveau of het aanpassen van sampling-parameters) om de vertrouwelijkheid van geaggregeerde data te waarborgen.