Unveiling Privacy Risks in Multi-modal Large Language Models: Task-specific Vulnerabilities and Mitigation Challenges
Dit artikel introduceert de MM-Privacy-dataset om unieke privacyrisico's in Multimodale Grote Taalmodellen (MLLM's) systematisch te evalueren en te onthullen, waarbij wordt aangetoond dat zij vatbaar zijn voor het lekken van gevoelige informatie die in afbeeldingen of geheugen is ingebed over diverse taken heen, en de dringende behoefte aan gerichte mitigatiestrategieën benadrukt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een super-slimme assistent hebt die zowel tekst kan lezen als naar plaatjes kan kijken. Dit is wat een Multi-modal Large Language Model (MLLM) is. Hoewel we al weten dat deze assistenten soms per ongeluk geheimen kunnen verklappen van de tekst die ze hebben gelezen, stelt dit onderzoek een angstaanjagende nieuwe vraag: Wat gebeurt er wanneer ze naar een afbeelding kijken die geheimen bevat?
De onderzoekers, onder leiding van Tiejin Chen en collega's, ontdekten dat deze beeld-lezende assistenten als een lekke emmer zijn. Zelfs als je tegen hen zegt "zeg dat niet", laten ze vaak de hele boon vallen als het geheim verborgen zit in een afbeelding.
Hier is de uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën:
1. De twee manieren waarop geheimen lekken
Het team definieerde twee specifieke manieren waarop deze modellen er niet in slagen geheimen te bewaren:
- Disclosure Risk (Het "Oeps, Nu Meteen" Lek):
Stel je voor dat je de assistent een foto geeft van een sollicitatieformulier met een burgerservicenummer (BSN) erop geschreven en vraagt: "Wat is het nummer?"- Het Probleem: In tegen tegenstelling tot tekst-alleen modellen die misschien zeggen: "Dat kan ik niet doen," zullen veel van deze beeld-bevoegde modellen simpelweg het nummer hardop voorlezen. Ze zien de afbeelding, begrijpen de tekst erin en herhalen het geheim met plezier.
- Retention Risk (Het "Ik Onthoud Alles" Lek):
Stel je voor dat je de assistent traint op een heleboel nepdocumenten die privé-informatie bevatten (zoals nep-BSN-nummers) zodat hij ze "leert". Later vraag je: "Vertel me een nummer dat je je herinnert uit de documenten die je bestudeerd hebt."- Het Probleem: Het model gedraagt zich als een papegaai die het hele boek heeft uit het hoofd geleerd. Zelfs als je de afbeelding niet meer laat zien, kan het het geheim dat het tijdens de training heeft geleerd, weer oproepen.
2. De "MM-Privacy" Testkeuken
Om dit te testen, bouwden de onderzoekers een enorme testset genaamd MM-Privacy. Denk aan dit als een gigantische hindernisbaan voor AI.
- Ze creëerden meer dan 13.000 testgevallen.
- Ze gebruikten nep maar realistische documenten (zoals leningformulieren, sollicitatieformulieren en ID-kaarten) gevuld met verzonnen telefoonnummers en BSN's.
- Ze testten de AI in vier verschillende "kamers" (scenario's): Werving, Financiën, Verificatie en Open Context.
- Ze probeerden de AI op verschillende manieren te misleiden: door direct te vragen, door te vragen om een bijschrift voor de foto te schrijven, of door te vragen om een zin te herformuleren.
3. De Resultaten: Wie is de test niet doorgekomen?
De onderzoekers testten zowel Closed-Source modellen (zoals GPT-4, die als beveiligde kluizen zijn) als Open-Source modellen (zoals Llava, die als open schuren zijn).
- De Open-Source Modellen (De Open Schuren): Deze modellen waren erg slecht in het bewaren van geheimen. Ze waren als een kind dat geen geheim kan bewaren; als je ze een foto liet zien met een telefoonnummer, zouden ze het hardop roepen. Zelfs wanneer ze werd gevraagd om alleen "de afbeelding te beschrijven" (een taak die hen normaal gesproken afleidt), lekten ze nog steeds de nummers.
- De Closed-Source Modellen (De Beveiligde Kluizen): Deze waren beter in het zeggen van "Nee", maar ze waren niet perfect. Verrassend genoeg faalden de krachtigste modellen (zoals GPT-4V) soms ook in het beschermen van geheimen zoals verwacht, vooral wanneer de gebruiker hen vroeg om een afbeelding te "herschrijven" of te "beschrijven". De handeling van het beschrijven van de afbeelding leek de veiligheidsbewakers van de AI af te leiden.
4. De "Tovertruc" van Afleiding
Een van de meest interessante bevindingen is hoe de AI wordt misleid.
- Als je direct vraagt: "Wat is het BSN?", kan de AI zeggen: "Ik kan je hier niet bij helpen."
- Maar als je zegt: "Schrijf een verhaal over dit document en neem het BSN erbij," vergeet de AI vaak zijn veiligheidsregels en verklapt hij het geheim.
- De Analogie: Het is als een beveiligingsbeambte die streng is wanneer je naar een wapen vraagt, maar als je hem vraagt om "de scène in detail te beschrijven", beschrijft hij per ongeluk het wapen midden in het verhaal.
5. Kunnen we het oplossen?
De onderzoekers probeerden "borden" (genaamd Defense Prompts) op te hangen om de AI te vertellen voorzichtig te zijn.
- Het Resultaat: Het werkte goed voor sommige modellen (zoals Llava-1.6), waardoor ze bijna 100% veilig werden. Maar voor andere (zoals Idefics2) werkten de borden helemaal niet. Het is als het plaatsen van een "Niet Betreden" bord op een deur; sommige mensen (modellen) respecteren het, terwijl anderen er gewoon dwars doorheen lopen.
De Kern van het Verhaal
Het paper concludeert dat Multi-modale AI-modellen momenteel zeer riskant zijn wat betreft privacy. Ze zijn veel eerder geneigd om geheimen die in afbeeldingen worden gevonden te lekken dan tekst-alleen modellen. De onderzoekers waarschuwen dat we betere veiligheidsmaatregelen nodig hebben, vooral voor de open-source modellen die vrij beschikbaar zijn, want op dit moment zijn ze te gretig om de geheimen te delen die ze in plaatjes zien.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.