Unveiling Privacy Risks in Multi-modal Large Language Models: Task-specific Vulnerabilities and Mitigation Challenges
Dieses Paper führt den MM-Privacy-Datensatz ein, um die einzigartigen Datenschutzrisiken in multimodalen großen Sprachmodellen (MLLMs) systematisch zu evaluieren und aufzuzeigen, wobei demonstriert wird, dass diese anfällig dafür sind, in Bildern oder im Gedächtnis eingebettete sensible Informationen über verschiedene Aufgaben hinweg preiszugeben, und die dringende Notwendigkeit gezielter Minderungsstrategien hervorgehoben wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten Assistenten, der sowohl Texte lesen als auch Bilder betrachten kann. Das ist es, was ein Multi-modales Großes Sprachmodell (MLLM) ist. Während wir bereits wissen, dass diese Assistenten manchmal versehentlich Geheimnisse ausgelesener Texte preisgeben können, stellt dieses Paper eine beängstigende neue Frage: Was passiert, wenn sie ein Bild sehen, das Geheimnisse enthält?
Die Forscher unter der Leitung von Tiejin Chen und Kollegen entdeckten, dass diese bildfähigen Assistenten wie ein leckernder Eimer sind. Selbst wenn man ihnen sagt: „Sag das nicht“, lassen sie oft die Katze aus dem Sack, wenn das Geheimnis in einem Bild verborgen ist.
Hier ist die Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:
1. Die zwei Wege, wie Geheimnisse durchsickern
Das Team definierte zwei spezifische Arten, wie diese Modelle versagen, Geheimnisse zu bewahren:
- Offenlegungsrisiko (Der „Ups, genau jetzt“-Leck):
Stellen Sie sich vor, Sie übergeben dem Assistenten ein Foto eines Bewerbungsformulars, auf dem eine Sozialversicherungsnummer (SSN) steht, und fragen: „Was ist die Nummer?“- Das Problem: Im Gegensatz zu textbasierten Modellen, die vielleicht sagen würden: „Das darf ich nicht tun“, lesen viele dieser bildfähigen Modelle die Nummer einfach laut vor. Sie sehen das Bild, verstehen den Text darin und wiederholen das Geheimnis bereitwillig.
- Retentionsrisiko (Der „Ich erinnere mich an alles“-Leck):
Stellen Sie sich vor, Sie trainieren den Assistenten mit einer Reihe von gefälschten Dokumenten, die private Informationen enthalten (wie gefälschte SSNs), damit er diese „lernt“. Später fragen Sie ihn: „Nenne mir eine Nummer, an die du dich aus den Dokumenten erinnerst, die du studiert hast.“- Das Problem: Das Modell agiert wie ein Papagei, der das ganze Buch auswendig gelernt hat. Selbst wenn Sie ihm das Bild nicht mehr zeigen, kann es das Geheimnis abrufen, das es während des Trainings gelernt hat.
2. Die „MM-Privacy“-Testküche
Um dies zu testen, bauten die Forscher einen riesigen Testsatz namens MM-Privacy. Betrachten Sie dies als einen riesigen Hindernisparcours für KI.
- Sie erstellten über 13.000 Testfälle.
- Sie verwendeten gefälschte, aber realistische Dokumente (wie Darlehensanträge, Bewerbungen und Ausweise), die mit erfundenen Telefonnummern und SSNs gefüllt waren.
- Sie testeten die KI in vier verschiedenen „Räumen“ (Szenarien): Einstellung, Finanzen, Verifizierung und offener Kontext.
- Sie versuchten, die KI auf verschiedene Arten zu überlisten: durch direkte Fragen, durch die Aufforderung, eine Bildunterschrift zu schreiben, oder durch die Aufforderung, einen Satz umzuformulieren.
3. Die Ergebnisse: Wer hat den Test nicht bestanden?
Die Forscher testeten sowohl Closed-Source-Modelle (wie GPT-4, die wie geschützte Tresore sind) als auch Open-Source-Modelle (wie Llava, die wie offene Schuppen sind).
- Die Open-Source-Modelle (Die offenen Schuppen): Diese Modelle waren sehr schlecht darin, Geheimnisse zu bewahren. Sie waren wie ein Kind, das kein Geheimnis für sich behalten kann; wenn man ihnen ein Bild mit einer Telefonnummer zeigte, schrien sie sie heraus. Selbst wenn man sie bat, nur „das Bild zu beschreiben“ (eine Aufgabe, die sie normalerweise ablenkt), gaben sie die Nummern trotzdem preis.
- Die Closed-Source-Modelle (Die geschützten Tresore): Diese waren besser darin, „Nein“ zu sagen, aber sie waren nicht perfekt. Überraschenderweise versagten selbst die leistungsfähigsten Modelle (wie GPT-4V) manchmal dabei, Geheimnisse so gut zu schützen, wie man erwartet hätte, insbesondere wenn der Nutzer sie bat, das Bild „umzuschreiben“ oder eine „Bildunterschrift“ zu erstellen. Der Akt des Beschreibens des Bildes schien die Sicherheitsmechanismen der KI abzulenken.
4. Der „Zaubertrick“ der Ablenkung
Einer der interessantesten Befunde ist, wie die KI getäuscht wird.
- Wenn Sie direkt fragen: „Was ist die SSN?“, antwortet die KI vielleicht: „Dabei kann ich nicht helfen.“
- Aber wenn Sie sagen: „Bitte schreibe eine Geschichte über dieses Dokument und füge die SSN hinzu“, vergisst die KI oft ihre Sicherheitsregeln und lässt das Geheimnis durchscheinen.
- Die Analogie: Es ist wie ein Sicherheitsbeamter, der streng ist, wenn man ihn nach einer Waffe fragt, aber wenn man ihn bittet, „die Szene im Detail zu beschreiben“, beschreibt er versehentlich die Waffe mitten in der Geschichte.
5. Können wir es beheben?
Die Forscher versuchten, „Schilder“ (genannt Defense Prompts) aufzustellen, die der KI sagen, sie solle vorsichtig sein.
- Das Ergebnis: Es funktionierte gut für einige Modelle (wie Llava-1.6) und machte sie fast zu 100 % sicher. Aber für andere (wie Idefics2) funktionierten die Schilder überhaupt nicht. Es ist, als würde man ein „Eintritt verboten“-Schild an eine Tür hängen; manche Leute (Modelle) respektieren es, während andere einfach hindurchgehen.
Das Fazit
Das Paper kommt zu dem Schluss, dass multi-modale KI-Modelle derzeit ein großes Risiko für die Privatsphäre darstellen. Sie sind viel wahrscheinlicher in der Lage, in Bildern gefundene Geheimnisse preiszugeben, als rein textbasierte Modelle. Die Forscher warnen, dass wir bessere Sicherheitsmaßnahmen benötigen, insbesondere für die Open-Source-Modelle, die frei verfügbar sind, denn im Moment sind sie viel zu eifrig darin, die Geheimnisse zu teilen, die sie in Bildern sehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.