Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Assistenten, der Bilder ansehen und gleichzeitig Text lesen kann. Wissenschaftler nennen diese „Multimodale Große Sprachmodelle“ (MLLMs). Man kann sie sich wie ein Gehirn vorstellen, das gelernt hat, die Welt gleichzeitig durch eine Kameralinse zu sehen und durch ein Mikrofon zu sprechen. Sie sind fantastisch bei Aufgaben wie dem Betrachten eines Fotos eines Belegs und dem Nennen des Gesamtbetrags oder dem Scannen eines Reisepasses und dem Lesen des Namens. Aber genau wie ein Mensch, der sich die Telefonnummer eines Freundes merkt und sie versehentlich ausplaudert, wenn er nach etwas anderem gefragt wird, können diese Roboter manchmal private Details aus den Bildern „erinnern“, die sie in ihren Trainingsbildern gesehen haben, selbst wenn diese Details im neuen Bild, das sie gerade betrachten, gar nicht sichtbar sind. Das ist eine große Sache, denn wir beginnen, diese Roboter einzusetzen, um sensible Dokumente wie Ausweise und Pässe zu verarbeiten. Wenn Ihr Roboter Ihre geheimen Informationen errät, nur weil er „gut im Raten ist“, basierend auf dem, was er zuvor gelernt hat, ist Ihre Privatsphäre in Gefahr.

Dieses Paper mit dem Titel „Beyond Visual Evidence“ untersucht eine hinterhältige Art und Weise, wie diese Roboter Geheimnisse verraten. Die Forscher fanden heraus, dass, wenn ein Roboter einem Dokument gezeigt wird, dessen Teile verschwommen oder fehlend sind (wie ein verschmiertes Foto eines Ausweises), er nicht einfach nur sagt: „Ich kann nichts sehen“. Stattdessen versucht er oft, die Lücken unter Verwendung dessen zu füllen, was er auswendig gelernt hat. Das Beängstigende daran ist, dass er nicht nur eine Sache errät; er errät ein ganzes Set verbundener Geheimnisse auf einmal. Wenn zum Beispiel der Roboter die Dokumentennummer nicht sehen kann, könnte er trotzdem gleichzeitig Ihren Namen, Ihr Geburtsdatum und die Dokumentennummer erraten, weil er während des Trainings gelernt hat, dass diese drei Dinge normalerweise zusammengehören. Die Autoren nennen dies „Relationales Privacy-Leakage“ (beziehungsweise relationales Datenschutz-Leck). Um dies zu beheben, entwickelten sie eine neue Trainingsmethode namens DRUF (Dynamic Relational Unlearning Framework). Stellen Sie sich das wie einen strengen Lehrer vor, der dem Schüler nicht nur sagt, er solle eine bestimmte Tatsache „vergessen“, sondern dem Schüler beibringt, die mentale Verbindung zwischen verbundenen Fakten zu lösen. Sie haben auch einen neuen Test namens DocPrivacyBench erstellt, um zu sehen, wie leicht verschiedene Roboter diese Geheimnisse verraten. Ihre Experimente zeigten, dass aktuelle Roboter sehr gut darin sind, diese verbundenen Geheimnisse zu verraten, wenn die visuellen Hinweise schwach sind, aber ihre neue Methode, DRUF, die Lecks fast vollständig stoppen kann, ohne den Roboter bei seiner Aufgabe, Dokumente zu lesen, schlecht zu machen.

Das Problem: Wenn Roboter zu gut raten

Die Geschichte beginnt mit einem speziellen Typ von Roboter: einem, der darauf ausgelegt ist, Dokumente zu lesen. Dies sind die „Dokument-MLLMs“. Stellen Sie sich vor, Sie übergeben einem Roboter das Bild eines Führerscheins. Er soll das Bild betrachten, den Text finden und Ihnen den Namen, das Geburtsdatum und die Führerscheinnummer nennen. Dies wird als Key Information Extraction (KIE) bezeichnet. Normal in der Regel schaut der Roboter auf die Pixel im Bild, um die Antwort zu finden. Aber was passiert, wenn das Bild schlecht ist? Was, wenn das Foto verschwommen ist, der Text durch einen Finger verdeckt wird oder das Bild nur ein leeres weißes Quadrat ist?

Die Forscher entdeckten, dass diese Roboter nicht einfach aufhören, wenn die visuellen Beweise schwach oder nicht vorhanden sind. Sie wechseln in einen anderen Modus: Sie beginnen, basierend auf Mustern zu raten, die sie auswendig gelernt haben. Wenn der Roboter aus Tausenden von Trainingsbeispielen gelernt hat, dass „John Smith“ fast immer mit der „Dokumentennummer 12345“ und „geboren im Jahr 1990“ gepaart ist, könnte er anfangen, all diese drei Dinge zusammen auszugeben, selbst wenn das Bild, das er gerade betrachtet, völlig leer ist.

Dies unterscheidet sich von früheren Datenschutzbedenken. Früscher waren die Leute besorgt, dass ein Roboter versehentlich einen geheimen Namen nennen könnte, wenn man ihn nach der richtigen Frage fragt. Aber dieses Paper zeigt ein neues, gefährlicheres Risiko auf: Relationales Leakage. Es geht nicht nur darum, dass ein einzelnes Geheimnis durchrutscht; es geht darum, dass der Roboter eine ganze Kette von Geheimnissen offenbart, die miteinander verknüpft sind. Es ist wie ein Magier, der, wenn er gebeten wird, ein Kaninchen aus einem Hut zu ziehen, versehentlich das Kaninchen, den Hut, den Zauberstab und die Adresse des Assistenten gleichzeitig herausholt, weil diese Dinge in seinem Gedächtnis immer zusammengehören.

Die Untersuchung: DocPrivacyBench

Um zu beweisen, dass dies geschieht, bauten die Autoren eine neue Testumgebung namens DocPrivacyBench. Sie wollten sehen, ob Roboter Geheimnisse verraten würden, wenn sie das Dokument gar nicht sehen können.

Sie richteten zwei Hauptwege ein, um die Roboter zu testen:

1. Bildgesteuert (Image Driven): Sie zeigten dem Roboter das Bild eines Dokuments, ersetzten das Bild dann aber durch ein leeres weißes Bild (oder ein verschwommenes Chaos), während die Frage gleich blieb. Sie fragten: „Was ist die Dokumentennummer?“ Der Roboter hatte keine visuellen Hinweise, also griff er auf sein Gedächtnis zurück, falls er antwortete. Wenn er antwortete, war es ein Raten aus dem Gedächtnis.
2. Promptgesteuert (Prompt Driven): Sie behielten das Bild bei, änderten aber die Frage so, dass sie knifflig wurde, indem sie den Roboter baten, Informationen preiszugeben, die er allein basierend auf dem Bild nicht wissen dürfte.

Sie testeten drei verschiedene populäre Roboter-Modelle (LLaVA-1.5-hf, Xgen-Phi3 und Idefics2) an drei verschiedenen Datensätzen von Ausweiskarten und Pässen. Die Ergebnisse waren erschreckend. Wenn die visuellen Beweise fehlten, waren die Roboter überraschend gut darin, die Geheimnisse zu erraten.

Zum Beispiel hatte das Modell LLaVA-1.5-hf bei einem verrauschten Datensatz (bei dem die Bilder etwas chaotisch waren) eine Leakage-Rate von 1.000 (das bedeutet, der Roboter gab das korrekte Geheimnis zu 100 % der Zeit aus), als ihm ein leeres Bild gezeigt wurde, allerdings wurde dies bei einem niedrigeren Ähnlichkeitsschwellenwert (Acc@0.8) gemessen. Noch überraschender war, dass die Leakage-Rate bei einem Test mit einer „verrauschten“ Version des IDNet-Datensatzes bei der Metrik Acc@0.8 auf 1.000 sprang. Das bedeutet, dass der Roboter ohne ein klares Bild im Wesentlichen nur die Trainingsdaten rezitierte, die er auswendig gelernt hatte, indem er Namen perfekt mit Dokumentennummern und Geburtsdaten verknüpfte, obwohl er sie gar nicht sehen konnte.

Das Paper fand auch heraus, dass die Qualität der Trainingsdaten eine Rolle spielt. Wenn die Trainingsdaten „rauschiger“ (also von geringerer Qualität) waren, verließen sich die Roboter stärker auf ihre auswendig gelernten Verbindungen, was zu höheren Datenschutzrisiken führte. Dies deutet darauf hin, dass die Roboter, je unordentlicher die Daten sind, von denen sie lernen, desto mehr versuchen, die „Lücken zu füllen“, was schlecht für den Datenschutz ist.

Die Lösung: DRUF

Wie also stoppt man einen Roboter dabei, diese verbundenen Geheimnisse zu erraten? Man kann ihm nicht einfach sagen, er solle den Namen „John Smith“ „vergessen“, denn er muss im Allgemeinen immer noch wissen, wie man Namen liest. Und man kann ihm auch nicht einfach sagen, er solle die Nummer „12345“ vergessen. Das Problem ist die Verbindung zwischen ihnen.

Die Autoren schlugen eine neue Methode namens DRUF (Dynamic Relational Unlearning Framework) vor. Stellen Sie sich vor, Sie unterrichten einen Schüler, der sich ständig auf den Lösungsschlüssel verlässt. Anstatt nur eine einzelne Antwort im Schlüssel zu löschen, wollen Sie dem Schüler beibringen, dass die Verbindung zwischen „Frage A“ und „Antwort B“ falsch ist.

DRUF arbeitet in zwei Schritten:

1. Dynamisches Vergessens-Set (Dynamic Forget Set): Zuerst sondiert das System den Roboter, um zu sehen, welche spezifischen Paare von Geheimnissen er gerade verrät. Vielleicht sind es heute „Name + Dokumentennummer“, aber morgen könnten es „Name + Geburtsdatum“ sein. Anstatt zu raten, was vergessen werden soll, beobachtet DRUF den Roboter, sieht, was er verrät, und erstellt eine „Vergessensliste“ basierend auf dem, was tatsächlich beobachtet wurde. Diese Liste ändert sich dynamisch, während der Roboter lernt.
2. Relationales Entkoppeln (Relational Decoupling - RDU): Das ist der magische Teil. Wenn der Roboter versucht, aus dieser „Vergessensliste“ zu lernen, bestraft DRUF ihn nicht einfach dafür, den falschen Namen zu nennen. Es bestraft den Roboter dafür, das Paar zusammen zu nennen. Es verwendet einen speziellen mathematischen Trick (eine „multiplikative Kopplung“), der den Roborm zu einer riesigen Strafe verurteilt, wenn er versucht, sowohl den Namen als auch die Dokumentennummer gleichzeitig auszugeben. Es löst den mentalen Kleber, der diese beiden Geheimnisse zusammenhält.

Die Ergebnisse dieser neuen Methode waren beeindruckend. Als sie DRUF auf das LLaVA-1.5-hf Modell anwandten:

• Reduzierte es die Leakage-Rate im „Bildgesteuerten“ Test (bei dem der Roboter ein leeres Bild sah) von 0.642 auf 0.001. Das ist ein Rückgang von fast 99,8 %.
• Es reduzierte das Leakage im „Promptgesteuerten“ Test auf 0.000.
• Entscheidend war, dass es die Fähigkeit des Roboters, seine Aufgabe zu erledigen, nicht beeinträchtigte. Der Roboter konnte immer noch klare Dokumente perfekt lesen, mit einem Leistungs-Score (LC) von 0.808, was sehr nah an dem des ursprünglichen Modells mit 0.852 liegt.

Andere Methoden versuchten dies zu beheben, hatten aber Probleme. Einige Methoden (wie GA) stoppten die Lecks, machten den Roboter aber auch schlecht im Lesen von Dokumenten (Abfall der Leistung auf 0.119). Andere (wie DPO) hielten den Roboter zwar schlau, scheiterten aber daran, die Lecks zu stoppen (Leakage blieb hoch bei 0.633). DRUF war die einzige Methode, die es schaffte, sowohl die Lecks zu stoppen als auch den Roboter schlau zu halten.

Warum das wichtig ist

Das Paper kommt zu dem Schluss, dass dieses „relationale Leakage“ ein reales und häufiges Problem ist. Wenn die visuellen Beweise schwach sind, wird ein Roboter bereitwillig Ihre privaten Informationen erraten, wenn er glaubt, das Muster zu kennen. Die Autoren zeigten, dass bestehende Methoden nicht gut genug sind, weil sie versuchen, einzelne Fakten zu vergessen, anstatt die Verbindungen zwischen den Fakten zu lösen.

Durch den Einsatz von DRUF können wir diese Roboter lehren, aufzuhören, verbundene Geheimnisse zu erraten. Das Paper legt nahe, dass dieser Ansatz ein notwendiger Schritt ist, um dokumentenverarbeitende Roboter sicher für den Einsatz in der realen Welt zu machen. Wenn wir wollen, dass KI unsere Pässe und Ausweise bearbeitet, müssen wir sicherstellen, dass die KI, wenn sie das Dokument nicht sehen kann, nicht einfach die restliche Lebensgeschichte basierend auf dem, was sie auswendig gelernt hat, erfindet. Die Autoren hoffen, dass diese Arbeit zu besseren Datenschutzwerkzeugen für alle Arten von strukturierten Dokumentenaufgaben führen wird.

Kurz gesagt: Das Paper stellte fest, dass Roboter zu gut darin sind, verbundene Geheimnisse zu erraten, wenn sie die Beweise nicht sehen können, aber es fand auch einen Weg, sie zu lehren, diese Verbindungen zu lösen, wodurch unsere Daten geschützt werden, ohne die Roboter nutzlos zu machen.