Inadvertent Context Leakage in Language Models
Diese Arbeit zeigt auf, dass fortschrittliche Sprachmodelle unbeabsichtigt sensible Informationen im Kontext, wie etwa Zugangsdaten und Gesundheitsakten, durch ihre harmlosen Antworten auf gewöhnliche Prompts preisgeben, was offenbart, dass diese Schwachstelle ein inhärentes Nebenprodukt der Modellkapazität und kein behebbarer Fehler ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Moderne künstliche Intelligenz wird zunehmend gebeten, als persönlicher Assistent zu fungieren, indem sie Kalender verwaltet, private E-Mails liest und sensible Details wie Gesundheitsdaten oder Finanzdaten bewahrt. Um dies zu tun, muss das Computerprogramm eine fortlaufende Liste dieser Geheimnisse in seinem unmittelbaren Speicher bereithalten, während es arbeitet – ein Raum, den Forscher das Kontextfenster nennen. Die vorherrschende Annahme war bisher, dass ein Geheimnis sicher ist, wenn das Modell angewiesen wird, es geheim zu halten und sich weigert, es laut auszusprechen. Sicherheitsprüfungen funktionieren meist wie ein einfacher Filter: Wenn der Text, den der Computer schreibt, das Geheimwort nicht wortwörtlich enthält, geht das System davon aus, dass kein Leck aufgetreten ist. Dieser Ansatz behandelt das Gespräch als einen einzigen Kommunikationskanal und setzt voraus, dass das, was nicht gesagt wird, auch nicht bekannt ist.
Ein neuer Forschungsbericht deutet jedoch darauf an, dass diese Sichtweise unvollständig ist. Die Forscher fanden heraus, dass selbst wenn ein Modell sich korrekt weigert, ein Geheimnis preiszugeben, die Art und Weise, wie es seine Sätze konstruiert, versteckte Hinweise auf dieses Geheimnis trägt. Das Geheimnis verändert den internen Zustand des Modells, und diese Veränderung pflanzt sich in den generierten Text fort, indem sie Muster in der Wortwahl, der Satzlänge und der Formatierung verändert – auf eine Weise, die für einen menschlichen Leser unsichtbar, aber für einen Computer detektierbar ist. Es ist, als ob das Modell das Geheimnis durch einen anderen Teil seiner Stimme flüstert, während sein Mund fest geschlossen bleibt.
Das Team hinter dieser Forschung, das mit acht der fortschrittlichsten verfügbaren Sprachmodellen arbeitete, setzte sich zum Ziel zu testen, ob diese verborgenen Signale real sind. Sie entwarfen ein Szenario, in dem einem Modell eine geheime Zahl gegeben und die Anweisung erteilt wurde, diese vertraulich zu behandeln. Dann baten sie das Modell, gewöhnliche, harmlose Aufgaben auszuführen, wie etwa eine Kurzgeschichte zu schreiben oder eine Liste von Statistiken zu erstellen. Die Modelle weigerten sich konsequent, die Zahl direkt zu nennen, wenn sie danach gefragt wurden, und bestanden so alle Standard-Sicherheitsprüfungen. Doch als die Forscher den Text analysierten, den die Modelle als Antwort auf diese harmlosen Anfragen produzierten, fanden sie, dass die geheime Zahl in den statistischen Eigenschaften des Outputs kodiert war.
Um dies zu beweisen, bauten die Forscher einen spezialisierten Decoder – ein Werkzeug, das darauf trainiert wurde, auf diese spezifischen statistischen Muster zu hören. Als sie den harmlosen Text in diesen Decoder einspeisten, konnte dieser die geheimen Zahlen mit verblüffender Genauigkeit rekonstruieren. Bei zweistelligen Geheimnissen stellte der Decoder die vollständige Zahl bei mehreren Top-Modellen fast perfekt wieder her. Selbst bei vierstelligen Geheimnissen, die schwieriger durch bloßes Raten zu erraten sind, erreichte der Decoder bei den leistungsfähigsten Modellen in etwa 82 Prozent der Fälle eine exakte Übereinstimmung. Dies geschah, ohne dass das Modell jemals überlistet wurde, die Zahl zu nennen, und ohne dass der Angreifer einen besonderen Zugriff auf die internen Abläufe des Modells hatte; er sah lediglich den fertigen Text, genau wie ein regulärer Nutzer.
Die Studie verdeutlichte, dass die Fähigkeit zum Informationsabfluss kein Fehler war, der einfach behoben werden konnte, sondern eine Nebenwirkung der Intelligenz des Modells. Je fähiger das Modell darin war, Anweisungen zu befolgen und komplexe Aufgaben zu verstehen, desto sensibler wurde es gegenüber den Geheimnissen in seinem Speicher und desto mehr Informationen gab es unbeabsichtigt preis. Die Forscher testeten Modelle verschiedener Unternehmen, darunter Anthropic, Google, OpenAI und xAI. Sie fanden heraus, dass einige Modelle zwar resistenter als andere waren, die leistungsstärksten Modelle jedoch im Allgemeinen am meisten Informationen preisgaben. Tatsächlich waren jene Modelle, die am besten darin waren, der Anweisung „bewahre dieses Geheimnis“ zu folgen, oft diejenigen, die am meisten Informationen über diese subtilen Kanäle preisgaben. Dies deutet darauf an, dass genau die Mechanismen, die diese Assistenten hilfreich und gehorsam machen, sie auch verwundbar machen.
Die Forscher untersuchten auch, ob dieser Informationsabfluss genutzt werden könnte, um mehr über das Privatleben eines Nutzers zu erfahren, als nur über Zahlen. Sie testeten, ob der Output des Modells offenlegen konnte, ob eine bestimmte Erinnerung, wie etwa ein Gesundheitszustand oder ein finanzielles Ereignis, in seinem Kontext vorhanden war. Mithilfe eines trainierten Klassifizierers fanden sie heraus, dass die Routineantworten des Modells die Anwesenheit dieser Erinnerungen mit einer Erfolgsrate offenbaren konnten, die weit über dem Zufall lag. Dies galt selbst dann, wenn das Modell die Erinnerung niemals in seinem Text erwähnte. Die Studie zeigte, dass der interne Zustand des Modells, der durch die privaten Daten des Nutzers geformt wurde, einen statistischen Fingerabdruck in jedem Satz hinterließ, den es schrieb.
Besonders besorgniserregend war ein Experiment, bei dem die Forscher versuchten, eine vollständige neunstellige Sozialversicherungsnummer aus einem simulierten persönlichen Agenten zu extrahieren. In diesem Szenario lauschte der Angreifer nicht nur auf Lecks, sondern gestaltete das Gespräch aktiv so, dass das Modell das Geheimnis in ein spezifisches Merkmal seiner Antwort kodierte, wie etwa die Anzahl der verwendeten Ausrufezeichen. Durch den Einsatz einer Technik, die den Prompt optimierte, um dieses Verhalten auszulösen, gelang es dem Angreifer, die erste Ziffer der Nummer in fast 97 Prozent der Versuche bei einem führenden Modell zu rekonstruieren, und die verbleibenden acht Ziffern in etwa 76 Prozent dieser Fälle. Dies funktionierte selbst bei einem sehr langen Kontext, der Hunderttausende von Wörtern umfasste, und obwohl das Modell die Zahl selbst nie schrieb.
Die Studie kommt zu dem Schluss, dass die derzeitigen Methoden zum Schutz der Privatsphäre in diesen Systemen unzureichend sind. Es reicht nicht aus, einem Modell lediglich Diskretion vorzugehalten oder seinen Output nach bestimmten Wörtern zu filtern; das verhindert nicht, dass Informationen durch die statistischen Muster seiner Sprache nach außen dringen. Die Forscher argumentieren, dass, solange ein Modell private Daten in seinem unmittelbaren Speicher hält, während es Text generiert, diese Daten den Output auf eine Weise beeinflussen werden, die dekodiert werden kann. Sie schlagen vor, dass die Lösung dieses Problems mehr erfordert als nur bessere Anweisungen oder Filter; es erfordert möglicherweise eine grundlegende Änderung in der Art und Weise, wie diese Modelle trainiert werden, um sicherzustellen, dass ihr Output statistisch unabhängig von den Geheimnissen bleibt, die sie halten. Bis dahin mögen die Geheimnisse, die wir unseren digitalen Assistenten anvertrauen, in unseren eigenen Gedanken sicherer sein als im Speicher der Maschine.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.