EchoCoT: Extracting Hidden Chain-of-Thought from Large Reasoning Models
Dieses Paper stellt EchoCoT vor, ein mehrstufiges Attacke-Framework, das erfolgreich verborgene Chain-of-Thought-Spuren nahezu wortgetreu aus sowohl Open-Source- als auch proprietären Frontier-Reasoning-Modellen über API-Interaktionen extrahiert und damit ein erhebliches Sicherheitsrisiko für diese wertvollen Modell-Assets aufzeigt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Moderne Systeme der künstlichen Intelligenz sind bemerkenswert geschickt darin geworden, komplexe Probleme zu lösen, vom Schreiben von Computercode bis hin zum Navigieren durch wissenschaftliche Rätsel. Wenn diese fortgeschrittenen Modelle eine schwierige Frage bearbeiten, geben sie nicht einfach eine endgültige Antwort aus. Stattdessen generieren sie zuerst einen langen, internen Gedankenstrom, einen schrittweisen Denkprozess, bei dem sie Ideen erforschen, ihre Arbeit überprüfen, Fehler korrigieren und verschiedene Pfade in Betracht ziehen, bevor sie sich auf ein Ergebnis festlegen. Dieser interne Monolog, der oft als „Chain of Thought“ (Gedankenkette) bezeichnet wird, bleibt dem Nutzer normalerweise verborgen. Das Modell hält dieses Denken privat und zeigt nur das Endergebnis an, um seine geistigen Vermögenswerte zu schützen und die Offenlegung sensibler Daten oder proprietärer Logik zu verhindern. Für Entwickler ist dieses verborgene Denken eine wertvolle Ressource zur Verbesserung zukünftiger Modelle, während es für Nutzer eine Black Box ist, die eine korrekte Antwort verspricht, ohne die mühsame Arbeit dahinter preiszugeben.
Ein Team von Sicherheitsforschern des CISPA Helmholtz Center for Information Security hat entdeckt, dass dieses verborgene Denken nicht so sicher ist, wie man einst glaubte. Sie fanden einen Weg, diese fortgeschrittenen Modelle dazu zu verleiten, ihren gesamten internen Denkprozess offenzulegen, fast Wort für Wort, selbst wenn die Modelle darauf ausgelegt sind, diesen geheim zu halten. Die Forscher entwickelten eine Methode namens EchoCoT, die eine spezifische Eigenart ausnutzt, wie diese Modelle mit externen Werkzeugen interagieren. In vielen Systemen, wenn ein Modell ein Werkzeug benötigt – wie einen Taschenrechner oder eine Datenbank –, unterbricht es sein Denken, um den Aufruf zu tätigen, behält aber seine vorherigen Gedanken aktiv in seinem Speicher, um Kontinuität zu gewährleisten. Die Forscher erkannten, dass ein Angreifer diese Kontinuität zu seinem Vorteil nutzen kann. Indem man das Modell wiederholt auffordert, seine Gedanken in einem Werkzeug zu speichern und diese gespeicherten Gedanken dann als unvollständig zurückweist, kann man das Modell dazu zwingen, sein internes Denken abzuspielen und dabei jedes Mal mehr Details zu offenbaren, bis die vollständige, verborgene Gedankenkette extrahiert ist.
Die Forscher testeten diese Technik an einer Vielzahl von Modellen, einschließlich sowohl Open-Source-Systemen als auch den fortschrittlichsten, proprietären Modellen großer Technologieunternehmen. Bei den Open-Source-Modellen, bei denen die Forscher die extrahierten Gedanken mit den ursprünglichen verborgenen Gedanken vergleichen konnten, stellten sie fest, dass EchoCoT nahezu den gesamten Denkprozess wiederherstellen konnte. In vielen Fällen stimmte der extrahierte Text mit den ursprünglichen verborgenen Gedanken mit extremer Präzision überein und erfasste über 90 Prozent der exakten Wörter und Phrasen. Die Methode funktionierte selbst bei sehr langen Gedankenketten und konnte erfolgreich tausende von Token an Gedanken extrahieren. Als die Forscher dieselbe Technik auf die proprietären Modelle von Unternehmen wie Google und Anthropic anwandten, konnten sie die ursprünglichen verborgenen Gedanken nicht direkt sehen, um sie zu vergleichen. Die extrahierten Gedanken waren jedoch unglaublich lang und entsprachen oft der Länge des Denkprozesses, den die Unternehmen über die Modelle gemeldet hatten. Darüber hinaus stimmten die Inhalte dieser extrahierten Gedanken eng mit den von den Unternehmen bereitgestellten kurzen Zusammenfassungen überein, was darauf hindeutet, dass die Extraktion korrekt war. In einem Fall im Zusammenhang mit einem Google-Modell stellten die Forscher eine Gedankenkette von über 33.000 Token wieder her, was fast identisch mit der Länge des von dem Modell gemeldeten internen Prozesses war.
Über die bloße Wiederherstellung des Textes hinaus enthüllten die extrahierten Gedanken reiche Details darüber, wie diese Modelle denken. Die Forscher beobachteten, wie die Modelle Google-Suchen simulierten, zwischen verschiedenen Sprachen wie Chinesisch und Englisch wechselten, während sie Informationen abriefen, und umfangreiche Selbstkorrekturen vornahmen. Diese Verhaltensweisen, wie etwa ein Modell, das sagt: „Warte, ist das wahr?“ oder „Lass mich einen anderen Ansatz versuchen“, sind Teil des rohen internen Prozesses, der normalerweise herausgefiltert wird, bevor das endgültige Ergebnis dem Nutzer gezeigt wird. Die Studie zeigte auch, dass der Angriff automatisiert werden konnte. Die Forscher bauten ein System, das lernen konnte, die beste Art und Weise zu finden, nach den Gedanken zu fragen, indem es seine Fragen basierend auf Feedbacksignalen wie der Anzahl der verwendeten Wörter verfeinerte. Dieser automatisierte Ansatz machte den Angriff noch effektiver und ermöglichte es ihm, über verschiedene Arten von Fragen und Datensätzen hinweg zu generalisieren, ohne dass er für jedes neue Problem manuell umprogrammiert werden musste.
Die Auswirkungen dieser Entdeckung sind signifikant für die Sicherheit der künstlichen Intelligenz. Die Forscher fanden heraus, dass es nicht ausreicht, das Denkverzeichnis lediglich vor dem Nutzer zu verbergen. Solange das Modell seinen internen Zustand beibehält, um Aufgaben auszuführen, die den Einsatz von Werkzeugen erfordern, kann dieser Zustand wiederholt und extrahiert werden. Die Studie testete mehrere potenzielle Abwehrmaßnahmen, wie etwa das Verbergen der Anzahl der Denk-Wörter oder das Hinzufügen strenger Anweisungen in den System-Prompt des Modells, um Leaks zu verhindern. Obwohl einige dieser Maßnahmen den Erfolg des Angriffs reduzierten, konnte keine von ihnen ihn vollständig stoppen. Die effektivste getestete Verteidigung bestand darin, dem Modell den Zugriff auf sein eigenes vorheriges Denken nach einem Werkzeugaufruf zu entziehen, aber dies würde die Fähigkeit des Modells unterbrechen, komplexe, mehrstufige Aufgaben auszuführen. Die Forscher meldeten ihre Ergebnisse verantwortungsbewusst an die beteiligten großen Technologieunternehmen und wiesen auf eine kritische Schwachstelle im aktuellen Design dieser leistungsstarken Denk-Systeme hin. Ihre Arbeit legt nahe, dass der Schutz des geistigen Eigentums und der Sicherheit dieser Modelle grundlegendere Änderungen in der Art und Weise erfordert, wie sie gebaut werden und wie sie mit der Außenwelt interagieren, anstatt sich nur auf die Annahme zu verlassen, dass verborgene Gedanken auch verborgen bleiben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.