PTP: Previous-Token Prediction based LLM Inversion for Near-Exact Prompt Reconstruction

Stellen Sie sich vor, Sie stehen vor einem magischen, allwissenden Roboter, der es liebt, Geschichten zu erzählen. Sie geben ihm einen geheimen Startsatz, und er spuckt augenblicklich eine lange, faszinierende Erzählung aus. So funktionieren moderne „Large Language Models“ (LLMs): Sie sind wie superintelligente Autocomplete-Engines, die das nächste Wort in einem Satz vorhersagen, eines nach dem anderen, um eine Antwort aufzubauen. Aber hier ist der knifflige Teil: Wenn Sie nur das Ende der Geschichte (die Antwort) sehen, können Sie dann genau herausfinden, was der Anfang war (den Prompt)? Es ist, als würde man versuchen, den ersten Zug eines Schachspiels zu erraten, indem man nur das abschließende Schachmatt betrachtet. Normalerweise ist dies nahezu unmöglich, da viele verschiedene Startsätze zum selben Ende führen können. Wissenschaftler haben versucht, dieses „Inversions“-Rätsel zu lösen, um zu verstehen, wie diese KI-Geister funktionieren, um sie zu ertappen, falls sie Geheimnisse verraten, oder um zu sehen, ob wir sie austricksen können. Die meisten bisherigen Versuche erforderten einen Blick in das Gehirn des Roboters (Zugriff auf seinen internen Code) oder die Nutzung massiver Mengen an externen Daten, um den Ausgangspunkt zu erraten.

Lernen Sie nun die Forscher kennen, die beschlossen haben, einen anderen Trick auszuprobieren. Anstatt zu versuchen, in den Verstand des Roboters zu schauen oder basierend auf externem Wissen zu raten, bauten sie einen „umgekehrten Roboter“. Sie brachten diesen neuen Roboter bei, rückwärts zu denken. Während der ursprüngliche Roboter lernt, indem er fragt: „Was kommt als Nächstes?“, lernt der neue Roboter, indem er fragt: „Was kam davor?“. Sie mussten nicht den geheimen Code des ursprünglichen Roboters sehen oder eine riesige Bibliothek an externen Büchern nutzen. Stattdessen spielten sie ein Spiel mit dem ursprünglichen Roboter: Sie fütterten ihn mit zufälligen Startwörtern und zeichneten die Geschichten auf, die er erzählte. Dann fütterten sie diese Geschichten in ihren neuen „umgekehrten Roboter“ in umgekehrter Reihenfolge ein und brachten ihn, die Wörter vorherzusagen, die zuvor kommen mussten. Es ist, als würde man einen Film rückwärts abspielen und die Szene vorhersagen wollen, die gerade eben passiert ist. Das Ergebnis? Diese neue Methode, genannt Previous-Token Prediction (PTP), kann den ursprünglichen Startsatz mit überraschender Genauigkeit rekonstruieren, selbst wenn der Roboter eine „Black Box“ ist (was bedeutet, dass wir nicht in ihn hineinsehen können). Es deutet darauf hin, dass wir, indem wir einfach die Richtung ändern, wie wir die KI lehren, eine kraftvolle Möglichkeit erschließen können, ihre Gedanken zurückzuspulen.

Die Magie des Zurückspulens der Zeit

Stellen Sie sich einen Large Language Model (LLM) wie einen sehr gesprächigen Freund vor, der großartig darin ist, Ihre Sätze zu vervollständigen. Wenn Sie sagen: „Es war einmal“, sagt er vielleicht: „da war ein Drache“. Wenn Sie sagen: „Der Himmel ist“, sagt er vielleicht: „blau“. Dieser Freund arbeitet, indem er sich ansieht, was Sie gerade gesagt haben, und das nächste Wort errät. Dies wird „Next-Token Prediction“ genannt. So schreiben sie Geschichten, beantworten Fragen und chatten mit uns.

Aber was ist, wenn Sie nur die Antwort Ihres Freundes haben und genau wissen wollen, was Sie ihn gefragt haben? Vielleicht haben Sie eine tolle Geschichte gehört und möchten wissen, welche exakte Frage sie eingeleitet hat, oder vielleicht möchten Sie sehen, ob der Freund eine geheime Anweisung verbirgt. Dies ist das „Inversions“-Problem. Es ist schwierig, weil viele verschiedene Fragen zu derselben Antwort führen können. Wenn Ihr Freund sagt: „Ich liebe Pizza“, könnten Sie gefragt haben: „Was ist dein Lieblingsessen?“, oder „Was isst du gerne an Freitagen?“ oder sogar „Erzähl mir etwas über deine Ernährung“.

Der alte Weg vs. der neue Trick

Vor dieser Arbeit versuchten Wissenschaftler, dies zu lösen, indem sie entweder:

1. In das Gehirn hineinschauerten: Den Blick auf die interne Mathematik (Logits) des Roboters warfen, um die Frage zu reengineering. Das ist, als würde man versuchen, ein Puzzle zu lösen, während man eine Röntgenbrille trägt.
2. Einen riesigen Referenzleitfaden nutzten: Eine separate KI auf Millionen von Frage-Antwort-Paaren aus dem Internet trainierten, um die Frage zu erraten. Das ist, als würde man einen Detektiv engagieren, der jedes Buch in der Bibliothek gelesen hat.

Das Problem mit diesen alten Wegen ist, dass sie oft einen speziellen Zugriff erfordern (den man bei einem „Black Box“-Modell nicht hat) oder riesige Mengen an externen Daten benötigen. Sie neigen auch dazu, eine Frage zu erraten, die zwar das Gleiche bedeutet, aber nicht exakt dieselben Wörter verwendet.

Die „Backwards Robot“-Lösung

Die Autoren dieser Arbeit, die mit Modellen von IIT Bombay und Adobe Research arbeiteten, entwickelten eine clevere, in sich geschlossene Lösung. Sie brauchten keine Röntgenbrille oder eine Bibliothek. Sie brauchten nur den Roboter selbst.

So bauten sie ihren „Backwards Robot“:

1. Das Setup: Sie nahmen den Zielroboter (den sie invertieren wollten) und spielten ein Spiel mit ihm. Sie fütterten ihn mit jedem einzelnen Wort seines Vokabulars als Startpunkt und ließen ihn eine kurze Geschichte generieren.
2. Der Twist: Sie nahmen diese Geschichten und kehrten sie um. Wenn der Roboter schrieb „Der Hund saß“, machten sie daraus „saß Hund Der“.
3. Das Training: Sie trainierten einen brandneuen, kleinen Roboter (ein „Inverse Model“) von Grund auf neu mit diesen umgekehrten Geschichten. Dieser neue Roboter lernte eine neue Fähigkeit: Previous-Token Prediction. Anstatt vorherzusagen, was als Nächstes kommt, lernte er vorherzusagen, was zuvor kam.
   • Analogie: Stellen Sie sich vor, Sie lernen das Autofahren, indem Sie nur Videos beobachten, in denen das Auto rückwärts fährt. Schließlich werden Sie so gut im Rückwärtsfahren, dass Sie, wenn Sie ein geparktes Auto sehen, den Pfad perfekt vorhersagen können, den es genommen hat.
4. Das Fine-Tuning: Um sicherzustellen, dass der Roboter wie ein Mensch spricht, gaben sie ihm einige echte Beispiele für Fragen und Antworten (aus einem Datensatz namens ShareGPT) und brachten ihn, auch diese umzukehren.

Die Ergebnisse: Den Film zurückspulen

Als sie diese neue Methode testeten, waren die Ergebnisse ziemlich beeindruckend. Sie verwendeten ein Modell namens Qwen3-0.6B und fanden heraus, dass ihr „Backwards Robot“ den ursprünglichen Prompt (die Frage) mit hoher Genauigkeit rekonstruieren konnte.

• Exakte Übereinstimmung (Exact Match): In etwa 64,77 % der Fälle war der rekonstruierte Prompt exakt identisch mit dem Original. Das ist eine große Sache, da frühere Methoden oft nur die Bedeutung richtig bekamen, nicht aber die exakten Wörter.
• Token F1: Sie erreichten einen Wert von 63,64, was ein Maß dafür ist, wie viele der einzelnen Wörter perfekt übereinstimmten.
• Semantische Ähnlichkeit: Selbst wenn die Wörter nicht identisch waren, war die Bedeutung sehr nah dran (Cosine Similarity von 86,13).

Das Paper zeigte auch, dass dieser „Backwards Robot“ recht flexibel ist. Selbst wenn sie ihn auf einen Typ von Roboter (Qwen) trainierten und ihn baten, die Prompts für einen anderen Typ von Roboter (wie LLaMA oder GPT-4o) zu erraten, funktionierte es immer noch recht gut. Er war nicht perfekt bei den exakten Wörtern (da verschiedene Roboter unterschiedliche Wörterbücher verwenden), aber er erfasste die Bedeutung richtig. Dies deutet darauf hin, dass der Roboter eine allgemeine „Logik“ des Rückwärts-Engineering von Gedanken gelernt hat, nicht nur einen spezifischen Trick für ein einzelnes Modell.

Warum das wichtig ist

Das Paper argumentiert, dass dieser Ansatz aus mehreren Gründen besser ist als die alten Wege:

• Es ist eine „Black Box“-Lösung: Sie müssen nicht in den internen Code oder die Gewichte des Roboters schauen. Sie müssen nur mit ihm sprechen.
• Es ist in sich geschlossen: Es benötigt keine massive externe Datenbank mit Fragen und Antworten. Es generiert seine eigenen Trainingsdaten, indem es mit dem Zielroboter spielt.
• Es ist originalgetreu (Faithful): Da es das exakte Gegenteil des Vorwärtsprozesses lernt, kann es die exakten Wörter rekonstruieren, nicht nur die allgemeine Idee.

Die Autoren weisen jedoch vorsichtig darauf hin, dass dies kein Zauberstab ist, der alles löst. Wenn der Roboter, den man invertieren möchte, ein völlig anderes Set an Symbolen (Vokabular) oder eine sehr andere Gehirnstruktur verwendet, wird die exakte Wort-für-Wort-Rekonstruktion schwieriger. Außerdem dauert das Generieren der Trainingsdaten, da viele Fragen an den Roboter gestellt werden müssen, recht lange.

Das große Ganze

Einfach ausgedrückt zeigt dieses Paper: Wenn Sie wissen wollen, was ein Roboter gedacht hat, bevor er sprach, müssen Sie ihn nicht aufbrechen oder einen Detektiv engagieren. Sie müssen nur einen neuen Roboter lehren, rückwärts zu denken. Indem sie das Skript umdrehten und ein Modell darauf trainierten, vorherzusagen, „was zuvor kam“ statt „was als Nächstes kommt“, schufen die Autoren ein Werkzeug, das die Bänder von KI-Gesprächen mit überraschender Präzision zurückspulen kann. Es ist eine spielerische, aber kraftvolle Erinnerung daran, dass man manchmal, um die Zukunft zu verstehen, einfach nur in die Vergangenheit zurückblicken muss – und zwar in umgekehrter Reihenfolge.