Tokengeist: Multi-Turn Attribution Tracing in Agentic Conversations
Dieses Paper führt Tokengeist ein, ein skalierbares Framework, das die Einschränkungen von Single-Pass-Attributionsmethoden in mehrstufigen Konversationen adressiert, indem es Token-Ebene-Abhängigkeiten über Konversationsrunden hinweg rekursiv zurückverfolgt und dabei im Vergleich zu bestehenden Ansätzen eine signifikant höhere Genauigkeit bei der Wiederherstellung komplexer Provenienzgraphen erreicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen herauszufinden, warum Ihr Lieblingsdetektiv in einer Fernsehserie plötzlich beschlossen hat, einen Fall auf eine ganz bestimmte Weise zu lösen. Sie kennen die endgültige Antwort, aber die Serie springt in der Zeit vor und zurück: Sie zeigt den Detektiv, wie er mit einem Zeugen spricht, dann wie er eine Karte prüft, dann wie er einen Freund anruft und schließlich, wie er eine Entscheidung trifft. Wenn Sie sich nur die allerletzte Szene ansehen würden, könnten Sie denken, dass die Entscheidung von dem Freund kam. Aber was wäre, wenn der Freund nur etwas wiederholt hat, was der Zeuge gesagt hat, der wiederum die Information von der Karte erhalten hat? Um die Geschichte wirklich zu verstehen, kann man nicht nur den letzten Moment betrachten; man muss der Spur der Hinweise Schritt für Schritt rückwärts folgen, durch jedes Gespräch und jede Handlung, die dorthin geführt hat. Dies ist die Art von Rätsel, das Wissenschaftler mit Künstlicher Intelligenz (KI) zu lösen versuchen.
In der Welt der KI, speziell bei Large Language Models (den superintelligenten Chatbots, die wir heute nutzen), gibt es ein wachsendes Problem. Diese Modelle führen oft lange Gespräche mit uns, in denen sie Fragen stellen, wir antworten, sie eine Datenbank prüfen und dann eine endgültige Antwort geben. Manchmal hängt die endgültige Antwort an einem winzigen Detail, das wir vor fünf Interaktionen erwähnt haben, welches das Modell dann zusammengefasst hat, welches das Modell dann nutzte, um ein Werkzeug (Tool) aufzurufen, was schließlich zur Antwort führte. Die große Frage ist: Wie können wir genau sehen, welche Teile eines langen Gesprächs diese endgültige Antwort geformt haben? Derzeit wirken die meisten Werkzeuge, die versuchen, diese Frage zu beantworten, wie eine Taschenlampe, die nur auf den unmittelbaren Raum leuchtet. Sie können Ihnen sagen, welche Wörter im gesamten Chat wichtig erscheinen, aber sie übersehen die „Handlungslinie“ davon, wie die Information vom Anfang bis zum Ende gereist ist. Dies ist wichtig, denn wenn wir nicht nachverfolgen können, woher eine KI ihre Fakten hat, können wir ihr nicht vertrauen, sie nicht korrigieren oder verstehen, warum sie uns vielleicht anlügt.
Hier kommt Tokengeist ins Spiel, eine neue Methode, die von den Forschern Jessica Tang, Shraddha Barke und Sharad Agarwal vorgestellt wurde. Denken Sie daran, das alte Verfolgen von KI-Gedanken als eine „flache“ Karte zu betrachten. Wenn Sie eine flache Karte fragen, nach der Quelle eines Gerüchts zu suchen, zeigt sie Ihnen vielleicht die Person, die Ihnen das Gerücht zuletzt erzählt hat, aber sie wird Ihnen nicht sagen, wer ihnen das Gerücht erzählt hat. Die Forscher nennen dieses Versagen „Provenance Collapse“ (Herkunftskollaps). Es ist wie ein Spiel des Stille-Post-Spiels, bei dem dem letzten Spieler die Nachricht angelastet wird, obwohl die Nachricht bereits drei Personen zuvor verzerrt wurde. Die flache Methode kollabiert die gesamte Historie in eine einzige Ebene und übersieht dabei die tiefe, mehrstufige Reise der Information.
Um dies zu beheben, haben das Team Tokengeist entwickelt, das wie ein rekursiver Detektiv agiert. Anstatt nur die endgültige Antwort zu betrachten und zu fragen: „Mit wem hast du gesprochen?“, fragt Tokengeist: „Mit wem hast du gesprochen?“ und fragt dann für jede Person, die Sie genannt haben: „Und mit wem hat sie gesprochen?“ Es gräbt immer weiter rückwärts, Schritt für Schritt, durch die Gesprächsverläufe. Es behandelt das Gespräch wie einen verzweigten Baum (oder einen Stammbaum der Ideen), bei dem es den Zweigen bis zu den allerersten Blättern folgt – den ursprünglichen Benutzereingaben oder Tool-Ergebnissen.
Die Forscher testeten diese Idee mit einem neuen Benchmark, den sie MTCABENCH nannten, der 3.845 spezifische Teile von Antworten aus 665 verschiedenen Multi-Turn-Gesprächen enthält. Diese Gespräche waren knifflig und beinhalteten Werkzeuge wie das Buchen von Flügen oder das Überprüfen von Bankkonten, bei denen die KI Informationen über viele Schritte hinweg verketten musste. Sie fanden heraus, dass die alten „flachen“ Methoden schrecklich waren. Wenn sie gefragt wurden, die ursprüngliche Quelle einer Information zu finden, waren die flachen Methoden in weniger als 20 % der Fälle erfolgreich. Sie blieben immer in der Mitte der Geschichte stecken.
Im Gegensatz dazu war Tokengeist ein Game-Changer. Durch das rekursive Rückverfolgen des Pfades konnte es die ursprüngliche Quelle der Information in mehr als 90 % der Fälle finden. Es hat nicht nur geraten; es hat die gesamte Reise kartiert. Wenn eine KI beispielsweise sagt: „Sie können Ihren Flug stornieren, weil Sie eine Versicherung haben“, würde eine flache Methode vielleicht nur auf die Stornierungsbestätigung zeigen. Tokengeist hingegen verfolgte es zurück zum Tool-Ergebnis, das die Versicherung zeigte, dann zurück zur Benutzer-ID, die dieses Tool-Ergebnis freigeschaltet hatte, und schließlich zurück zur ursprünglichen Anfrage des Benutzers.
Das Paper legt nahe, dass dieser rekursive Ansatz der Schlüssel zur Transparenz von KI ist. Es zeigt, dass es nicht ausreicht, das gesamte Gespräch auf einmal zu betrachten; wir müssen die Struktur des Gesprächs verstehen, wie ein Turn von einem anderen abhängt. Während die Methode am besten mit den spezifischen KI-Modellen funktioniert, die sie getestet haben (welche Open-Source und relativ klein sind), deuten die Ergebnisse stark darauf hin, dass wir für komplexe, mehrstufige KI-Agenten aufhören müssen, Gespräche als flache Liste von Wörtern zu behandeln, und statfangen müssen, sie als ein verbundenes Netz von Abhängigkeiten zu begreifen. Tokengeist sagt uns nicht nur, was die KI gesagt hat; es hilft uns, die gesamte Geschichte dahinter zu verstehen, wie sie zu diesem Satz gekommen ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.