TRACE: TRajectory Attribution for Automated Context Engineering
TRACE ist ein automatisiertes Framework, das historische Agenten-Trajektorien analysiert, um implizite Unzufriedenheitssignale zu identifizieren, was eine präzise Attribuierung und Behebung von Fehlern auf der Kontextebene über Prompts, Tools und Wissensdatenbanken hinweg ermöglicht, ohne dass ein Retraining des Modells oder explizites Nutzerfeedback erforderlich ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind der Kapitän eines Raumschiffs, aber anstatt mit einem Joystick zu steuern, steuern Sie mit einem massiven, sich ständig ändernden Handbuch. Dieses Handbuch sagt dem Computer Ihres Schiffes (einem KI-Agenten), wie er mit Passagieren sprechen soll, wo er nach Sternenkarten suchen muss und welche Knöpfe zu drücken sind, um den Motor zu reparieren. In der Welt der Künstlichen Intelligenz wird dieses Handbuch als „Context Engineering“ bezeichnet. Es ist die Kunst, die Prompts, Regeln und Wissensdatenbanken zu schreiben, die das Verhalten einer KI leiten, ohne das Gehirn der KI von Grund auf neu bauen zu müssen. Aber hier ist der Haken: Wenn auch nur ein einzener Satz in diesem Handbuch falsch, veraltet oder fehlt, könnte die KI das Schiff unaufhaltsam in einen Asteroiden steuern.
Lange Zeit war das Beheben dieser Fehler so, als würde man versuchen, eine Nadel im Heuhaufen zu finden, während man die Augen verbunden hat. Wenn eine KI einen Fehler machte, mussten Ingenieure tausende von Chat-Protokollen manuell durchlesen, raten, was schiefgelaufen war, und hoffen, dass sie die richtige Seite im Handbuch fanden, um den Fehler zu beheben. Es war langsam, teuer und skalierte schlecht, als immer mehr Menschen diese KI-Schiffe nutzten. Die große Frage war: Könnten wir ein System bauen, das automatisch die Historie der KI liest, die winzigen Hinweise darauf entdeckt, dass etwas schiefgelaufen ist, und uns genau sagt, welche Seite des Handbuchs umgeschrieben werden muss?
Hier kommt ein neues System namens Trace ins Spiel. Betrachten Sie Trace als einen superintelligenten Detektiv, der nicht nur den endgültigen Absturzbericht betrachtet, sondern die gesamte Reise zurückspult, um zuzusehen. Die Forscher hinter Trace erkannten, dass ein Nutzer bei einem Fehler oft „Brotkrumen“ in der Konversation hinterlässt – wie zum Beispiel zu sagen: „Warte, das ist nicht richtig“, oder eine Frage umzuformulieren, weil die erste Antwort verwirrend war. Dies werden als „implizite Unzufriedenheitssignale“ bezeichnet. Anstatt darauf zu warten, dass ein Nutzer auf einen „Daumen nach unten“-Button klickt, jagt Trace nach diesen subtilen Hinweisen in der Vergangenheit der KI.
Das Paper stellt ein dreiteiliges Team von KI-Detektiven vor, um das Rätsel zu lösen. Zuerst scannt der Detector die Gesprächshistorie, um diese Brotkrumen der Unzufriedenheit zu finden. Sob von einem Problem entdeckt, agiert der Root Cause Agent wie ein forensischer Analyst. Er untersucht die gesamte Kette der Ereignisse, die die KI durchlaufen hat – was sie gelesen, welche Werkzeuge sie benutzt und was sie gedacht hat – und nutzt eine Technik namens „Textual Gradients“, um den Fehler an seiner Quelle zurückzuverfolgen. Er fragt: „Begann der Fehler in der Wissensdatenbank? War es eine schlechte Anweisung in der Skill-Datei? Oder hat die Werkzeugbeschreibung gelogen?“ Schließlich geht der Recommender Agent nicht nur raten, sondern unternimmt einen Exkurs. Er liest aktiv die tatsächlichen Dateien und Handbücher, um zu verifizieren, ob die Information fehlt (was eine „Create“-Operation erfordert) oder nur alt und falsch ist (was eine „Update“-Operation erfordert).
Die Ergebnisse dieser Untersuchung sind vielversprechend, bringen jedoch eine spezifische Einschränkung mit sich. Die Forscher haben Trace an einem simulierten Datensatz von 60 unordentlichen, realitätsnahen Gesprächen getestet, bei denen sie genau wussten, wo die Fehler lagen. In diesen Simulationen identifizierte Trace den spezifischen Schritt, an dem der Fehler seinen Ursprung hatte, in etwa 72,7 % der Fälle. Noch beeindruckender war es, dass das System bei der Vorschlag eines tatsächlichen Fixes – wie zum Beispiel dem Team zu sagen: „Aktualisiere diese spezifische Datei“ oder „Erstelle einen neuen Eintrag“ – in 82 % der Fälle richtig lag. Es war besonders gut darin, zwischen einer fehlenden Information und einer veralteten zu unterscheiden, was es in 96 % der Fälle richtig machte, wenn es seinen eigenen „Exkurs“ unternahm, um die Dateien zu prüfen.
Es ist jedoch wichtig zu bedenken, dass diese Zahlen aus einer sorgfältig konstruierten Simulation stammen, nicht aus einer lebendigen, chaotischen realen Umgebung. Die Forscher haben diese Testumgebung gebaut, weil sie ihre tatsächlichen Unternehmensdaten aufgrund von Datenschutzregeln nicht teilen konnten. Während das System also zeigt, dass es in einer kontrollierten Umgebung mit hoher Genauigkeit funktionieren kann, deutet das Paper darauf hin, dass dies eher eine kraftvolle neue Richtung als ein für jede existierende KI vollständig gelöstes Problem ist. Der Kern der Idee ist, dass wir, indem wir die eigene Historie der KI analysieren lassen und sie „ihre eigenen Handbücher lesen“ lassen, um die Wahrheit zu finden, von der manuellen Fehlersuche bei KI-Agenten zur automatischen Selbstverbesserung übergehen können. Es ist der Wechsel von einem Mechaniker, der das Auto repariert, nachdem es kaputtgegangen ist, zu einem Mechaniker, der auf den Motor hört, ein leises Klappern wahrnimmt und die richtige Schraube festzieht, bevor das Auto überhaupt liegen bleibt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.