Stellen Sie sich vor, Sie bringen einem Roboter bei, ein riesiges, mehrstufiges Rätsel zu lösen. In der Welt der künstlichen Intelligenz nennt man das „Agentic Reinforcement Learning“. Denken Sie an den Roboter als einen Detektiv, der nicht einfach nur einmal die Antwort errät, sondern Stunden damit verbringt, Bibliotheken zu durchforsten, Dateien zu öffnen, Fragen zu stellen und Hinweise zu sammeln, bevor er schließlich ausruft: „Ich habe den Täter gefunden!“ Der schwierige Teil besteht darin, dem Detektiv das zu lehren. Wenn der Detektiv am Ende die falsche Antwort gibt, würde ein einfacher Lehrer vielleicht nur sagen: „Schlechte Arbeit“, und eine Null geben. Aber das wäre unfair! Vielleicht hat der Detektiv in der ersten Stunde die richtigen Hinweise gefunden, ist aber im letzten Moment über eine lose Diele gestolpert. Wenn man ihn für die ganze Stunde harter Arbeit bestraft, nur weil er am Ende einen Fehler gemacht hat, wird der Detektiv verwirrt und hört auf, sich Mühe beim Sammeln von Hinweisen zu geben. Dies ist das Problem der „Credit Assignment“ (Zuordnung von Erfolg und Misserfolg): Wie vergibt man Anerkennung für die guten Schritte und Schuld für die schlechten, wenn die Belohnung erst ganz am Ende kommt?

Dieses Paper mit dem Titel TRACE befasst sich genau mit diesem Kopfzerbrechen für KI-Agenten, die viele Schritte unternehmen müssen, um ein Problem zu lösen. Die Forscher schlagen einen cleveren Weg vor, dem Detektiv nach jedem einzelnen Schritt (wie jeder Suche oder jedem Öffnen einer Datei) ein „Daumen hoch“ oder „Daumen runter“ zu geben, anstatt bis zum Ende zu warten. Dies tun sie, ohne dass ein Mensch jeden Schritt bewerten muss oder ein superintelligenter Richter den ganzen Film beobachten muss. Stattdessen verwenden sie ein „eingefrorenes Referenzmodell“ – denken Sie an einen ruhigen, unveränderlichen Bibliothekar, der den Lösungsschlüssel kennt. Nachdem der Detektiv einen Zug gemacht hat (wie eine Suche oder das Öffnen einer Datei), prüft der Bibliothekar: „Macht dieser neue Hinweis die endgültliche Antwort leichter erratbar?“ Wenn ja, erhält der Detektiv eine kleine Belohnung. Wenn nein, erhält er eine winzige Strafe. Diese Methode, genannt TRACE, hilft der KI, viel schneller und besser zu lernen als durch das bloße Warten auf die Endnote.

Das Dilemma des Detektivs

Stellen Sie sich vor, Sie trainieren einen Roboter, um den Geburtsort einer fiktiven Autorin namens „Elena Cruz“ zu finden. Der Roboter muss einen Browser nutzen, um zu suchen, Seiten zu öffnen und Texte zu lesen. Es kann etwa 20 Klicks dauern, um dorthin zu gelangen. Bei der alten Art, diese Roboter zu trainieren (genannt „Outcome-only“-Training), würde der Roboter alle 20 Klicks durchlaufen, vielleicht die falsche Antwort erhalten, und dann würde der Computer sagen: „Fehlgeschlagen“. Der Roboter würde es dann erneut versuchen, aber er wüsste nicht, welche dieser 20 Klicks hilfreich waren. Vielleicht haben die ersten 15 Klicks das richtige Buch gefunden, aber der 16. Klick öffnete eine Seite über eine andere Elena, was zur falschen Antwort führte. Die alte Methode behandelt die hilfreichen ersten 15 Klicks genauso wie den nutzlosen 16. Klick: Beide werden bestraft. Es ist, als bekäme man eine schlechte Note in einer Mathearbeit, weil man am Ende einen winzigen Rechenfehler gemacht hat, obwohl man die schwierige Algebra korrekt gelöst hat.

Die Forscher fanden heraus, dass dieser „Alles-oder-Nichts“-Ansatz es Robotern sehr schwer macht, komplexe, langfristige Aufgaben zu lernen. Der Roboter wird verwirrt, das Training dauert ewig, und er gibt oft auf, neue Ideen zu erforschen, weil er Angst hat, am Ende einen Fehler zu machen.

Die TRACE-Lösung: Eine Bewertung für jeden Schritt

Die Autoren dieses Papers haben TRACE entwickelt (Turn-level Reward Assignment via Credit Estimation). Anstatt darauf zu warten, die endgültige Antwort zu bewerten, gibt TRACE dem Roboter nach jedem einzelnen Werkzeugaufruf (jeder Suche, jedem Öffnen, jedem Klick) eine Punktzahl.

So funktioniert es, unter Verwendung unserer Detektiv-Analogie:

1. Der eingefrorene Bibliothekar: Das System verwendet ein „eingefrorenes Referenzmodell“. Stellen Sie sich einen Bibliothekar vor, der bereits den Lösungsschlüssel gelesen hat und seine Meinung niemals ändern wird. Dieser Bibliothekar ist „eingefroren“, was bedeutet, dass er nicht lernt oder verwirrt wird; er dient lediglich als stabiles Maß.
2. Die Fortschrittsprüfung: Nachdem der Roboter einen Zug gemacht hat (wie die Suche nach „Elena Cruz“), prüft der Bibliothekar die aktuellen Notizen des Roboters. Der Bibliothekar fragt: „Basierend auf dem, was der Roboter bisher gefunden hat, wie einfach ist es, die richtige Antwort zu erraten?“
3. Die Änderung des Scores: Wenn die neue Suche des Roboters die Antwort leichter erratbar macht, erhält der Roboter eine positive Punktzahl. Wenn die Suche in einer Sackgasse oder auf einer verwirrenden Seite endet, sinkt die Punktzahl.
4. Die Magie des „Teleskopierens“: Das Paper verwendet einen mathematischen Trick namens „Temporal-Difference“ (TD). Denken Sie an eine Leiter. Wenn Sie eine Sprosse nach oben steigen, erhalten Sie Anerkennung für diese Sprosse. Wenn Sie nach oben steigen und dann versehentlich wieder nach unten rutschen, verlieren Sie die Anerkennung für den Rutsch. Das System addiert diese winzigen Veränderungen auf. Wenn der Roboter 10 Züge lang gute Hinweise sammelt und dann einen schlechten Zug macht, sieht das System die 10 guten Schritte als positiv und den einen schlechten Schritt als negativ an. Es bestraft die 10 guten Schritte nicht nur deshalb, weil die endgültige Antwort falsch war.

Diese Methode ist besonders, weil sie weder einen Menschen benötigt, der nach jedem Schritt „Gut gemacht“ schreibt, noch ein zweites, superintelligentes KI-Modell, das den Roboter beobachtet und bewertet. Sie nutzt einfach den „eingefrorenen Bibliothekar“, um zu sehen, ob der Roboter der Wahrheit näher kommt.

Was sie herausgefunden haben

Die Forscher testeten TRACE bei einer sehr schwierigen Aufgabe: das Finden spezifischer Fakten, die tief in einer riesigen Sammlung von Dokumenten verborgen sind (eine „Closed-Web“-Suche). Sie verwendeten zwei verschiedene Größen von KI-Modellen: ein kleineres (Qwen3-4B) und ein größeres (Qwen3-30B-A3B).

Die Ergebnisse waren beeindruckend. Vor der Verwendung von TRACE konnte das kleinere Modell nur etwa 7,2 % der schwierigen Suchfragen lösen. Nach dem Training mit TRACE sprang es auf 35,6 %. Das größere Modell verbesserte sich von 8,4 % auf 42,6 %. Dies sind enorme Verbesserungen, insbesondere wenn man bedenkt, dass sie kein „Cold-Start“-Training (bei dem man den Roboter zuerst mit perfekten Beispielen lehrt) oder Live-Internetdaten verwendet haben. Sie haben die TRACE-Methode einfach auf das Rohmodell angewendet.

Das Paper zeigte auch, dass TRACE funktioniert, selbst wenn der Roboter im offenen Internet getestet wird und nicht nur in der Übungsbibliothek, in der er trainiert wurde. Der Roboter hat eine allgemeine Fähigkeit zum Suchen und Lesen gelernt, die auf neue Orte übertragbar ist. Zum Beispiel erreichte das größere Modell 12,9 bei einem Benchmark namens BrowseComp, 52,0 bei GAIA und 45,0 bei einem chinesischen Deep-Search-Test.

Warum es wichtig ist und was es nicht tut

Das Paper legt nahe, dass diese Methode das Lernen wesentlich beschleunigt. In ihren Experimenten begannen die mit TRACE trainierten Roboter viel früher, besser zu werden, und erreichten ihre Spitzenleistung schneller als Roboter, die mit der alten „Warten-bis-zum-Ende“-Methode trainiert wurden. Die Lernkurven zeigten, dass die Roboter lernten, effizienter zu explorieren und Beweise zu sammeln.

Die Autoren weisen jedoch vorsichtig auf die Grenzen ihrer Arbeit hin. Diese Methode funktioniert am besten, wenn die endgültige Antwort kurz und klar ist, wie ein Name, ein Datum oder eine Zahl. Wenn die Aufgabe des Roboters darin besteht, eine lange, komplexe Geschichte zu schreiben oder ein defektes Computerprogramm zu reparieren, wo die „richtige“ Antwort offen gestaltet und schwer zu definieren ist, funktioniert diese Methode möglicherweise nicht so gut. Der „eingefrorene Bibliothekar“ benötigt einen klaren Lösungsschlüssel, um dagegen zu prüfen. Wenn die Antwort vage ist, kann der Bibliothekar nicht feststellen, ob der Roboter der Wahrheit näher kommt.

Kurz gesagt ist TRACE eine neue Art, KI-Agenten beizubringen, gute Detektive zu sein. Anstatt bis zum Ende des Falls zu warten, um „Gut gemacht“ oder „Schlechte Arbeit“ zu sagen, gibt es nach jedem gefundenen Hinweis eine Bewertung ab. Dies hilft der KI zu verstehen, dass das Sammeln von Beweisen wertvoll ist, selbst wenn die endgültige Vermutung nicht perfekt ist, was zu intelligenteren, schnelleren und zuverlässigeren Such-Agenten führt.