🤖 AI

Trajectories That Segment Themselves: Agent-Declared Boundaries as a Training Unit

Dieses Paper führt ein Trainingsparadigma ein, bei dem Coding-Agenten ihre Trajektorien selbstständig segmentieren, indem sie falsifizierbare kausale Hypothesen formulieren, wodurch sie hochwertige, variabel lange semantische Phasen generieren, die im Vergleich zu traditioneller Fixed-Window- oder Episoden-basierten Labeling ein effektiveres Supervised Fine-Tuning und Direct Preference Optimization ermöglichen.

Ursprüngliche Autoren: Jingxi Wei

Veröffentlicht 2026-08-04

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jingxi Wei

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Notizbuch des Detektivs: Warum KI wissen muss, wann sie aufhören muss zu raten

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein riesiges, unordentliches Puzzle zu lösen. In der Welt der künstlichen Intelligenz wird dieser Roboter „Agent“ genannt, und das Puzzle ist oft ein komplexes Stück Computercode. Um zu lernen, probiert der Roboter Dinge aus, macht Fehler und erhält Feedback. Aber hier liegt der Knackpunkt: Wie sagt man dem Roboter, was er richtig oder falsch gemacht hat?

Normalerweise betrachten wir die gesamte Reise des Roboters vom Anfang bis zum Ende und geben ihm eine einzige Note: „Gut gemacht!“ oder „Versuch es noch einmal.“ Das ist so, als würde man einen Detektiv beobachten, der einen Verbrechen löst, und nur sagen: „Du hast den Kriminellen gefasst“, ohne ihm zu sagen, welcher Hinweis der entscheidende Durchbruch war oder welche Sackgasse eine Zeitverschwendung war. Wenn der Detektiv Stunden damit verbracht hat, einer falschen Spur nachzujagen, bevor er die echte fand, bestraft die Note „Versuch es noch einmal“ die gute Arbeit, die er zuvor geleistet hat.

Dieses Paper befasst sich mit diesem Problem. Es stellt die Frage: Können wir die KI lehren, ihre eigene lange, chaotische Reise in kleinere, bedeutungsvolle Kapitel zu unterteilen? Anstatt nur den ganzen Film zu beobachten, kann der Agent innehalten und sagen: „Okay, ich habe gerade diese spezifische Theorie über den Code getestet, und jetzt gehe ich zu einer neuen über.“ Auf diese Weise kann die KI viel schneller aus ihren Fehlern lernen, weil sie genau weiß, welches „Kapitel“ ihres Denkens schiefgelaufen ist, anstatt eine schlechte Note für das ganze Buch zu bekommen.

Das Paper: Wenn KI-Agenten ihre eigenen Kapiteltitel schreiben

Dieses Paper stellt einen cleveren Trick namens „Agent-Declared Boundaries“ (vom Agenten deklarierte Grenzen) vor. Stellen Sie sich das wie ein magisches Notizbuch vor, das man dem KI-Agenten gibt, in dem er für jede neue Theorie, die er ausprobiert, einen Titel schreiben muss.

Das Problem: Die „unscharfe“ Note

Stellen Sie sich vor, Sie spielen ein Videospiel, in dem Sie einen verborgenen Schatz finden müssen. Sie probieren eine Karte aus, graben an der falschen Stelle, probieren einen Kompass, graben an einer anderen falschen Stelle, und schließlich finden Sie den Schatz.

Der alte Weg: Das Spiel gibt Ihnen am Ende eine einzige Punktzahl. Wenn Sie ein paar Fehler gemacht haben, bekommen Sie eine niedrige Punktzahl. Sie wissen nicht, ob der Kompass das Problem war oder ob Sie einfach nur an der falschen Stelle gegraben haben.
Die Idee des Papers: Der KI-Agent wird aufgefordert, anzuhalten und zu sagen: „Ich teste jetzt die Kompass-Theorie.“ Wenn diese Theorie scheitert, sagt er: „Okay, Kompass-Theorie ist tot. Jetzt beginne ich mit der Karten-Theorie.“

Indem man den Agenten zwingt, seine aktuelle Vermutung (seine „Hypothese“) zu benennen, können die Forscher die lange, verwirrende Reise in ordentliche, kurze Segmente unterteilen. Jedes Segment ist eine „semantische Phase“ – ein Zeitblock, in dem der Agent auf eine spezifische Idee fokussiert war.

Wie sie es gemacht haben: Das „Hypothesen-Register“

Die Forscher legten eine spezielle Regel für die KI-Agenten fest. Während der Agent daran arbeitet, Code zu reparieren, muss er deklarieren: „Ich glaube, der Bug liegt im Login-System.“ Dann geht er an die Arbeit. Wenn er scheitert, greift ein „Reviewer“ (ein anderer KI-Agent) ein und sagt: „Nein, das Login-System ist in Ordnung. Deine Login-Theorie war falsch. Versuche stattdessen die Datenbank-Theorie.“

Dies erstellt ein „Register“ (eine Liste) der Vermutungen des Agenten.

Der Aufwand: Dies fügt nur etwa 52 Token (ein winziger Textbestandteil) pro Vermutung hinzu. Es ist, als würde man einen Klebezettel auf eine Seite kleben; es belastet das Buch nicht.
Der Nutzen: Anstatt eines einzigen großen „Fehlgeschlagen“-Labels für den gesamten Versuch erhalten sie vier verschiedene Arten von Lern-Daten aus derslich Reise:
1. Audit (Prüfung): „Warum war diese spezifische Vermutung falsch?“ (Selbst wenn die Vermutung fehlschlug, ist die Lektion nützlich!)
2. Propose (Vorschlag): „Was sollten wir als Nächsten vermuten?“
3. Fix (Reparatur): „Wie reparieren wir den Code jetzt, da wir die Antwort kennen?“
4. Preference (Präferenz): „Welche Vermutung war besser?“

Der große Test: Ergab die KI tatsächlich Sinn?

Die Forscher waren besorgt: „Schreibt die KI vielleicht nur zufällige Titel, und die ‚Kapitel‘ sind eigentlich nur zufällige Textblöcke?“ Um zu beweisen, dass dies nicht der Fall war, führten sie einige interessante Experimente durch, bei denen sie die Titel löschten und andere baten, herauszufinden, wo die Kapitel endeten.

Der „Blinde“ KI-Test: Sie gaben einer anderen KI eine Liste von Aktionen und eine Liste von Theorien, verbargen aber, welche Theorie zu welchen Aktionen gehörte. Die KI musste die Übereinstimmung erraten.
- Das Ergebnis: Die KI lag 2,18-mal häufiger richtig als beim bloßen Raten. Noch besser: Wenn sie die „benannten“ Kapitel der KI mit dem einfachen Zerschneiden des Textes in gleich große Stücke verglichen, waren die benannten Kapitel signifikant besser darin, verwandte Aktionen zusammenzufassen.
Der „Code-Blinde“ Human-Test: Ein Mensch, der den Code nicht kannte, betrachtete die Befehle und versuchte zu erraten, wo sich die Theorien änderten.
- Das Ergebnis: Der Mensch fand 24 von 40 Grenzen korrekt. Hätte er nur geraten, hätte er nur etwa 11,5 gefunden.
Der „Mechanische“ Test: Sie versuchten, einfache Regeln anzuwenden (wie z. B. „schneide den Text jedes Mal durch, wenn ein Test läuft“), um die Grenzen zu finden.
- Das Ergebnis: Diese einfachen Regeln scheiterten kläglich und waren nicht besser als der Zufall. Dies beweist, dass die Grenzen nicht einfach nur davon abhängen, wann ein Test stattfand, sondern von der Bedeutung der Arbeit.

Was haben sie gelernt? (Und was nicht)

Das Paper zeigt, dass diese Methode echte, bedeutungsvolle Arbeitsblöcke schafft, die leicht zu untersuchen und zu lernen sind.

Die gute Nachricht: Die KI kann lernen, schlechte Vermutungen zu erkennen und sie zu korrigieren. Als sie eine neue KI mit diesen „kapitelbasierten“ Lektionen trainierten, entwickelte sie eine spezifische Präferenz für die Wahl bestimmter Arten von Vermutungen gegenüber anderen. Dieses Lernen war jedoch eng an die Art und Weise gebunden, wie die Trainingspaare geschrieben wurden. Als sie mit einem neuen Satz von Problemen getestet wurde, der anders aufgebaut war (Adversarial Sets), verbesserte sich die KI nicht; sie traf exakt dieselben Entscheidungen wie zuvor, was zeigt, dass sie keine allgemeine Fähigkeit für besseres Raten erlernt hatte.
Der Realitätscheck: Das Paper ist sehr ehrlich darüber, was es nicht bewiesen hat.
- Sie testeten dies an einer spezifischen Menge von Programmieraufgaben.
- In ihrem kleinen Test löste die neue KI nicht insgesamt mehr Probleme als die alte KI; sie löste exakt dieselbe Anzahl an Aufgaben.
- Das „Lernen“, das sie sahen, war sehr spezifisch für die Konstruktion der Daten. Es ist, als würde man ein bestimmtes Rätsel perfekt lernen, aber nicht unbedingt besser darin werden, alle Rätsel zu lösen.

Das Fazbeispiel

Dieses Paper behauptet nicht, einen superintelligenten Roboter gebaut zu haben, der jeden Code sofort reparieren kann. Stattdessen hat es einen Weg gefunden, den „Denkprozess“ des Roboters viel klarer zu machen. Indem man den Roboter bittet, für jede Theorie, die er ausprobiert, einen Titel zu schreiben, können die Forscher ein langes, verwirrendes Chaos aus Fehlern in eine Serie von klaren, kurzen Lektionen verwandeln.

Es ist der Unterschied zwischen einem Zeugnis, das besagt: „Du hast das Semester nicht bestanden“, und einem Zeugnis, das sagt: „Du bist im Algebra-Kapitel durchgefallen, aber im Geometrie-Kapitel hast du hervorragend abgeschnitten, und hier ist genau der Grund, warum die Algebra fehlgeschlagen ist.“ Das Paper legt nahe, dass diese Art von detailliertem Feedback ein mächtiges Werkzeug ist, um KIs zu lehren, auch wenn der Roboter noch nicht ganz bereit ist, ein professioneller Programmierer zu sein.

Technisches Resümee: Trajektorien, die sich selbst segmentieren

1. Problemstellung

Langfristige Trajektorien von Coding-Agenten weisen eine fundamentale Diskrepanz zu Standard-Trainingseinheiten auf. Aktuelle Ansätze verlassen sich auf drei fehlerhafte Mechanismen der Kreditzuweisung (Credit Assignment):

Pro-Aktion-Kredit: Einzelne Aktionen (z. B. grep, pytest) besitzen keinen intrinsischen Wert; ihr Nutzen hängt vollständig von der kausalen Hypothese ab, der sie dienen.
Terminale Episoden-Labels: Ein einzelnes Erfolgs-/Fehler-Bit vermischt produktive Exploration mit aufgegebenen Richtungen und führt so fundierte Phasen mit gescheiterten Verpflichtungen zusammen.
Feste Zeitfenster: Arbiträre Zeitstufen-Grenzen (z. B. $K$ -Turn-Fenster) spalten oft kohärente Untersuchungen auf oder führen die Aufgabe einer Ursache mit der Annahme einer anderen zusammen.

Diese Grenzen leiten sich aus den Logging-Mechaniken ab und nicht aus dem sich entwickelnden epistemischen Zustand des Agenten, was zu verrauschten Zielwerten führt, die die Oberflächenform über das kausale Denken belohnen.

2. Methodik

2.1 Agenten-deklarierte semantische Selbst-Segmentierung

Das Paper führt ein Protokoll zur Datenerhebung ein, bei dem der agierende Agent seine eigenen Grenzen über einen deklarativen Kontrakt offenlegt.

Der Mechanismus: Während eines Tool-nutzenden Rollouts nimmt der Agent eine falsifizierbare kausale Hypothese ( $h_k$ ) an und deklariert diese. Der Agent sammelt daraufhin Evidenz, editiert Code oder führt Prüfungen unter dieser Hypothese durch. Die Phase endet, wenn der Agent eine neue Hypothese ( $h_{k+1}$ ) annimmt oder die Trajektorie terminiert.
Die Kosten: Dies verursacht einen minimalen Overhead (durchschnittlich 52 Token pro Deklaration, ~9,8 % des Agenten-Outputs) im Vergleich zu Alternativen, die Gold-Patches, environmentspezifische Vokabulare, reproduzierbare Umgebungen oder Post-hoc-Segmentierer erfordern.
Das Erhebungsprotokoll: Ein Agent versucht eine Aufgabe. Wenn er versteckte Tests nicht besteht, greift ein Reviewer-Modell ein. Der Reviewer sieht die Referenz-Korrektur, ist aber daran gehindert, diese zu benennen. Stattdessen muss der Reviewer folgendes bereitstellen: (1) eine Negation des aktuellen falschen Ansatzes und (2) die kleinste positive Richtung zur weiteren Untersuchung. Dies zwingt den Agenten, die widerlegte Hypothese aufzugeben und eine neue Hypothese anzunehmen, wodurch ein klarer Übergang von "falscher-Ursache-dann-Korrektur" entsteht.

2.2 Vier supervised Targets aus einer Sammlung

Ein einzener Rollout liefert vier distinkte Trainingsansichten, indem die Asymmetrie der Information genutzt wird:

Audit (2.721 Zeilen): Der Auditor sieht die abgeschlossene Phase und bindet die Evidenz, um zu beurteilen, ob die Richtung fundiert war und um fehlende Evidenz zu identifizieren. Dies gewinnt Lehren aus Spannen, die ein Episoden-Label verwerfen würde.
Propose (1.405 Zeilen): Das Modell sieht nur den Zustand an der Grenze (maskiert) und muss eine überprüfbare nächste Hypothese ableiten oder fehlende Evidenz feststellen.
Fix (553 Zeilen): Das Modell sieht eine ergebnisbestätigte Ursache und Quelle, um eine lokalisierte Diagnose in einen Patch zu verwandeln.
Preference Pairs (2.551 Zeilen): Das Modell sieht den maskierten Grenz-Zustand und lernt, eine vorankommende Eröffnung gegenüber einer stagnierenden oder widerlegten zu bevorzugen.

2.3 Phase-DPO

Das Paper implementiert ein Standard Direct Preference Optimization (DPO) auf den Preference Pairs. Das Ziel ist es, eine Policy $\pi_\theta$ zu lernen, sodass $\pi_\theta(y^+ | x) > \pi_\theta(y^- | x)$ gilt, wobei $y^+$ eine bevorzugte Eröffnungs-Hypothese und $y^-$ eine abgelehnte ist, gegeben den maskierten Zustand $x$ . Die Phase dient als die Krediteinheit, die festlegt, wo der Kontext geschnitten wird und welcher Text das Ziel ist.

3. Kernbeiträge

Abhängigkeitsfreie Grenzen: Die Segmentierung wird durch die agierende Policy selbst unter einem deklarativen Kontrakt geliefert, was keine externen Gold-Patches, Meilenstein-Vokabulare oder Post-hoc-Segmentierer erfordert. Die Grenze entsteht innerhalb derselben Rollout, die auch die Trajektorie produziert.
Adressierbare Einheiten: Im Gegensatz zu durch Position definierten Fenstern ist eine deklarierte Hypothese ein adressierbarer Handle. Dies ermöglicht eine feinere Kreditzuweisung, Prozessüberwachung ohne Schritt-Annotation und Führung durch Namen (Negation spezifischer Konjekturen statt ganzer Trajektorien).
Semantische Kohärenz: Die Grenzen verfolgen das Denken des Agenten, nicht Logging-Artefakte.
- Attribution: Wenn Deklarationen entfernt werden, attribuiert ein unabhängiges Modell Aktionsblöcke mit einer Rate von 2,18-mal höherer Wahrscheinlichkeit (gepaarter Vorzeichen-Test $p=0,0002$ ) der regierenden Hypothese, was gleich langen Fenstern überlegen ist.
- Nicht-Ableitbarkeit: Ein Code-blinder menschlicher Annotator erkennt 24/40 Grenzen (gegenüber 11,5 durch Zufall erwartet), während eine mechanische Test-Event-Regel weder bei strikten noch bei permissiven Schwellenwerten die Chance schlägt.
Konstruktions-Interface: Das Protokoll erzeugt "falscher-Ursache-dann-Korrektur"-Übergänge, die in aufgezeichneten Arbeiten selten sind, und ermöglicht so Audit-Supervision aus gescheiterten Suchregionen, die Standard-Episoden-Labels verwerfen würden.

4. Ergebnisse

4.1 Validität der Einheiten

Attribution: Aktionsblöcke bleiben auch nach Entfernung des Deklarations-Textes der regierenden Hypothese zuordenbar, was bestätigt, dass die Grenze semantisch und nicht lexikalisch ist.
Rekuperierbarkeit: Ein Code-blinder Leser kann Grenzen signifikant besser als zufällig wiederherstellen, allerdings übersegmentiert er (1,55-fach), was darauf hindeutet, dass die Grenzen nicht trivial durch einfache Heuristiken reproduzierbar sind.

4.2 Downstream Optimierung (Phase-DPO)

Orientierungssensitivität: Das Training auf 2.551 Paaren mit einer 27B SFT-Policy erzeugt einen invertierten Arm, der die Trennung nicht reproduziert, was bestätigt, dass das Signal kein Artefakt des Optimierer-Shells ist.
Generalisierungsgrenzen:
- Auf adversariell aufgebauten gehaltenen Items (87 Instanzen) änderte der trainierte Adapter 0/91 Entscheidungen.
- Auf strukturell gematchten Items (60 Items aus derselben Generator-Familie) änderte der Adapter 4/60 Entscheidungen (alle von falsch-zu-richtig), während die Kontrollgruppen keine Änderungen zeigten.
- Fazit: Die angepasste Präferenz ist real, aber konstruktionsgebunden; sie lernt, wie die Paare geschrieben wurden, statt einer generalisierbaren Fähigkeit.

4.3 Rollout-Pilotstudie

Ein 20-Aufgaben-Pilot auf SWE-bench Verified zeigte:

Lösungsrate: Base (13/20), SFT (14/20), Phase-DPO (14/20). Keine statistisch signifikante Verbesserung der Lösungsrate.
Effizienz: Phase-DPO zeigte eine Tendenz zu kürzeren Trajektorien (14,0 % Reduktion der Nachrichten gegenüber der Basis), aber die Konfidenzintervalle schlossen Null ein.
Fallstudien: Spezifische Fälle zeigten, dass DPO entweder bessere lokale Entscheidungen trifft (z. B. interne Defaults bewahren) oder schlechtere (z. B. sich zu früh auf falsche Orte festlegen), was verdeutlicht, dass eine bessere Phasenwahl nicht zwangsläufig globalen Erfolg garantiert.

5. Bedeutung und Ansprüche

Das Paper beansprucht bescheiden, dass das Segmentierungsprotokoll zur Datenerhebung und das Daten-Interface die primären Beiträge sind.

Was etabliert wurde: Eine semantische Grenze kann kostengünstig ohne externe Abhängigkeiten erhalten werden. Diese Grenze schafft eine kohärente Einheit, in der Aktionen einer regierenden Hypothese zuordenbar sind, was die Extraktion von Lehren aus gescheiterten Suchrichtungen (Audit-Supervision) und die Konstruktion von Präferenzpaaren ermöglicht.
Was nicht etabiert wurde: Das Paper behauptet nicht, dass das Training auf diesen Einheiten zu einer Policy mit überlegenen End-to-End-Coding-Fähigkeiten oder höheren Lösungsraten führt. Das Optimierungssignal ist orientierungssensitiv, aber derzeit an die Konstruktion der Trainingspaare gebunden.
Zukünftige Richtung: Das Paper postuliert, dass die nächste Variable, die variiert werden muss, die Diversität des Paar-Korpus ist, nicht die Definition der Grenze selbst. Die Grenze ist eine notwendige Bedingung für die Einheit, aber der Nutzen der Einheit hängt von der Qualität und Vielfalt der Daten ab, die sie strukturiert.

Die Arbeit definiert das Problem der "Krediteinheit" neu: Indem sie den Agenten erlaubt, seine eigenen kausalen Verpflichtungen zu deklarieren, stellt das System Trainingsdaten her, die zwischen Suchrichtungen statt nur zwischen Ergebnissen unterscheiden, und bietet so einen Weg zu feingranularerem und interpretierbarem Agenten-Training.