💻 computer science

From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents

Das Papier stellt Patches-to-Trajectories (P2T) vor, eine Methode, die Referenz-Patches als privilegierte Information nutzt, um optimale Lösungsmilestones zu destillieren und hochwertige, effiziente Trainingspfade für Software-Engineering-Agenten zu erstellen, wodurch die reasoning-Effektivität und die Inferenzeffizienz im Vergleich zur standardmäßigen überwachten Feinabstimmung erheblich verbessert werden.

Ursprüngliche Autoren: Murong Ma, Tianyu Chen, Yun Lin, Shuai Lu, Qinglin Zhu, Yeyun Gong, Zhiyong Huang, Peng Cheng, Yan Lu, Jin Song Dong

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Murong Ma, Tianyu Chen, Yun Lin, Shuai Lu, Qinglin Zhu, Yeyun Gong, Zhiyong Huang, Peng Cheng, Yan Lu, Jin Song Dong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, wie man eine defekte Maschine repariert. Sie haben ein Video eines Mechatronikers, der sie perfekt repariert. Der Standardweg, dem Roboter beizubringen, besteht darin, ihm das gesamte Video von Anfang bis Ende zu zeigen und zu sagen: „Kopiere genau das, was du siehst."

Das Problem? Der Mechatroniker könnte unterwegs einige alberne Fehler gemacht haben. Vielleicht hat er dreimal den falschen Teil der Maschine betrachtet oder eine Lösung erraten, die zufällig durch Glück funktionierte, obwohl seine Schlussfolgerung fehlerhaft war. Wenn der Roboter das gesamte Video kopiert, lernt er auch diese schlechten Gewohnheiten. Er mag die Maschine reparieren, tut dies aber ineffizient und mit einem wackeligen Verständnis dafür, warum es funktioniert hat.

Diese Arbeit mit dem Titel „From Patches to Trajectories" (Von Patches zu Trajektorien) stellt eine intelligentere Methode vor, um diese Software-Reparatur-Roboter (genannt KI-Agenten) zu unterrichten. Sie nennen ihre Methode P2T.

Hier ist, wie P2T funktioniert, unter Verwendung einer einfachen Analogie:

Das Problem: Das „schlechte Video"

Bei der alten Methode baten Forscher eine superschlaue KI (den „Lehrer"), einen Fehler zu beheben. Wenn die endgültige Reparatur des Lehrers funktionierte, behielten sie den gesamten Versuch als Lektion für den Schüler-Roboter.

Der Fehler: Der Lehrer könnte einen 100-Schritte-Weg gewählt haben, um ein 10-Schritte-Problem zu lösen. Er könnte sich Dateien angesehen haben, die er nicht brauchte, oder einen logischen Sprung gemacht haben, der nur funktionierte, weil er Glück hatte. Der Schüler-Roboter lernt all diese verschwendete Zeit und die schlechte Logik.

Der geheime Zutat: Der „Lösungsschlüssel"

Jeder reale Softwarefehler kommt mit einer „Goldstandard"-Reparatur (ein Referenzpatch) vor, die von einem menschlichen Entwickler geschrieben wurde.

Der alte Weg: Werfen Sie diesen Lösungsschlüssel weg, nachdem Sie geprüft haben, ob die Reparatur des Lehrers damit übereinstimmte.
Der P2T-Weg: Verwenden Sie den Lösungsschlüssel als geheime Spickzettel für den Lehrer, zeigen Sie ihn dem Schüler aber niemals.

Wie P2T funktioniert: Der Zwei-Phasen-Prozess

Phase 1: Die Detektiv-Karte (Reverse Phase)
Stellen Sie sich vor, die „Goldstandard"-Reparatur ist eine Schatzkarte, die das endgültige Ziel zeigt. P2T gibt dem Schüler nicht nur das Ziel; es fragt einen schlauen Detektiv (eine KI), rückwärts vom Schatz zu arbeiten, um die notwendigen Hinweise zu ermitteln, die benötigt werden, um ihn zu finden.

Der Detektiv erstellt einen „Prozessgraph" (eine Checkliste von Fakten).
Beispiel: „Um dies zu reparieren, müssen Sie zuerst erkennen, dass Datei A mit Datei B kommuniziert," oder „Sie müssen sehen, dass der Fehler auftritt, wenn die Temperatur hoch ist."
Wichtige Regel: Dem Detektiv ist strengstens verboten, die endgültige Lösung oder Hinweise aufzuschreiben, die nicht durch normales Betrachten des Problems gefunden werden könnten. Dies verhindert, dass der „Spickzettel" in die Lektion sickert.

Phase 2: Der geführte Spaziergang (Forward Phase)
Jetzt versucht die „Lehrer"-KI erneut, den Fehler zu beheben, aber diesmal wird sie von einem Kurator beobachtet.

Der Kurator hat den „Prozessgraph" (die Checkliste der notwendigen Hinweise) in der Hand.
Der Lehrer versucht, den Weg zu gehen. Der Kurator beobachtet jeden Schritt.
Der Filter:
1. Wirksamkeit: Hat der Schritt des Lehrers tatsächlich einen notwendigen Hinweis aus der Checkliste aufgedeckt? Wenn er einen Hinweis übersprungen oder geraten hat, sagt der Kurator: „Nein, dieser Schritt zählt nicht."
2. Effizienz: Hat der Lehrer Zeit verschwendet? Wenn er eine Datei angesehen hat, die er bereits gesehen hatte, schneidet der Kurator diesen Teil heraus.
Das Ergebnis: Der Kurator fügt nur den kürzesten, logischsten Pfad zusammen, der erfolgreich alle notwendigen Hinweise aufdeckt.

Die Analogie: Der Wanderführer

Stellen Sie sich den Softwarefehler als Bergwanderung vor.

Alte Methode: Sie zeigen einem Schüler ein Video eines Wanderers, der den Gipfel erreicht hat. Aber der Wanderer im Video ist im Kreis gelaufen, hat eine falsche Abzweigung genommen und dann Glück gehabt, den Weg zu finden. Der Schüler lernt auch, im Kreis zu laufen.
P2T-Methode: Sie haben eine Karte der perfekten Route (den Goldstandard). Sie zeigen die Karte dem Schüler nicht. Stattdessen haben Sie einen Führer (den Kurator), der einen Wanderer (den Lehrer) beim Versuch der Besteigung beobachtet. Der Führer hat die Karte und weiß genau, welche Landmarken gesehen werden müssen, um den Gipfel zu erreichen.
- Wenn der Wanderer eine Landmarke verpasst, sagt der Führer: „Gehen Sie zurück und finden Sie sie."
- Wenn der Wanderer einen Umweg nimmt, sagt der Führer: „Schneiden Sie diesen Teil heraus."
- Der Schüler sieht nur das endgültige, bearbeitete Video: eine direkte, effiziente Wanderung, bei der jeder Schritt Sinn ergibt.

Die Ergebnisse

Die Arbeit testete dies an realen Softwarefehlern.

Bessere Intelligenz: Die mit P2T trainierten Roboter lösten 10,8 % mehr Probleme korrekt als diejenigen, die mit der alten Methode trainiert wurden.
Günstiger und schneller: Da die Roboter lernten, kürzere und direktere Wege zu gehen, verbrauchten sie 15 % weniger Rechenleistung (und Geld), um die Probleme zu lösen.
Kein Cheaten: Die Roboter haben die Antwort nicht nur auswendig gelernt; sie lernten den Prozess, die Antwort zu finden, weil der „Spickzettel" ihnen nie direkt gezeigt wurde.

Kurz gesagt, verwandelt P2T ein chaotisches, glückliches Raten in einen sauberen, logischen Lehrplan und lehrt KI-Agenten, nicht nur erfolgreich, sondern auch effizient und realitätsbezogen zu sein.

Technische Zusammenfassung: Von Patches zu Trajektorien (P2T)

Problemstellung

Die vorherrschende Methode, um Open-Source-Software-Engineering-(SWE-)Agenten Untersuchungs- und Schlussfolgerungsfähigkeiten zu verleihen, ist das Supervised Fine-Tuning (SFT) auf langen Trajektorien, die von leistungsstarken Lehrermodellen generiert werden. Standard-SFT behandelt jedoch jede beibehaltene Antwort als Nachahmungsziel. Folglich erben Schüleragenten nicht nur erfolgreiche Ergebnisse, sondern auch Mängel in den Zwischenschritten, wie etwa nicht fundierte Sprünge, redundante Schleifen und spekulative Erkundungen.

Aktuelle Datenkonstruktionspipelines verlassen sich auf ergebnisgefiltertes Ablehnungs-Sampling: Sie behalten nur Trajektorien bei, bei denen der finale Patch eine Testsuite besteht. Dieser Ansatz leidet unter drei kritischen Einschränkungen:

Fehlende Prozessüberwachung: Es gibt kein Feedback zu den Zwischenschritten der Schlussfolgerung, sondern nur zum Endergebnis.
Ineffizienz: Beibehaltene Trajektorien enthalten oft redundante Dateiansichten, uninformative Tool-Aufrufe und Schleifen, was die Inferenzkosten erhöht.
Datenverschwendung: Es werden Instanzen verworfen, bei denen der Lehrer keinen bestandenen Patch erzeugt, obwohl die Untersuchung des Lehrers wertvolle Zwischenerkenntnisse geliefert hat.
Leckage-Risiko: Die einfache Verwendung des Referenzpatches ( $p^\star$ ) zur Steuerung der Generierung birgt das Risiko einer „Lösungsleckage", bei der der Agent Änderungen vornimmt oder Behauptungen aufstellt, bevor er die notwendigen Beweise gesammelt hat. Dies führt zu unbegründeten Sprüngen, die der Schüler dann nachahmt.

Die Kernherausforderung besteht darin, Trainingsdaten zu konstruieren, die gleichzeitig effektiv (jeder Schritt verringert die epistemische Lücke zur richtigen Korrektur durch fundierte Schlussfolgerung) und effizient (jeder Schritt ist informationshaltig und vermeidet Redundanz) sind, ohne den Referenzpatch dem Schüleragenten preiszugeben.

Methodik: P2T (Patches-to-Trajectories)

Die Autoren schlagen P2T vor, ein Framework, das den vom Entwickler verfassten Referenzpatch ( $p^\star$ ) während der Datenerstellung als privilegierte Information behandelt. Der Schüler sieht $p^\star$ niemals; stattdessen destilliert der Bereinigungsprozess $p^\star$ in eine latente Struktur, um die Trajektorienkonstruktion zu steuern.

P2T arbeitet in zwei Phasen:

Phase 1: Prozessgraph-Destillation (Reverse Phase)

Der Referenzpatch $p^\star$ wird in einen latenten Prozessgraphen $G^\star_i = (V_i, E_i)$ umgewandelt.

Knoten ( $V_i$ ): Repräsentieren intermediate kontextuelle Fakten (z. B. Dateistandorte, Laufzeitverhalten) und Lösungsmilestones (z. B. Reproduktionsskripte, Korrekturpläne, Änderungen), die ein kompetenter Entwickler etablieren muss, bevor die Korrektur ableitbar ist.
Kanten ( $E_i$ ): Kodieren Voraussetzungsbeziehungen und stellen eine topologische Ordnung sicher, bei der ein Knoten erst entdeckt werden kann, nachdem seine Voraussetzungen etabliert sind.
Konstruktion: Eine iterative Proposer-Critic-Schleife unter Verwendung von LLM-Agenten:
- Proposer: Identifiziert fehlende Fakten oder Milestones, die zur Ableitung von $p^\star$ benötigt werden.
- Critic: Erzwingt Nicht-Leckage und beschneidet jeden Knoten, dessen „Entriebler" (die Aktion, die erforderlich ist, um ihn zu entdecken) Wissen über $p^\star$ selbst voraussetzt.
Ergebnis: Ein Graph $G^\star$ , der die notwendigen Voraussetzungen für die Korrektur kodiert, ohne die Korrektur selbst preiszugeben.

Phase 2: Receding-Horizon Bi-Objective Trajektorien-Realisierung (Forward Phase)

Trajektorien werden durch das Sampling von verblindeten Fortsetzungen aus einem Lehrermodell und deren Bereinigung gegen $G^\star$ konstruiert.

Kandidatengenerierung: In jedem gleitenden Fenster sampelt das System $K$ „blinde Samen" vom Lehrer. Anschließend werden „mutierte Varianten" generiert, indem höchstens eine lokalisierte Änderung auf einen Samen-Schritt angewendet wird, um ihn auf einen verfügbaren Knoten in $G^\star$ umzuleiten.
Bi-Objective-Auswahl: Das System wählt ein Segment basierend auf zwei Kriterien aus:
1. Effektivität: Gemessen durch einen Fortschritts-Score ( $Prog_t$ ), der neu etablierte Knoten in $G^\star$ zählt und vorzeitige Behauptungen bestraft. Ein Groundedness-Gate stellt sicher, dass kein Schritt auf Entitäten verweist oder Behauptungen aufstellt, die noch nicht durch die sichtbare Historie gestützt sind.
2. Effizienz: Gemessen durch die Trajektorienlänge (Token-Anzahl oder Schrittzahl).
Commit-Regel: Das System wendet eine „kürzeste-über-Boden"-Regel an: Unter Segmenten, die einen Mindesteffektivitätsschwellenwert erfüllen, wird das kürzeste ausgewählt. Dies stellt sicher, dass die Trajektorie prägnant ist, während eine strenge Fundierung gewahrt bleibt.
Terminierung: Der Prozess wiederholt sich, bis ein Patch generiert wird. Nur Trajektorien, bei denen der finale Patch die Testsuite besteht, werden in den SFT-Datensatz aufgenommen.

Hauptbeiträge

Problemformulierung: Die Autoren fassen die SFT-Datenkonstruktion für SWE-Agenten als bi-optimales Optimierungsproblem über die Effektivität pro Schritt und die Trajektorienlänge zusammen und zeigen auf, dass das standardmäßige ergebnisgefilterte Ablehnungs-Sampling keine Signale auf keiner der beiden Achsen liefert.
P2T-Framework: Ein neuartiges Bereinigungsframework, das $p^\star$ als privilegierte Information nutzt. Es destilliert $p^\star$ in einen nicht-leckenden Prozessgraphen $G^\star$ und realisiert Trajektorien, die kurz, fundiert und von $G^\star$ gelenkt sind, ohne den Patch dem Schüler preiszugeben.
Empirische Validierung: Unter Verwendung von nur 1.800 bereinigten Instanzen aus SWE-Gym erzielt P2T gleichzeitige Verbesserungen in Effektivität und Effizienz gegenüber ergebnisgefilterten Baselines.

Experimentelle Ergebnisse

Die Autoren bewerteten P2T auf SWE-bench Verified und SWE-bench Lite unter Verwendung zweier Schülermodelle (Qwen2.5-Coder-14B/32B) und zweier Lehrerbereiniger (Qwen3-Coder-480B, GLM-5-FP8).

Leistungssteigerungen: Auf SWE-bench Verified verbesserte P2T Pass@1 um bis zu +10,8 Punkte (z. B. von 39,6 % auf 50,4 % für den 32B-Schüler) im Vergleich zur Baseline des test-basierten Ablehnungs-Samplings.
Effizienzsteigerungen: P2T reduzierte die Inferenzkosten pro Instanz um ~15 % (z. B. von 0,92 $ auf 0,78 $), was zeigt, dass die bereinigten Trajektorien signifikant kürzer und weniger redundant sind.
Qualitätsanalyse:
- Bereinigte Trajektorien waren 9,3 % kürzer und 31,0 % weniger redundant (hinsichtlich Datei-Ansicht-Aktionen) als abgelehnte Rollouts.
- Diese strukturellen Verbesserungen übertrugen sich auf die trainierten Schüler, die Rollouts generierten, die 10,3 % kürzer und 19,5 % weniger redundant waren als diejenigen von Baseline-getrainierten Schülern.
Ablationsstudien:
- Die Entfernung der Groundedness-Prüfung führte zu einem Rückgang von ~7,2 Pass@1-Punkten und bestätigte die Notwendigkeit, nicht fundierte Sprünge zu verhindern.
- Die Entfernung der „kürzeste-über-Boden"-Regel erhöhte die Trajektorienlänge und die Token-Anzahl und reduzierte Pass@1, was darauf hindeutet, dass kürzere Trajektorien weniger Nachahmungsrauschen tragen.
- Eine Value-of-Information-Studie bestätigte, dass die Gewinne durch die in $G^\star$ kodierten Informationen getrieben werden und nicht nur durch die Bereinigungsmaschinerie oder die Datenskala.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die richtige Einheit der Überwachung für leistungsfähige Agenten nicht die Trajektorie oder das terminale Artefakt isoliert ist, sondern die Struktur, die sie verbindet.

Faktorisierung privilegierter Information: P2T zeigt, dass Referenzpatches, die oft als reine Ground Truth verworfen werden, als privilegierte Signale genutzt werden können, um hochwertige Trainingsdaten zu gestalten, ohne die Fähigkeit des Schülers zu beeinträchtigen, echte Untersuchungsfähigkeiten zu erlernen.
Gleichzeitige Optimierung: Die Arbeit stellt den Trade-off zwischen Exploration (Effektivität) und Effizienz in Frage. Durch die Verwendung eines Prozessgraphen, um Fortschritte zu verankern, erreicht P2T sowohl höhere Auflösungsquoten als auch niedrigere Inferenzkosten und beweist, dass „vorsichtige, gut fundierte Exploration" nicht unbedingt „aggressive Verkürzung" erfordert, die nicht untermauerte Abkürzungen einlädt.
Datenqualität vor Skalierung: Die Ergebnisse deuten darauf hin, dass die Qualität pro Trajektorie, abgeleitet aus prinzipieller Prozessüberwachung, ein potenterer Treiber der Agentenleistung ist als die bloße Skalierung des Volumens ergebnisgefilterter Daten.

Die Autoren nehmen eine bescheidene Haltung ein und erkennen Einschränkungen an, wie etwa die Abhängigkeit von ausführbaren Testsuiten und Referenzpatches sowie den empirischen (statt formalen) Charakter der LLM-vermittelten Groundedness-Prüfungen. Sie positionieren P2T als einen Schritt hin zu einem strukturierteren Ansatz der Prozessüberwachung in Software-Engineering-Agenten.