Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents
Dieses Paper führt Risa ein, eine Methode zur Skalierung zur Testzeit für Software-Agenten, die native MoE-Router-Spuren nutzt, um eine diverse Exploration zu steuern und finale Lösungen durch Übereinstimmung an entscheidenden Entscheidungspunkten auszuwählen, wodurch verbesserte Lösungsraten auf SWE-bench Verified ohne externe Richter oder den Abgleich von Antwort-Strings erreicht werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der künstlichen Intelligenz gibt es eine wachsende Klasse von Programmen, die darauf ausgelegt sind, wie Software-Ingenieure zu agieren. Diese Agenten beantworten nicht nur Fragen; sie navigieren durch komplexe digitale Umgebungen, lesen Code, führen Tests aus und schreiben Korrekturen, um defekte Software zu reparieren. Um ein schwieriges Problem zu lösen, muss ein Agent oft eine lange Kette von Entscheidungen treffen und verschiedene Werkzeuge und Befehle ausprobieren, bis er eine Lösung findet. Da diese Aufgaben so komplex sind, haben Forscher herausgefunden, dass es oft zu besseren Ergebnissen führt, dem Agenten mehr Rechenleistung zur Verfügung zu stellen, damit er viele verschiedene Pfade gleichzeitig ausprobieren kann. Dabei entsteht jedoch ein neues Problem, wenn der Agent viele Pfade ausprobiert: Wie wählt man die eine beste Lösung aus einer Menge von Kandidaten aus? Im Gegensatz zu einem einfachen mathematischen Problem, bei dem es eine klare richtige Antwort gibt, kann eine Software-Korrektur in vielerlei Hinsicht unterschiedlich aussehen, was es schwierig macht, zu bestimmen, welche Version wirklich die beste ist, ohne sie tatsächlich in einem echten System auszuführen, was langsam und teuer ist.
Ein Forschungsteam der Fudan University und des Shanghai Innovation Institute hat einen neuen Weg entwickelt, um dieses Auswahlproblem zu lösen, indem es auf den internen „Denkprozess“ der KI selbst hört, anstatt auf die endgültige Ausgabe zu warten. Sie konzentrierten sich auf einen spezifischen Typ von KI-Architektur, der als „Sparse Mixture-of-Experts“ bekannt ist. In diesen Modellen entscheidet bei jedem Mal, wenn die KI ein Wort generiert, ein kleiner interner Router, welche spezialisierten Teilnetzwerke oder „Experten“ die Arbeit verrichten sollen. Dieser Router hinterlässt eine Spur, ein Protokoll darüber, welche Experten gewählt wurden und wie viel sie beigetragen haben. Die Forscher erkannten, dass diese Spur wie ein einzigartiger Fingerabdruck für das Verhalten der KI wirkt. Selbst wenn zwei verschiedene Lösungen an der Oberfläche völlig unterschiedlich aussehen, kann der interne Pfad, den die KI nahm, um sie zu erstellen, offenbaren, ob sie neues Terrain erkunden oder zu einer soliden Antwort konvergieren.
Die Forscher entwickelten ein System, das sie Risa nennen und das diese internen Fingerabdrücke nutzt, um die Reise des Agenten zu leiten. Wenn der Agent sich in der frühen Phase der Problemlösung befindet, ermutigt Risa ihn dazu, weiter zu explorieren. Dies geschieht durch die Überprüfung der jüngsten Historie des Agenten; wenn die KI kurz davor steht, einen Schritt zu machen, der der aktuellen Aktion zu ähnlich sieht, steuert das System sie zu einer anderen, neuartigeren Aktion um. Dies verhindert, dass der Agent in einer Schleife stecken bleibt, in der er dieselben Fehler wiederholt. Sobald der Agent jedoch beginnt, einen Patch zu schreiben – eine Reihe von Änderungen, um den Code zu reparieren –, ändert sich die Strategie. In dieser Phase sucht das System nach Übereinstimmung unter verschiedenen Kandidaten. Wenn mehrere verschiedene Versuche, die von unterschiedlichen Punkten aus gestartet wurden, alle zu einer ähnlichen internen Struktur ihrer Korrektur gelangen, wertet das System dies als starkes Signal dafür, dass die Lösung korrekt ist.
Um diese Idee zu testen, führten die Forscher Experimente auf einem Standard-Benchmark namens SWE-bench Verified durch, der hunderte von realen Software-Reparaturaufgaben enthält. Sie verwendeten mehrere verschiedene KI-Modelle und ließen diese die Aufgaben mehrfach versuchen. In einem Satz von Tests verglichen sie ihre neue routing-gestützte Methode mit einem einfachen Ansatz, bei dem die endgültige Wahl zufällig getroffen wird. Die Ergebnisse zeigten eine klare Verbesserung. Bei der Verwendung des Routing-Systems stieg die Erfolgsquote der Agenten beim Reparieren der Software von etwa 45 Prozent auf über 48 Prozent. Dies mag wie eine kleine Zahl erscheinen, aber in der Welt der automatisierten Software-Reparatur, in der jedes Prozentpunkt einen signifikanten Fortschritt darstellt, ist es ein bedeutsamer Gewinn. Das System arbeitete so gut, dass es die Leistung von Methoden erreichte, die darauf basieren, den tatsächlichen Text der Lösungen zu vergleichen, jedoch ohne den Code ausführen oder einen separaten Richter zur Verifizierung der Antwort einzusetzen zu müssen.
Die Studie fand auch heraus, dass die nützlichsten Informationen nicht in der gesamten Historie der Ausgabe der KI lagen, sondern in spezifischen Entscheidungsmomenten. Wenn die KI zwischen mehreren plausiblen Wegen wählen musste, eine Zeile Code zu schreiben, hinterließen genau diese Entscheidungen eine deutliche Spur in der internen Routing-Spur. Durch die Konzentration nur auf diese kritischen Entscheidungspunkte konnte das System zwischen einem glücklichen Zufallstreffer und einer gut begründeten Lösung unterscheiden. Dieser Ansatz funktionierte über verschiedene Arten von KI-Modellen hinweg, was darauf hindeutet, dass die interne Routing-Spur ein zuverlässiges Signal ist, das zur Koordination komplexer Aufgaben genutzt werden kann. Die Forscher kamen zu dem Schluss, dass wir, indem wir darauf achten, wie die KI ihre internen Ressourcen zuteilt, anstatt nur darauf, was sie sagt, Agenten bauen können, die besser darin sind zu explorieren, konsistenter sind, wenn sie sich zu einer Lösung verpflichten, und letztendlich erfolgreicher darin sind, schwierige Probleme zu lösen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.