Scrouting: Cost-Aware Routing of Coding Agents by Scouting the Repository First

Stellen Sie sich eine Welt vor, in der Computer Code schreiben können, um fehlerhafte Software zu reparieren, aber deren Einstellung unglaublich teuer ist. Betrachten Sie diese „KI-Coder“ wie ein Team von Elite-Detektiven: Es gibt Superstars, die fast jedes Rätsel lösen können, aber sie berechnen ein Vermögen pro Stunde. Andere sind kluge, fähige Detektive, die nur einen Bruchteil davon kosten, aber vielleicht die kniffligeren Hinweise übersehen. Lange Zeit war die große Frage in diesem Bereich: „Wie wissen wir, welchen Detektiv wir für einen bestimmten Fall engagieren müssen?“ Die meisten versuchten, dies allein durch das Lesen der Problembeschreibung (dem „Issue-Text“) vorherzusagen, in der Hoffnung, zu bestimmen, ob der günstige Detektiv ausreichen würde oder ob man den teuren Superstar rufen müsste.

Aber hier ist der Haken: Das Lesen der Problembeschreibung ist so, als würde man versuchen, ein Verbrechen zu lösen, indem man nur den Polizeibericht liest, ohne jemals den Tatort besucht zu haben. Das Papier, das Sie gleich lesen werden, untersucht eine intelligentere Idee: Was wäre, wenn wir zuerst einen kleinen, günstigen Kundschafter zum Tatort schicken? Dieser Kundschafter versucht nicht, das ganze Rätsel zu lösen; er schaut sich nur um, findet die defekten Teile und schreibt einen schnellen, verifizierten Bericht. Dann nutzt ein Manager diesen Bericht, um zu entscheiden, welchen Detektiv er engagiert. Dieser Ansatz, genannt „Scrouting“, legt nahe, dass das Wissen um den Kontext des Problems weita viel wertvoller ist als die bloße Vermutung basierend auf dem Titel des Problems.

---

Die Geschichte von SuperScout: Der Detektiv, der erst einmal auskundschaftet

Lernen Sie SuperScout kennen, ein neues System, das darauf ausgelegt ist, Softwarefehler zu beheben, ohne das Budget zu sprengen. Das Team hinter ihm erkannte, dass die alte Art, KI-Coder einzustellen, ineffizient war. Normalerweise betrachtet ein Router (ein Entscheidungsträger) einen Bug-Report und wählt dann sofort ein Modell aus. Doch die Autoren fanden etwas Überraschendes heraus: Wenn man sich die Ergebnisse vergangener Software-Fixes ansieht, lösen die „Superstar“-Modelle fast alles, was die günstigeren Modelle lösen können, plus noch ein paar mehr. Das bedeutet, dass der Versuch, nach Genauigkeit zu routen (also das perfekte Modell auszuwählen, um die meisten Fehler zu beheben), eine Sackgasse ist; man kann die Nutzung des teuersten Modells nicht wirklich übertreffen.

Also änderte das Team die Strategie. Anstatt zu versuchen, perfekt zu sein, entschieden sie sich dafür, kostenbewusst zu agieren. Ihr Ziel war es nicht, mehr Probleme zu lösen als das beste Modell, sondern die gleiche Anzahl an Problemen für einen winzigen Bruchteil des Preises zu lösen.

Das Drei-Akt-Stück: Scout, Verifizieren und Entsenden

Das SuperScout-System funktioniert wie ein dreistufiges Fließband:

1. Der Kundschafter (SuperScout-7B): Zuerst wird ein kleines KI-Modell mit 7 Milliarden Parametern (denken Sie an einen Junior-Praktikanten) in das Software-Repository geschickt. Seine Aufgabe ist es nicht, den Bug zu beheben, sondern den Code zu explorieren, die spezifischen beteiligten Dateien zu finden und zu versuchen, einen Test zu schreiben, der beweist, dass der Bug existiert. Er erstellt eine „Übergabe“ (Handoff) – eine strukturierte Notiz, die die verdächtigen Dateien, einen Reproduktionstest und einige Detektiv-Notizen enthält.
2. Das Sicherheitsgate (Verify-then-Strip): Hier geschieht der magische Trick. Die Notizen des Praktikanten werden nicht blind vertraut. Bevor der Hauptdetektiv sie sieht, führt eine „Sandbox“ (ein sicherer, isolierter Testraum) den Reproduktionstest des Praktikanten aus. Wenn der Test tatsächlich nicht dazu führt, dass der Code abstürzt (was bedeutet, dass der Praktikant halluziniert oder falsch lag), wird dieser Anspruch entfernt und verworfen. Nur verifizierte, wahre Fakten gelangen zum nächsten Schritt.
3. Der Lebenslauf-Router: Schließlich betrachtet ein Manager die Aufgabe und die „verborgenen Gedanken“ (die internen Datenzustände des Scout-Modells), um zu entscheiden, welchen „Fixer“ er engagiert. Der Pool der Fixer umfasst vier verschiedene Frontier-KI-Modelle, die von günstig bis teuer reichen. Der Router wählt den günstigsten, von dem er glaubt, dass er die Aufgabe bewältigen kann. Wenn der Kundschafter nichts gefunden hat, arbeitet der Fixer einfach mit dem ursprünglichen Bug-Report.

Die große Enthüllung: Die Übergabe leistet die Schwerstarbeit

Als das Team SuperScout an 266 realen Python-Softwarefehlern testete (eine massive Herausforderung namens SWE-bench Pro), waren die Ergebnisse schockierend.

• Die Punktzahl: SuperScout löste 159 von 266 Aufgaben.
• Der Wettbewerb: Das einzelne beste, teuerste Modell (Claude Opus 4.6) löste 158 von 266 Aufgaben.
• Die Kosten: SuperScout erreichte dieses Ergebnis für etwa 0,23 $ pro Lösung, während das teure Solo-Modell 1,27 $ pro Lösung kostete. Das ist etwa ein Fünftel der Kosten!

Die faszinierendste Entdeckung war jedoch nicht die Entscheidungsfindung des Routers. Als die Forscher den Router komplett entfernten und stattdessen jede Aufgabe dem günstigsten Modell (Kimi K2.5) zusammen mit der verifizierten Übergabe des Praktikanten schickten, löste dieses 159 Aufgaben – exakt dieselbe Anzahl wie das vollständige SuperScout-System.

Dies deutet darauf hin, dass die verifizierte Übergabe der eigentliche Held ist. Der Akt des Auskundschaftens des Repositorys und das Bereitstellen eines verifizierten Berichts hob die Leistung der günstigeren Modelle so stark an, dass sie die der teuren Modelle erreichen konnten. Die Routing-Entscheidung selbst fügte nicht viel Magie hinzu; sie stellte lediglich sicher, dass die günstigen Modelle die Übergabe erhielten.

Warum das wichtig ist (und was es nicht ist)

Das Papier schließt explizit einige Dinge aus:

• Routing für Genauigkeit ist ein Fehlschlag: Man kann die Anzahl der gelösten Aufgaben nicht wirklich verbessern, indem man die Modelle basierend auf dem Text des Problems wechselt; das beste Modell gewinnt ohnehin immer.
• Der Übergabetext ist nicht für den Router gedacht: Interessanterweise machte es den Router sogar schlechter, wenn man ihm den Text des Berichts des Praktikanten fütterte. Der Router arbeitet besser unter Verwendung der „Hidden States“ (der internen Gehirnaktivität) des Scouts als mit den geschriebenen Notizen. Die Notizen sind für den Fixer, nicht für den Manager.
• Es ist kein Allheilmittel für alles: Das System wurde auf einem spezifischen Satz von 266 Python-Aufgaben getestet. Obwohl das Scout-Modell zeigte, dass es auch in Sprachen funktionieren kann, für die es nie trainiert wurde, ist die Leistung des vollständigen Systems auf anderen Benchmarks noch nicht getestet.

Die Autoren weisen vorsichtig darauf hin, dass dies kein „gelöstes“ Problem für alle Zeiten ist. Die Ergebnisse sind spezifisch für diesen Satz von Aufgaben und die aktuellen Modelle. Der Mechanismus ist jedoch robust: Indem man einen kleinen Scout schickt, um die Fakten zu verifizieren, bevor man einen Fixer engagiert, kann man die Lösungskapazität neu verteilen. Die Übergabe hebt die günstigeren Modelle auf ein Niveau, das sie nahezu so gut wie die teuren macht, während die Kosten des Scouts vernachledlich sind (weniger als ein halber Cent pro Aufgabe).

Kurz gesagt lehrt uns SuperScout, dass in der Welt des KI-Codings Kontext König ist. Versuchen Sie nicht, nur basierend auf der Stellenbeschreibung zu raten, wen Sie einstellen sollen; schicken Sie zuerst einen Kundschafter zum Einsatzort, verifizieren Sie dessen Funde und lassen Sie dann den fähigsten, aber günstigsten Arbeiter die Arbeit erledigen. Es ist eine intelligentere, kostengünstigere Art, Software zu entwickeln, die beweist, dass die beste Methode, um Geld zu sparen, manchmal darin besteht, zuerst ein wenig Hausaufgaben zu machen.