💻 computer science

SWE-Router: Routing in Multi-turn Agentic Software Engineering Tasks

Das Paper stellt SWE-Router vor, ein wertbasierter Routing-Framework, das die Kosteneffizienz in der mehrstufigen agentischen Softwareentwicklung verbessert, indem es die initiale explorative Trajektorie eines günstigen Modells nutzt, um fundierte Eskalationsentscheidungen zu treffen, und dadurch herkömmliche rein beschreibungsbasierte Router übertrifft, während es gleichzeitig eine starke Leistung beibehält.

Ursprüngliche Autoren: Seongho Son, Sangwoong Yoon, Jiahua Tang, Shuhan Wang, Lorenz Wolf, Ilija Bogunovic

Veröffentlicht 2026-07-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Seongho Son, Sangwoong Yoon, Jiahua Tang, Shuhan Wang, Lorenz Wolf, Ilija Bogunovic

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Den falschen Experten einstellen

Stellen Sie sich vor, Sie leiten eine Werkstatt. Sie haben zwei Arten von Mechanikern:

Der Lehrling: Günstig, schnell und gut bei einfachen Reparaturen (wie dem Wechseln einer Glühbirne oder dem Festziehen einer losen Schraube).
Der Meisteringenieur: Extrem teuer, langsam und brillant darin, komplexe, vielschichtige Katastrophen zu lösen (wie den Wiederaufbau eines Automotors von Grund auf).

In der Welt der Software sind dies Large Language Models (LLMs). Die „Meister“-Modelle sind großartig darin, Code zu reparieren, aber sie kosten viel Geld im Betrieb. Die „Lehrlings“-Modelle sind günstig, bleiben aber manchmal bei schwierigen Problemen stecken.

Der aktuelle Fehler:
Momentan schaut der Werkstattmanager (der Router), wenn ein Kunde ein defektes Stück Code bringt, nur auf die Problembeschreibung des Kunden.

Kunde sagt: „Mein Auto springt nicht an.“
Manager denkt: „Das klingt ernst. Lassen Sie uns sofort den Meisteringenieur rufen.“

Die Realität:
Manchmal bedeutet „Mein Auto springt nicht an“ nur ein loses Batteriekabel (eine einfache Reparatur, die der Lehrling bewältigen könnte). Ein anderes Mal bedeutet es, dass der Motorblock einen Riss hat (was den Meister erfordert). Der Manager kann den Unterschied nicht erkennen, indem er nur die Notiz liest. Dies führt dazu, Geld für den Meister bei einfachen Aufgaben zu verschwenden.

Die Lösung: SWE-Router (Der „Probefahrt“-Ansatz)

Die Autoren dieses Papers haben ein neues System namens SWE-Router entwickelt. Anstatt basierend auf der Beschreibung zu raten, lassen sie den Lehrling das Problem zuerst für ein paar Minuten lang versuchen zu lösen.

So funktioniert es:

Die Explorationsphase: Dem günstigen Lehrlings-Modell wird die Aufgabe gegeben und es darf einige „Züge“ (Schritte) ausführen. Es betrachtet den Code, führt Tests aus und sieht, welche Fehler auftreten.
Die Beobachtung: Das System beobachtet, was der Lehrling tut.
- Szenario A: Der Lehrling findet schnell einen Tippfehler und behebt ihn. Das System sieht dies und sagt: „Großartig! Der Lehrling kann das handhaben. Sparen wir Geld und lassen ihn fertig machen.“
- Szenario B: Der Lehrling ist verwirrt, rennt gegen eine Wand und kann nicht herausfinden, wo der Fehler liegt. Das System sieht diesen Kampf und sagt: „Okay, das ist zu schwer. Stoppen Sie den Lehrling und rufen Sie sofort den Meisteringenieur.“
Die Entscheidung: Ein spezieller „Value Head“ (ein intelligenter Richter) betrachtet den Fortschritt des Lehrlings und entscheidet: Ist dies einfach genug, damit der Lehrling es abschließt, oder müssen wir es eskalieren?

Warum das besser ist (Der „Informations“-Vorteil)

Das Paper argumentiert, dass das Betrachten der partiellen Historie (was während dieser ersten Schritte geschah) viel mehr Informationen liefert als nur das Lesen der ursprünglichen Problembeschreibung.

Der alte Weg: Wie der Versuch zu erraten, ob ein Film eine Komödie oder eine Tragödie ist, indem man nur den Titel liest. Man könnte falsch liegen.
Der neue Weg: Wie das Anschauen der ersten 5 Minuten des Films. Wenn man Leute lachen sieht, weiß man, dass es eine Komödie ist. Wenn man eine Beerdigung sieht, weiß man, dass es eine Tragödie ist. Man hat mehr Daten, also ist die Vermutung besser.

Das Paper beweist mathematisch, dass das Vorhandensein dieser zusätzlichen Information (die „partielle Trajektorie“) die Entscheidungsfindung niemals verschlechtert. Es ist immer besser, ein wenig von der Geschichte zu kennen, bevor man entscheidet, wen man einstellt.

Die Ergebnisse

Die Forscher haben dies an realen Codierungsaufgaben getestet (das Beheben von Fehlern in großen Softwareprojekten).

Kosteneinsparungen: Sie haben viel Geld gespart, da der günstige Lehrling viele Aufgaben bewältigte, die früher an den teuren Meister geschickt worden wären.
Erfolgsrate: Sie haben keine Qualität verloren. Wenn der Lehrling scheiterte, wechselten sie zum Meister, sodass die Aufgaben dennoch gelöst wurden.
Überraschungsbonus: In einigen Fällen löste der Lehrling tatsächlich Probleme, die der Meister nicht gelöst hätte, wenn er sofort gerufen worden wäre. Dies liegt daran, dass die „Exploration“ des Lehrlings half, das Problem auf eine Weise zu klären, die der direkte Ansatz des Meisters nicht erreichte.

Zusammenfassung

SWE-Router ist ein intelligenter Verkehrspolizist für die Softwarereparatur. Anstatt jedes Auto zum teuersten Mechaniker zu schicken, lässt er einen günstigen Mechaniker eine schnelle Diagnose durchführen. Wenn der Mechaniker es reparieren kann, großartig! Wenn nicht, ruft er den Experten. Dies spart Geld, ohne die Qualität zu opfern, und es funktioniert, weil es aus dem Prozess lernt, das Problem zu lösen, und nicht nur aus der Problembeschreibung selbst.

Technisches Resümee: SWE-Router

Problemstellung

Large Language Models (LLMs), die in agentischen Multi-Turn-Frameworks integriert sind, erzielen staatliche Spitzenleistungen (State-of-the-Art) bei Software-Engineering-Aufgaben (SWE), wie etwa der Lösung von Repository-weiten GitHub-Issues. Die Inferenzkosten von Frontier-Modellen sind jedoch oft um eine Größenordnung höher als die ihrer wettbewerbsfähigen Open-Weight-Alternativen. Eine kritische Ineffizienz entsteht dadurch, dass bestehende Routing-Strategien jede Aufgabe so behandeln, als würde sie Frontier-Kapazitäten erfordern, obwohl viele Issues „billige Fixes“ zulassen.

Aktuelle LLM-Router agieren als Klassifikatoren oder Wahrscheinlichkeitsschätzer, die ausschließlich auf der initialen Aufgabenbeschreibung ( $q$ ) basieren. Die Autoren identifizieren eine fundamentale Limitierung dieses Ansatzes: In agentischen Settings kann eine ähnliche Issue-Beschreibung eine völlig unterschiedliche zugrunde liegende Schwierigkeit maskieren (z. B. einen lokalisierten Tippfehler gegenüber einem Modul-übergreifenden Refactoring). Diese Ambiguität erzeugt eine „informationstheoretische Bayes-Fehleruntergrenze“ (Bayes-error floor), bei der der Prompt allein nicht zwischen einfachen und schwierigen Instanzen unterscheiden kann. Folglich erben Routing-Entscheidungen, die nur auf $q$ basieren, eine hohe Fehlerrate, was zu einer verschwenderischen Eskalation auf teurere Modelle für Aufgaben führt, die ein günstigeres Modell lösen könnte.

Methodik: SWE-Router

Das Paper stellt SWE-Router vor, ein wertbasiertes temporales Routing-Framework, das darauf ausgelegt ist, die Informationsbeschränkungen des Prompt-basierten Routings zu überwinden. Anstatt eine sofortige Entscheidung basierend auf $q$ zu treffen, nutzt SWE-Router eine „Try-before-you-buy“-Strategie:

Explorationsphase: Ein günstiges, schwächeres Modell ( $m_1$ ) darf für $K$ explorative Turns ausführen. Während dieser Turns generiert der Agent eine partielle Trajektorie ( $\mathcal{T}_{\le K}$ ), die aus Gedanken, Aktionen und Beobachtungen (z. B. fehlgeschlagene Tests, Dateiinhalte, Stack-Traces) besteht.
Wertschätzung (Value Estimation): Ein gelernter Value-Head (ein Klassifikator, der auf binären Trajektorien-Belohnungen trainiert wurde) liest die partielle Trajektorie $\mathcal{T}_{\le K}$ und sagt die Wahrscheinlichkeit voraus, mit der $m_1$ die Aufgabe letztlich lösen wird.
Routing-Entscheidung: Das System vergleicht den kostenadjustierten erwarteten Nutzen der Fortsetzung mit $m_1$ $m_{1}$ gegenüber der Eskalation an ein stärkeres, teureres Modell ( $m_2$ $m_{2}$ ).
- Wenn die vorhergesagte Erfolgswahrscheinlichkeit von $m_1$ einen kostenadjustierten Schwellenwert überschreitet, setzt $m_1$ die Aufgabe fort.
- Andernfalls eskaliert das System zu $m_2$ , welches die Aufgabe ausgehend vom ursprünglichen Prompt $q$ neu startet (um Bias durch die Argumentation von $m_1$ zu vermeiden).

Theoretische Grundlage:
Die Autoren liefern ein Bayes-Optimalitäts-Theorem (Theorem 4.1), das beweist, dass die Konditionierung auf die partielle Trajektorie $\mathcal{T}_{\le K}$ die Routing-Performance im Vergleich zur Konditionierung auf $q$ allein niemals verschlechtert. Das Theorem etabliert, dass die partielle Trajektorie streng mehr Information als der Prompt trägt. Die Verbesserung des Routings ist strikt, wann immer die Explorations-Turns informative Signale über die Schwierigkeit der Aufgabe liefern (d. h. wenn die bedingte Lücke in den Utilitäten durch den Prompt allein nicht messbar ist).

Implementierungsdetails:

Value Head: Ein vortrainiertes LLM (Qwen2.5-Coder-7B-Instruct) mit einem kleinen Klassifikations-Head, feinjustiert via LoRA auf binären Trajektorien-Belohnungen.
Trainingsdaten: Das Framework nutzt einen Multi-LLM-Trajektorien-Datensatz, der durch das Ausführen schwächerer Modelle auf SWE-Smith und SWE-Bench Datensätzen generiert wurde.
Routing-Regel: Die Autoren vereinfachen die Entscheidungsregel zu einem einseitigen Routing-Ansatz: Führe mit $m_1$ fort, wenn $\hat{r}_1(\mathcal{T}_{\le K}) \ge \lambda'$ , wobei $\lambda'$ ein auf Validierungsdaten abgestimmter Schwellenwert ist.

Zentrale Beiträge

Identifikation der Bayes-Fehleruntergrenze: Das Paper identifiziert, dass Prompt-konditionierte Router in Multi-Turn-agentischen SWE-Settings eine informationstheoretische Grenze erben, da die Aufgabenbeschreibung oft nicht zwischen lokalisierten und komplexen Issues unterscheiden kann.
Temporales Routing-Framework: SWE-Router ist das erste Routing-Framework, das Routing-Entscheidungen auf die eigenen intermediären Beobachtungen (partielle Trajektorie) des Agenten konditioniert, anstatt nur auf den Prompt.
Theoretische Garantie: Ein Beweis, der zeigt, dass die Konditionierung auf die partielle Trajektorie die Routing-Optimalität strikt verbessert, sofern die Exploration informativ ist.
Empirische Validierung: Umfangreiche Experimente zeigen, dass SWE-Router die Kosteneffizienz signifikant verbessert, während es die Lösungsraten stärkerer Modelle beibehält.
Dataset-Release: Die Autoren veröffentlichen einen Multi-LLM-Trajektorien-Datensatz, um die Forschung zu Trajektorien-basiertem Routing zu ermöglichen.

Experimentelle Ergebnisse

Die Autoren evaluierten SWE-Router auf den Datensätzen SWE-Bench Verified und SWE-Smith unter Verwendung zweier LLM-Paare (Schwach: gpt-5-mini oder deepseek-v3.2; Stark: gemini-3-pro-preview).

Cost-Performance Pareto-Frontier: SWE-Router (mit $K=3$ ) zeichnet eine Pareto-Front nach, die Embedding-basierte Baselines (Logistische Regression, k-NN, XGBoost) und nicht-temporale Router ( $K=0$ ) über den Großteil des Kostenbereichs hinweg strikt dominiert.
Route-AUC Verbesserungen: Auf dem SWE-Bench Verified Test-Split erreichte SWE-Router eine Route-AUC von 0,780 (unter Verwendung von deepseek-v3.2 als $m_1$ ), was eine Steigerung um 15,3 Prozentpunkte gegenüber der nicht-temporalen Baseline darstellt. Das gpt-5-mini-Paar zeigte eine Steigerung von 12 Prozentpunkten.
Synergieeffekte: Die Routing-Kurven übertrafen gelegentlich die Performance der „All-Strong“-Baseline. Dies deutet darauf hin, dass das korrekte Routing einfacher Instanzen an das schwache Modell Fälle löste, in denen das starke Modell (wenn es auf allen Aufgaben laufen musste) scheiterte – wahrscheinlich aufgrund der Fähigkeit des schwachen Modells, ohne die spezifischen Fehlermodi oder Kostenbeschränkungen des starken Modells zu explorieren.
Metrik-Korrelation: Die Autoren stellen fest, dass die AUROC des Value-Heads (diskriminative Qualität) nicht stark mit der tatsächlichen Routing-Performance (Route-AUC) korreliert, was darauf hindeutet, dass der Value-Head nuancierte Signale erfasst, die für den spezifischen Kosten-Nutzen-Trade-off relevant sind, statt nur auf roher Genauigkeit zu basieren.

Bedeutung und Ansprüche

Das Paper behauptet, dass SWE-Router einen klaren positiven Effekt bietet, indem es die Inferenzkosten und den Energieverbrauch von Frontier-Modellen bei minimalem Trade-off in der Gesamtleistung reduziert. Durch die Operationalisierung der Erkenntnis, dass intermediäre Agent-Beobachtungen strukturelle Signale (wie Bug-Lokalisationsdaten) enthalten, die im initialen Prompt nicht verfügbar sind, durchbricht das Framework die informationstheoretische Decke, vor der Prompt-only-Router stehen.

Die Autoren formulieren ihren Beitrag bescheiden als eine Methode, um die „Kosteneffizienz von SWE-Aufgaben erheblich zu verbessern“, während der Großteil der Performance des stärkeren Modells erhalten bleibt. Sie räumen ein, dass die Nutzung partieller Trajektorien theoretisch missbraucht werden könnte, um sicherheitsfokussierte Modelle zu umgehen, und identifizieren das „Safety-aware Routing“ als eine wichtige zukünftige Forschungsrichtung. Die Kernbedeutung liegt im Paradigmenwechsel vom statischen Prompt-basierten zur dynamischen, trajektorien-bewussten Entscheidungsfindung im agentischen Software Engineering.