ProgRouter: Online Progress-Guided Orchestration for Multi-Agent LLM Workflows under Quality-Cost Tradeoffs

In der sich schnell entwickelnden Welt der künstlichen Intelligenz ist eine neue Generation von Systemen entstanden, die in der Lage ist, komplexe Probleme zu lösen, indem sie diese in kleinere Schritte unterteilt. Diese Systeme, bekannt als Multi-Agenten-Workflows, arbeiten wie ein Team von Spezialisten, bei dem verschiedene Computerprogramme, die jeweils von einem großen Sprachmodell angetrieben werden, zusammenarbeiten, um eine einzige Aufgabe zu lösen. Ein Agent könnte die Strategie planen, ein anderer den Code schreiben und ein dritter die Ergebnisse überprüfen. Während dieser Ansatz es Maschinen ermöglicht, offene Herausforderungen zu bewältigen, die zuvor unmöglich waren, bringt er einen erheblichen Preis mit sich. Jedes Mal, wenn das System ein Modell bittet zu denken oder zu handeln, verbraucht es Energie und Geld. Die leistungsfähigsten und fähigsten Modelle für jeden einzelnen Schritt zu verwenden, ist oft verschwenderisch, während das Vertrauen auf nur kleinere, günstigere Modelle zu Fehlern führen kann, die später teure Korrekturen erfordern. Die zentrale Herausforderung für Forscher bestand darin, einen Weg zu finden, dynamisch zu entscheiden, welches Modell zu welchem spezifischen Zeitpunkt verwendet werden soll, um das Gleichgewicht zwischen der Notwendigkeit hochwertiger Ergebnisse und den Grenzen von Zeit und Budget zu finden.

Ein Team von Forschern hat ein neues System namens PROGROUTER entwickelt, um genau dieses Problem zu lösen. Anstatt eine einzige Entscheidung zu Beginn einer Aufgabe zu treffen oder blind zu leistungsstärkeren Modellen zu eskalieren, wenn etwas schiefgeht, agiert PROGROUTER wie ein intelligenter Dirigent, der den Workflow in Echtzeit verfolgt. Es überwacht ständig, wie viel Fortschritt das Team gemacht hat, wie schwierig die verbleibenden Schritte sind und wie viel des Budgets bereits ausgegeben wurde. Basierend auf dieser Live-Bewertung wählt es das am besten geeignete Modell für den nächsten Schritt aus und stellt so sicher, dass leistungsstarke, teure Modelle nur dann herangezogen werden, wenn sie wirklich benötigt werden, um ein spezifisches Hindernis zu überwinden. Dieser Ansatz ermöglicht es dem System, eine hohe Leistungsfähigkeit aufrechtzuerhalten und gleichzeitig den für den Abschluss einer Aufgabe erforderlichen Gesamtenergie- und Kostenaufwand erheblich zu reduzieren.

Die Forscher testeten dieses System an vier verschiedenen Arten schwieriger Aufgaben: dem Schreiben von Computercode, dem Lösen mathematischer Probleme und dem Beantworten komplexer Fragen, die eine Suche durch große Mengen an Informationen erfordern. Sie verglichen PROGROUTER mit mehreren bestehenden Methoden, darunter Strategien, die immer dasselbe Modell verwenden, Strategien, die klein anfangen und erst bei Problemen zu größeren Modellen wechseln, sowie Strategien, die auf vergangenen Vermutungen darüber beruhen, was am besten funktioniert. Die Ergebnisse zeigten, dass feste Strategien, ob sie nun nur kleine oder nur große Modelle verwendeten, konsequent nicht in der Lage waren, die für die Experimente gesetzten Energie- und Kostenlimits einzuhalten. Kleine Modelle blieben oft stecken und erforderten zu viele Versuche, während große Modelle bei jedem einzelnen Aufruf zu viel Energie verbrauchten. Im Gegensatz dazu navigierte PROGROUTER erfolgreich durch den Mittelweg. Bei den Tests zum Schreiben von Code erreichte es eine Erfolgsquote von 93 Prozent und blieb dabei innerhalb eines strengen Energiebudgets von 4.800 Joule. Bei den mathematischen Problemen schloss es die Aufgaben in nur 19 Sekunden mit nur 6.112 Joule Energie ab und übertraf damit alle anderen Methoden, die die Budgetbeschränkungen einhielten.

Was PROGROUTER effektiv macht, ist seine Fähigkeit, den „Zustand“ der Arbeit während des Prozesses zu verstehen. Das System nutzt einen Bewertungsmechanismus, der den Workflow aus mehreren Blickwinkeln betrachtet. Es prüft, ob der Gesamtplan gültig ist, wie viele Teilaufgaben abgeschlossen wurden, ob die Arbeit voranschreitet oder stockt und welche Qualität die bisher generierten Informationen aufweisen. Durch die Kombination dieser verschiedenen Ansichten kann das System feststellen, ob eine Aufgabe fast abgeschlossen ist oder ob sie vor einem großen Hindernis steht. Wenn die Arbeit reibungslos voranschreitet, entscheidet sich das System für kleinere, schnellere und günstigere Modelle, um die Kosten niedrig zu halten. Wenn das System jedoch erkennt, dass der Workflow stockt oder ein schwieriger Schritt bevorsteht, wechselt es sofort zu einem leistungsstärkeren Modell, um die Aufgabe voranzutreiben. Diese Entscheidung wird unmittelbar und wiederholt während des gesamten Prozesses getroffen, um sicherzustellen, dass keine Energie für unnötige Schwerstarbeit verschwendet wird und keine Zeit verloren geht, wenn Schritte eine höhere Intelligenz erfordern, als das aktuelle Modell bieten kann.

Die Studie zeigte auch, dass dieser adaptive Ansatz selbst in offenen Situationen funktioniert, in denen es keine eindeutige richtige oder falsfte Antwort gibt, wie etwa wenn ein System das Internet durchsuchen muss, um einen langen, detaillierten Bericht zu schreiben. In diesen Szenarien, in denen der Fortschritt schwerer zu messen ist, gelang es PROGROUTER dennoch, die qualitativ hochwertigsten Ergebnisse unter allen getesteten Methoden zu erzielen. Es erreichte einen Präzisionswert von 92,1 Prozent bei diesen komplexen Fragen und blieb dabei innerhalb seiner Energielimits. Die Forscher fanden heraus, dass das System natürlich lernte zu spezialisieren, indem es kleine Modelle für den Großteil der Routineaufgaben nutzte und die größten, fähigsten Modelle für die kritischen Momente reservierte, in denen ihre zusätzliche Leistung einen echten Unterschied machen würde. Dieses dynamische Verhalten ermöglichte es dem System, die typischen Fallstricke anderer Methoden zu vermeiden, wie etwa das Steckenbleiben in Schleifen mit schwachen Modellen oder das zu schnelle Aufbrauchen eines Budgets durch leistungsstarke Modelle.

Letztendlich zeigt die Arbeit, dass die Zukunft der effizienten künstlichen Intelligenz nicht nur im Bau besserer Modelle liegt, sondern in der Entwicklung besserer Wege, diese zu nutzen. Indem die Auswahl eines Modells als eine kontinuierliche, datengesteuerte Entscheidung und nicht als eine einmalige Wahl behandelt wird, zeigt PROGROUTER, dass es möglich ist, hochwertige Ergebnisse zu erzielen, ohne die prohibitiven Kosten, die derzeit die Skalierbarkeit dieser Technologien einschränken. Das System beweist, dass mit der richtigen Orchestrierung ein Team aus vielfältigen Modellen effizienter zusammenarbeiten kann als jedes einzelne Modell allein, und bietet so einen Weg zu nachhaltigeren und zugänglicheren KI-Systemen, die komplexe, reale Herausforderungen bewältigen können, ohne ihre Ressourcen zu erschöpfen.