TRACE-ROUTER: Task-Consistent and Adaptive Online Routing for Agentic AI
TRACE-Router ist ein Framework für das Routing auf Aufgabebene, das agentische Workflows bei der Annahme einem einzelnen großen Sprachmodell zuweist und die Richtlinien basierend auf verzögten Aufgabenbelohnungen aktualisiert, wodurch es bestehende Router auf Aufrufebene hinsichtlich der Genauigkeits-Latenz-Abwägung über mehrere Benchmarks hinweg übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie leiten ein riesiges, hochmodernes Callcenter, in dem jede Kundenanfrage eine komplexe Mission ist. Sie haben ein Team von Mitarbeitern: Einige sind blitzschnell, könnten aber Details übersehen, während andere unglaublich gründlich sind, aber Zeit benötigen. In der Welt der Künstlichen Intelligenz sind dies Large Language Models (LLMs). Die große Herausforderung für Unternehmen besteht darin, herauszufinden, welcher Mitarbeiter welcher Aufgabe zuzuweisen ist. Wenn man immer den langsamen, sorgfältigen Experten wählt, verschwendet man Geld und Zeit bei einfachen Aufgaben. Wenn man immer den schnellen Mitarbeiter wählt, erhält man bei einem schwierigen Problem möglicherweise eine falsche Antwort.
Lange Zeit war die Standardmethode, eine einzelne Frage zu betrachten und zu entscheiden: „Okay, das sieht einfach aus, schick es an den schnellen Mitarbeiter“, oder „Das sieht schwer aus, schick es an den Experten.“ Aber dieser Ansatz hat einen verborgenen Fehler, wenn es um „agentische“ KI geht. Ein Agent beantwortet nicht nur eine Frage; er befindet sich auf einer langen Reise. Er kann eine Frage stellen, ein Werkzeug benutzen, eine Karte prüfen und dann eine weitere Frage stellen, alles um ein großes Problem zu lösen. Wenn man die Mitarbeiter mitten auf der Reise wechselt, weiß der neue Mitarbeiter nicht, was der erste gedacht hat, und die gesamte Mission kann scheitern. Die eigentliche Frage lautet: Wie wählen wir den richtigen Mitarbeiter für die gesamte Reise aus, und wie lernen wir beim nächsten Mal daraus, um besser zu werden?
Genau das wollten die Forscher hinter TRACE-Router lösen. Sie erkannten, dass es, die Entscheidung für jede einzelne Frage als eine separate Entscheidung zu behandeln, so ist, als würde man eine Reise quer durch das Land navigieren, indem man für jede einzelne Meile einen neuen Fahrer wählt. Stattdessen schlagen sie ein System vor, das einen einzigen Fahrer für die gesamte Reise auswählt und bei ihm bleibt, bis das Ziel erreicht ist.
So funktioniert ihr neues System, erklärt anhand einer einfachen Analogie: Stellen Sie sich einen intelligenten Disponenten an einem Bahnhof vor. Im alten System würde der Disponent auf das Ticket eines Fahrgastes schauen und entscheiden, in welchen Zug er ihn setzen soll. Wenn der Fahrgast später den Zug wechseln muss, trifft der Disponent eine neue Entscheidung und vergisst oft das ursprüngliche Ziel des Fahrgastes. TRACE-Router ändert die Regeln. Wenn ein Fahrgast (eine Aufgabe) eintrifft, schaut der Disponent auf das Ziel und weist ihm sofort einen bestimmten Zug (ein spezifisches KI-Modell) zu. Sobald der Fahrgast in diesem Zug sitzt, bleibt er für die gesamte Reise in diesem Zug, egal wie viele Zwischenstopps er macht.
Die Magie geschieht nach der Reise. Der Disponent wartet ab, ob der Fahrgast sicher und pünktlich angekommen ist. Wenn die Reise erfolgreich war, gibt der Disponent der Entscheidung, die er zu Beginn getroffen hat, ein „Daumen hoch“. Wenn die Reise fehlgeschlagen ist oder zu lange gedauert hat, erhält er ein „Daumen runter“. Entscheidend ist, dass der Disponent nicht die einzelnen Stopps beschuldigt, sondern die ursprüngliche Wahl des Zuges. Dies ermöglicht es dem System, aus der gesamten Erfahrung zu lernen, anstatt nur aus isolierten Momenten.
Das Paper führt eine clevere Lernmethode namens „Contextual Bandit“ ein. Betrachten Sie dies als ein Spiel, bei dem der Disponent lernt, welcher Zug am besten für welche Art von Fahrgästen geeignet ist. Sie gruppieren Fahrgäste in grobe Kategorien wie „Einfach“, „Mittel“ und „Schwer“, basierend auf einem schnellen Blick auf deren Ticket (ohne vorher eine KI fragen zu müssen). Für jede Kategorie probiert das System verschiedene Züge aus, lernt, welcher die Aufgabe am besten erledigt, und pendelt sich schließlich auf die perfekte Übereinstimmung ein. Es ist wie ein Koch, der eine Speise probiert und lernt, dass er für scharfes Essen immer den roten Herd verwenden sollte, während für süßes Essen der blaue Herd besser ist.
Die Ergebnisse dieses Ansatzes sind durchaus beeindruckend. Die Forscher testeten ihr System bei mehreren realen Herausforderungen, einschließlich komplexer mathematischer Probleme und Programmieraufgaben. Sie fanden heraus, dass TRACE-Router, indem es einem Modell für die gesamte Aufgabe treu bleibt, konsistent einen „Sweet Spot“ zwischen Geschwindigkeit und Genauigkeit findet, den andere Methoden verpasst haben. In einem speziellen Test namens τ 2-Bench konnte ihr System 7 bis 8 Probleme mehr korrekt lösen als andere intelligente Routing-Methoden, selbst wenn diese Methoden die gleiche Zeit zur Verfügung hatten. In einem anderen Test, Terminal-Bench, erreichte es eine um 7,1 Prozentpunkte höhere Genauigkeit als das stärkste verfügbare Einzelmodell, während es gleichzeitig 3-mal schneller war.
Das Paper testete auch verschiedene Ideen, um zu sehen, was am besten funktioniert. Sie versuchten, das System durch die Gabe von Schein-Erfahrungen vor dem eigentlichen Start zu „vorwärmen“, in der Hoffnung, dass es schneller lernt. Die Ergebnisse zeigten jedoch, dass dies das System tatsächlich langsamer und weniger flexibel machte, sodass sie sich entschieden, bei der „Cold Start“-Methode zu bleiben, bei der das System rein aus echten Reisen lernt. Sie verglichen auch ihren Lernalgorithmus mit anderen populären Methoden und fanden heraus, dass ihre Wahl die stabilste und zuverlässigste über verschiedene Arten von Aufgaben hinweg war.
Kurz gesagt: TRACE-Router legt nahe, dass die beste Art, KI-Agenten zu verwalten, nicht darin besteht, jeden einzelnen Schritt mikrozumanagen, sondern einem einzigen, gut gewählten Partner für die gesamte Reise zu vertrauen. Indem das System darauf wartet, das Endergebnis zu bewerten, lernt es, klügere Entscheidungen zu treffen und dabei die Notwendigkeit von Geschwindigkeit und Genauigkeit auf eine Weise auszubalancieren, die vorherige Methoden nicht erreichen konnten. Es ist ein Wechsel in der Denkweise: Weg von der Betrachtung von KI als einer Serie isolierter Fragen, hin zur Betrachtung als einer kohärenten Langstreckenmission.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.