Compiling Agentic Workflows into LLM Weights: Near-Frontier Quality at Two Orders of Magnitude Less Cost
Dieser Artikel argumentiert, dass das direkte Kompilieren agenter Workflows in die Gewichte kleiner, feinabgestimmter Modelle („subterrane Agenten") eine kosteneffiziente, private und kontexteffiziente Alternative zu den vorherrschenden externen Orchestrierungsrahmenwerken bietet, die über eine Vielzahl komplexer Aufgaben hinweg eine Qualität nahe der State-of-the-Art-Nachweis erbringt und gleichzeitig wesentliche Hürden für die Adoption überwindet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Idee: Das Rezept in den Koch einbacken
Stellen Sie sich vor, Sie versuchen, eine komplexe Aufgabe zu erledigen, wie etwa eine komplizierte Reise zu buchen oder eine defekte Maschine zu reparieren. Derzeit nutzen die meisten Unternehmen ein System aus „Manager und Arbeiter" (genannt Agenten-Orchestrierung).
- Der aktuelle Weg (Der Manager): Sie haben einen sehr intelligenten, teuren „Manager" (ein fortschrittliches KI-Modell). Jedes Mal, wenn der „Arbeiter" (die KI, die mit Ihnen spricht) eine Entscheidung treffen muss, hält der Manager an, liest ein riesiges Regelbuch, sagt dem Arbeiter, was als Nächstes zu tun ist, und wartet dann auf die Antwort des Arbeiters. Dies geschieht immer wieder. Es ist langsam, teuer, und der Manager muss jedes einzelne Mal das gesamte Regelbuch lesen.
- Der neue Weg (Der unterirdische Agent): Die Autoren schlagen einen anderen Ansatz vor: Kompilieren Sie das Verfahren in die Gewichte. Stellen Sie sich vor, Sie nehmen dieses riesige Regelbuch und backen es direkt in das Gehirn des Arbeiters. Jetzt ist der Arbeiter der Experte. Er braucht keinen Manager, der ihm sagt, was als Nächstes zu tun ist; er kennt den Ablauf einfach natürlich. Er wird zu einem „unterirdischen Agenten" – ein Experte, der von innen nach außen arbeitet.
Die Frage des Papiers lautet: Ist das Einbacken der Regeln in eine kleinere, günstigere KI tatsächlich genauso gut wie die Verwendung eines riesigen, teuren Managers?
Die drei Hürden (und wie sie diese überwunden haben)
Die Autoren gingen davon aus, dass Menschen dies nicht taten, weil sie drei große Ängste hatten. Sie testeten diese Ängste in drei realen Szenarien: Reisebuchung, Zoom-Techniksupport und Versicherungsansprüche.
1. Die Qualitätsangst: „Ist ein kleines Gehirn so klug wie ein großes Gehirn?"
- Die Angst: Menschen dachten, eine kleine, günstige KI (mit 3 oder 8 Milliarden Parametern) könne komplexe Schritte nicht so gut bewältigen wie eine massive, teure KI (wie die von großen Tech-Unternehmen genutzten).
- Das Ergebnis: Überraschenderweise schnitt die kleine KI fast genauso gut ab wie die große.
- Bei Reisen war die kleine KI etwas weniger „höflich" oder „anmutig" als die große, erledigte die Aufgabe aber korrekt.
- Bei Zoom-Support und Versicherungen (die viel schwieriger sind) rüsteten sie die kleine KI auf eine etwas größere Version (8 Milliarden) auf. Diese Version entsprach der großen, teuren KI bei fast allen Metriken.
- Die Analogie: Es ist wie die Einstellung eines lokalen, erfahrenen Mechanikers (die kleine KI) im Vergleich zum Anfliegen eines weltberühmten Rennstalls (die große KI). Für die Reparatur Ihres alltäglichen Autoproblems ist der lokale Mechaniker zu 90–98 % genauso gut, kostet aber nur einen Bruchteil des Preises.
2. Die Kostenangst: „Ist der Betrieb davon wirklich billiger?"
- Die Angst: Menschen dachten, selbst wenn die kleine KI günstig zu trainieren ist, könnte der Betrieb dennoch teuer sein, weil man für die Rechenleistung bezahlen muss.
- Das Ergebnis: Es ist massiv billiger.
- Das „Manager"-System muss für jeden einzelnen Satz, den die KI sagt, eine sehr teure API aufrufen.
- Das „Eingebaute"-System läuft auf einem Standard-Computerserver (selbst gehostet).
- Die Mathematik: Die neue Methode ist 128- bis 462-mal billiger pro Konversation.
- Die Analogie: Der alte Weg ist wie das Bezahlen eines Taxifahrers für 50 $ jedes Mal, wenn Sie ihn bitten, das Lenkrad zu drehen. Der neue Weg ist wie der Kauf eines Autos für 1.000 $ und das Fahren selbst. Je mehr Sie fahren (je komplexer die Aufgabe), desto mehr Geld sparen Sie.
3. Die Flexibilitätangst: „Was passiert, wenn sich die Regeln ändern? Muss ich monatelang neu trainieren?"
- Die Angst: Menschen dachten, wenn die Versicherungsgesellschaft ein Formular ändert oder die Reiseagentur eine Richtlinie ändert, müssten Sie wochenlang warten, bis die KI neu trainiert ist.
- Das Ergebnis: Es ist schnell.
- Das Ändern der Regeln und das Neutrainieren der KI dauert 30 bis 50 Minuten auf Standard-Hardware.
- Die Analogie: Es ist nicht wie der Abriss und Neubau eines Hauses; es ist eher wie das Aktualisieren der Software auf Ihrem Handy. Sie können es in der Zeit erledigen, die zum Aufbrühen einer Kanne Kaffee benötigt wird.
Wie es funktioniert (Die „unterirdische" Pipeline)
Der Prozess ist überraschend einfach:
- Karte zeichnen: Sie zeichnen einen Flussdiagramm, wie das Gespräch ablaufen soll (z. B. „Nach Daten fragen" -> „Budget prüfen" -> „Optionen anzeigen").
- Probelauf: Eine superkluge KI (der „Lehrer") spielt diesen Plan tausende Male durch und erstellt fiktive Gespräche.
- Gehirn einbacken: Sie unterrichten eine kleinere KI diese fiktiven Gespräche. Die KI lernt das Muster des Gesprächs, nicht nur die Wörter.
- Live gehen: Sie setzen die kleine KI ein. Sie braucht den Flussplan nicht mehr; der Flussplan ist jetzt Teil ihres Gedächtnisses. Sie spricht direkt mit Ihnen.
Das Urteil
Das Papier kommt zu dem Schluss, dass Sie für Aufgaben mit klaren Schritten (wie Buchungen, Support oder Ansprüche) keinen Manager benötigen.
- Beständige Struktur gehört in die Gewichte: Die Regeln des Spiels sollten in das Gehirn der KI eingebacken sein.
- Vorübergehender Zustand gehört in den Prompt: Die spezifischen Details Ihrer Reise oder Ihres defekten Zoom-Anrufs sollten der KI im Gespräch mitgeteilt werden.
Indem Sie die Regeln vom „Manager" in das „Gehirn des Arbeiters" verlagern, erhalten Sie nahezu perfekte Qualität bei zwei Größenordnungen (100-fach) geringeren Kosten mit der Fähigkeit, die Regeln in weniger als einer Stunde zu aktualisieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.