Concurrency without Model Changes: Future-based Asynchronous Function Calling for LLMs
Dieser Beitrag stellt AsyncFC vor, ein Framework, das die Latenz von LLM-Agenten reduziert, indem es die Modelldekodierung von der Funktionsausführung entkoppelt, um eine asynchrone und parallele Werkzeugnutzung zu ermöglichen, ohne dass eine Feinabstimmung des Modells oder Änderungen am Protokoll erforderlich sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein brillanter Projektmanager (die KI), der versucht, eine komplexe Aufgabe zu erledigen, wie etwa die Planung einer Reise oder die Reparatur einer Software. Sie haben ein Team von Spezialisten (die Funktionen), die Flüge buchen, das Wetter prüfen oder Code schreiben können.
Der alte Weg: Das „Wartezimmer"-Problem
Auf die derzeitige Standardweise der Dinge ist Ihr Projektmanager sehr höflich, aber unglaublich ineffizient.
- Sie bitten einen Spezialisten, einen Flug zu buchen.
- Der Spezialist geht zum Schalter, um die Arbeit zu erledigen.
- Der Projektmanager sitzt eingefroren, starrt an eine Wand und tut absolut nichts, bis der Spezialist mit dem Ticket zurückkehrt.
- Erst dann stellt der Manager die nächste Frage (z. B. „Wie ist das Wetter an diesem Flughafen?").
Wenn Sie drei Aufgaben haben, die jeweils 10 Sekunden dauern, dauert der gesamte Prozess 30 Sekunden reine Wartezeit. Der Manager ist während 20 dieser Sekunden untätig. Das ist das, was das Papier als synchrone Ausführung bezeichnet.
Der neue Weg: AsyncFC (Der „magische Klemmbrett")
Die Forscher der UC Berkeley haben ein neues System namens AsyncFC eingeführt. Stellen Sie es sich vor, als würden Sie dem Projektmanager ein magisches Klemmbrett und einen Super-Schnellen Assistenten geben.
So funktioniert es:
- Sie bitten den Spezialisten, einen Flug zu buchen.
- Der Spezialist nimmt die Anfrage entgegen und überreicht Ihnen sofort einen magischen Flugsteig (im Papier als „Future" bezeichnet). Dieser Bescheid lautet: „Ihr Flug ist gebucht; ich bringe das eigentliche Ticket in 10 Sekunden zurück."
- Entscheidend ist: Der Projektmanager hält nicht inne. Er betrachtet sofort den Bescheid, sagt „Verstanden" und geht zur nächsten Aufgabe über (Wetter prüfen), während die Flugbuchung im Hintergrund noch läuft.
- Der Spezialist beendet die Flugbuchung im Hintergrund. Wenn er fertig ist, schiebt er das echte Ticket leise auf den Schreibtisch des Managers.
- Wenn der Manager das Ticket benötigt, um ein Hotel zu buchen, schaut er einfach auf den Schreibtisch, sieht, dass das Ticket angekommen ist, und verwendet es. Wenn das Hotel das Ticket noch nicht benötigt, arbeitet der Manager weiter an anderen Dingen.
Die zwei großen Superkräfte
Dieses System erzeugt zwei Arten von Beschleunigungen:
1. Überlappende Arbeit (Der „Multitasking"-Effekt)
Anstatt auf den Abschluss von Aufgabe A zu warten, bevor Aufgabe B beginnt, erledigt der Manager Aufgabe B, während Aufgabe A verarbeitet wird. Das ist wie ein Koch, der Gemüse schneidet, während eine Suppe köchelt, anstatt darauf zu warten, dass die Suppe kocht, bevor er das Messer aufnimmt.
2. Parallele Spezialisten (Der „Team-Huddle"-Effekt)
Manchmal müssen Sie einen Flug buchen und ein Auto mieten. Diese beiden Aufgaben hängen nicht voneinander ab.
- Alter Weg: Flug buchen (10s warten) -> Auto mieten (10s warten). Gesamt: 20s.
- AsyncFC: Der Manager fragt beides gleichzeitig an. Das System sendet beide Anfragen an verschiedene Spezialisten, die gleichzeitig arbeiten. Der Manager erhält sofort beide Bescheide und arbeitet weiter. Die Gesamtzeit beträgt nur 10 Sekunden.
Der „intelligente Scheduler"**
Sie könnten sich Sorgen machen: „Was passiert, wenn der Manager das Hotel bevor das Flugticket bereit ist, anfragt? Das wäre eine Katastrophe!"
Das Papier führt einen intelligenten Scheduler (einen Verkehrspolizisten) ein, der zwischen dem Manager und den Spezialisten sitzt.
- Er weiß, welche Aufgaben von anderen abhängen.
- Wenn die Hotelbuchung das Flugticket benötigt, hält der Scheduler die Hotelanfrage in einem „Wartezimmer" fest, bis das Flugticket eintrifft.
- Wenn die Hotelbuchung das Ticket nicht benötigt, lässt er den Spezialisten sofort mit der Arbeit beginnen.
- Dies stellt sicher, dass der Manager niemals verwirrt wird oder versucht, ein Ergebnis zu verwenden, das noch nicht existiert, alles ohne dass der Manager sein Verhalten ändern muss.
Was haben sie bewiesen?
Die Forscher testeten dies an realen Aufgaben wie:
- Websuche: Informationen über mehrere Websites hinweg finden.
- Softwareentwicklung: Fehler in Code beheben (unter Verwendung eines Tools namens SWE-agent).
- Komplexe Schlussfolgerungen: Fragen beantworten, die mehrere Schritte erfordern (wie HotpotQA).
Die Ergebnisse:
- Geschwindigkeit: Die Aufgaben wurden viel schneller abgeschlossen (bis zu 1,44-mal schneller bei Softwareentwicklungsaufgaben).
- Genauigkeit: Die Qualität der Antworten ist nicht gesunken. Die KI war genauso intelligent, nur viel schneller.
- Kein Training erforderlich: Sie mussten die KI nicht neu lehren, wie sie denkt. Sie änderten lediglich die „Ausführungsschicht" (das System, das die Aufgaben ausführt). Die KI verstand die „magischen Flugsteige" auf natürliche Weise, da sie ähnliche Konzepte in ihren Trainingsdaten gesehen hatte.
Das Fazit
AsyncFC ist wie der Umbau einer Fabrik von einer einspurigen Straße, auf der Autos an jeder Kreuzung halten müssen, zu einem intelligenten Autobahnsystem, in dem Autos auffahren, überholen und zu unterschiedlichen Zeiten ankommen können, ohne zu kollidieren. Es macht KI-Agenten schneller, indem es ihnen erlaubt, weiterzuarbeiten, während sie auf Antworten warten, ohne die Regeln zu brechen, nach denen sie mit Tools kommunizieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.