Building Interactive Real-Time Agents with Asynchronous I/O and Speculative Tool Calling
Dieser Beitrag schlägt ein Framework vor, das asynchrones I/O und spekulativen Tool-Call kombiniert, um Echtzeit-Interaktionen mit niedriger Latenz für Agenten mit komplexen, mehrstufigen Tool-Calls zu ermöglichen, wodurch sowohl für Cloud- als auch für Edge-Modelle erhebliche Geschwindigkeitssteigerungen bei gleichzeitiger Wahrung akzeptabler Genauigkeit erzielt werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber leicht langsamen Assistenten einen komplexen Satz von Anweisungen zu geben. Auf die alte Art und Weise (die „Standard"-Methode) müssten Sie warten, bis Sie Ihren gesamten Satz beendet haben, bevor der Assistent überhaupt beginnen könnte, darüber nachzudenken, was zu tun ist. Wenn der Assistent dann eine Telefonnummer nachschlagen oder eine Nachricht senden müsste, würde er aufhören zu sprechen, diese Aufgabe erledigen, auf das Ergebnis warten und dann zurückkommen, um Ihnen zu berichten, was passiert ist. Dieses Hin und Her erzeugt viel Stille und Warten, wodurch sich das Gespräch holprig und unnatürlich anfühlt.
Diese Arbeit stellt eine neue Methode vor, wie KI-Agenten arbeiten, die sich viel mehr wie ein Echtzeit-Gespräch zwischen Menschen anfühlt. Sie bezeichnen ihre Methode als asynchrones E/A und spekulativen Werkzeugaufruf. So funktioniert es anhand einfacher Analogien:
1. Der „Multitasking-Koch" (asynchrones E/A)
Stellen Sie sich einen Standard-KI-Agenten als einen Koch vor, der nur eine Sache gleichzeitig tun kann: Er wartet, bis Sie Ihre Bestellung beendet haben, dann hackt er Gemüse, dann wartet er, bis der Herd heiß wird, und dann kocht er.
Die neue Methode verwandelt den KI-Agenten in einen Multitasking-Koch.
- Während Sie noch sprechen: Der Koch beginnt, Gemüse zu hacken, basierend auf den ersten paar Worten, die Sie sagen. Er wartet nicht, bis Sie den Satz beendet haben.
- Während des Wartens auf den Herd: Wenn der Koch auf ein Werkzeug (wie eine Datenbankabfrage) warten muss, bis es fertig ist, steht er nicht einfach da und starrt an die Wand. Er nutzt diese Wartezeit, um den nächsten Schritt zu planen oder sogar mit der Vorbereitung der nächsten Zutat zu beginnen.
In technischen Begriffen bedeutet dies, dass die KI ihr Denken von Ihrem Sprechen „entkoppelt". Sie arbeitet weiter, während sie auf Informationen von Ihnen oder aus der Außenwelt wartet, statt an Ort und Stelle einzufrieren.
2. Der „Glücksspieler mit Sicherheitsnetz" (spekulativer Werkzeugaufruf)
Manchmal muss die KI eine Vermutung anstellen. Stellen Sie sich vor, Sie sagen: „Ruf Joe an..." und die KI weiß, dass sie jemanden anrufen muss, weiß aber noch nicht, welchen Joe.
- Die alte Art: Die KI würde sagen: „Warte, welcher Joe?" und alles stoppen, bis Sie Klarheit schaffen.
- Die neue Art: Die KI macht einen spekulativen Zug. Sie sagt: „Okay, ich werde 'Joe Smith' nachschlagen, nur für den Fall." Sie startet den Prozess sofort.
Das Sicherheitsnetz:
Die Arbeit trifft eine entscheidende Unterscheidung zwischen „sicheren" und „unsicheren" Vermutungen:
- Sichere Werkzeuge (Nur-Lesen): Wenn die KI nur eine Telefonnummer nachschlägt, kann sie dies sofort tun. Wenn Sie später sagen: „Eigentlich meinte ich Joe Jones", kann die KI einfach die Nummer austauschen. Es ist nichts Schlimmes passiert.
- Unsichere Werkzeuge (Nur-Schreiben): Wenn die KI im Begriff ist, eine Nachricht zu senden oder eine Datei zu löschen, kann sie nicht einfach raten. Sie hält diese Aktion in einem „ausstehenden" Kasten fest. Sie bereitet die Nachricht vor, wartet aber auf ein finales „grünes Licht" (Bestätigung, dass Sie fertig sprechen), bevor sie tatsächlich auf „Senden" klickt.
Wenn die KI falsch rät und Sie Ihre Meinung ändern, kann sie die ausstehende Aktion einfach abbrechen, bevor sie überhaupt stattfindet. Das ist wie ein Koch, der beginnt, eine Zwiebel zu hacken, aber sofort aufhört, wenn Sie sagen: „Eigentlich bin ich heute Vegetarier", bevor das Messer das Brett berührt.
3. Das „uhrbasierte Training"
Um die KI zu lehren, dies zu tun, haben die Forscher ihr nicht einfach gesagt „sei schneller". Sie bauten einen speziellen Trainingsraum mit einer Uhr.
- In diesem Raum wird die KI darauf trainiert, damit zu rechnen, dass Informationen (wie Ihre Stimme oder die Antwort eines Werkzeugs) zu bestimmten, verzögerten Zeitpunkten eintreffen.
- Die KI lernt, während dieser Verzögerungen weiterzuarbeiten.
- Sie erstellten auch gefälschte „Fehler" in den Trainingsdaten, bei denen die KI frühzeitig falsch riet, und zwangen sie so zu lernen, wie sie diese Fehler später beheben kann, ohne in Panik zu geraten.
Die Ergebnisse
Die Arbeit testete dies an zwei Arten von KI:
- Große Cloud-Modelle: Bei der Verwendung leistungsstarker bestehender KI-APIs (wie von OpenAI) machte diese Methode sie 1,3- bis 1,7-mal schneller mit nur einem winzigen Rückgang der Genauigkeit.
- Kleine Edge-Modelle: Als sie kleinere KI-Modelle (wie solche, die auf einem Laptop laufen könnten) mit ihrer speziellen „Uhr"-Methode trainierten, wurden diese Modelle 1,6- bis 2,2-mal schneller, während sie eine hohe Genauigkeit beibehielten.
Zusammenfassend: Die Arbeit zeigt, wie man KI-Agenten davon abhält, während des Denkens oder Wartens zu „pausieren". Indem man sie während des Wartens arbeiten lässt und ihnen erlaubt, sichere Vermutungen anzustellen, die später korrigiert werden können, können sie in Echtzeit mit Menschen interagieren, wodurch Sprachassistenten viel natürlicher und reaktionsschneller wirken.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.