Concurrency without Model Changes: Future-based Asynchronous Function Calling for LLMs
Dit artikel introduceert AsyncFC, een raamwerk dat de latentie van LLM-agenten verlaagt door modeldecoding te ontkoppelen van functie-uitvoering, waardoor asynchrone en parallelle toolgebruik mogelijk wordt zonder enige model-finetuning of protocolwijzigingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een briljante projectmanager (de AI) bent die probeert een complexe klus te klaren, zoals het plannen van een reis of het repareren van een stuk software. Je hebt een team van specialisten (de functies) die vluchten kunnen boeken, het weer kunnen controleren of code kunnen schrijven.
De Oude Manier: Het "Wachtkamer"-Probleem
Op de huidige standaardmanier van werken is je projectmanager zeer beleefd, maar ongelooflijk inefficiënt.
- Je vraagt een specialist om een vlucht te boeken.
- De specialist gaat naar de balie om het werk te doen.
- De projectmanager zit verstarrd, staart naar een muur en doet absoluut niets, totdat de specialist terugkomt met het ticket.
- Pas dan stelt de manager de volgende vraag (bijvoorbeeld: "Wat is het weer op die luchthaven?").
Als je drie taken hebt die elk 10 seconden duren, duurt het hele proces 30 seconden aan pure wachttijd. De manager is 20 van die seconden inactief. Dit noemt het artikel synchrone uitvoering.
De Nieuwe Manier: AsyncFC (Het "Magische Kladblok")
De onderzoekers van UC Berkeley introduceerden een nieuw systeem genaamd AsyncFC. Denk hierbij aan het geven van een Magisch Kladblok en een Supersnelle Assistent aan de projectmanager.
Zo werkt het:
- Je vraagt de specialist om een vlucht te boeken.
- De specialist neemt het verzoek en geeft je direct een Magisch Ticketje (in het artikel een "Future" genoemd). Dit ticketje zegt: "Je vlucht is geboekt; ik breng het echte ticket over 10 seconden terug."
- Cruciaal: de projectmanager stopt NIET. Ze kijken direct naar het ticketje, zeggen "Begrepen" en gaan direct door naar de volgende taak (het controleren van het weer), terwijl de vluchtboeking nog steeds op de achtergrond plaatsvindt.
- De specialist voltooit de vluchtboeking op de achtergrond. Als ze klaar zijn, schuiven ze het echte ticket stilzwijgend onder de manager door op het bureau.
- Als de manager het ticket nodig heeft om een hotel te boeken, kijken ze gewoon naar het bureau, zien dat het ticket is aangekomen, en gebruiken het. Als het hotel het ticket nog niet nodig heeft, blijft de manager doorgaan met andere dingen.
De Twee Grote Superkrachten
Dit systeem creëert twee soorten snelheidswinsten:
1. Overlappend Werk (Het "Multitasking"-Effect)
In plaats van te wachten tot Taak A klaar is voordat je Taak B begint, doet de manager Taak B terwijl Taak A wordt verwerkt. Dit is als een kok die groenten snijdt terwijl een pot soep kookt, in plaats van te wachten tot de soep kookt voordat hij het mes oppakt.
2. Parallelle Specialist (Het "Teamhuddle"-Effect)
Soms moet je een vlucht boeken en een auto huren. Deze twee taken zijn niet van elkaar afhankelijk.
- Oude Manier: Vlucht boeken (wacht 10s) -> Auto huren (wacht 10s). Totaal: 20s.
- AsyncFC: De manager vraagt om beide tegelijk. Het systeem stuurt beide verzoeken naar verschillende specialisten die tegelijkertijd werken. De manager krijgt direct beide ticketjes en blijft werken. De totale tijd is slechts 10 seconden.
De "Slimme Planner"
Je zou je misschien zorgen maken: "Wat als de manager om het hotel vraagt voordat het vliegticket klaar is? Dat zou een ramp zijn!"
Het artikel introduceert een Slimme Planner (een verkeersregelaar) die tussen de manager en de specialisten zit.
- Hij weet welke taken afhankelijk zijn van andere.
- Als de hotelboeking het vliegticket nodig heeft, houdt de planner het hotelverzoek in een "wachtkamer" totdat het vliegticket arriveert.
- Als de hotelboeking het ticket niet nodig heeft, laat hij de specialist direct aan het werk gaan.
- Hierdoor raakt de manager nooit in de war of probeert hij een resultaat te gebruiken dat nog niet bestaat, allemaal zonder dat de manager zijn gedrag hoeft aan te passen.
Wat Hebben Ze Bewezen?
De onderzoekers testten dit op real-world taken zoals:
- Web Search: Informatie vinden op meerdere websites.
- Software Engineering: Bugs in code repareren (met een tool genaamd SWE-agent).
- Complexe Redenering: Beantwoorden van vragen die meerdere stappen vereisen (zoals HotpotQA).
De Resultaten:
- Snelheid: De taken werden veel sneller voltooid (tot 1,44 keer sneller bij software-engineering taken).
- Nauwkeurigheid: De kwaliteit van de antwoorden is niet gedaald. De AI was net zo slim, alleen veel sneller.
- Geen Training Nodig: Ze hoefden de AI niet opnieuw te leren hoe ze moest denken. Ze veranderden alleen de "uitvoeringslaag" (het systeem dat de taken uitvoert). De AI begreep de "Magische Ticketjes" van nature omdat ze vergelijkbare concepten had gezien in haar trainingsdata.
De Conclusie
AsyncFC is als het upgraden van een fabriek van een éénbaansweg waar auto's bij elke kruising stoppen, naar een slim autosnelwegsysteem waar auto's kunnen invoegen, inhalen en op verschillende tijdstippen aankomen zonder te crashen. Het maakt AI-agenten sneller door ze te laten doorgaan met werken terwijl ze wachten op antwoorden, zonder de regels te breken van hoe ze met tools communiceren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.