AnovaX: A Local, Multi-Agent Voice Assistant with LLM Planning, Typed Executors, and Adaptive Recovery
Het artikel introduceert AnovaX, een local-first, multi-agent stemassistent die volledig op het apparaat van de gebruiker draait om desktopinteracties te orkestreren via een LLM-planner, getypeerde tool-agents en adaptief herstel, terwijl het realtime afstandsbediening en monitoring mogelijk maakt via een begeleidende telefooninterface.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De stem die in je machine leeft
Stel je voor dat je een superintelligente assistent hebt die in je broekzak leeft, een die je stem kan horen, complexe verzoeken begrijpt en zelfs je computer kan besturen. Jarenlang werd dit idee gedomineerd door "cloud"-assistenten zoals Siri of Alexa. Denk aan deze cloud-assistenten als boodschappers die je stem meenemen, deze mijlenver weg naar een enorme serverfarm rennen, een antwoord ophalen en het weer terugrennen naar jou. Hoewel dit snel gaat, betekent dit dat je privégesprekken je huis verlaten, en de assistent kan alleen een vaste reeks trucjes uitvoeren die geprogrammeerd zijn. Het is alsoal een butler hebben die alleen deuren kan openen die je al hebt geïnstalleerd, maar geen pen kan oppakken om een briefje voor je te schrijven.
Het vakgebied van Kunstmatige Intelligentie (AI) heeft onlangs ontdekt dat grote taalmodellen (LLM's) ongelooflijk goed zijn in het begrijpen van menselijke taal. Echter, er is een nieuwe vraag ontstaan: Kunnen we een assistent bouwen die binnen je computer blijft, je geheimen lokaal houdt en daadwerkelijk dingen doet op je bureaublad — zoals apps openen, tekst typen of op knoppen klikken — in plaats van alleen maar feitjes te beantwoorden? Dit artikel onderzoekt een project genaamd AnovaX, dat probeert een "local-first" stemassistent te bouwen. In plaats van je stem naar de cloud te sturen, draait AnovaX volledig op je laptop. Het gebruikt een slimme planner om uit te zoeken wat het moet doen, maar vertrouwt op een team van gespecialiseerde, vooraf geprogrammeerde "werkers" om daadwerkelijk het toetsenbord en de muis te bedienen. Het doel is niet om de grote techreuzen op hun eigen terrein te verslaan, maar om aan te tonen dat een klein, leesbaar en veilig systeem gebouwd kan worden door één enkel persoon om zijn eigen machine te besturen zonder voor elke beweging een cloudverbinding nodig te hebben.
AnovaX: De lokale butler die geen cloud nodig heeft
Maak kennis met AnovaX. Het is een stemassistent die volledig op je laptop leeft, ontworpen als een transparant, veilig en lokaal alternatief voor de grote cloud-gebaseerde assistenten. De makers hebben het gebouwd om te bewijzen dat je geen massief, ondoorzichtig systeem nodig hebt om je computer te besturen; je hebt alleen een kleine, goed georganiseerde digitale ploeg nodig.
Het Grote Idee: Een Planner en een Team van Specialisten
Stel je voor dat je de baas bent van een druk kantoor. Je wilt niet elke taak zelf doen; je wilt delegeren. In AnovaX is de "baas" een slimme AI-planner (gebruikmakend van een model genaamd Gemini). Wanneer je zegt: "Open Kladblok en schrijf een verhaal," probeert de planner niet zelf te typen. In plaats daarvan schrijft het een kort plan in een speciale code (JSON) en geeft het door aan een Multi-Agent Orchestrator.
Zie de Orchestrator als een hectische maar efficiënte regisseur. Het neemt de lijst van de planner en wijst elke taak toe aan een specifieke "kind-agent".
- AppAgent is degene die weet hoe hij programma's moet lanceren.
- TypingAgent is degene die daadwerkelijk op het toetsenbord typt.
- BrowserAgent handelt webzoekopdrachten af.
- MediaAgent maakt screenshots.
Elk van deze agents is een kleine, gespecialiseerde robot met eigen regels. De TypingAgent heeft bijvoorbeeld een strikte regel: hij moet wachten tot het toetsenbord vrij is voordat hij begint met typen, zodat hij niet botst met een andere agent die ook een toets probeert in te drukken. Dit systeem stelt de assistent in staat om meerdere dingen tegelijk te doen. Als je vraagt: "Maak een screenshot en vertel me hoe laat het is," stuurt de Orchestrator die twee taken naar twee verschillende agents tegelijkertijd, wat je tijd bespaart.
Veiligheid Eerst: De Dubbele Controle
Een van de grootste zorgen bij AI is dat het iets gevaarlijks zou kunnen doen, zoals je bestanden verwijderen. AnovaX lost dit op met een "tweefasen veiligheidsfilter".
- Het Zachte Filter: De AI-planner krijgt een lijst met "verboden" woorden (zoals "verwijder" of "formatteer") en krijgt de instructie deze niet te gebruiken.
- Het Harde Filter: Voordat een agent toestemming krijgt om je computer aan te raken, controleert een Python-programma het plan tegen een strikte "whitelist" (alleen goedgekeurde tools zijn toegestaan) en een "denylist" (verboden trefwoorden). Als het plan probeert een gevaarlijk commando binnensluipen, wordt het hele proces direct geblokkeerd en krijgt de gebruiker een beleefde weigering.
Dit gebeurt elke keer opnieuw, zelfs als de AI probeert het plan op te splitsen in kleinere sub-taken. Het is alsof je een beveiligingsbeambte hebt die je ID controleert voordat je het gebouw binnengaat, en je ID vervolgens nog een keer controleert voordat je de specifieke kamer binnenstapt.
De "Recovery Loop": Wanneer Dingen Misgaan
Soms mislukken zelfs de beste plannen. Misschien is de app die je wilde openen niet geïnstalleerd, of steelt een pop-upvenster de focus. In oudere systemen zou dit het hele proces simpelweg stoppen. AnovaX heeft een slimme "recovery loop".
Als een stap mislukt, geeft het systeem niet op. Het activeert een tweede, snellere AI-loop die werkt als een detective. Deze kijelt naar wat er misging, bedenkt een nieuw plan (zoals: "Oh, de naam van de app was fout, laat me er even naar zoeken") en probeert het opnieuw. Om dit direct te laten aanvoelen, voert het systeem terwijl de detective nadenkt "speculatief" veilige, read-only taken uit op de achtergrond (zoals het controleren van de tijd), zodat die delen al klaar zijn wanneer het nieuwe plan gereed is.
Kijken vanaf de Telefoon
Het project bevat ook een coole functie waarbij je je laptop kunt besturen vanaf je telefoon. Je kunt in je telefoon spreken, en het commando wordt via je thuis Wi-Fi naar je laptop gestuurd. Nog cooler is dat de laptop zijn scherm in realtime terugstreamt naar je telefoon. Je kunt in een andere kamer staan, toekijken hoe de laptop zelfstandig apps opent en typt, en precies zien wat de "agents" aan het doen zijn terwijl ze werken.
Wat het Wel en Niet Kan
Het artikel laat zien dat AnovaX succesvol kan:
- Desktopapplicaties openen (zoals Kladblok).
- Tekst typen en toetsen indrukken.
- Het web en YouTube doorzoeken.
- Screenshots maken en vertellen hoe laat het is.
- Complexe, meerstaps verzoeken afhandelen (zoals "Open Kladblok, typ een paragraaf en sla deze op").
- Gevaarlijke commando's weigeren (zoals "Verwijder mijn downloads map").
De auteurs zijn echter zeer duidelijk over de beperkingen. Het systeem is "blind". Het ziet het scherm niet echt om te weten of een venster correct is geopend; het stuurt gewoon het commando en hoopt het beste. Als een pop-up het scherm blokkeert, kan de agent blijven typen op de verkeerde plek. Het is ook afhankelijk van de cloud voor het initiële "denken" (de AI-planner) en voor het horen van je stem, hoewel de auteurs suggereren dat deze in de toekomst vervangen kunnen worden door lokale versies om het volledig offline te maken.
De Kern van het Verhaal
AnovaX probeert niet de nieuwe Siri te zijn. Het is een bewijs van concept dat laat zien dat een kleine, leesbare en veilige lokale assistent mogelijk is. Door het probleem op te splitsen in een planner, een veiligheidsbewaker en een team van gespecialiseerde, getypeerde agents, hebben de makers een systeem gebouwd dat transparant en controleerbaar is. Het bewijst dat je geen "black box" in de cloud nodig hebt om je computer te besturen; je hebt alleen een goed georganiseerd team van digitale helpers nodig die direct op je bureau draaien.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.