AnovaX: A Local, Multi-Agent Voice Assistant with LLM Planning, Typed Executors, and Adaptive Recovery
Das Paper stellt AnovaX vor, einen lokal-zentrierten Multi-Agenten-Sprachassistenten, der vollständig auf dem Gerät des Nutzers läuft, um Desktop-Interaktionen durch einen LLM-Planer, typisierte Tool-Agenten und adaptive Fehlerbehebung zu orchestrieren, während er gleichzeitig eine Echtzeit-Fernsteuerung und Überwachung über eine begleitende Smartphone-Schnittstelle ermöglicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die Stimme, die in deiner Maschine lebt
Stell dir vor, du hättest einen superintelligenten Assistenten, der in deiner Tasche lebt – einen, der deine Stimme hören, komplexe Anfragen verstehen und sogar deinen Computer steuern kann. Jahrelang wurde diese Idee von „Cloud“-Assistenten wie Siri oder Alexa dominiert. Betrachte diese Cloud-Assistenten als Boten, die deine Stimme nehmen, sie meilenweit entfernt zu einer riesigen Serverfarm bringen, dort eine Antwort holen und sie wieder zurückbringen. Das geht zwar schnell, bedeutet aber auch, dass deine privaten Gespräche dein Haus verlassen und der Assistent nur ein fest vorgegebenes Set an Tricks ausführen kann, die ihm programmiert wurden. Es ist wie ein Butler, der zwar Türen öffnen kann, die du bereits installiert hast, aber nicht in der Lage ist, einen Stift aufzuheben, um eine Notiz für dich zu schreiben.
Das Feld der Künstlichen Intelligenz (KI) hat kürzlich entdeckt, dass große Sprachmodelle (Large Language Models, LLMs) unglaublich gut darin sind, die menschliche Sprache zu verstehen. Doch eine neue Frage ist aufgetaucht: Können wir einen Assistenten bauen, der innerhalb deines Computers bleibt, deine Geheimnisse lokal bewahrt und tatsächlich Dinge auf deinem Desktop tut – wie etwa Apps öffnen, Text tippen oder Buttons klicken – anstatt nur Trivia-Fragen zu beantworten? Dieses Paper untersucht ein Projekt namens AnovaX, das versucht, einen „Local-First“-Sprachassistenten zu bauen. Anstatt deine Stimme in die Cloud zu senden, läuft AnovaX vollständig auf deinem Laptop. Es nutzt einen intelligenten Planer, um herauszufinden, was zu tun ist, verlässt sich aber auf ein Team aus spezialisierten, vorprogrammierten „Arbeitern“, um tatsächlich Tastatur und Maus zu bedienen. Das Ziel ist nicht, die großen Tech-Giganten in ihrem eigenen Spiel zu schlagen, sondern zu zeigen, dass ein kleines, lesbares und sicheres System von einer einzelnen Person gebaut werden kann, um die eigene Maschine ohne eine Cloud-Verbindung für jeden einzelnen Schritt zu steuern.
AnovaX: Der lokale Butler, der keine Cloud braucht
Lerne AnovaX kennen. Es ist ein Sprachassistent, der vollständig auf deinem Laptop lebt und als transparente, sichere und lokale Alternative zu den großen Cloud-basierten Assistenten konzipiert wurde. Die Schöpfer haben es gebaut, um zu beweisen, dass man kein massives, undurchsichtiges System braucht, um seinen Computer zu steuern; man braucht nur ein kleines, gut organisiertes Team digitaler Arbeiter.
Die große Idee: Ein Planer und ein Team von Spezialisten
Stell dir vor, du bist der Chef eines geschäftigen Büros. Du möchst nicht jede Aufgabe selbst erledigen; du möchst delegieren. In AnovaX ist der „Chef“ ein intelligenter KI-Planer (der ein Modell namens Gemini nutzt). Wenn du sagst: „Öffne Notepad und schreibe eine Geschichte“, versucht der Planer nicht, das Tippen selbst zu übernehmen. Stattdessen schreibt er einen schnellen Plan in einem speziellen Code (JSON) und übergibt ihn an einen Multi-Agent Orchestrator.
Betrachte den Orchestrator als einen hektischen, aber effizienten Inspizienten. Er nimmt die Liste des Planers und weist jede Aufgabe einem spezifischen „Kind-Agenten“ zu.
- AppAgent ist derjenige, der weiß, wie man Programme startet.
- TypingAgent ist derjenige, der tatsächlich auf der Tastatur tippt.
- BrowserAgent kümmert sich um Websuchen.
- MediaAgent macht Screenshots.
Jeder dieser Agenten ist ein kleiner, spezialisierter Roboter mit eigenen Regeln. Zum Beispiel hat der TypingAgent die strikte Regel: Er muss warten, bis die Tastatur frei ist, bevor er mit dem Tippen beginnt, damit er nicht mit einem anderen Agenten kollidiert, der gerade eine Taste drückt. Dieses System ermöglicht es dem Assistenten, mehrere Dinge gleichzeitig zu tun. Wenn du sagst: „Mach einen Screenshot und sag mir die Uhrzeit“, sendet der Orchestrator diese zwei Aufgaben gleichzeitig an zwei verschiedene Agenten, was dir Zeit spart.
Sicherheit an erster Stelle: Das Kontrolltor
Eine der größten Sorgen bei KI ist, dass sie etwas Gefährliches tun könnte, wie zum Beispiel deine Dateien löschen. AnovaX löst dies mit einem „Zweistufigen Sicherheitsfilter“.
- Der weiche Filter: Dem KI-Planer wird eine Liste mit „verbotenen“ Wörtern (wie „löschen“ oder „formatieren“) gegeben, und ihm wird gesagt, dass er diese nicht verwenden darf.
- Der harte Filter: Bevor ein Agent überhaupt deinen Computer berühren darf, prüft ein Python-Programm den Plan gegen eine strikte „Whitelist“ (nur genehmigte Werkzeuge sind erlaubt) und eine „Denylist“ (verbotene Schlüsselwörter). Wenn der Plan versucht, einen gefährlichen Befehl einzuschleusen, wird der gesamte Vorgang sofort blockiert und der Nutzer erhält eine höfliche Ablehnung.
Dies geschieht jedes einzelne Mal, selbst wenn die KI versucht, den Plan in kleinere Teilschritte aufzuteilen. Es ist wie ein Sicherheitsmann, der deinen Ausweis prüft, bevor du das Gebäude betrittst, und dann deinen Ausweis noch einmal prüft, bevor du den spezifischen Raum betrittst.
Die „Recovery Loop“: Wenn etwas schiefgeht
Manchmal scheitern selbst die besten Pläne. Vielleicht ist die App, die du öffnen wolltest, nicht installiert, oder ein Pop-up-Fenster stiehlt den Fokus. In älteren Systemen würde dies den gesamten Prozess stoppen. AnovaX besitzt eine clevere „Recovery Loop“ (Wiederherstellungsschleife).
Wenn ein Schritt fehlschlägt, gibt das System nicht auf. Es weckt eine zweite, schnellere KI-Schleife auf, die wie ein Detektiv agiert. Sie schaut nach, was schiefgelaufen ist, überlegt sich einen neuen Plan (wie „Oh, der App-Name war falsch, lass mich versuchen, danach zu suchen“) und versucht es erneut. Um dies als unmittelbar wahrzunehmen, führt das System während der Detektiv nachdenkt, „spekulativ“ sichere, Read-Only-Aufgaben im Hintergrund aus (wie das Überprüfen der Uhrzeit), sodass diese Teile bereits erledigt sind, wenn der neue Plan bereitsteht.
Vom Handy aus zusehen
Das Projekt beinhaltet auch eine coole Funktion, mit der du deinen Laptop von deinem Handy aus steuern kannst. Du kannst in dein Handy sprechen, und der Befehl wird über dein heimisches WLAN an deinen Laptop gesendet. Noch cooler ist, dass der Laptop seinen Bildschirm in Echtzeit an dein Handy streamt. Du kannst in einem anderen Raum stehen, dem Laptop dabei zusehen, wie er Apps öffnet und tippt, und genau sehen, was die „Agenten“ tun, während sie arbeiten.
Was es kann und was nicht
Das Paper zeigt, dass AnovaX erfolgreich:
- Desktop-Anwendungen öffnen kann (wie Notepad).
- Text tippen und Tasten drücken kann.
- Im Web und auf YouTube suchen kann.
- Screenshots macht und die Uhrzeit nennt.
- Komplexe, mehrstufige Anfragen bewältigt (wie „Öffne Notepad, tippe einen Absatz und speichere ihn“).
- Gefährliche Befehle ablehnt (wie „Lösche meinen Downloads-Ordner“).
Die Autoren sind sich jedoch sehr bewusst über seine Grenzen. Das System ist „blind“. Es sieht den Bildschirm nicht wirklich, um zu wissen, ob ein Fenster korrekt geöffnet wurde; es sendet einfach den Befehl und hofft auf Erfolg. Wenn ein Pop-up den Bildschirm blockiert, tippt der Agent eventuell an die falsche Stelle. Es verlässt sich zudem auf die Cloud für das initiale „Nachdenken“ (den KI-Planer) und für das Hören deiner Stimme, obwohl die Autoren vorschlagen, dass diese Funktionen in Zukunft durch lokale Versionen ersetzt werden könnten, um es vollständig offline zu machen.
Das Fazit
AnovaX versucht nicht, das nächste Siri zu sein. Es ist ein Proof-of-Concept, der zeigt, dass ein kleiner, lesbarer und sicherer lokaler Assistent möglich ist. Indem die Erfinder das Problem in einen Planer, einen Sicherheitswächter und ein Team von spezialisierten, getippten Agenten unterteilt haben, haben sie ein System geschaffen, das transparent und kontrollierbar ist. Es beweist, dass man keine Blackbox in der Cloud braucht, um seinen Computer zu steuern; man braucht nur ein gut organisiertes Team digitaler Helfer, die direkt auf dem eigenen Schreibtisch laufen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.