AnovaX: A Local, Multi-Agent Voice Assistant with LLM Planning, Typed Executors, and Adaptive Recovery
Le document présente AnovaX, un assistant vocal multi-agents de type « local-first » qui s'exécute entièrement sur l'appareil de l'utilisateur pour orchestrer les interactions de bureau via un planificateur LLM, des agents d'outils typés et une récupération adaptative, tout en permettant un contrôle et une surveillance à distance en temps réel via une interface mobile compagnon.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
La voix qui vit dans votre machine
Imaginez que vous avez un assistant super intelligent logé dans votre poche, capable d'entendre votre voix, de comprendre des requêtes complexes et même de contrôler votre ordinateur. Pendant des années, cette idée a été dominée par des assistants basés sur le « cloud » comme Siri ou Alexa. Considérez ces assistants du cloud comme des messagers qui prennent votre voix, la transportent à des kilomètres de là vers une immense ferme de serveurs, obtiennent une réponse, puis la ramènent. Bien que rapides, cela signifie que vos conversations privées quittent votre maison et que l'assistant ne peut effectuer qu'un ensemble fixe de tours programmés. C'est comme avoir un majordome qui ne peut ouvrir que les portes que vous avez déjà installées, mais qui ne peut pas prendre un stylo pour écrire une note pour vous.
Le domaine de l'intelligence artificielle (IA) a récemment découvert que les grands modèles de langage (LLM) sont incroyablement doués pour comprendre le langage humain. Cependant, une nouvelle question a émergé : pouvons-nous construire un assistant qui reste à l'intérieur de votre ordinateur, garde vos secrets en local, et fait réellement des choses sur votre bureau — comme ouvrir des applications, taper du texte ou cliquer sur des boutons — plutôt que de simplement répondre à des questions de culture générale ? Ce document explore un projet appelé AnovaX, qui tente de construire un assistant vocal « local-first ». Au lieu d'envoyer votre voix vers le cloud, AnovaX fonctionne entièrement sur votre ordinateur portable. Il utilise un planificateur intelligent pour déterminer quoi faire, mais il s'appuie sur une équipe de « travailleurs » spécialisés et préprogrammés pour manipuler réellement le clavier et la souris. L'objectif n'est pas de battre les géants de la tech sur leur propre terrain, mais de montrer qu'un système petit, lisible et sûr peut être construit par une seule personne pour contrôler sa propre machine sans avoir besoin d'une connexion cloud pour chaque mouvement.
AnovaX : Le majordome local qui n'a pas besoin du cloud
Découvrez AnovaX. C'est un assistant vocal qui vit entièrement sur votre ordinateur portable, conçu pour être une alternative transparente, sûre et locale aux grands assistants basés sur le cloud. Les créateurs l'ont construit pour prouver que vous n'avez pas besoin d'un système massif et opaque pour contrôler votre ordinateur ; vous avez juste besoin d'une petite équipe bien organisée de travailleurs numériques.
La grande idée : Un planificateur et une équipe de spécialistes
Imaginez que vous êtes le patron d'un bureau très occupé. Vous ne voulez pas accomplir chaque tâche vous-même ; vous voulez déléguer. Dans AnovaX, le « patron » est un planificateur d'IA intelligent (utilisant un modèle appelé Gemini). Lorsque vous dites : « Ouvre le Bloc-notes et écris une histoire », le planificateur ne cherche pas à faire la frappe lui-même. Au lieu de cela, il écrit un plan rapide dans un code spécial (JSON) et le transmet à un Orchestrateur Multi-Agents.
Considérez l'Orchestrateur comme un régisseur de scène frénétique mais efficace. Il prend la liste du planificateur et assigne chaque tâche à un « agent enfant » spécifique.
- AppAgent est celui qui sait comment lancer des programmes.
- TypingAgent est celui qui tape réellement sur le clavier.
- BrowserAgent gère les recherches sur le web.
- MediaAgent prend des captures d'écran.
Chacun de ces agents est un petit robot spécialisé avec ses propres règles. Par exemple, le TypingAgent a une règle stricte : il doit attendre que le clavier soit libre avant de commencer à taper, afin de ne pas entrer en conflit avec un autre agent essayant d'appuyer sur une touche. Ce système permet à l'assistant de faire plusieurs choses à la fois. Si vous lui demandez de « Prendre une capture d'écran et de me donner l'heure », l'Orchestrateur envoie ces deux tâches à deux agents différents simultanément, ce qui vous fait gagner du temps.
La sécurité d'abord : Le portail de double vérification
L'une des plus grandes inquiétudes concernant l'IA est qu'elle puisse faire quelque chose de dangereux, comme supprimer vos fichiers. AnovaX résout cela avec un « filtre de sécurité à deux étapes ».
- Le filtre souple : Le planificateur d'IA reçoit une liste de mots « interdits » (comme « supprimer » ou « formater ») et on lui dit de ne pas les utiliser.
- Le filtre dur : Avant qu'un agent ne soit autorisé à toucher votre ordinateur, un programme Python vérifie le plan par rapport à une « liste blanche » stricte (seuls les outils approuvés sont autorisés) et une « liste noire » (mots-clés interdits). Si le plan tente d'introduire furtivement une commande dangereuse, tout est bloqué immédiatement, et l'utilisateur reçoit un refus poli.
Cela se produit à chaque fois, même si l'IA tente de diviser le plan en sous-tâches plus petites. C'est comme avoir un agent de sécurité qui vérifie votre identité avant que vous n'entriez dans le bâtiment, puis vérifie à nouveau votre identité avant que vous n'entriez dans la pièce spécifique.
La « boucle de récupération » : Quand les choses tournent mal
Parfois, même les meilleurs plans échouent. Peut-être que l'application que vous avez demandée d'ouvrir n'est pas installée, ou qu'une fenêtre contextuelle vole le focus. Dans les anciens systèmes, cela arrêtait simplement tout le processus. AnovaX possède une astucieuse « boucle de récupération ».
Si une étape échoue, le système n'abandonne pas. Il réveille une seconde boucle d'IA, plus rapide, qui agit comme un détective. Elle regarde ce qui a mal tourné, réfléchit à un nouveau plan (du genre « Oh, le nom de l'application était incorrect, laissez-moi essayer de la chercher »), et réessaie. Pour que cela paraisse instantané, pendant que le détective réfléchit, le système exécute de manière « spéculative » des tâches sûres et en lecture seule en arrière-plan (comme vérifier l'heure) afin que, lorsque le nouveau plan est prêt, ces parties soient déjà terminées.
Surveiller depuis son téléphone
Le projet inclut également une fonctionnalité cool où vous pouvez contrôler votre ordinateur portable depuis votre téléphone. Vous pouvez parler dans votre téléphone, et la commande est envoyée à votre ordinateur portable via votre réseau Wi-Fi domestique. Plus incroyable encore, l'ordinateur portable diffuse son écran vers votre téléphone en temps réel. Vous pouvez vous tenir dans une autre pièce, regarder l'ordinateur portable ouvrir des applications et taper tout seul, et voir exactement ce que les « agents » font pendant qu'ils travaillent.
Ce qu'il peut et ne peut pas faire
Le papier montre qu'AnovaX peut réussir à :
- Ouvrir des applications de bureau (comme le Bloc-notes).
- Taper du texte et appuyer sur des touches.
- Rechercher sur le Web et YouTube.
- Prendre des captures d'écran et donner l'heure.
- Gérer des requêtes complexes à plusieurs étapes (comme « Ouvre le Bloc-notes, tape un paragraphe et enregistre-le »).
- Refuser des commandes dangereuses (comme « Supprime mon dossier de téléchargements »).
Cependant, les auteurs sont très clairs sur ses limites. Le système est « aveugle ». Il ne voit pas réellement l'écran pour savoir si une fenêtre s'est ouverte correctement ; il envoie simplement la commande et espère. Si une fenêtre contextuelle bloque l'écran, l'agent pourrait continuer à taper au mauvais endroit. Il dépend également du cloud pour la « réflexion » initiale (le planificateur d'IA) et pour entendre votre voix, bien que les auteurs suggèrent que ces éléments pourraient être remplacés par des versions locales à l'avenir pour le rendre entièrement hors ligne.
En résumé
AnovaX ne cherche pas à être le prochain Siri. C'est une preuve de concept montrant qu'un assistant local petit, lisible et sûr est possible. En décomposant le problème en un planificateur, un garde de sécurité et une équipe d'agents spécialisés et typés, les créateurs ont construit un système qui est transparent et contrôlable. Cela prouve que vous n'avez pas besoin d'une boîte noire dans le cloud pour contrôler votre ordinateur ; vous avez juste besoin d'une équipe bien organisée d'assistants numériques tournant directement sur votre bureau.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.