💬 NLP

VisualClaw: A Real-Time, Personalized Agent for the Physical World

VisualClaw est un agent multimodal en temps réel et auto-évolutif qui utilise un encodage hybride pour réduire drastiquement les coûts d'API et la latence tout en apprenant continuellement de ses échecs pour améliorer sa précision, validé à travers des benchmarks standards de vidéo-QA et un nouveau benchmark d'espace de travail agentique appelé VisualClawArena.

Auteurs originaux : Haoqin Tu, Jianwen Chen, Zijun Wang, Siwei Han, Juncheng Wu, Hardy Chen, Haonian Ji, Kaiwen Xiong, Jiaqi Liu, Peng Xia, Jieru Mei, Hongliang Fei, Jason Eshraghian, Zeyu Zheng, Yuyin Zhou, Huaxiu Yao

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haoqin Tu, Jianwen Chen, Zijun Wang, Siwei Han, Juncheng Wu, Hardy Chen, Haonian Ji, Kaiwen Xiong, Jiaqi Liu, Peng Xia, Jieru Mei, Hongliang Fei, Jason Eshraghian, Zeyu Zheng, Yuyin Zhou, Huaxiu Yao, Cihang Xie

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant super intelligent (une IA) capable de regarder des vidéos, de lire des documents et d'utiliser des outils informatiques pour résoudre des problèmes pour vous. Le document présente une nouvelle version de cet assistant appelé VisualClaw.

Le problème principal que les auteurs tentent de résoudre est que les assistants IA actuels sont comme des touristes trop enthousiastes : ils essaient de regarder chaque seconde d'une vidéo, de lire chaque mot d'un manuel et de demander de l'aide au « cerveau » (le modèle d'IA) pour chaque minuscule détail. Cela est incroyablement coûteux, lent et cela confond souvent l'IA car il y a trop d'informations.

VisualClaw corrige cela en agissant comme un guide intelligent et expérimenté qui sait exactement à quoi prêter attention et comment devenir plus intelligent avec le temps. Voici comment cela fonctionne, divisé en trois parties simples :

1. Le « Filtre Intelligent » (Économiser de l'argent et du temps)

Imaginez que vous regardez une vidéo de 30 minutes d'une personne marchant dans une forêt.

L'ancienne méthode : L'IA essaie d'analyser chaque image (chaque fraction de seconde). C'est comme demander à un humain de décrire chaque feuille sur chaque arbre, même quand la caméra ne bouge pas. Cela coûte une fortune en puissance de calcul.
La méthode VisualClaw : VisualClaw possède un « filtre intelligent » qui fonctionne sur votre appareil (comme vos lunettes ou votre téléphone) avant même que la vidéo n'atteigne le cloud. Il agit comme un agent de sécurité dans un musée.
- Si la caméra tremble légèrement ou si la scène est ennuyeuse (statique), l'agent dit : « Passez votre chemin, rien de nouveau ici. »
- Si la caméra tourne un coin ou que quelque chose d'important se produit, l'agent dit : « Arrêtez ! C'est un moment clé. Envoyez cette image au patron. »
- Résultat : Au lieu d'envoyer 1 800 images pour une vidéo de 30 minutes, il n'en enverra peut-être que 5 ou 6. Cela réduit les coûts de 98 % et rend le système assez rapide pour fonctionner sur des appareils en temps réel comme des lunettes d'IA.

2. Le « Manuel Vivant » (Devenir plus intelligent sans être recâblé)

La plupart des modèles d'IA sont comme des statues figées : une fois construits, ils ne peuvent pas apprendre de leurs erreurs sans être complètement reconstruits (ce qui est difficile et coûteux).

L'ancienne méthode : Si une IA échoue à une tâche, elle échoue, tout simplement. La fois suivante, elle réessaie la même chose et échoue à nouveau.
La méthode VisualClaw : VisualClaw conserve un manuel vivant (une « Banque de Compétences »).
- Lorsqu'une IA commet une erreur, un « coach » distinct (un évolueur hors ligne) examine ce qui s'est mal passé.
- Le coach écrit une nouvelle règle ou un conseil dans le manuel (ex : « Lorsque vous tenez une corde, vérifiez toujours la stabilité d'abord »).
- La fois suivante, l'IA consulte ce manuel avant de répondre. Elle n'a pas besoin de changer son cerveau ; elle lit juste un meilleur manuel d'instructions.
- L'astuce « Chaud/Froid » : Pour éviter que le manuel ne devienne trop lourd, VisualClavi ne montre à l'IA que les 5 conseils les plus pertinents (Chaud) à l'instant présent, tout en gardant le reste du livre sur une étagère (Froid) au cas où. Cela permet à l'IA de rester rapide et concentrée.

3. L'« Arène d'Entraînement » (Tester dans le monde réel)

Les auteurs ont réalisé que les tests standards pour ces IA sont comme des QCM (questions à choix multiples) où l'on choisit simplement une réponse. Mais dans le monde réel, une IA doit réellement faire des choses : ouvrir des fichiers, éditer des documents et vérifier si son travail est correct.

Pour corriger cela, ils ont construit un nouveau test appelé VisualClawArena.
Considérez cela comme un niveau de jeu vidéo où l'IA doit :
1. Regarder un clip vidéo.
2. Lire un journal de discussion ou un document.
3. Ouvrir un fichier sur un ordinateur.
4. Corriger une erreur ou rédiger un rapport.
5. Réussir une « vérification » pour prouver qu'elle a bien fait le travail.
Cela teste si l'IA peut réellement utiliser les preuves vidéo pour résoudre des problèmes réels, et non pas simplement deviner la bonne réponse.

Les Résultats : Qu'est-ce qui s'est passé ?

Lorsqu'ils ont testé VisualClaw :

Il est devenu plus intelligent : Dans la plupart des tests, l'IA est devenue plus précise parce qu'elle a appris de ses échecs passés grâce au « Manuel Vivant ».
Il est devenu moins cher : Parce que le « Filtre Intelligent » l'a empêché d'envoyer des images vidéo inutiles, le coût de fonctionnement de l'IA a chuté de près de 99 % pour les vidéos longues.
Il fonctionne dans le monde réel : Sur le nouveau test « Arena », l'IA capable d'apprendre et d'évoluer (VisualClaw) a battu l'IA standard par une marge significative, prouvant que cette méthode aide pour les tâches complexes à plusieurs étapes.

En bref : VisualClaw est un assistant d'IA qui ne regarde pas tout (économisant ainsi de l'argent), qui garde un carnet de notes sur les leçons tirées de ses erreurs (devenant plus intelligent) et qui s'entraîne dans une simulation réaliste pour prouver qu'il peut accomplir des tâches du monde réel.

Résumé Technique : VisualClaw – Un Agent Personnalisé en Temps Réel pour le Monde Physique

1. Énoncé du Problème

Le déploiement des modèles de vision-langage (VLM) en tant qu'agents polyvalents pour des tâches multimodales complexes fait face à trois lacunes critiques qui entravent l'application dans le monde réel pour les environnements de streaming basés sur l'edge (ex: lunettes IA, assistants cloud) :

Efficacité et Coût : Le traitement de trames vidéo denses et de prompts longs entraîne une latence élevée et des coûts d'API importants. Les approches standard supposent souvent un accès complet hors ligne à des clips vidéo, ce qui est irréalisable pour des flux en direct.
Échafaudage Statique : Les architectures d'agents actuelles restent statiques après leur déploiement. Elles manquent de mécanismes pour apprendre de leurs propres échecs ou pour adapter leurs capacités de raisonnement au fil du temps sans réentraîner les poids du modèle.
Limites d'Évaluation : Les benchmarks standards de questions-réponses (QA) vidéo se concentrent sur le choix multiple à coup unique (one-shot). Ils ne parviennent pas à évaluer si les agents peuvent utiliser efficacement les preuves visuelles au sein d'espaces de travail dynamiques utilisant des outils (ex: éditer des fichiers, réconcilier des registres, exécuter des vérifications).

2. Méthodologie : Le Framework VisualClaw

VisualClaw est un agent multimodal auto-évolutif conçu pour combler ces lacunes grâce à deux principes fondamentaux : l'Encodage Hybride pour un déploiement efficace sur l'edge et les Compétences/Mémoires Auto-Évolutives pour un raisonnement adaptatif. Le système opère sur trois échelles de temps distinctes sans mettre à jour les poids $\theta$ du VLM sous-jacent.

2.1 Par Trame : Porte de Codage en Cascade ( $G$ )

Pour réduire les coûts visuels sur les flux en direct, VisualClaw utilise une cascade légère, uniquement sur CPU, sur l'appareil edge qui filtre les trames avant qu'elles n'atteignent l'API VLM dans le cloud. La porte $G$ traite chaque trame entrante $f_t$ et produit un verdict : MAJOR (majeur), MINOR (mineur) ou SKIP (ignorer).

Mécanisme : La cascade se compose de trois étapes :
1. Hachage Perceptuel (dHash) : Détecte et supprime les doublons identiques ou quasi identiques (ex: tremblement de caméra, périodes stationnaires).
2. Encodeur CPU Léger : Génère un vecteur de scène en 128 dimensions utilisant des histogrammes HSV, la luminance, la densité de contours et la texture (sans réseaux profonds ni GPU requis).
3. Porte de Changement Adaptative : Compare la trame encodée à une référence glissante en utilisant des seuils à décroissance temporelle pour distinguer les changements de scène significatifs (MAJOR) des variations mineures (MINOR).
Résultat : Seules les trames MAJOR (images clés) sont transmises au cloud. Les trames MINOR mettent à jour la référence mais ne sont pas téléchargées ; les trames SKIP sont rejetées. Cela fonctionne en temps réel ( $\sim10 \mu s$ ) sans mise en mémoire tampon des trames futures.

2.2 Par Question : Injection de Compétences Hybride Chaud/Froid ( $S$ )

Pour gérer le coût croissant d'un banc de compétences $S$ sans saturer le contexte du prompt, VisualClaw utilise une stratégie d'injection à plusieurs niveaux :

Niveau Chaud (Hot Tier) : Pour une requête $q$ donnée, un transformer de phrases classe le banc de compétences. Les $k$ compétences les plus pertinentes sont intégrées sous forme de texte complet ("corps chauds") dans le prompt système.
Niveau Froid (Cold Tier) : Les compétences restantes ne sont exposées que sous la forme d'un "catalogue froid" compact (nom et description). Le modèle peut demander le texte complet de compétences spécifiques à la demande, mais elles ne sont pas pré-chargées.
Bénéfice : Cela découple le coût du prompt de la taille totale du banc de compétences, en limitant le coût par $k$ plutôt que par $|S|$ .

2.3 Par Session : Méta-Évolution Augmentée par la Mémoire ( $M_v$ et $E$ )

VisualClaw s'améliore au fil du temps en apprenant de ses échecs.

Magasin de Mémoire ( $M_v$ ) : Les exemples résolus correctement sont stockés sous forme de plongements (embeddings) denses.
Évolueur ( $E$ ) : Lorsqu'un seuil d'échecs ( $N_{evo}$ ) est atteint, un évolueur LLM hors ligne analyse les trajectoires d'échec ( $D_{fail}$ ) aux côtés des mémoires récupérées à haute confiance ( $R$ ).
Mécanisme de Mise à Jour : L'évolueur propose de nouvelles compétences ( $\Delta S$ $Δ S$ ) pour mettre à jour le banc. Deux variantes sont testées :
- Concaténation (Cat.) : Ajoute directement la mémoire récupérée au prompt d'évolution.
- Guidage (Guide) : Ajoute un préfixe instruisant l'évolueur d'abstraire des compétences réutilisables à partir de la mémoire tout en évitant les détails spécifiques au scénario.
Hygiène : Des filtres empêchent l'inflation des compétences : (F1) la déduplication Jaccard-token rejette les noms de compétences chevauchants ; (F2) un suivi d'utilité par compétence élimine les compétences qui accusent un retard par rapport à la moyenne du banc.

3. VisualClawArena : Un Nouveau Benchmark

Pour répondre au troisième écart (évaluation), les auteurs introduisent VisualClawArena, un benchmark d'agent multimodal de 200 scénarios.

Construction : Construit à partir de jeux de données vidéo existants (Indoor/VSI, EgoSchema, QVHighlights) augmentés de documents, de traces de chat et de vérificateurs exécutables.
Pipeline : Un processus de curation en cinq étapes garantit que les scénarios nécessitent des preuves vidéo, possèdent des vérifications exécutables valides et empêchent la fuite textuelle (où une tâche pourrait être résolue sans la vidéo).
Structure des Tâches : Les scénarios impliquent des interactions multi-étapes où les agents doivent éditer des fichiers, réconcilier les preuves vidéo avec des registres textuels et passer des vérifications exécutables. Le benchmark comprend 200 scénarios avec une moyenne de 24,4 étapes par scénario.

4. Résultats Clés

4.1 Performance de Vidéo-QA Statique

Évalué sur quatre benchmarks (EgoSchema, EgoPlan-Bench, Video-MME long, NextQA) avec Gemini 3 Flash et GPT-5.2 :

Précision : La variante "Guide" de VisualClaw (streaming avec évolution guidée) a obtenu une augmentation moyenne de précision de +3,85 % par rapport à une ligne de base simple, avec un pic de +15,80 % sur EgoSchema (Gemini 3 Flash).
Comparaison : La configuration en streaming de VisualClaw a surpassé la ligne de base "Uniform-8" (qui utilise 8 trames échantillonnées uniformément) de +25,9 % en termes de coût tout en maintenant ou en améliorant la précision.
Limite Supérieure Hors Ligne : Lorsque le même cadre d'évolution a été appliqué à la ligne de base hors ligne Uniform-8, cela a encore amélioré la précision de +3,50 % à +13,00 %, établissant une limite supérieure solide que la version de streaming approche étroitement.

4.2 Performance Agentique (VisualClawArena)

Évalué sur 200 scénarios utilisant Codex (GPT-5.5) et Claude Code (Sonnet 4.6) :

Précision : VisualClaw avec le mode de mémoire "Cat." (concaténation) a obtenu la meilleure précision macro : 54,27 % (Codex) et 52,16 % (Claude Code). Cela représente une amélioration de +2,9 % et +3,2 % respectivement par rapport aux lignes de base sans évolution.
Difficulté : La pile d'auto-évolution a montré les gains les plus significatifs sur les scénarios "Difficiles" (difficulté $\le$ 55 % de précision de la ligne de base), améliorant la performance d'environ +5,3 % à +5,4 % par rapport aux lignes de base.
Observation : Contra-irement à la vidéo-QA statique où l'évolution "Guide" a performé le mieux, le mode "Cat." (concaténation directe) était supérieur dans les flux de travail agentiques, suggérant que les agents utilisant des outils complexes bénéficient davantage de traces procédurales brutes que de compétences abstraites.

4.3 Efficacité et Coût

Réduction du Coût API : VisualClaw a réduit les coûts API par question de -98,1 % en moyenne par rapport aux téléchargements de trames complètes (1 fps).
Économies de Pointe : Sur le benchmark de longue durée Video-MME (clips de 30 min), les coûts ont été réduits de -99,3 % (passant d'environ 520 $à 3,63$ par exécution).
Réduction de Trame : La cascade a réduit le nombre de trames envoyées à l'API d'environ 1 800 (flux complet) à une moyenne de 5,41 trames par question sur les clips longs, et seulement 1,13 sur les clips courts.
Performance Edge : La porte de la cascade s'exécute entièrement sur CPU avec une latence négligeable (<10 ms), permettant un fonctionnement en temps réel sur des appareils edge.

5. Signification et Revendications

L'article affirme que VisualClaw offre une adéquation naturelle pour les applications edge en direct (ex: lunettes IA) en résolvant la triade : coût de streaming, échafaudage statique et absence d'évaluation agentique.

Efficacité des Coûts : En filtrant les trames à l'edge et en compressant le banc de compétences, VisualClaw rend le traitement vidéo de longue durée en temps réel économiquement viable (ex: réduisant une session d'une heure de ~3 600 appels API à 5–20).
Adaptabilité : Le mécanisme d'auto-évolution permet aux agents de se personnaliser et de s'améliorer au fil du temps en fonction des échecs spécifiques de l'utilisateur sans nécessiter de réentraînement coûteux du modèle ou de mise à jour des poids.
Benchmarking : VisualClawArena comble une lacune critique dans la littérature en fournissant un banc de test validé pour les agents multimodaux qui doivent opérer au sein d'espaces de travail dynamiques, allant au-delà du simple QA à choix multiples vers des tâches exécutables utilisant des outils.

Les auteurs concluent que la combinaison de l'encodage hybride et de l'évolution guidée par la mémoire permet une perception efficace et une adaptation continue, faisant de VisualClaw un framework robuste pour les agents multimodaux déployables.