💬 NLP

VisualClaw: A Real-Time, Personalized Agent for the Physical World

VisualClaw is een zelfevoluerende, realtime multimodale agent die hybride codering gebruikt om API-kosten en latentie drastisch te verminderen terwijl deze continu leert van fouten om de nauwkeurigheid te verbeteren, gevalideerd over standaard video-QA-benchmarks en een nieuwe agentic workspace-benchmark genaamd VisualClawArena.

Oorspronkelijke auteurs: Haoqin Tu, Jianwen Chen, Zijun Wang, Siwei Han, Juncheng Wu, Hardy Chen, Haonian Ji, Kaiwen Xiong, Jiaqi Liu, Peng Xia, Jieru Mei, Hongliang Fei, Jason Eshraghian, Zeyu Zheng, Yuyin Zhou, Huaxiu Yao

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haoqin Tu, Jianwen Chen, Zijun Wang, Siwei Han, Juncheng Wu, Hardy Chen, Haonian Ji, Kaiwen Xiong, Jiaqi Liu, Peng Xia, Jieru Mei, Hongliang Fei, Jason Eshraghian, Zeyu Zheng, Yuyin Zhou, Huaxiu Yao, Cihang Xie

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente assistent hebt (een AI) die video's kan bekijken, documenten kan lezen en computerhulpmiddelen kan gebruiken om problemen voor je op te lossen. Het paper introduceert een nieuwe versie van deze assistent genaamd VisualClaw.

Het hoofddoel dat de auteurs oplossen, is dat huidige AI-assistenten lijken op overijverige toeristen: ze proberen elke seconde van een video te bekijken, elk woord van een handleiding te lezen en de "hersenen" (het AI-model) om hulp te vragen bij elk klein detail. Dit is ongelooflijk duur, traag en verwart de AI vaak omdat er te veel informatie is.

VisualClaw lost dit op door te fungeren als een slimme, ervaren gids die precies weet waar hij op moet letten en hoe hij slimmer kan worden na verloop van tijd. Hier is hoe het werkt, onderverdeeld in drie eenvoudige delen:

1. De "Slimme Filter" (Besparen van geld en tijd)

Stel je voor dat je een video van 30 minuten bekijkt van een persoon die door een bos wandelt.

De Oude Manier: De AI probeert elk frame (elk fractie van een seconde aan beeld) te analyseren. Het is alsof je een mens vraagt om elk blaadje aan elke boom te beschrijven, zelfs wanneer de camera niet beweegt. Dit kost een fortuin aan rekenkracht.
De VisualClaw-manier: VisualClaw heeft een "slimme filter" die op je apparaat draait (zoals je bril of telefoon) voordat de video de cloud bereikt. Het werkt als een beveiliger bij een museum.
- Als de camera slechts lichtjes schudt of de scène saai is (statisch), zegt de bewaker: "Sla dit over, hier gebeurt niets nieuws."
- Als de camera een hoek om gaat of er iets belangrijks gebeurt, zegt de bewaker: "Stop! Dit is een cruciaal moment. Stuur dit frame naar de baas."
- Resultaat: In plaats van 1.800 frames te sturen voor een video van 30 minuten, stuurt het er misschien slechts 5 of 6. Dit verlaagt de kosten met 98% en maakt het systeem snel genoeg om te draaien op real-time apparaten zoals AI-brillen.

2. De "Levende Handleiding" (Slimmer worden zonder te herbedraden)

De meeste AI-modellen zijn als bevroren standbeelden: zodra ze zijn gebouwd, kunnen ze niet leren van hun fouten zonder volledig te worden herbouwd (wat moeilijk en duur is).

De Oude Manier: Als een AI een taak niet volbrengt, faalt het gewoon. De volgende keer probeert het weer hetzelfde en faalt het opnieuw.
De VisualClaw-manier: VisualClaw houdt een levende handleiding bij (een "Skill Bank").
- Wanneer de AI een fout maakt, kijkt een aparte "coach" (een offline evolver) naar wat er misging.
- De coach schrijft een nieuwe regel of tip in de handleiding (bijv. "Controleer bij het vasthouden van een touw altijd eerst de stabiliteit").
- De volgende keer controleert de AI deze handleiding voordat hij antwoordt. Hij hoeft zijn brein niet te veranderen; hij leest gewoon een betere instructiehandleiding.
- De "Warm/Koud" Truc: Om te voorkomen dat de handleiding te zwaar wordt, laat VisualClaw de AI alleen de 5 meest relevante tips (Warm) zien op dit moment, terwijl de rest van het boek op een plank staat (Koud), voor het geval dat. Dit houdt de AI snel en gefocust.

3. De "Oefenarena" (Testen in de echte wereld)

De auteurs realiseerden zich dat standaardtests voor deze AI's lijken op meerkeuzevragen waarbij je alleen een antwoord kiest. Maar in de echte wereld moet een AI daadwerkelijk dingen doen: bestanden openen, documenten bewerken en controleren of zijn werk correct is.

Om dit op te lossen, hebben ze een nieuwe test gebouwd genaamd VisualClawArena.
Zie dit als een level in een videogame waar de AI het volgende moet doen:
1. Een videoclip bekijken.
2. Een chatlog of document lezen.
3. Een bestand op een computer openen.
4. Een fout herstellen of een rapport schrijven.
5. Een "check" passeren om te bewijzen dat hij de klus goed heeft uitgevoerd.
Dit test of de AI daadwerkelijk het visuele bewijs kan gebruiken om echte problemen op te lossen, in plaats van alleen het juiste antwoord te raden.

De Resultaten: Wat is er gebeurd?

Toen ze VisualClaw testten:

Het werd slimmer: In de meeste tests werd de AI nauwkeuriger omdat hij leerde van zijn eerdere fouten via de "Levende Handleiding."
Het werd goedkoper: Omdat de "Slimme Filter" stopte met het sturen van nutteloze videoframes, daalde de kosten om de AI te draaien met bijna 99% voor lange video's.
Het werkt in de echte wereld: Op de nieuwe "Arena"-test versloeg de AI die kan leren en evolueren (VisualClaw) de standaard AI met een aanzienlijke marge, wat bewijst dat deze methode helpt bij complexe, meerstaps-taken.

Kortom: VisualClaw is een AI-assistent die niet naar alles staart (bespaart geld), een notitieblok bijhoudt van de lessen die geleerd zijn van zijn fouten (wordt slimmer) en oefent in een realistische simulatie om te bewijzen dat hij complexe taken in de echte wereld aankan.

Technische Samenvatting: VisualClaw – Een Real-Time, Gepersonaliseerde Agent voor de Fysieke Wereld

1. Probleemstelling

De inzet van Vision-Language Models (VLM's) als algemene agents voor complexe multimodale taken wordt gehinderd door drie kritieke tekortkomingen die de toepassing in de echte wereld (bijv. AI-brillen, cloud-assistenten) bemoeilijken:

Efficiëntie en Kosten: Het verwerken van dichte videoframes en lange prompts veroorzaakt hoge latentie en API-kosten. Standaard benaderingen gaan vaak uit van volledige offline toegang tot videoclips, wat onhaalbaar is voor live streams.
Statische Scaffolding: Huidige agent-architecturen blijven statisch na implementatie. Ze missen mechanismen om te leren van hun eigen fouten of om hun redeneervermogen over tijd aan te passen zonder de modelgewichten te hertrainen.
Beperkingen in Evaluatie: Standaard video Question-Answering (QA) benchmarks richten zich op eenmalige meerkeuzevragen. Ze falen in het evalueren of agents effectief visueel bewijs kunnen gebruiken binnen dynamische, tool-gebruikende werkruimtes (bijv. bestanden bewerken, records verzoenen, controles uitvoeren).

2. Methodologie: VisualClaw Framework

VisualClaw is een zelf-evoluerende multimodale agent die deze hiaten aanpakt via twee kernprincipes: Hybrid Encoding voor efficiënte edge-implementatie en Self-Evolving Skills/Memories voor adaptieve redenering. Het systeem werkt op drie verschillende tijdschalen zonder de onderliggende VLM-gewichten ( $\theta$ ) bij te werken.

2.1 Per Frame: Cascaded Encoding Gate ( $G$ )

Om de visuele kosten op live streams te verlagen, gebruikt VisualClaw een lichtgewicht, uitsluitend op de CPU draaiende cascade op het edge-apparaat die frames filtert voordat ze de cloud VLM API bereiken. De gate $G$ verwerkt elk binnenkomend frame $f_t$ en geeft een oordeel: MAJOR, MINOR, of SKIP.

Mechanisme: De cascade bestaat uit drie stadia:
1. Perceptual Hash (dHash): Detecteert en verwijdert bit-exacte of bijna-exacte duplicaten (bijv. camerabeweging, stationaire perioden).
2. Lightweight CPU Encoder: Genereert een 128-dimensionele scène-vector met behulp van HSV-histogrammen, luminantie, randdichtheid en textuur (geen diepe netwerken of GPU vereist).
3. Adaptive Change Gate: Vergelijkt het gecodeerde frame met een rollende referentie met behulp van tijdelijk vervallende drempelwaarden om significante scèneveranderingen (MAJOR) te onderscheiden van kleine variaties (MINOR).
Resultaat: Alleen MAJOR frames (keyframes) worden doorgestuurd naar de cloud. MINOR frames updaten de referentie maar worden niet geüpload; SKIP frames worden weggegooid. Dit werkt in real-time ( $\sim10 \mu s$ ) zonder toekomstige frames te bufferen.

2.2 Per Vraag: Hybrid Hot/Cold Skill Injection ( $S$ )

Om de groeiende kosten van een skill bank $S$ te beheersen zonder de prompt-context te verzadigen, gebruikt VisualClaw een gelaagde injectiestrategie:

Hot Tier: Voor een gegeven query $q$ rangschikt een sentence-transformer de skill bank. De top- $k$ meest relevante skills worden als volledige tekst ("hot bodies") in de systeemprompt opgenomen.
Cold Tier: De overige skills worden alleen ontsloten als een compacte "cold catalogue" (naam en beschrijving). Het model kan de volledige tekst van specifieke skills op aanvraag opvragen, maar deze zijn niet vooraf geladen.
Voordeel: Dit ontkoppelt de prompt-kosten van de totale omvang van de skill bank, waarbij de kosten worden begrensd door $k$ in plaats van $|S|$ .

2.3 Per Sessie: Memory-Augmented Meta-Evolution ( $M_v$ en $E$ )

VisualClaw verbetert over tijd door te leren van fouten.

Memory Store ( $M_v$ ): Correct opgeloste voorbeelden worden opgeslagen als dichte embeddings.
Evolver ( $E$ ): Wanneer een drempel van fouten ( $N_{evo}$ ) wordt bereikt, analyseert een offline LLM evolver de fouttrajecten ( $D_{fail}$ ) samen met opgehaalde hoog-betrouwbare herinneringen ( $R$ ).
Update Mechanisme: De evolver stelt nieuwe skills ( $\Delta S$ $Δ S$ ) voor om de bank bij te werken. Twee varianten worden getest:
- Concatenation (Cat.): Voegt de opgehaalde herinnering direct toe aan de evolutie-prompt.
- Guided (Guide): Voegt een prefix toe die de evolver instrueert om herbruikbare skills te abstraheren uit de herinnering, terwijl scenario-specifieke details worden vermeden.
Hygiëne: Filters voorkomen skill-opzwelling: (F1) token-Jaccard deduplicatie wijst overlappende skill-namen af; (F2) een per-skill utility tracker verwijdert skills die achterblijven bij de gemiddelde nauwkeurigheid van de bank.

3. VisualClawArena: Een Nieuwe Benchmark

Om het derde gat (evaluatie) aan te pakken, introduceren de auteurs VisualClawArena, een 200-scenario multimodal agentic benchmark.

Constructie: Gebouwd uit bestaande video-datasets (Indoor/VSI, EgoSchema, QVHighlights), aangevuld met documenten, chat-traces en uitvoerbare checkers.
Pipeline: Een vijf-staps curatieproces zorgt ervoor dat scenario's visueel bewijs vereisen, geldige uitvoerbare checks hebben en text-only lekkage voorkomen (waarbij een taak kan worden opgelost zonder de video).
Taakstructuur: Scenario's bevatten multi-step interacties waarbij agents bestanden moeten bewerken, video-bewijs moeten verzoenen met tekstuele records en uitvoerbare checks moeten passeren. De benchmark bevat 200 scenario's met een gemiddelde van 24,4 stappen per scenario.

4. Belangrijkste Resultaten

4.1 Statische Video-QA Prestaties

Geëvalueerd op vier benchmarks (EgoSchema, EgoPlan-Bench, Video-MME long, NextQA) met Gemini 3 Flash en GPT-5.2:

Nauwkeurigheid: De "Guide" variant van VisualClaw (streaming met guided evolution) behaalde een gemiddelde nauwkeurigheidsstijging van +3,85% ten opzichte van een plain baseline, met een piek van +15,80% op EgoSchema (Gemini 3 Flash).
Vergelijking: De streaming configuratie van VisualClaw presteerde +25,9% beter qua kosten dan de offline "Uniform-8" baseline (die 8 uniform gesamplede frames gebruikt), terwijl de nauwkeurigheid gelijk bleef of verbeterde.
Offline Upper Bound: Wanneer hetzelfde evolutie-framework werd toegepast op de offline Uniform-8 baseline, verbeterde de nauwkeurigheid nog eens met +3,50% tot +13,00%, wat een sterke bovengrens vaststelt die de streaming versie nauwgezet benadert.

4.2 VisualClawArena (Agentic) Prestaties

Geëvalueerd op 200 scenario's met Codex (GPT-5.5) en Claude Code (Sonnet 4.6):

Nauwkeurigheid: VisualClaw met de "Cat." (concatenation) geheugenmodus behaalde de beste macro-nauwkeurigheid: 54,27% (Codex) en 52,16% (Claude Code). Dit is een verbetering van respectievelijk +2,9% en +3,2% ten opzichte van baselines zonder evolutie.
Moeilijkheidsgraad: De self-evolution stack liet de meest significante winsten zien op "Hard" scenario's (moeilijkheid $\le$ 55% baseline nauwkeurigheid), met een verbetering van ongeveer +5,3% tot +5,4% over de baselines.
Observatie: In tegen tegenover de statische video-QA waar "Guided" evolution het best presteerde, was de "Cat." (directe concatenatie) modus superieur in agentic workflows, wat suggereert dat complexe tool-gebruikende agents meer baat hebben bij ruwe procedurele traces dan bij geabstraheerde skills.

4.3 Efficiëntie en Kosten

Reductie van API-kosten: VisualClaw verminderde de per-vraag API-kosten gemiddeld met −98,1% vergeleken met volledige frame-uploads (1 fps).
Piekbesparingen: Op de langdurige Video-MME benchmark (30-minuten clips) werden de kosten verminderd met −99,3% (van ~$520 naar ~$3,63 per run).
Frame Reductie: De cascade verminderde het aantal naar de API verzonden frames van ~1.800 (volledige stream) naar een gemiddelde van 5,41 frames per vraag op lange clips, en zo laag als 1,13 op korte clips.
Edge Prestaties: De cascade gate draait volledig op de CPU met verwaarloosbare latentie (<10 ms), wat real-time operatie op edge-apparaten mogelijk maakt.

5. Betekenis en Claims

Het artikel claimt dat VisualClaw een natuurlijke aansluiting biedt voor live edge-toepassingen (bijv. AI-brillen) door de triade van streaming kosten, statische scaffolding en ontbrekende agentic evaluatie op te lossen.

Kostenefficiëntie: Door frames aan de edge te filteren en de skill bank te comprimeren, maakt VisualClaw real-time, langdurige videoverwerking economisch haalbaar (bijv. het reduceren van een sessie van 1 uur van ~3.600 API-calls naar 5–20).
Adaptiviteit: Het self-evolving mechanisme stelt agents in staat om te personaliseren en te verbeteren over tijd op basis van gebruikersspecifieke fouten, zonder dat dure model-hertraining of gewichtsupdates nodig zijn.
Benchmarking: VisualClawArena vult een kritiek gat in de literatuur door een gevalideerd testveld te bieden voor multimodale agents die binnen dynamische werkruimtes moeten opereren, waarbij de stap wordt gezet van eenvoudige multiple-choice QA naar uitvoerbare, tool-gebruikende taken.

De auteurs concluderen dat de combinatie van hybrid encoding en geheugen-gestuurde evolutie efficiënte perceptie en continue adaptatie mogelijk maakt, waardoor VisualClaw een robuust framework vormt voor inzetbare multimodale agents.