💬 NLP

VisualClaw: A Real-Time, Personalized Agent for the Physical World

VisualClaw è un agente multimodale in tempo reale e auto-evolutivo che utilizza la codifica ibrida per ridurre drasticamente i costi delle API e la latenza, imparando continuamente dai fallimenti per migliorare l'accuratezza, con validazione effettuata su benchmark standard di video-QA e su un nuovo benchmark di workspace agentico chiamato VisualClawArena.

Autori originali: Haoqin Tu, Jianwen Chen, Zijun Wang, Siwei Han, Juncheng Wu, Hardy Chen, Haonian Ji, Kaiwen Xiong, Jiaqi Liu, Peng Xia, Jieru Mei, Hongliang Fei, Jason Eshraghian, Zeyu Zheng, Yuyin Zhou, Huaxiu Yao

Pubblicato 2026-06-16

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Haoqin Tu, Jianwen Chen, Zijun Wang, Siwei Han, Juncheng Wu, Hardy Chen, Haonian Ji, Kaiwen Xiong, Jiaqi Liu, Peng Xia, Jieru Mei, Hongliang Fei, Jason Eshraghian, Zeyu Zheng, Yuyin Zhou, Huaxiu Yao, Cihang Xie

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente super intelligente (un'IA) che può guardare video, leggere documenti e usare strumenti informatici per risolvere problemi per te. Il documento presenta una nuova versione di questo assistente chiamato VisualClaw.

Il problema principale che gli autori stanno risolvendo è che gli attuali assistenti IA sono come turisti troppo impacciati: cercano di guardare ogni singolo secondo di un video, leggere ogni singola parola di un manuale e chiedere aiuto al "cervello" (il modello IA) per ogni minimo dettaglio. Questo è incredibilmente costoso, lento e spesso confonde l'IA perché c'è troppa informazione.

VisualClaw risolve questo problema agendo come una guida esperta e intelligente che sa esattamente a cosa prestare attenzione e come diventare più brava nel tempo. Ecco come funziona, suddiviso in tre parti semplici:

1. Il "Filtro Intelligente" (Risparmiare Denaro e Tempo)

Immagina di guardare un video di 30 minuti di una persona che cammina in una foresta.

Il Vecchio Modo: L'IA cerca di analizzare ogni singolo fotogramma (ogni immagine di un frazione di secondo). È come chiedere a un essere umano di descrivere ogni singola foglia su ogni albero, anche quando la telecamera non si muove. Questo costa una fortuna in potenza di calcolo.
Il Modo VisualClaw: VisualClaw ha un "filtro intelligente" in esecuzione sul tuo dispositivo (come i tuoi occhiali o il tuo telefono) prima ancora che il video raggiunga il cloud. Agisce come un custode in un museo.
- Se la telecamera trema leggermente o la scena è noiosa (statica), il custode dice: "Salta questo, non succede nulla di nuovo".
- Se la telecamera gira l'angolo o succede qualcosa di importante, il custode dice: "Fermati! Questo è un momento chiave. Invia questo fotogramma al capo".
- Risultato: Invece di inviare 1.800 fotogrammi per un video di 30 minuti, potrebbe inviarne solo 5 o 6. Questo riduce i costi del 98% e rende il sistema abbastanza veloce da poter girare su dispositivi in tempo reale come gli occhiali IA.

2. Il "Manuale Vivente" (Diventare più intelligenti senza essere cablati di nuovo)

La maggior parte dei modelli IA sono come statue congelate: una volta costruiti, non possono imparare dai propri errori senza essere completamente ricostruiti (il che è difficile e costoso).

Il Vecchio Modo: Se un'IA fallisce un compito, semplicemente fallisce. La volta successiva, prova la stessa cosa e fallisce di nuovo.
Il Modo VisualClaw: VisualClaw conserva un manuale vivente (una "Banca delle Abilità").
- Quando l'IA commette un errore, un "coach" separato (un evolutore offline) osserva cosa è andato storto.
- Il coach scrive una nuova regola o un consiglio nel manuale (ad esempio: "Quando tieni una corda, controlla sempre la stabilità prima").
- La volta successiva, l'IA controlla questo manuale prima di rispondere. Non ha bisogno di cambiare il suo cervello; legge solo un manuale di istruzioni migliore.
- Il Trucco "Caldo/Freddo": Per evitare che il manuale diventi troppo pesante, VisualClaw mostra all'IA solo i 5 suggerimenti più rilevanti (Caldi) in quel momento, mentre tiene il resto del libro su uno scaffale (Freddi) giusto in caso di necessità. Questo mantiene l'IA veloce e concentrata.

3. L' "Arena di Allenamento" (Testare nel mondo reale)

Gli autori si sono resi conto che i test standard per queste IA sono come quiz a scelta multipla dove devi solo scegliere una risposta. Ma nel mondo reale, un'IA deve effettivamente fare delle cose: aprire file, modificare documenti e controllare se il proprio lavoro è corretto.

Per risolvere questo problema, hanno costruito un nuovo test chiamato VisualClawArena.
Immagina questo come un livello di un videogioco dove l'IA deve:
1. Guardare un clip video.
2. Leggere una chat o un documento.
3. Aprire un file su un computer.
4. Correggere un errore o scrivere un rapporto.
5. Superare un "controllo" per dimostrare di aver svolto il lavoro correttamente.
Questo testa se l'IA può effettivamente usare le prove video per risolvere problemi reali, non solo indovinare la risposta corretta.

I Risultati: Cosa è successo?

Quando hanno testato VisualClaw:

È diventata più intelligente: In molti test, l'IA è diventata più accurata perché ha imparato dai suoi fallimenti passati usando il "Manuale Vivente".
È diventata più economica: Poiché il "Filtro Intelligente" ha impedito l'invio di inutili fotogrammi video, il costo per eseguire l'IA è sceso di quasi il 99% per i video lunghi.
Funziona nel mondo reale: Nel nuovo test "Arena", l'IA capace di imparare ed evolversi (VisualClaw) ha battuto l'IA standard con un margine significativo, dimostrando che questo metodo aiuta con compiti compli e multi-fase.

In breve: VisualClaw è un assistente IA che non fissa tutto (risparmiando denaro), tiene un quaderno delle lezioni imparate dai propri errori (diventando più intelligente) e si esercita in una simulazione realistica per dimostrare di poter gestire lavori del mondo reale.

Riepilogo Tecnico: VisualClaw – Un Agente Personalizzato in Tempo Reale per il Mondo Fisico

1. Definizione del Problema

L'implementazione dei Modelli Vision-Language (VLM) come agenti general-purpose per compiti multimodali complessi affronta tre lacune critiche che ne ostacolano l'applicazione nel mondo reale in ambienti di streaming basati su edge (es. occhiali AI, assistenti cloud):

Efficienza e Costo: L'elaborazione di densi frame video e prompt lunghi comporta un'elevata latenza e costi delle API. Gli approcci standard spesso presuppongono l'accesso completo offline a clip video, il che è impraticabile per gli streaming dal vivo.
Scaffolding Statico: Le attuali architetture di agenti rimangono statiche dopo la distribuzione. Mancano di meccanismi per apprendere dai propri fallimenti o per adattare le proprie capacità di ragionamento nel tempo senza il retraining dei pesi del modello.
Limitazioni della Valutazione: I benchmark standard di Video Question-Answering (QA) si concentrano su risposte a scelta multipla "one-shot". Essi non riescono a valutare se gli agenti possano utilizzare efficacemente le prove visive all'interno di spazi di lavoro dinamici e dotati di strumenti (es. modificare file, riconciliare registri, eseguire controlli).

2. Metodologia: Framework VisualClaw

VisualClaw è un agente multimodale auto-evolutivo progettato per affrontare queste lacune attraverso due principi fondamentali: l'Encoding Ibrido per l'efficiente distribuzione edge e le Skill/Memorie Auto-evolutive per un ragionamento adattivo. Il sistema opera su tre diverse scale temporali senza aggiornare i pesi $\theta$ del VLM sottostante.

2.1 Per Frame: Cascata di Gate di Encoding ( $G$ )

Per ridurre i costi visivi sugli streaming dal vivo, VisualClaw impiega una cascata leggera, operante solo su CPU, sull'edge device che filtra i frame prima che raggiungano l'API del VLM nel cloud. Il gate $G$ elabora ogni frame in ingresso $f_t$ e restituisce un verdetto: MAJOR, MINOR o SKIP.

Meccanismo: La cascata consiste in tre stadi:
1. Perceptual Hash (dHash): Rileva e scarta duplicati identici o quasi identici (es. scuotimento della telecamera, periodi di stasi).
2. Encoder Leggero su CPU: Genera un vettore di scena a 128 dimensioni utilizzando istogrammi HSV, densità di luminanza, bordi e texture (senza reti profonde o necessità di GPU).
3. Adaptive Change Gate: Confronta il frame codificato con un riferimento mobile utilizzando soglie con decadimento temporale per distinguere cambiamenti significativi della scena (MAJOR) da variazioni minori (MINOR).
Risultato: Solo i frame MAJOR (keyframe) vengono inoltrati al cloud. I frame MINOR aggiornano il riferimento ma non vengono caricati; i frame SKIP vengono scartati. Questo opera in tempo reale ( $\sim10 \mu s$ ) senza bufferizzare i frame futuri.

2.2 Per Domanda: Iniezione di Skill Ibride Hot/Cold ( $S$ )

Per gestire la crescita dei costi di un bank di skill $S$ senza saturare il contesto del prompt, VisualClaw utilizza una strategia di iniezione a livelli:

Livello Hot (Caldo): Per una determinata query $q$ , un sentence-transformer classifica il bank di skill. Le top- $k$ skill più rilevanti vengono inserite come testo completo ("corpi caldi") nel system prompt.
Livello Cold (Freddo): Le restanti skill sono esposte solo come un catalogo compatto ("cold catalogue") composto da nome e descrizione. Il modello può richiedere il testo completo di specifiche skill su richiesta, ma queste non sono pre-caricate.
Beneficio: Questo scinde il costo del prompt dalla dimensione totale del bank di skill, limitando il costo a $k$ anziché a $|S|$ .

2.3 Per Sessione: Meta-Evoluzione Aumentata dalla Memoria ( $M_v$ e $E$ )

VisualClaw migliora nel tempo imparando dai propri fallimenti.

Memory Store ( $M_v$ ): Gli esempi risolti correttamente sono memorizzati come embedding densi.
Evolver ( $E$ ): Quando viene raggiunta una soglia di fallimenti ( $N_{evo}$ ), un evolver LLM offline analizza le traiettorie di fallimento ( $D_{fail}$ ) insieme alle memorie recuperate ad alta confidenza ( $R$ ).
Meccanismo di Aggiornamento: L'evolver propone nuove skill ( $\Delta S$ $Δ S$ ) per aggiornare il bank. Vengono testate due varianti:
- Concatenazione (Cat.): Appende direttamente la memoria recuperata al prompt di evoluzione.
- Guida (Guide): Aggiunge un prefisso che istruisce l'evolver ad astrarre skill riutilizzabili dalla memoria evitando dettagli specifici dello scenario.
Igiene: Filtri impediscono l'eccessiva crescita delle skill: (F1) la deduplicazione Jaccard-token rifiuta nomi di skill sovrapposti; (F2) un tracker di utilità per singola skill elimina le skill che performano al di sotto della media del bank.

3. VisualClawArena: Un Nuovo Benchmark

Per affrontare la terza lacuna (valutazione), gli autori introducono VisualClawArena, un benchmark per agenti multimodali composto da 200 scenari.

Costruzione: Costruito partendo da dataset video esistenti (Indoor/VSI, EgoSchema, QVHighlights) aumentati con documenti, tracce di chat e controllori eseguibili.
Pipeline: Un processo di cura in cinque stadi garantisce che gli scenari richiedano prove video, abbiano controlli eseguibili validi e impediscano la fuga di informazioni basata solo sul testo (dove un compito può essere risolto senza il video).
Struttura del Task: Gli scenari prevedono interazioni multi-step dove gli agenti devono modificare file, riconciliare le prove video con i record testuali ed eseguire controlli eseguibili. Il benchmark include 200 scenari con una media di 24,4 step per scenario.

4. Risultati Chiave

4.1 Performance di Video-QA Statica

Valutato su quattro benchmark (EgoSchema, EgoPlan-Bench, Video-MME long, NextQA) usando Gemini 3 Flash e GPT-5.2:

Accuratezza: La variante "Guide" di VisualClaw (streaming con evoluzione guidata) ha ottenuto un incremento medio di accuratezza del +3,85% rispetto a un baseline semplice, con un picco del +15,80% su EgoSchema (Gemini 3 Flash).
Confronto: La configurazione in streaming di VisualClaw ha superato il baseline "Uniform-8" offline (che utilizza 8 frame campionati uniformemente) del +25,9% in termini di costi, mantenendo o migliorando l'accuratezza.
Limite Superiore Offline: Quando lo stesso framework di evoluzione è stato applicato al baseline offline Uniform-8, ha ulteriormente migliorato l'accuratezza del +3,50% fino al +13,00%, stabilendo un forte limite superiore che la versione streaming approssima strettamente.

4.2 Performance Agentiche (VisualClawArena)

Valutato su 200 scenari usando Codex (GPT-5.5) e Claude Code (Sonnet 4.6):

Accuratezza: VisualClaw con la modalità di memoria "Cat." (concatenazione) ha ottenuto la migliore accuratezza macro: 54,27% (Codex) e 52,16% (Claude Code). Ciò rappresenta un miglioramento rispettivamente del +2,9% e del +3,2% rispetto ai baseline senza evoluzione.
Difficoltà: Lo stack di auto-evoluzione ha mostato i guadagni più significativi sugli scenari "Hard" (difficoltà $\le$ 55% di accuratezza del baseline), migliorando le performance di circa il +5,3% o +5,4% rispetto ai baseline.
Osservazione: A differenza del video-QA statico dove l'evoluzione "Guided" performava meglio, la modalità "Cat." (concatenazione diretta) è stata superiore nei workflow agentici, suggerendo che gli agenti che utilizzano strumenti complessi beneficiano maggiormente di tracce procedurali grezze piuttosto che di skill astratte.

4.3 Efficienza e Costo

Riduzione Costi API: VisualClaw ha ridotto i costi API per domanda in media del −98,1% rispetto al caricamento di tutti i frame (1 fps).
Risparmio di Picco: Su clip di lunga durata nel benchmark Video-MME (30 min), i costi sono stati ridotti del −99,3% (da circa \ $520 a \$ 3,63 per esecuzione).
Riduzione Frame: La cascata ha ridotto il numero di frame inviati all'API da circa 1.800 (stream completo) a una media di 5,41 frame per domanda su clip lunghe, e solo 1,13 su clip brevi.
Performance Edge: Il gate della cascata gira interamente su CPU con latenza trascurabile (<10 ms), consentendo operazioni in tempo reale su dispositivi edge.

5. Significato e Rivendicazioni

Il paper sostiene che VisualClaw rappresenti una soluzione naturale per le applicazioni edge dal vivo (es. occhiali AI) risolvendo la triade di costo dello streaming, scaffolding statico e mancanza di valutazione agentica.

Efficienza dei Costi: Filtrando i frame all'edge e comprimendo il bank di skill, VisualCl via rende economicamente sostenibile l'elaborazione video in tempo reale e di lunga durata (es. riducendo una sessione di 1 ora da ~3.600 chiamate API a 5–20).
Adattabilità: Il meccanismo di auto-evoluzione permette agli agenti di personalizzarsi e migliorare nel tempo basandosi sui fallimenti specifici dell'utente senza richiedere costosi retraining o aggiornamenti dei pesi del modello.
Benchmarking: VisualClawArena colma una lacuna critica nella letteratura fornendo un banco di prova validato per agenti multimodali che devono operare all'interno di spazi di lavoro dinamici, andando oltre la semplice QA a scelta multipla verso compiti eseguibili e dotati di strumenti.

Gli autori concludono che la combinazione di encoding ibrido ed evoluzione guidata dalla memoria consente una percezione efficiente e un adattamento continuo, rendendo VisualClaw un framework robusto per agenti multimodali distribuibili.