🤖 AI

Advancing Omnimodal Embodied Agents from Isolated Skills to Everyday Physical Autonomy

Questo articolo introduce OmniAct, un framework asincrono gerarchico che unifica la pianificazione cibernetico-fisica, la memoria adattiva e la verifica visiva per consentire ad agenti incarnati persistenti di eseguire autonomamente compiti complessi e a lungo termine in ambienti non strutturati, mantenendo al contempo efficienza e robustezza contro i guasti fisici.

Autori originali: Junhao Shi, Zezheng Huai, Siyin Wang, Jia Chen, Yubang Wang, Zhaoye Fei, Hechang Chen, Jingjing Gong, Xipeng Qiu, Yu-Gang Jiang

Pubblicato 2026-06-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Junhao Shi, Zezheng Huai, Siyin Wang, Jia Chen, Yubang Wang, Zhaoye Fei, Hechang Chen, Jingjing Gong, Xipeng Qiu, Yu-Gang Jiang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler costruire un robot che possa vivere nella tua casa e aiutarti nelle faccende quotidiane per settimane o mesi senza che un essere umano debba costantemente controllarlo. Questo è l'obiettivo degli "agenti incarnati" (embodied agents). Tuttavia, gli attuali robot sono come stagisti goffi: possono fare bene una cosa, ma se si confondono, continuano a commettere errori finché l'intera giornata è rovinata. Inoltre, hanno una memoria terribile, o dimenticano ciò che hai detto un'ora fa, o si sentono così sopraffatti dal dover ricordare ogni singolo secondo della giornata da bloccarsi.

Il documento presenta OmniAct, un nuovo framework progettato per trasformare questi stagisti goffi in affidabili gestori domestici a lungo termine. Pensa a OmniAct non come a un singolo super-cervello, ma come a un team di gestione altamente efficiente con tre ruoli specializzati che lavorano insieme.

I Tre Ruoli Specializzati

1. Il Pianificatore Maestro (Il "Project Manager")
La maggior parte dei robot fatica perché tratta i compiti "digitali" (come ordinare cibo online o accendere le luci intelligenti) e i compiti "fisici" (come raccogliere una tazza o spostare una sedia) come due lavori completamente diversi.

L'Analogia: Immagina un manager che non riesce a parlare contemporaneamente con il reparto IT e con la squadra edile. Deve scrivere una nota, camminare fino all'ufficio IT, ricevere una risposta, tornare indietro e poi parlare con la squadra edile. È lento e incline agli errori.
La Soluzione di OmniAct: Il Pianificatore parla un linguaggio unificato. Può mescolare senza problemi comandi come "Accendi le luci intelligenti" (digitale) e "Prendi il libro" (fisico) in un unico flusso fluido. Non si limita a indovinare; scompone richieste grandi e complesse (come "Prendimi uno snack") in una lista chiara di piccoli passi eseguibili.

2. La Memoria Intelligente (Il "Bibliotecario con un Sistema di Archiviazione")
Se chiedi a un robot di ricordare tutto ciò che hai mai detto, finirà per esaurire lo spazio o confondersi con istruzioni vecchie che non contano più nulla.

L'Analogia: Immagina di cercare di ricordare una conversazione di 10 ore leggendo la trascrizione di ogni singola parola pronunciata. Ti perderesti nel rumore. Un modo migliore è avere un bibliotecario che scrive solo i "capitoli" della conversazione.
La Soluzione di OmniAct: Invece di memorizzare ogni singolo fotogramma video o parola, OmniAct utilizza la Compressione dei Confini degli Eventi (Event-Boundary Compression). Aspetta un "cambio di capitolo" (come il completamento di un compito o il cambio di stanza) e poi riassume ciò che è accaduto in una nota breve e ordinata. Questo mantiene la memoria del robot leggera e veloce, anche dopo giorni di attività, senza dimenticare regole importanti a lungo termine (come "Non mi piace lo zucchero").

3. Il Monitor di Sicurezza (Lo "Spotter")
Gli attuali robot spesso lavorano in modalità "open-loop", il che significa che iniziano un compito e sperano che vada bene. Se rompono una tazza, non sanno che è successo e continuano a eseguire il passaggio successivo, peggiorando il disastro.

L'Analogia: È come una persona bendata che cerca di attraversare una stanza. Se inciampa, non sa di essere caduta, quindi continua a barcollare in avanti.
La Soluzione di OmniAct: Questo sistema possiede un Motore di Preempzione Visiva. Mentre il robot lavora, un separato "osservatore" (una telecamera e un'IA) controlla periodicamente la situazione. Se l'osservatore vede che il robot ha fatto cadere la tazza o è bloccato, urla immediatamente "Stop!" e risveglia il Pianificatore per correggere l'errore. Questo trasforma un disastro in una semplice deviazione.

Come si è Comportato nel Mondo Reale

I ricercatori hanno testato OmniAct su due robot molto diversi: un braccio robotico (come un braccio umano su un tavolo) e un robot mobile con ruote (come un Roomba che può muoversi). Hanno assegnato loro 40 compiti difficili e a lungo termine che comportavano il mix di azioni fisiche con strumenti digitali (come controllare un'app del meteo prima di decidere se aprire una finestra).

Tasso di Successo Migliore: OmniAct ha completato i compiti molto più spesso rispetto ai metodi precedenti. Quando gli altri robot fallivano, di solito fallivano completamente. OmniAct è stato in grado di recuperare dagli errori e continuare ad andare avanti.
Memoria Efficiente: Mentre altri sistemi avevano bisogno di memorizzare enormi quantità di dati (oltre 100.000 "parole" di cronologia), rallentando le loro prestazioni, OmniAct ha mantenuto l'uso della memoria basso e costante, come una linea piatta su un grafico, indipendentemente dalla durata del compito.
Potenziamento dei Modelli Più Piccoli: Uno dei risultati più sorprendenti è stato che OmniAct poteva prendere un modello di IA "di medie dimensioni" (uno che è più economico e meno potente) e farlo performare come i modelli proprietari più costosi e all'avanguardia. Ha dimostrato che avere una buona struttura (il team con i tre ruoli) è spesso più importante del semplice avere un cervello più grande.

In Sintesi

OmniAct dimostra che per costruire un robot che possa davvero vivere con noi e gestire il caos del mondo reale, non abbiamo bisogno di un unico cervello gigante e perfetto. Abbiamo invece bisogno di un team gerarchico che separi la pianificazione, la memoria e i controlli di sicurezza. Lasciando che queste parti specializzate comunichino tra loro, il robot diventa resiliente, efficiente e capace di gestire lavori complessi a lungo termine senza l'intervento umano.

Riepilogo Tecnico: OmniAct – Avanzamento degli Agenti Embodied Omnimodali

1. Definizione del Problema

Il documento affronta la sfida fondamentale di costruire agenti embodied persistenti capaci di operare in modo affidabile in ambienti del mondo reale non strutturati su orizzonti temporali estesi. Gli attuali sistemi embodied affrontano tre criticità fondamentali quando vengono implementati in tali scenari esigenti:

Mancanza di uno Spazio d'Azione Unificato: Gli approcci esistenti trattano l'invocazione di strumenti nel dominio cyber (API, IoT) e la manipolazione nel dominio fisico (controllo robotico, navigazione) come pipeline separate. Questa separazione impone interfacce fragili e create manualmente che falliscono nel gestire istruzioni naturalmente intercalate che richiedono l'orchestrazione congiunta di strumenti eterogenei.
Accumulo di Contesto Illimitato: I framework degli agenti che concatenano linearmente la cronologia delle interazioni soffrono di una rapida crescita del contesto durante l'implementazione a lungo termine. Ciò porta a un aumento del carico di memoria, alla perdita di informazioni storiche critiche e a conflitti semantici tra le preferenze dell'utente a lungo termine e gli stati recenti.
Fallimenti di Esecuzione Open-Loop: Sebbene i modelli Vision-Language-Action (VLA) abbiano fatto progressi, la loro natura intrinsecamente open-loop impedisce il recupero autonomo. I fallimenti fisici non rilevati (ad esempio, scivolamento della presa, errori di navigazione) si trasformano in guasti irreversibili, poiché il sistema manca di meccanismi per verificare il progresso dell'esecuzione o attivare la ri-pianificazione senza l'intervento umano.

Il problema centrale è raggiungere l'autonomia fisica quotidiana, che richiede la coordinazione di strumenti cyber-fisici eterogenei all'interno di singoli flussi di lavoro e il recupero autonomo dai fallimenti fisici su orizzonti estesi.

2. Metodologia: Il Framework OmniAct

Gli autori propongono OmniAct, un'architettura gerarchica asincrona che separa esplicitamente pianificazione, memoria e verifica in moduli specializzati e cooperanti. Invece di fare affidamento su un modello monolitico end-to-end, OmniAct integra tre componenti strettamente accoppiati:

A. Pianificatore Semantico Multimodale

Questo modulo istanzia la politica di pianificazione di alto livello ( $\pi$ ). Fonde input multimodali (voce, visione, stato) per eseguire:

Interpretazione dell'Intento: Radicamento di istruzioni utente ambigue rispetto agli stati correnti degli strumenti e alle osservazioni visive.
Decomposizione del Task: Scomposizione di istruzioni a lungo orizzonte in sotto-obiettivi eseguibili.
Routing delle Skill: Selezione delle skill appropriate ( $\tau_t$ ) da un inventario unificato ( $\mathcal{T}$ ) che spazia sia dai domini cyber (IoT, Web API) che fisici (manipolazione, navigazione).
Output: Una specifica JSON strutturata che supporta il dispatch parallelo di molteplici chiamate di skill all'interno di un singolo step.

B. Esecuzione a Ciclo Chiuso con Preempzione Visiva Asincrona

Per affrontare il limite open-loop delle politiche VLA, OmniAct impiega un motore di preempzione visiva asincrona:

Esecuzione a Doppio Stream: I comandi cyber discreti sono verificati tramite codici di ritorno deterministici. I comandi fisici continui sono inoltrati alle politiche di controllo senza segnali di verifica intrinseci.
Verifica Semantica: Un monitor asincrono campiona periodicamente i frame visivi e li sottopone a un Modello Vision-Language (VLM) per valutare il progresso dell'esecuzione e la sicurezza fisica a un livello semantico (ad esempio, "L'oggetto è ancora afferrato?", "Il robot si sta muovendo verso l'obiettivo?").
Preempzione e Ri-pianificazione: Al rilevamento di un'anomalia, il sistema interrompe immediatamente l'esecutore VLA, impacchetta il contesto del fallimento e restituisce il controllo al pianificatore per la ri-pianificazione. Questo trasforma i fallimenti catastrofici in ritardi recuperabili.

C. Memoria Gerarchica Adattiva

Per gestire il contesto a lungo orizzonte senza una crescita lineare, il framework utilizza una gerarchia di memoria a tre livelli guidata dalla compressione dei confini degli eventi:

Memoria Sensoriale: Una coda FIFO leggera per i frame visivi recenti, scollegata dal contesto di pianificazione.
Memoria Episodica: La cronologia delle interazioni viene compressa ai confini semantici degli eventi (ad esempio, completamento di un sotto-task). Le sequenze di osservazioni grezze vengono condensate in riassunti di keyframe compatti che mantengono il contenuto semantico e le transizioni di stato, scartando la ridondanza procedurale. Ciò assicura che il contesto cresca proporzionalmente agli eventi semantici distinti piuttosto che ai turni grezzi, ottenendo una scalabilità sub-lineare.
Memoria Riflessiva: Memorizza i priori statici (schemi degli strumenti) e l'esperienza accumulata dinamicamente. Quando si verificano fallimenti, il sistema genera record strutturati delle cause radice e delle strategie correttive. Queste riflessioni vengono recuperate durante la pianificazione successiva per trasformare il recupero da errori isolati in adattamento cumulativo.

3. Valutazione Sperimentale

Il framework è stato valutato attraverso 40 task reali a lungo orizzonte su due piattaforme robotiche strutturalmente distinte:

UR5e: Un manipolatore a 6 gradi di libertà per la manipolazione di precisione su tavolo.
Keenon: Un robot mobile con ruote per la navigazione indoor.
Ambiente: Coordinato con 4 dispositivi IoT domestici e 12 API di strumenti virtuali.

I task sono stati stratificati in tre livelli di complessità:

Livello 1: Solo fisico (controllo di basso livello).
Livello 2: Cyber-fisico (coordinamento IoT).
Livello 3: Full multimodale (Voce, API, IoT ed esecuzione fisica).

Risultati Chiave

Performance: OmniAct ha superato significativamente i baseline (Direct Policy, SayCan, Code as Policy, RoboBrain2) in tutti i livelli di complessità. Nei task di Livello 3, ha raggiunto tassi di successo End-to-End (E2E) del 50,0% (manipolazione) e del 54,2% (navigazione), superando sostanzialmente i migliori baseline.
Robustezza: Il framework ha dimostrato un declino delle prestazioni graduale all'aumentare della complessità del task, mentre i baseline hanno subito un degrado ripido. La capacità di OmniAct di rilevare fallimenti a metà task e ri-pianificare ha prevenito cascate di errori.
Scalabilità ed Efficienza:
- Crescita del Contesto: Mentre la concatenazione della cronologia grezza cresceva linearmente oltre i 160k token, la memoria gerarchica di OmniAct ha mantenuto un profilo di consumo di token quasi piatto (2,5k–10k token per chiamata) indipendentemente dalla lunghezza della cronologia accumulata.
- Soddisfazione dei Vincoli: In scenari a lungo orizzonte (10+ ore, 40k+ token), OmniAct ha raggiunto un tasso di soddisfazione dei vincoli dell'86,67%, superando significativamente gli approcci a finestra scorrevole (13,33%) e la cronologia grezza (66,67%).
Generalizzabilità: OmniAct ha elevato modelli open-weight di media scala (es. Qwen3-VL-30B-A3B) per eguagliare le prestazioni di modelli proprietari (Gemini-3.1-Pro), dimostrando che l'orchestrazione architettonica può colmare il divario tra sistemi open-weight e proprietari senza ulteriore addestramento.

4. Significato e Rivendicazioni

Il paper sostiene che l'autonomia fisica persistente non richiede la scalabilità di modelli monolitici, ma piuttosto un'architettura asincrona gerarchica con una separazione esplicita delle responsabilità.

Controllo Cyber-Fisico Unificato: OmniAct dimostra che gli strumenti cyber discreti e il controllo fisico continuo possono essere unificati in un unico ciclo guidato da eventi, consentendo la coordinazione fluida di strumenti eterogenei senza necessità di sensori di forza.
Contesto Limitato per l'Autonomia a Lungo Orizzonte: Utilizzando la compressione guidata dai confini degli eventi e la memoria riflessiva, il framework consente agli agenti di mantenere una crescita del contesto limitata pur recuperando autonomamente dai fallimenti e adattandosi ai cambiamenti dinamici dell'ambiente.
Efficienza Architetturale rispetto alla Capacità del Modello: I risultati suggeriscono che la separazione esplicita di pianificazione, memoria e verifica offra una via più vitale ed efficiente in termini di risorse verso l'implementazione persistente in contesti embodied. L'orchestrazione strutturata di OmniAct permette a modelli di media scala di raggiungere prestazioni di livello proprietario, sottolineando che la chiarezza architettonica integra la capacità del modello.

Gli autori concludono che il loro approccio affronta le lacune fondamentali degli attuali sistemi embodied, fornendo una base robusta per agenti che possono operare in modo affidabile in ambienti non strutturati su orizzonti temporali estesi.