💻 computer science

AFUN: Towards an Affordance Foundation Model for Functionality Understanding

Questo articolo introduce AFUN, un modello di fondazione per l'affordance che predice maschere funzionali condizionate dal compito e curve di moto 3D post-contatto da osservazioni RGB-D e descrizioni linguistiche, raggiungendo prestazioni allo stato dell'arte nella segmentazione, nella predizione dei punti di contatto e nella pianificazione del moto, consentendo al contempo il dispiegamento zero-shot per la manipolazione robotica nel mondo reale attraverso diversi ambienti open-world.

Autori originali: Zhaoning Wang, Yi Zhong, Jiawei Fu, Henrik I. Christensen, Jun Gao

Pubblicato 2026-06-02

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Zhaoning Wang, Yi Zhong, Jiawei Fu, Henrik I. Christensen, Jun Gao

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di entrare in una cucina nuovissima. Non hai bisogno di un manuale per sapere che la maniglia di un mobile serve per tirare, che la manopola di un fornello serve per ruotare e che il coperchio di una pentola serve per sollevare. Capisci istantaneamente non solo cos'è un oggetto, ma anche come usarlo. Nel mondo della robotica, questa comprensione intuitiva è chiamata "affordance".

Per molto tempo, i robot hanno faticato con questo concetto. Potrebbero sapere che esiste un cassetto, ma non sanno esattamente dove afferrarlo o come aprirlo senza romperlo. I modelli di IA esistenti erano come studenti che riuscivano a rispondere solo a metà della domanda: alcuni potevano indicare la maniglia ma non sapevano come tirarla, altri potevano indovinare il movimento ma non sapevano quale oggetto toccare.

Entra in scena AFUN (Affordance Foundation Model for Functionality Understanding). Pensa ad AFUN come al "senso super-intuitivo" di un robot che combina visione, linguaggio e movimento fisico in un unico pacchetto.

Ecco come funziona AFUN, suddiviso in parti semplici:

1. La "Grande Biblioteca" dell'Esperienza

Per imparare a usare gli oggetti, è necessario vedere molte persone e robot che lo fanno. I ricercatori hanno costruito una massiccia "biblioteca" di dati raccogliendo video da ogni dove:

Robot reali che eseguono compiti.
Esseri umani che si riprendono in prima persona (come le riprese di una GoPro).
Simulazioni in videogiochi.
Scansioni 3D di stanze reali.

Hanno preso tutti questi dati disordinati e diversi e li hanno puliti in un unico formato standard. È come prendere ricette da chef francesi, italiani e cinesi e tradurle tutte in un unico ricettario universale, in modo che il robot possa imparare da tutti contemporaneamente.

2. Il "Trucco Magico" in due fasi

Quando fornisci a AFUN l'immagine di una stanza e un comando come "Apri il microonde", non si limita a tirare a indovinare. Esegue due compiti specifici simultaneamente:

Fase A: Il "Dove" (La Maschera): Disegna un evidenziatore digitale sopra la parte esatta del microonde che devi toccare (la maniglia o la porta). Ignora i pulsanti o la parte superiore della macchina.
Fase B: Il "Come" (La Curva 3D): Non si ferma alla maniglia. Disegna una linea 3D fluida nell'aria che mostra esattamente come deve muoversi la porta. È una trazione dritta? Una rotazione? Un sollevamento? AFUN predice questo percorso come una curva morbida, come la pista di un roller coaster che la mano del robot può seguire.

3. Come impara (L'"Insegnante" e lo "Studente")

Il modello usa un trucco astuto per imparare. Utilizza un enorme "cervello" pre-addestrato (un Modello Visione-Linguaggio) che sa già come comprendere immagini e parole.

L'Insegnante: Questo grande cervello legge l'istruzione ("Apri il microonde") e guarda l'immagine.
Lo Studente: AFUN utilizza speciali "token di query" (pensa a loro come a dei post-it) per chiedere al grande cervello: "Mostrami la maniglia!" e "Mostrami il movimento!".
Il Risultato: Il grande cervello guida AFUN nel disegnare la maschera e la curva 3D.

4. Test nel mondo reale

I ricercatori non hanno testato questo modello solo su un computer; l'hanno installato su un vero braccio robotico (un robot Franka).

Il Test: Hanno chiesto al robot di fare cose come "Prendi il cacciavite", "Togli il coperchio della pentola" e "Apri il microonde".
Il Risultato: Il robot ha capito con successo dove afferrare e come muovere l'oggetto senza aver bisogno di alcuna programmazione speciale per quel robot o compito specifico. Ha semplicemente guardato, ascoltato e agito.

Perché questo è importante (Secondo il paper)

Il paper afferma che AFUN è un passo avanti fondamentale perché:

È Generale: Funziona su oggetti e compiti che non ha mai visto prima, non solo su quelli che ha memorizzato.
È Completo: Risolve sia il problema del "dove toccare" che quello del "come muoversi" contemporaneamente.
È Pronto: Può essere implementato su robot reali immediatamente, senza dover essere ri-insegnato per ogni nuova macchina.

In breve, AFUN conferisce ai robot la capacità di guardare un nuovo oggetto, comprendere una richiesta umana e capire fisicamente il modo migliore per interagirvi, proprio come farebbe un essere umano.

Riepilogo Tecnico: AFUN: Verso un Modello di Fondazione per l'Affordance per la Comprensione della Funzionalità

Problematica
La comprensione dell'affordance funge da interfaccia critica tra la percezione visiva e l'azione fisica, consentendo ai robot di operare in ambienti aperti e non strutturati. Tuttavia, costruire un modello di fondazione che sia capace di generalizzare simultaneamente su diversi ambienti, oggetti e compiti rimane una sfida significativa. Gli approcci esistenti affrontano tipicamente solo aspetti parziali di questo problema: alcuni localizzano le regioni rilevanti per il compito (dove interagire) senza specificare il movimento eseguibile, mentre altri predicono il movimento ma mancano di scalabilità o richiedono l'uso di euristiche per la localizzazione. Inoltre, gli attuali approcci spesso non riescono a caratterizzare come un oggetto debba muoversi dopo l'interazione (ad esempio, la specifica traiettoria per aprire un cassetto rispetto al sollevamento di un coperchio), e la maggior parte dei modelli di deep learning soffre di una limitata generalizzazione nel mondo aperto a causa di dataset su piccola scala e non diversificati.

Metodologia
Gli autori presentano AFUN, un modello di fondazione unificato progettato per predire sia dove interagire che come interagire a partire da un'unica osservazione RGB-D e una descrizione del compito in linguaggio naturale.

Pipeline dei Dati Unificata: Per supportare la generalizzazione nel mondo aperto, gli autori hanno costruito una pipeline di dati su larga scala e standardizzata. Hanno aggregato 321.190 video grezzi da 10 fonti pubbliche, inclusi teleoperazioni robotiche, video egocentrici umani, simulazioni e scansioni del mondo reale. La pipeline converte queste sorgenti eterogenee in uno schema condiviso contenente:
- Descrizione del Compito: Istruzioni in linguaggio naturale.
- Maschera Funzionale: Una maschera di segmentazione che identifica la parte manipolabile.
- Movimento 3D: Una traiettoria 3D post-contatto rappresentata come una curva Bézier.
- Innovazione Chiave: A differenza dei lavori precedenti che utilizzano le traiettorie di mano/impugnatura (che includono rumore pre-contatto), AFUN traccia il movimento dell'oggetto stesso. Utilizza un Modello Visivo-Linguistico (Qwen3-VL) per generare query a livello di parte e SAM3 per tracciare l'oggetto manipolato, successivamente proiettando all'indietro la maschera per recuperare una curva di movimento 3D fluida.
Architettura del Modello: AFUN impiega un'architettura a doppio ramo condizionata su un Modello Visivo-Linguistico congelato (Qwen3-VL-8B) e un modello di segmentazione congelato (SAM3).
- Condizionamento MetaQuery: Il modello utilizza token "MetaQuery" apprendibili per collegare il VLM ai compiti a valle. Un set di token ($mqs$) si connette al modello di segmentazione, e un altro ($mqm$) si connette al decoder del movimento. Ciò consente al modello di condividere le capacità di ragionamento del VLM in un singolo passaggio in avanti (forward pass).
- Ramo di Segmentazione: Utilizza SAM3 per predire maschere funzionali condizionate dal compito basate sui token semantici.
- Ramo di Movimento: Utilizza un encoder di caratteristiche 3D (Sonata) per estrarre caratteristiche geometriche dall'input di profondità (depth). Un decoder transformer predice i parametri di una curva Bézier 3D. La curva è ancorata al centroide di contatto ( $P_0$ ) ed è definita da punti di controllo predetti in coordinate 3D relative.
Schema di Addestramento: Il modello è addestrato in tre fasi per garantire la stabilità:
1. Allineamento: Allineamento dei token MetaQuery con lo spazio di condizionamento testuale di SAM3 utilizzando il dataset Visual Genome.
2. Segmentazione: Addestramento end-to-end del ramo di segmentazione su dataset di affordance aggregati (HOVA-500K, RAGNet, InstructPart, ReasonAFF).
3. Addestramento Congiunto: Addestramento congiunto della segmentazione e della predizione del movimento sul dataset curato AFUN, utilizzando una funzione di perdita combinata di grounding della segmentazione e fitting della curva (perdita di campionamento dei punti).

Contributi Chiave

Modello AFUN: Un modello di fondazione che predice congiuntamente maschere funzionali condizionate dal compito e curve di movimento 3D post-contatto, colmando il divario tra "dove" e "come" nella manipolazione robotica.
Dataset Standardizzato su Larga Scala: La creazione di uno dei più grandi dataset pubblici di affordance ad oggi, caratterizzato da 59.867 campioni di addestramento di alta qualità con linguaggio, maschere e etichette di movimento 3D centrate sull'oggetto derivate da sorgenti eterogenee.
Tracciamento del Movimento Centrato sull'Oggetto: Una nuova strategia di elaborazione dei dati che traccia il movimento dell'oggetto invece di quello della presa (gripper), evitando il rumore pre-contatto e fornendo una rappresentazione diretta dell'interazione funzionale.
Deployment Zero-Shot: La capacità di distribuire il modello su robot reali senza euristiche specifiche per il compito o fine-tuning specifici per l'embodiment.

Risultati Sperimentali
AFUN è stato valutato su 8 benchmark di segmentazione e 3 benchmark di movimento, dimostrando prestazioni superiori in tutte le metriche:

Segmentazione dell'Affordance: AFUN ha raggiunto una media gIoU del 69,3% e cIoU del 67,2%, superando il baseline più forte (Affordance-R1) di +23,9/+26,3 punti. Ha inoltre superato i baseline su regioni complesse e dipendenti dall'intento (ad esempio, distinguere la lama di una pala per "contenere" rispetto al manico per "usare").
Predizione del Punto di Contatto: Utilizzando il Polo di Inaccessibilità della maschera predetta, AFUN ha ottenuto un incremento del tasso di successo (hit rate) del 12,7%–61,3% rispetto ai migliori baseline (ad esempio, 96,5% su InstructPart rispetto al 35,2% di VRB).
Predizione del Movimento 3D: AFUN ha ottenuto l'Average Displacement Error (ADE) e il Final Displacement Error (FDE) più bassi in tutti e tre i set di test (AFUN test set, SceneFun3D e RoboMIND2). Ha superato significativamente i baseline nei tassi di Contact-in-Mask (CIM) (ad esempio, 81,0% sul AFUN test set rispetto all'11,0% di VRB).
Deployment su Robot Reale: Il modello è stato distribuito su un braccio Franka Research 3 per compiti come aprire un microonde, togliere il coperchio di una pentola e aprire un cassetto. Ha raggiunto un tasso di successo medio del 90% senza alcun fine-tuning specifico per il robot.

Significatività e Rivendicazioni
Il paper sostiene che AFUN rappresenti un passo significativo verso un modello di fondazione per l'affordance nel mondo aperto. Unificando la percezione della funzionalità (maschera) con l'azione eseguibile (movimento 3D) e sfruttando un dataset massiccio e standardizzato, AFUN dimostra la capacità di adattarsi a compiti del mondo aperto senza fare affidamento su dati di dominio ristretti o euristiche manuali. Gli autori sottolineano che la capacità del modello di predire traiettorie 3D fluide e orientate (tramite spline di Bézier) consente manipolazioni complesse (come l'apertura rotazionale) che sono difficili per i precedenti approcci basati su linee o su movimenti discreti. Il lavoro suggerisce un percorso pratico affinché i robot comprendano ed eseguano diverse interazioni fisiche in ambienti non strutturati.