🤖 AI

Token-Based Affordance Grounding with Large Vision-Language Models

Questo articolo propone TokAG, un framework di grounding dell'affordance zero-shot che sfrutta un meccanismo di selezione dei token sensibile allo spazio per estrarre mappe di attenzione focalizzate sull'oggetto dai Large Vision-Language Models, ottenendo così prestazioni superiori rispetto ai precedenti metodi debolmente supervisionati nel localizzare regioni rilevanti per l'azione senza supervisione esterna.

Autori originali: Seung Il Lee, Qinqian Lei, Daguang Xu, Dong Yang, Robby T. Tan, Yixin Chen, Bo Wang

Pubblicato 2026-07-07

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Seung Il Lee, Qinqian Lei, Daguang Xu, Dong Yang, Robby T. Tan, Yixin Chen, Bo Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot come interagire con il mondo. Non vuoi solo che il robot sappia cos'è un oggetto (ad es., "Quello è una sedia"). Vuoi che sappia come usarlo (ad es., "Siediti qui", "Spingi qui" o "Taglia con questo"). Questa capacità di capire dove avviene un'azione è chiamata Affordance Grounding (Ancoraggio dell'Affordance).

Il documento presenta un nuovo metodo chiamato TokAG che aiuta i computer a capire esattamente dove su un oggetto un essere umano dovrebbe compiere un'azione, senza dover essere istruiti manualmente con migliaia di esempi etichettati.

Ecco come funziona, spiegato attraverso semplici analogie:

Il Problema: La Guida "Cieca"

I metodi precedenti erano come uno studente che cerca di indovinare dove sedersi su una motocicletta guardando una foto sfocata e una nota brevissima che dice solo "Siediti".

La Confusione: Se la foto mostra una motocicletta e la nota dice "Siediti", il computer potrebbe confondersi. È il sedile? Il manubrio? Il serbatoio della benzina?
Il Limite: I vecchi metodi si affidavano spesso a istruzioni brevi e vaghe. Faticavano quando in un'immagine accadevano più cose contemporaneamente (come qualcuno che tiene uno spazzolino e lo usa per lavarsi i denti) o quando due azioni sembrano simili (come "spingere" una bici rispetto a "sedersi" su di essa). Spesso indicavano l'intero oggetto invece della parte specifica necessaria per l'azione.

La Soluzione: Il "Super-Lettore" (LVLM)

Gli autori si sono resi conto che i Large Vision-Language Models (LVLM) — lo stesso tipo di IA che può guardare un'immagine e scrivere una storia lunga e dettagliata su di essa — sono in realtà molto intelligenti nel capire dove si trovano le cose, anche se non lo dicono esplicitamente.

Pensa a un LVLM come a un Super-Lettore che guarda un'immagine e una domanda (ad es., "Quale parte dello spazzolino viene usata per lavare i denti?").

Il Super-Lettore non si limita a sputare fuori la risposta "setole".
Mentre sta "pensando" e generando la risposta parola per parola, sta anche puntando segretamente il suo "dito" interno (l'attenzione) verso diverse parti dell'immagine.
A volte, punta allo sfondo (il lavandino del bagno). A volte, punta all'intero spazzolino. Ma quando pensa alla parola "setole", il suo dito interno punta molto fortemente verso le setole.

L'Innovazione: Il "Selettore di Riflettori" (TokAG)

La parte complicata è che il Super-Lettore genera un'intera frase, e punta il dito su molte cose diverse per ogni singola parola che pronuncia. Se guardi solo l'intera frase, il "puntare" diventa disordinato e sfocato.

TokAG è come un Selettore di Riflettori che risolve questo disordine:

La Domanda: Pone al Super-Lettore una domanda specifica su un'azione (ad es., "Quando le persone si siedono su un letto, quale parte viene usata?").
La Scansione Parola per Parola: Mentre l'IA genera la risposta (ad es., "Il materasso"), TokAG osserva la "mappa di attenzione" (il puntare interno) per ogni singola parola prodotta.
Il Filtro: Ignora le parole che puntano allo sfondo o all'intera stanza. Cerca la parola specifica dove l'attenzione interna dell'IA è più concentrata sull'oggetto.
- Esempio: Quando l'IA dice "materasso", la sua attenzione è strettamente focalizzata sulla superficie del letto. Quando dice "letto", l'attenzione potrebbe essere dispersa. TokAG sceglie il "momento del materasso".
Il Risultato: Prende quel "momento di concentrazione" specifico e lo trasforma in una mappa di calore chiara, mostrando esattamente dove sedersi.

Perché è Migliore

Nessun Addestramento Richiesto: A differenza dei metodi precedenti che avevano bisogno di essere "addestrati" su milioni di foto etichettate (come uno studente che impara a memoria un libro di testo), TokAG lavora in modalità zero-shot. Utilizza semplicemente la conoscenza che l'IA già possiede, come una persona intelligente che capisce una nuova situazione senza bisogno di un manuale.
Precisione: Può distinguere tra "sedersi su" una motocicletta (il sedile) e "spingere" una motocicletta (il manubrio), anche se l'oggetto è lo stesso.
Prestazioni: Il documento dimostra che TokAG è significativamente migliore dei metodi precedenti. Nei test standard, ha migliorato l'accuratezza di circa il 10% - 30% rispetto alle migliori tecniche esistenti, nonostante non abbia utilizzato alcun dato di addestramento.

Il Problema (Limitazioni)

Il documento nota che questo metodo si basa sul fatto che l'IA generi una singola "parola chiave" che punta al punto giusto.

Azioni Complesse: Se un'azione richiede due mani o due parti diverse contemporaneamente (come "aprire un barattolo", che richiede una mano sul coperchio e una mano sul barattolo), l'attuale metodo potrebbe faticare perché cerca un unico "miglior" termine a cui puntare.
Distrazioni: Se un oggetto ha un logo luminoso o del testo sopra, l'IA potrebbe distrarsi e puntare al logo invece che alla parte funzionale.

Riassunto

TokAG è un trucco intelligente che trasforma un'IA di tipo "chatbot" in un preciso "puntatore". Invece di chiedere all'IA di disegnare un riquadro o fornire coordinate, le si chiede di descrivere l'azione, poi si ascolta quale parola fa sì che l'IA guardi con più intensità la parte giusta dell'oggetto. Trasforma il "processo di pensiero" interno dell'IA in una mappa precisa da seguire per robot e computer.

Sintesi Tecnica: Token-Based Affordance Grounding con Grandi Modelli Vision-Language (TokAG)

Problematica
L'affordance grounding mira a localizzare regioni specifiche dell'immagine che supportano potenziali azioni umane, una capacità essenziale per l'intelligenza fisica e la percezione incarnata. Sebbene i recenti progressi nell'apprendimento debolmente supervisionato abbiano utilizzato immagini exocentriche con supervisione a livello di azione, questi metodi affrontano due limitazioni primarie:

Ambiguità Visiva nelle Azioni Co-occorrenti: Le immagini exocentriche contengono spesso più azioni simultanee (ad esempio, "tenere" e "spazzolare con" uno spazzolino da denti). I metodi esistenti faticano a isolare le prove visive specifiche per l'azione, portando a mappe di calore identiche o mal localizzate per diverse azioni sulla stessa immagine.
Insufficienza Semantica: Gli approcci attuali si affidano a brevi frasi d'azione (ad esempio, "spingere") che mancano del ricco dettaglio semantico necessario per distinguere azioni semanticamente simili (ad esempio, "spingere" vs "sedersi su" una motocicletta) che richiedono l'ancoraggio a parti funzionali distinte (manubrio vs sella).

Sebbene i Grandi Modelli Vision-Language (LVLM) codifichino una ricca semantica d'azione e i loro output testuali contengano implicitamente segnali spaziali, essi sono ottimizzati per la generazione di testo piuttosto che per la localizzazione spaziale fine. Di conseguenza, gli LVLM non producono direttamente mappe spaziali specifiche per l'azione, e i loro meccanismi di attenzione interna mostrano spesso pattern diffusi che si concentrano su regioni di sfondo irrilevanti invece che sulle aree funzionali target.

Metodologia: TokAG
Gli autori propongono TokAG, un framework di affordance grounding zero-shot che sfrutta i segnali semantico-spaziali latenti all'interno di LVLM pre-addestrati senza supervisione esterna o addestramento specifico per il compito. La pipeline opera come segue:

Input e Generazione: Data un'immagine egocentrica e un prompt testuale (ad esempio, "Quando le persone eseguono [Azione] con [Oggetto], quale parte dell'[Oggetto] viene utilizzata?"), un LVLM congelato (ad esempio, Qwen3-VL) genera una sequenza di token di output.
Aggregazione dell'Attenzione: Il framework estrae le mappe di attenzione cross-modale tra i token di output generati e i patch visivi. Riconoscendo che le indizi di affordance sono distribuiti attraverso diversi livelli architettonici e teste di attenzione, il metodo aggrega i pesi di attenzione attraverso tutti i livelli e le teste per ogni token di output per catturare segnali semantico-spaziali distribuiti.
Selezione dei Token Sensibile allo Spazio: Per affrontare l'attenzione diffusa e il rumore di fondo, il metodo introduce un vincolo spaziale. Utilizzando una maschera binaria dell'oggetto (generata da CLIPSeg) per l'oggetto target, il sistema calcola un "punteggio di sovrapposenza" per ogni mappa di attenzione aggregata, misurando i valori di attivazione strettamente all'interno della regione dell'oggetto.
Selezione del Token e Generazione della Mappa di Calore: Il framework seleziona il singolo token di output ( $t^*$ ) che produce il punteggio di attivazione più alto sull'area dell'oggetto target. La mappa di attenzione corrispondente a questo token selezionato viene sovracampionata alle dimensioni dell'immagine originale per produrre l'heatmap finale di affordance.

Contributi Chiave

Framework Zero-Shot: TokAG è il primo framework di affordance grounding zero-shot che elimina la necessità di supervisione specifica per l'affordance sfruttando i segnali a livello di token negli LVLM.
Selezione dei Token Sensibile allo Spazio: Gli autori propongono un meccanismo che valuta sistematicamente i token di output in base alla loro attivazione focalizzata sull'oggetto, piuttosto che fare affidamento su mappe di attenzione arbitrarie o pruning strutturale. Ciò trasforma i segnali semantici impliciti in mappe spaziali precise.
Interpretabilità e Analisi: Il documento fornisce un'analisi empirica che mostra come i token selezionati corrispondano spesso a parti funzionali significative dell'oggetto (ad esempio, "lama", "sella", "manubrio"). Inoltre, l'analisi indica che backbone LVLM più forti (ad esempio, 32B vs 2B) selezionano token semanticamente più rilevanti, correlando con migliori prestazioni di grounding.

Risultati Sperimentali
TokAG è stato valutato su due dataset di benchmark: AGD20K e HICO-IIF. Il metodo è stato confrontato con approcci debolmente supervisionati allo stato dell'arte e baseline basate su modelli di fondazione.

Prestazioni su AGD20K: Sull'unseen split (Set 2), TokAG (utilizzando un modello 2B) ha ottenuto un NSS di 1.514, un miglioramento del 10.7% rispetto al precedente miglior metodo debolmente supervisionato (Moon et al., 1.368). Ha inoltre ottenuto il KLD più basso (1.060) e il SIM più alto (0.455).
Prestazioni su HICO-IIF: TokAG ha ottenuto un NSS di 1.655 (con il modello 32B), rappresentando un incremento del 29.7% rispetto alle esistenti baseline debolmente supervisionate (1.234).
Confronto con i Modelli di Fondazione: Il prompting diretto degli LVLM per le coordinate o la combinazione di LVLM con modelli di segmentazione (ad esempio, SAM 3, GroundingDINO) ha prodotto prestazioni significativamente inferiori. L'approccio di TokAG di estrarre segnali spaziali direttamente dalle mappe di attenzione si è dimostrato superiore alla predizione di coordinate ingenua o alle pipeline multi-stadio.
Studi di Ablazione: Gli esperimenti hanno confermato che l'aggregazione dell'attenzione attraverso tutti i livelli e le teste supera la selezione di livelli o teste specifici. Inoltre, la strategia di selezione del Top-1 token sensibile allo spazio ha superato euristiche come l'uso del primo/ultimo token o la media di tutti i token.

Significatività e Rivendicazioni
Il documento afferma che TokAG stabilisce un nuovo stato dell'arte per l'affordance grounding zero-shot. La sua principale significatività risiede nel dimostrare che gli LVLM, nonostante siano modelli di generazione di testo, contengono una sufficiente conoscenza spaziale implicita per eseguire una precisa localizzazione dell'azione quando accessi tramite analisi dell'attenzione a livello di token.

Gli autori osservano che, sebbene il framework sia altamente efficace, attualmente assume che le affordance possano essere rappresentate da un singolo token semantico. Riconoscono le limitazioni nel gestire affordance compositive (che richiedono più regioni, ad esempio, "versare da") e interazioni bimanuali. Tuttavia, il lavoro fornisce un approccio fondamentale, privo di addestramento, che fa progredire significativamente il campo colmando il divario tra la comprensione semantica di alto livello e la localizzazione spaziale di basso livello senza richiedere costose annotazioni a livello di pixel.