Zero-shot 2D Grounding with Novel Affordance Types

Immagina di insegnare a un robot come interagire con il mondo. Puoi dire al robot che aspetto ha un "coltello", ed esso può trovarne uno in una foto. Ma sapere cos'è un coltello non è la stessa cosa di sapere cosa se ne può fare. Questa è la differenza tra il riconoscimento degli oggetti e l' "affordance". L'affordance è una parola sofisticata per indicare gli indizi nascosti che un oggetto ci dà su come usarlo. Il manico di una tazza "offre" la possibilità di afferrare; il lato piatto di un coltello "offre" la possibilità di tagliare; la buccia di un'arancia "offre" la possibilità di sbucciare. Perché i robot siano davvero utili nelle nostre cucine e nei nostri soggiorni disordinati e reali, devono comprendere queste azioni, non solo gli oggetti.

La grande sfida è stata che la maggior parte dei cervelli robotici è stata addestrata come studenti che studiano solo per un test specifico. Se un robot impara come "tagliare" una mela, potrebbe confondersi quando gli viene chiesto di "tagliare" un pomodoro, o potrebbe non sapere come "sbucciare" una banana se non ha mai visto quella specifica azione prima d'ora. È come uno studente che memorizza le risposte di un foglio di esercizi di matematica ma si blocca quando l'insegnante pone una domanda simile con numeri diversi. Gli scienziati hanno cercato di costruire robot che possano gestire queste nuove istruzioni inesplorate, ma finora l'attenzione si è concentrata principalmente sull'insegnare loro nuovi oggetti, non nuove azioni.

Questo articolo introduce un nuovo modo per insegnare ai robot a gestire le "nuove tipologie di affordance" — ovvero, nuovi modi di usare le cose che non sono mai stati esplicitamente istruiti a fare. I ricercatori, Haomeng Zhang e Raymond A. Yeh della Purdue University, hanno notato che i modelli di IA esistenti sono bravissimi a trovare nuovi oggetti ma pessimi nel capire nuove azioni. Hanno creato un nuovo set di sfide (chiamati benchmark) per testare questa specifica abilità. Hanno scoperto che gli attuali modelli all'avanguardia, che sono molto intelligenti nel riconoscere gli oggetti, falliscono completamente quando viene chiesto loro di trovare il punto giusto per "sbucciare" o "sedersi su" qualcosa se quelle specifiche azioni non erano presenti nei loro dati di addestramento.

Per risolvere questo problema, il team ha costruito un nuovo sistema chiamato AffordAnything. Pensatelo come un detective che non si limita a guardare l'intera immagine, ma si sofferma sui piccoli indizi. Il sistema si rende conto che il punto in cui si interagisce con un oggetto è solitamente una parte specifica di esso (come il manico di una tazza o il bordo di un libro). Inveve di cercare di memorizzare ogni possibile azione, questo sistema utilizza un potente modello di IA pre-addestrato (un Modello Linguistico Visivo) per scomporre l'oggetto in piccole porzioni (patch) e capire quale porzione corrisponda alla parola dell'azione. Per esempio, se chiedete di "tagliare", cerca il bordo affilato; se chiedete di "tenere", cerca il manico.

I ricercatori hanno testato due versioni. La prima, AffordAnything, è una versione "senza addestramento" (training-free), il che significa che funziona subito dopo l'installazione senza bisogno di essere ri-istruita. Ha già ottenuto prestazioni significativamente migliori rispetto ai metodi esistenti. La seconda versione, AffordAnything+, è un aggiornamento "addestrabile" che impara a combinare meglio questi indizi con un briciolo di pratica. Sui loro nuovi set di test, questo modello aggiornato ha migliorato l'accuratezza nel trovare il punto giusto del 12,3% (misurato come aumento assoluto di IoU@0.4) rispetto al miglior metodo precedente.

L'articolo sostiene esplicitamente che l'idea che basti usare modelli di IA più grandi e intelligenti o semplicemente riconoscere gli oggetti non sia sufficiente. Hanno dimostrato che anche i modelli più avanzati falliscono quando l'azione è nuova. Hanno anche dimostrato che, sebbene questi modelli possano riconoscere un "coltello", non sanno automaticamente come "sbucciarlo" a meno che non siano progettati specificamente per cercare la relazione tra l'azione e la forma dell'oggetto. I risultati suggeriscono che, per rendere i robot davvero adattabili, dobbiamo smettere di insegnare loro una lista fissa di azioni e iniziare a insegnare loro come ragionare sulle parti di un oggetto che rendono possibile un'azione. Gli autori sperano che questo nuovo modo di testare e costruire questi sistemi aiuti i robot a diventare più flessibili e pronti per il mondo reale, dove le istruzioni sono sempre in continuo mutamento.