Can Vision-Language Models Assess Proxemic Risk from Egocentric Robot Images?

Immagina di insegnare a un robot come camminare attraverso una caffetteria affollata. Non vuoi solo che veda un tavolo; vuoi che possa sentire lo spazio intorno a sé. Questo è il mondo della prossemica, una parola altisonante per indicare lo studio di quanto spazio personale gli esseri umani abbiano bisogno per sentirsi a proprio agio. Pensatelo come a delle bolle invisibili: una bolla stretta per un migliore amico, una media per un collega e una ampia per uno sconosciuto. Se un robot entra nella tua bolla stretta senza chiedere, è maleducato e potenzialmente pericoloso.

Ora, immagina di dare a questo robot una telecamera sulla testa (una vista "egocentrica") in modo che veda il mondo esattamente come lo vediamo noi. La grande domanda che gli scienziati si pongono è: possiamo insegnare a un robot a guardare un'immagine e capire istantaneamente: "Oh no, sono troppo vicino a quella persona!" o "Phew, ho un sacco di spazio"? È qui che entrano in gioco i Modelli Visione-Linguaggio (VLM). Questi sono programmi di IA super intelligenti che possono guardare un'immagine e parlarne, un po' come un robot che può leggere un libro illustrato e raccontarti la storia. I ricercatori sono entusiasti perché, se queste IA possono comprendere lo spazio personale solo guardando, potremmo non aver bisogno di sensori costosi e pesanti su ogni robot. Potremmo semplicemente dare loro una telecamera e un cervello.

Ma ecco il colpo di scena: il fatto che un'IA sappia descrivere un'immagine non significa che comprenda davvero dove si trovino le cose nello spazio 3D. Questo articolo mette alla prova tre diversi "cervelli" artificiali per vedere se possono agire come un guardiano della sicurezza per i robot.

L'Esperimento: L'IA può individuare il pericolo?

I ricercatori hanno costruito un set di addestramento speciale utilizzando 1.243 foto scattate dal punto di vista di un robot in ambienti reali. Hanno etichettato ogni foto con un "livello di pericolo" basato su quanto le persone fossero vicine al robot:

• Pericolo Alto: Qualcuno è proprio davanti alla faccia del robot (collisione imminente!).
• Pericolo Moderato: Qualcuno è vicino e il robot deve muoversi con cautela.
• Pericolo Basso: Qualcuno è nelle vicinanze, ma il robot deve solo tenerlo d'occhio.
• Pericolo Minimo: Il campo è libero.

Hanno testato tre diversi modelli di IA open-source: InternVL, SmolVLM e Qwen-VL. Hanno cercato di insegnare a questi modelli in due modi: prima chiedendo loro domande in stili diversi (come dare un comando semplice rispetto a un puzzle di ragionamento complesso e passo dopo passo), e secondo, dando loro un piccolo addestramento extra (chiamato "fine-tuning") su 200 immagini specifiche.

I Risultati: Un Eroe, Due Insuccessi

Le scoperte sono state un misto di "non male" e "non abbastanza buono".

1. Il problema del "Tentativo a Caso"
Senza alcun addestramento speciale, tutti e tre i modelli si sono comportati quasi esattamente come uno studente che risponde a caso a un test a scelta multipla. La loro precisione complessiva era appena superiore al lancio di una moneta. Anche dopo l'addestramento extra, la capacità generale di classificare correttamente tutti e quattro i livelli di pericolo non è migliorata molto. È come se i modelli fossero bravi a descrivere la caffetteria ma terribili nel sapere quando fermarsi.

2. L'Eccezione Qwen
Tuttovieta, c'è un eroe che spicca: Qwen-VL. Mentre gli altri due modelli (InternVL e SmolVLM) sono praticamente falliti nell'individuare le situazioni più pericolose (mancando quasi tutte), Qwen-VL è diventato effettivamente più bravo a individuare gli scenari di "Pericolo Alto".

• Fondamentalmente, questo miglioramento è derivato da una specifica combinazione di come venivano poste le domande e di come veniva addestrato il modello. I risultati migliori sono stati ottenuti utilizzando un prompt molto specifico e complesso che chiedeva all'IA di "pensare passo dopo passo" insieme a un primo round di fine-tuning. Con questa configurazione, Qwen-VL è riuscito a catturare circa il 79% delle situazioni ad alto pericolo.
• Gli altri modelli, anche con gli stessi prompt complessi e lo stesso addestramento, continuavano a mancare quasi tutto.
• Interessante è che dare a Qwen-VL un addestramento aggiuntivo (un secondo round di fine-tuning) non ha aiutato molto di più; la spinta maggiore è arrivata da quel particolare accoppiamento tra il prompt di "ragionamento avanzato" e il primo round di fine-tuning.

3. La Sorpresa del "Punto Cieco"
Ecco la parte più interessante. I ricercatori hanno controllato se l'IA stesse effettivamente guardando la persona per decidere se fosse pericoloso. Hanno chiesto all'IA di disegnare un riquadro attorno alla persona di cui si preoccupava.

• Lo Shock: Anche quando Qwen-VL gridava correttamente "PERICOLO!", spesso non disegnava il riquadro attorno alla persona giusta. A volte indicava il pavimento, a volte un muro e a volte la persona corretta.
• La Conclusione: L'articolo suggerisce che il modello potrebbe indovinare il livello di pericolo basandosi su una "sensazione" o un pattern nell'intera immagine, piuttosto che comprendere effettivamente la distanza specifica dalla persona. È come uno studente che ottiene la risposta corretta in un test di matematica ma non sa mostrare i passaggi o indicare i numeri che ha usato.

Cosa significa per la sicurezza dei robot

L'articolo conclude che, sebbene questi modelli di IA stiano diventando più intelligenti, non sono ancora pronti per essere l'unico guardiano della sicurezza per un robot che cammina in mezzo alla folla.

• Non ci si può ancora fidare: Se ci si affida a loro, si potrebbe mancare una collisione perché il modello pensa che sia sicuro quando non lo è, o potrebbe andare in panico quando invece lo è.
• Il prompting e l'addestramento specifico contano: Dare ai modelli un po' di addestramento extra ha aiutato Qwen-VL solo leggermente da solo, ma non ha risolto i problemi degli altri modelli. I maggiori guadagni sono arrivati chiedendo al modello di ragionare con cura combinato con una specifica configurazione di fine-tuning.
• Il Pericolo "Cieco": La lezione principale è che ottenere l'etichetta corretta (Pericolo Alto) non significa che il robot sappia perché sia pericoloso. Potrebbe avere ragione per i motivi sbagliati.

In breve, questi Modelli Visione-Linguaggio sono come turisti molto chiacchieroni che sanno descrivere una scena magnificamente, ma spesso si perdono quando viene chiesto loro di navigarla. Mostrano promesse, specialmente il modello Qwen quando gli viene chiesto di pensare con attenzione e addestrato nel modo giusto, ma hanno ancora bisogno di molta più pratica prima che possiamo lasciarli guidare un robot attraverso una strada trafficata senza che un essere umano controlli le loro spalle.