Can Vision-Language Models Assess Proxemic Risk from Egocentric Robot Images?

Imaginez que vous enseigniez à un robot comment marcher dans un café bondé. Vous ne voulez pas seulement qu'il voie une table ; vous voulez qu'il ressente l'espace autour de lui. C'est le monde de la proxémie, un mot savant pour désigner l'étude de l'espace personnel dont les humains ont besoin pour se sentir à l'aise. Voyez cela comme des bulles invisibles : une bulle serrée pour un meilleur ami, une bulne moyenne pour un collègue, et une bulle large pour un étranger. Si un robot éclate votre bulle sans demander la permission, c'est impoli et potentiellement dangereux.

Maintenant, imaginez donner à ce robot une caméra sur sa tête (une vue « égocentrée ») afin qu'il voie le monde exactement comme nous le voyons. La grande question que les scientifiques se posent est la suivante : pouvons-nous apprendre à un robot à regarder une photo et à savoir instantanément : « Oh non, je suis trop près de cette personne ! » ou « Ouf, j'ai de la place » ? C'est ici que les Modèles Vision-Langage (VLM) entrent en jeu. Ce sont des programmes d'IA super intelligents capables de regarder une image et d'en parler, un peu comme un robot qui pourrait lire un livre d'images et vous raconter l'histoire. Les chercheurs sont enthousiasmés car si ces IA peuvent comprendre l'espace personnel simplement en regardant, nous n'aurons peut-être plus besoin de capteurs lourds et coûteux sur chaque robot. Nous pourrions simplement leur donner une caméra et un cerveau.

Mais voici le rebondissement : ce n'est pas parce qu'une IA peut décrire une image qu'elle comprend réellement où se trouvent les choses dans l'espace 3D. Ce document met à l'épreuve trois « cerveaux » d'IA différents pour voir s'ils peuvent agir comme une garde de sécurité pour les robots.

L'expérience : L'IA peut-elle repérer le danger ?

Les chercheurs ont construit un ensemble d'entraînement spécial utilisant 1 243 photos prises du point de vue d'un robot dans des environnements réels. Ils ont étiqueté chaque photo avec un « niveau de danger » basé sur la proximité des personnes par rapport au robot :

• Danger élevé : Quelqu'un est juste devant le visage du robot (collision imminente !).
• Danger modéré : Quelqu'un est proche, et le robot doit se déplacer avec prudence.
• Danger faible : Quelqu'un est à proximité, mais le robot doit simplement garder un œil sur lui.
• Danger minimum : Le champ est libre.

Ils ont testé trois modèles d'IA open-source différents : InternVL, SmolVLM et Qwen-VL. Ils ont essayé d'enseigner à ces modèles de deux manières : d'abord, en leur posant des questions sous différents styles (comme donner une commande simple par rapport à un puzzle de raisonnement complexe étape par étape), et deuxièmement, en leur donnant un tout petit peu d'entraînement supplémentaire (appelé « fine-tuning ») sur 200 images spécifiques.

Les résultats : Un héros, deux perdants

Les conclusions étaient un mélange de « pas mal » et de « pas assez bon ».

1. Le problème du « choix au hasard »
Sans entraînement spécial, les trois modèles ont performé presque exactement comme un étudiant répondant au hasard à un questionnaire à choix multiples. Leur précision globale était à peine meilleure que de lancer une pièce de monnaie. Même après l'entraînement supplémentaire, la capacité générale à classer correctement les quatre niveaux de danger n'a pas beaucoup progressé. C'est comme si les modèles étaient doués pour décrire le café, mais terribles pour savoir quand s'arrêter de marcher.

2. L'exception Qwen
Cependant, il y avait un héros exceptionnel : Qwen-VL. Alors que les deux autres modèles (InternVL et SmolVLM) ont pratiquement échoué à détecter les situations les plus dangereuses (manquant presque toutes d'entre elles), Qwen-VL a réellement réussi à mieux repérer les scénarios de « Danger élevé ».

• Crucialement, cette amélioration provenait d'une combinaison spécifique de la manière de poser la question et de la manière d'entraîner le modèle. Les meilleurs résultats ont été obtenus en utilisant un prompt très spécifique et complexe demandant à l'IA de « réfléchir étape par étape » conjugué à un premier tour de fine-tuning. Avec cette configuration, Qwen-VL a réussi à détecter environ 79 % des situations de haut danger.
• Les autres modèles, même avec les mêmes prompts complexes et le même entraînement, ont toujours manqué presque tout.
• Curieusement, donner à Qwen-VL un entraînement additionnel (un second tour de fine-tuning) n'a pas beaucoup plus aidé ; le plus grand gain provenait de ce couplage spécifique entre le prompt de « réflexion avancée » et le premier tour de fine-tuning.

3. La surprise du « point aveugle »
Voici la partie la plus intéressante. Les chercheurs ont vérifié si l'IA regardait réellement la personne pour décider si elle représentait un danger. Ils ont demandé à l'IA de dessiner un cadre autour de la personne qui l'inquiétait.

• Le choc : Même lorsque Qwen-VL criait correctement « DANGER ! », il ne dessinait souvent pas le cadre autour de la bonne personne. Parfois, il pointait le sol, parfois un mur, et parfois la bonne personne.
• La conclusion : Le document suggère que le modèle pourrait deviner le niveau de danger basé sur un « sentiment » ou un motif dans l'image entière, plutôt que de comprendre réellement la distance spécifique par rapport à la personne. C'est comme un étudiant qui obtient la bonne réponse à un test de mathématiques, mais qui est incapable de montrer son travail ou de pointer les chiffres qu'il a utilisés.

Ce que cela signifie pour la sécurité des robots

Le document conclut que, bien que ces modèles d'IA deviennent plus intelligents, ils ne sont pas encore prêts à être l'unique garde de sécurité pour un robot marchant dans une foule.

• On ne peut pas encore leur faire confiance : Si vous comptez sur eux, vous pourriez manquer une collision parce que le modèle pense que c'est sûr alors que ça ne l'est pas, ou il pourrait paniquer quand tout va bien.
• Le prompting et l'entraînement spécifique comptent : Donner un peu d'entraînement supplémentaire a aidé Qwen-VL seulement légèrement de manière isolée, mais cela n'a pas réglé le problème des autres modèles. Les gains les plus importants sont survenus en demandant au modèle de raisonner soigneusement combiné à une configuration de fine-tuning spécifique.
• Le danger « aveugle » : La grande leçon est que obtenir le bon label (Danger élevé) ne signifie pas que le robot sait pourquoi c'est dangereux. Il peut avoir raison pour les mauvaises raisons.

En résumé, ces modèles Vision-Langage sont comme des touristes très bavards qui peuvent décrire une scène magnifiquement, mais qui se perdent souvent lorsqu'on leur demande de naviguer dedans. Ils sont prometteurs, surtout le modèle Qwen lorsqu'on lui demande de réfléchir attentivement et qu'il est entraîné de la bonne façon, mais ils ont encore besoin de beaucoup plus de pratique avant que nous puissions les laisser conduire un robot dans une rue animée sans qu'un humain ne surveille leurs arrières.