SceneFunRI: Reasoning the Invisible for Task-Driven Functional Object Localization
Ce document présente SceneFunRI, une nouvelle référence comportant 855 instances qui évalue la capacité des modèles vision-langage à raisonner sur les emplacements d'objets fonctionnels invisibles et occlus en utilisant des instructions de tâche et des connaissances de bon sens, révélant que les modèles actuels les plus avancés éprouvent des difficultés significatives avec cette capacité.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous entriez dans une pièce et que quelqu'un vous demande : « Où se trouve la table de chevet à côté du lit ? » Vous regardez autour de vous, mais la table de chevet est complètement cachée derrière une grande armoire. Vous ne pouvez pas la voir du tout. Cependant, vous savez, par bon sens, que les tables de chevet se trouvent généralement à côté des lits, et vous voyez le lit. Alors, vous « comblez mentalement le vide » et vous indiquez l'endroit derrière l'armoire où la table de chevet doit se trouver.
Ce papier, SceneFunRI, porte sur l'enseignement aux ordinateurs de faire exactement ce tour de force mental.
Le problème : le défi de l'« invisible »
Les modèles d'IA actuels (spécifiquement les modèles vision-langage, ou VLM) sont comme des détectives qui ne font confiance qu'à ce qu'ils peuvent voir de leurs propres yeux. Si un indice est caché derrière un mur, ils abandonnent souvent ou devinent au hasard. Ils peinent à utiliser le « bon sens » pour déterminer où se trouvent les objets lorsque ceux-ci sont complètement invisibles.
Les chercheurs ont créé un nouveau test appelé SceneFunRI (Reasoning the Invisible).
- Le dispositif : Ils ont pris 855 scènes du monde réel où un objet spécifique (comme une lampe ou un tiroir) est totalement caché à la vue.
- La tâche : L'IA reçoit une photo de la pièce et un ordre comme « Ouvrez le tiroir de la table de chevet à droite du lit ».
- L'objectif : L'IA doit indiquer l'emplacement de la table de chevet invisible sans jamais la voir, en utilisant uniquement le lit visible et sa connaissance de la façon dont les pièces sont généralement agencées.
Les résultats : l'IA est encore un détective novice
Les chercheurs ont testé de nombreux modèles d'IA différents sur cette tâche. Les résultats ont été humbles :
- La meilleure IA : Même le modèle le plus intelligent (Gemini 3 Flash) n'a trouvé l'emplacement « assez proche » que dans environ 15 % des cas.
- La référence humaine : Les humains, par comparaison, ont eu raison dans environ 66 % des cas.
- L'écart : Cela montre que si l'IA est excellente pour repérer ce qui est devant elle, elle est terrible pour imaginer ce qui se trouve derrière les obstacles.
Comment ils ont essayé d'aider l'IA (les expériences de « prompting »)
Les chercheurs ont essayé trois manières différentes de « coacher » l'IA pour qu'elle s'améliore, de la même manière qu'un enseignant pourrait aider un élève :
- Des instructions fortes : Dire à l'IA : « Ignorez ce que vous voyez ; concentrez-vous sur ce qui devrait être là. »
- Résultat : Cela a aidé un peu. C'était comme dire à un élève : « Ne regardez pas seulement l'image ; réfléchissez à l'histoire. »
- Des indices de bon sens : Donner à l'IA des faits spécifiques, comme « Les prises électriques se trouvent généralement dans les coins ».
- Résultat : Cela n'a pas beaucoup aidé. C'était comme donner à l'élève une fiche de faits sans lui apprendre à l'appliquer à la pièce spécifique. L'IA connaissait le fait mais ne pouvait pas le traduire en un emplacement sur la carte.
- La « méthode d'élimination » (SPoE) : C'était l'approche la plus créative. Au lieu de demander à l'IA de deviner l'endroit exact immédiatement, ils lui ont appris à jouer à un jeu de « chaud et froid ».
- Fonctionnement : L'IA voit toute la pièce. Ensuite, on lui demande : « L'objet est-il dans la moitié gauche ou la moitié droite ? » Elle élimine la moitié où l'objet ne peut pas se trouver. Ensuite, elle divise à nouveau la moitié restante.
- Résultat : Cela a fonctionné de manière surprenante. En éliminant lentement les zones impossibles, l'IA s'est rapprochée beaucoup plus de l'endroit correct. C'est comme trouver une clé perdue en vérifiant chaque pièce une par une, plutôt que de deviner immédiatement le tiroir exact.
La grande conclusion
Le papier conclut que les modèles d'IA actuels sont « aveugles » au monde invisible. Ils sont bons pour décrire ce qu'ils voient, mais ils n'ont pas appris à construire une carte mentale de ce qu'ils ne voient pas.
Les chercheurs ont constaté que l'IA est en réalité meilleure pour éliminer les mauvaises hypothèses (comme rayer des pièces sur une carte) que pour deviner directement le bon endroit. Pour rendre l'IA véritablement intelligente dans le monde réel, nous devons lui apprendre à être à l'aise avec l'incertitude et à utiliser la logique pour combler les lacunes lorsque les preuves visuelles manquent.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.