SceneFunRI: Reasoning the Invisible for Task-Driven Functional Object Localization
Dit artikel introduceert SceneFunRI, een nieuwe benchmark bestaande uit 855 voorbeelden die de vaardigheid van vision-language modellen evalueert om te redeneren over de locaties van onzichtbare, verduisterde functionele objecten aan de hand van taakinstructies en gezond verstand, en onthult dat huidige state-of-the-art-modellen hierin aanzienlijk tekortschieten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een kamer binnenloopt en iemand vraagt: "Waar staat het nachtkastje naast het bed?" Je kijkt om je heen, maar het nachtkastje is volledig verstopt achter een grote kledingkast. Je kunt het helemaal niet zien. Echter, je weet uit gezond verstand dat nachtkastjes meestal naast bedden staan, en je kunt het bed zien. Dus vul je mentaal het gat in en wijs je naar de plek achter de kledingkast waar het nachtkastje moet staan.
Dit artikel, SceneFunRI, gaat over het leren van computers om precies die mentale truc uit te voeren.
Het Probleem: De "Onzichtbare" Uitdaging
Huidige AI-modellen (specifiek Vision-Language Models, of VLM's) zijn als detectives die alleen vertrouwen op wat ze met hun eigen ogen kunnen zien. Als een aanwijzing verstopt zit achter een muur, geven ze vaak op of raden ze willekeurig. Ze hebben moeite om "gezond verstand" te gebruiken om te achterhalen waar dingen zijn wanneer die dingen volledig onzichtbaar zijn.
De onderzoekers hebben een nieuwe test ontwikkeld genaamd SceneFunRI (Redeneren over het Onzichtbare).
- De Opzet: Ze namen 855 realistische scènes waar een specifiek object (zoals een lamp of een lade) volledig uit het zicht is.
- De Taak: De AI krijgt een foto van de kamer en een opdracht zoals: "Open de lade van het nachtkastje rechts van het bed."
- Het Doel: De AI moet de locatie van het onzichtbare nachtkastje aanduiden zonder het ooit te hebben gezien, uitsluitend gebruikmakend van het zichtbare bed en zijn kennis van hoe kamers doorgaans zijn ingericht.
De Resultaten: AI is Nog Steeds een Novice Detective
De onderzoekers testten vele verschillende AI-modellen op deze taak. De resultaten waren nederigend:
- De Beste AI: Zelfs het slimste model (Gemini 3 Flash) kreeg de locatie slechts ongeveer 15% van de tijd "voldoende dichtbij" goed.
- De Menselijke Basislijn: Mensen, ter vergelijking, hadden het ongeveer 66% van de tijd goed.
- Het Verschil: Dit toont aan dat AI, hoewel het uitstekend is in het opmerken van wat er voor het staat, vreselijk is in het voorstellen van wat er achter obstakels zit.
Hoe Ze Probeerden de AI Te Helpen (De "Prompting"-Experimenten)
De onderzoekers probeerden drie verschillende manieren om de AI te "coach" om het beter te doen, vergelijkbaar met hoe een leraar een student zou helpen:
- Sterke Instructies: De AI vertellen: "Negeer wat je ziet; focus op wat er zou moeten zijn."
- Resultaat: Dit hielp een beetje. Het was als een student vertellen: "Kijk niet alleen naar de foto; denk na over het verhaal."
- Gezond Verstand Hints: De AI specifieke feiten geven, zoals "Stopcontacten zitten meestal in hoeken."
- Resultaat: Dit hielp niet veel. Het was als de student een feitenblad geven, maar hen niet leren hoe ze dat moeten toepassen op de specifieke kamer. De AI kende het feit, maar kon het niet vertalen naar een locatie op de kaart.
- De "Uitsluitingsmethode" (SPoE): Dit was de meest creatieve aanpak. In plaats van de AI direct te vragen om de exacte plek te raden, leerden ze het een spelletje "Warm en Koud" te spelen.
- Hoe het werkt: De AI ziet de hele kamer. Vervolgens wordt er gevraagd: "Is het object in de linkerhelft of de rechterhelft?" Het verwijdert de helft waar het object niet kan zijn. Vervolgens splitst het de resterende helft opnieuw.
- Resultaat: Dit werkte verrassend goed. Door langzaam onmogelijke gebieden uit te sluiten, kwam de AI veel dichter bij de juiste plek. Het is als een verloren sleutel vinden door elke kamer één voor één te controleren, in plaats van direct de juiste lade te raden.
De Grote Conclusie
Het artikel concludeert dat huidige AI-modellen "blind" zijn voor de onzichtbare wereld. Ze zijn goed in het beschrijven van wat ze zien, maar ze hebben niet geleerd hoe ze een mentale kaart moeten bouwen van wat ze niet zien.
De onderzoekers ontdekten dat AI eigenlijk beter is in het uitsluiten van slechte gokken (zoals kamers doorstrepen op een kaart) dan in het raden van de juiste plek direct. Om AI echt slim te maken in de echte wereld, moeten we het leren om comfortabel te zijn met onzekerheid en logica te gebruiken om gaten in te vullen wanneer het visuele bewijs ontbreekt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.