💻 computer science

Can Vision-Language Models Assess Proxemic Risk from Egocentric Robot Images?

Deze studie evalueert open-source visie-taalmodellen voor het beoordelen van proxemische risico's vanuit egocentrische robotbeelden, waarbij wordt vastgesteld dat hoewel fijnmazig afstemmen slechts bescheiden algemene winst oplevert, geavanceerd prompting de detectie van hoog risico aanzienlijk verbetert in specifieke modellen zoals Qwen-VL, hoewel correcte veiligheidsclassificaties niet noodzakelijkerwijs correleren met nauwkeurige ruimtelijke gronding.

Oorspronkelijke auteurs: Vladyslava Rudas, Dmytro Kuzmenko

Gepubliceerd 2026-08-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Vladyslava Rudas, Dmytro Kuzmenko

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert lopen door een drukke koffiebar. Je wilt niet alleen dat de robot een tafel ziet; je wilt dat hij de ruimte om zich heen voelt. Dit is de wereld van proxemics, een chic woord voor de studie naar hoeveel persoonlijke ruimte mensen nodig hebben om zich comfortabel te voelen. Denk aan onzichtbare bubbels: een krappe bubbel voor een beste vriend, een middelgrote voor een collega en een brede voor een vreemde. Als een robot zonder te vragen in jouw krappe bubbel duikt, is dat onbeleefd en potentieel gevaarlijk.

Stel je nu voor dat je die robot een camera op zijn hoofd geeft (een "egocentrisch" perspectief), zodat hij de wereld precies ziet zoals wij die zien. De grote vraag waar wetenschappers zich mee bezighouden is: kunnen we een robot leren om naar een foto te kijken en direct te weten: "O nee, ik ben te dicht bij die persoon!" of "Poeh, ik heb genoeg ruimte"? Dit is waar Vision-Language Models (VLMs) om de hoek komen kijken. Dit zijn superintelligente AI-programma's die naar een afbeelding kunnen kijken en erover kunnen praten, een beetje zoals een robot die een prentenboek kan lezen en je het verhaal kan vertellen. Onderzoekers zijn enthousiast omdat als deze AI's persoonlijke ruimte kunnen begrijpen door alleen maar te kijken, we misschien geen dure, zware sensoren op elke robot nodig hebben. We kunnen ze dan gewoon een camera en een brein geven.

Maar hier komt de twist: alleen omdat een AI een foto kan beschrijven, betekent dat niet dat hij echt begrijpt waar dingen zich in de 3D-ruimte bevinden. Dit artikel onderzoekt drie verschillende AI-"hersenen" om te testen of ze als een veiligheidsbewaker voor robots kunnen fungeren.

Het Experiment: Kan AI Gevaar Opsporen?

De onderzoekers bouwden een speciale trainingsset met behulp van 1.243 foto's genomen vanuit het perspectief van een robot in echte omgevingen. Elke foto werd gelabeld met een "gevaarsniveau" op basis van hoe dicht mensen bij de robot stonden:

Hoog Gevaar: Iemand staat vlak voor het gezicht van de robot (botsing onvermijdelijk!).
Matig Gevaar: Iemand is dichtbij en de robot moet voorzichtig bewegen.
Laag Gevaar: Iemand is in de buurt, maar de robot hoeft alleen maar op diegene te letten.
Minimaal Gevaar: De weg is vrij.

Ze testten drie verschillende open-source AI-modellen: InternVL, SmolVLM en Qwen-VL. Ze probeerden deze modellen op twee manieren te onderwijzen: eerst door ze op verschillende manieren vragen te stellen (zoals een simpele opdracht versus een complexe, stapsgewijze redeneerpuzzel), en ten tweede door ze een heel klein beetje extra training te geven (genaamd "fine-tuning") op 200 specifieke afbeeldingen.

De Resultaten: Eén Held, Twee Strijders

De bevindingen waren een mix van "niet slecht" en "niet goed genoeg".

1. Het "Willekeurig Gokken"-probleem
Zonder speciale training presteerden alle drie de modellen bijna exact zoals een student die gokt bij een meerkeuzetoets. Hun algehele nauwkeurigheid was nauwelijks beter dan het gooien van een muntje. Zelfs na de extra training verbeterde het algemene vermogen om alle vier de gevaarsniveaus correct te sorteren niet veel. Het is alsof de modellen goed waren in het beschrijven van de koffiebar, maar verschrikkelijk in het weten wanneer ze moeten stoppen met lopen.

2. De Qwen-Uitzondering
Er was echter één uitstaande held: Qwen-VL. Terwijl de andere twee modellen (InternVL en SmolVLM) in feite faalden om de meest gevaarlijke situaties op te merken (ze misten bijna allemaal!), werd Qwen-VL daadwerkelijk beter in het herkennen van "Hoog Gevaar"-scenario's.

Cruciaal was dat deze verbetering voortkwam uit een specifieke combinatie van hoe de vraag werd gesteld en hoe het model werd getraind. De beste resultaten werden bereikt wanneer een zeer specifieke, complexe prompt werd gebruikt die de AI vroeg om "stap voor stap te denken", samen met een eerste ronde van fine-tuning. Met deze opstelling slaagde Qwen-VL erin om ongeveer 79% van de hooggevaarlijke situaties te onderscheiden.
De andere modellen, zelfs met dezelfde complexe prompts en training, misten nog steeds bijna alles.
Interessant genoeg hielp het geven van Qwen-VL extra training (een tweede ronde van fine-tuning) niet veel meer; de grootste boost kwam door die specifieke koppeling van de geavanceerde "denk"-prompt en de eerste ronde van fine-tuning.

3. De "Blinde Vlek"-Verrassing
Dit is het meest interessante deel. De onderzoekers controleerden of de AI daadwerkelijk naar de persoon keek om te beslissen of het gevaarlijk was. Ze vroegen de AI om een kader rond de persoon te tekenen waar de AI zich zorgen over maakte.

De Schok: Zelfs wanneer Qwen-VL correct "GEVAAR!" riep, tekende het vaak geen kader rond de juiste persoon. Soms wees het naar de vloer, soms naar een muur en soms naar de juiste persoon.
De Conclusie: Het artikel suggereert dat het model het gevaarsniveau misschien inschat op basis van een "gevoel" of een patroon in de hele afbeelding, in plaats van daadwerkelijk de specifieke afstand tot de persoon te begrijpen. Het is alsof een student het juiste antwoord op een wiskundetoets geeft, maar niet de berekening kan laten zien of naar de getallen kan wijzen die hij heeft gebruikt.

Wat Dit Betekent voor Robotsveiligheid

Het artikel concludeert dat hoewel deze AI-modellen slimmer worden, ze nog niet klaar zijn om als enige veiligheidsbewaker te dienen voor een robot die door een menigte loopt.

Ze kunnen nog niet vertrouwd worden: Als je op hen vertrouwt, mis je misschien een botsing omdat het model denkt dat het veilig is terwijl dat niet zo is, of het raakt in paniek terwijl het wel veilig is.
Prompting en specifieke training doen ertoe: Het geven van de modellen een beetje extra training hielp Qwen-VL slechts een klein beetje op zichzelf, maar het loste de problemen van de andere modellen niet op. De grootste winst kwam voort uit het vragen aan het model om zorgvuldig te redeneren, gecombineerd met een specifieke fine-tuning configuratie.
Het "Blinde" Gevaar: De belangrijkste les is dat het krijgen van het juiste label (Hoog Gevaar) niet betekent dat de robot begrijpt waarom het gevaarlijk is. Het kan het juiste antwoord geven, maar om de verkeerde redenen.

Kortom, deze Vision-Language Models zijn als zeer pratige toeristen die een scène prachtig kunnen beschrijven, maar vaak verdwalen wanneer ze gevraagd wordt er doorheen te navigeren. Ze tonen veelbelovende inzichten, vooral het Qwen-model wanneer het wordt gevraagd om zorgvuldig na te denken en op de juiste manier getraind is, maar ze hebben nog veel meer oefening nodig voordat we ze een robot door een drukke straat kunnen laten sturen zonder dat er een mens achter hun rug houdt.

Technische Samenvatting: Kunnen Vision-Language Modellen Proximische Risico's Beoordelen vanuit Egocentrische Robotbeelden?

Probleemstelling
Veilige belichaamde navigatie voor mobiele robots in menselijke omgevingen vereist de continue beoordeling van proximische risico's—het potentieel voor een robot om de persoonlijke ruimte te schenden of botsingen te veroorzaken. Terwijl bestaande veiligheidssystemen vaak vertrouwen op expliciete geometrische redenering of gespecialiseerde dieptesensoren, onderzoekt deze studie of universele Vision-Language Modellen (VLM's) deze systemen kunnen vervangen of aanvullen. De kernuitdaging is bepalen of VLM's, opererend uitsluitend op egocentrische (eerstepersoons) visuele data, accuraat proximische gevaarniveaus kunnen classificeren en de noodzakelijke ruimtelijke gronding kunnen bieden (identificeren waar het gevaar zich bevindt) om robotcontrolelussen te informeren.

Methodologie
De auteurs hebben een nieuwe dataset samengesteld van 1.243 egocentrische afbeeldingen afgeleid van de JRDB-dataset, gecategoriseerd in vier proximische gevaarniveaus op basis van de zones van Edward T. Hall: Hoog, Matig, Laag en Minimaal. De dataset weerspiegelt real-world klassenimbalans, waarbij scenario's met een hoog gevaar de minst frequente maar meest kritieke zijn.

De studie evalueerde drie open-weight VLM's die geschikt zijn voor lokale implementatie:

Qwen2.5-VL-3B-Instruct (3B parameters)
InternVL3.5-4B (4B parameters)
SmolVLM2-2.2B-Instruct (2.2B parameters)

Het evaluatiekader omvatte twee primaire experimentele variabelen:

Prompt Engineering: Drie verschillende strategieën werden getest: (i) Simpel (basis taakbeschrijving), (ii) Matig (toegevoegde beperkingen), en (iii) Geavanceerd (inclusief chain-of-thought redenering). Alle prompts vereisten JSON-outputs met een gevaarniveau, een schatting van de afstand en een bounding box voor ruimtelijke gronding.
Fine-Tuning: De modellen ondergingen twee ronden van parameter-efficiënte fine-tuning met behulp van QLoRA. Fase 1 paste alleen de aandachtsprojecties aan ( $q\_proj, v\_proj$ ), terwijl Fase 2 de aanpassing uitbreidde naar alle hoofdprojecties. Een trainingsset van 200 gebalanceerde afbeeldingen werd gebruikt, die afzonderlijk stond van de testset om datalekken te voorkomen.

Prestaties werden gemeten aan de hand van Accuracy, Weighted F1-score, High-Danger Recall (een kritieke veiligheidsmetriek) en Intersection over Union (IoU) om ruimtelijke gronding te evalueren.

Belangrijkste Resultaten

Algemene Prestaties: Zonder fine-tuning presteerden alle modellen nabij de gestratificeerde willekeurige baseline (Weighted F1 $\approx$ 0,25). Hoewel fine-tuning bescheiden algemene verbeteringen opleverde voor veel configuraties (Weighted F1-scores in de range van 0,21–0,24), bereikten de best presterende configuraties hogere scores. Specifiek behaalde het Qwen-model met een simpele prompt en een tweede ronde fine-tuning een Weighted F1 van 0,234, terwijl de configuratie die geoptimaliseerd was voor high-danger recall (Qwen met een geavanceerde prompt en één ronde fine-tuning) een Weighted F1 van 0,211 behaalde.
Detectie van Hoog Gevaar: Er ontstond een aanzienlijk verschil tussen de modellen. Qwen-VL vertoonde substantieel hogere recall voor gevallen met hoog gevaar vergeleken met InternVL en SmolVLM, die ongeacht de configuratie een recall van bijna nul bleven voor deze klasse. Opvallend genoeg behaalde de Qwen-configuratie met de Advanced prompt en één ronde fine-tuning een high-danger recall van 0,432.
Trade-offs in Prompt Strategie: De "Advanced" prompt met chain-of-thought redenering maximaliseerde de high-danger recall (0,432) maar resulteerde in een lagere precisie voor andere klassen, wat een Weighted F1 van 0,211 opleverde. Daarentegen bood de "Simple" prompt met een tweede fine-tuning ronde de beste gebalanceerde classificatie over alle niveaus met een Weighted F1 van 0,234. Het is belangrijk op te merken dat hoewel de Advanced prompt configuratie een hoge F1-score van 0,296 behaalde, deze metriek specifiek geldt voor de 'high' gevaarklasse alleen, en niet voor de algemene Weighted F1.
Ruimtelijke Gronding: Een cruciale bevinding is de ontkoppeling van classificatienauwkeurigheid en ruimtelijke gronding. Hoewel Qwen-VL het enige model was dat nuttige lokalisatie bood (Mean IoU $\approx$ 0,46 vóór fine-tuning), correleerde correcte gevaarklassificatie niet met een betere nauwkeurigheid van de bounding box. Zelfs voor correct geïdentificeerde scènes met hoog gevaar was de IoU van het model niet significant hoger dan bij gemiste detecties.
Impact van Fine-Tuning: Fine-tuning verbeterde de ruimtelijke gronding voor geen enkel model niet; in sommige gevallen verslechterde het de prestaties zelfs licht. Voor kleinere modellen zoals SmolVLM leek extra fine-tuning nadelig, waarschijnlijk door catastrofale vergetelheid (catastrophic forgetting).

Betekenis en Conclusies
Het paper concludeert dat huidige VLM's slechts gedeeltelijk en ongelijkmatig in staat zijn om proximische risico's te beoordelen vanuit egocentrische data. Hoewel Qwen-VL veelbelovend is in het detecteren van situaties met hoog gevaar, met name wanneer deze wordt gestuurd door geavanceerde prompting, faalden de andere geteste modellen in het betrouwbaar identificeren van deze kritieke scenario's.

De auteurs benadrukken dat het vermogen om een correct veiligheidslabel te produceren niet impliceert dat het model aandacht besteedt aan de relevante ruimtelijke regio van de scène. Bijgevolg blijft vier-klasse proximische redenering op basis van enkelvoudige egocentrische frames een onopgelost probleem voor moderne VLM's. De studie suggereert dat hoewel gerichte prompting en fine-tuning de high-danger detectie in specifieke modellen kunnen verbeteren, het gebrek aan betrouwbare ruimtelijke gronding en de kloof tussen classificatie en lokalisatie de directe inzetbaarheid van deze systemen als autonome veiligheidstriggers voor belichaamde robots beperken. Toekomstig werk is gericht op grotere datasets en vergelijkingen met krachtigere, op API-schaal opererende modellen om te bepalen of deze beperkingen architecturaal of schaalafhankelijk zijn.

Het Experiment: Kan AI Gevaar Opsporen?

De Resultaten: Eén Held, Twee Strijders

Wat Dit Betekent voor Robotsveiligheid

Technische Samenvatting: Kunnen Vision-Language Modellen Proximische Risico's Beoordelen vanuit Egocentrische Robotbeelden?

Meer zoals dit