Can Vision-Language Models Assess Proxemic Risk from Egocentric Robot Images?

Stellen Sie sich vor, Sie bringen einem Roboter das Gehen durch ein belebtes Café bei. Sie wollen nicht nur, dass er einen Tisch sieht; Sie wollen, dass er den Raum um sich herum fühlt. Das ist die Welt der Proxemik, ein schickes Wort für die Untersuchung dessen, wie viel persönlichen Freiraum Menschen benötigen, um sich wohlzufühlen. Denken Sie an unsichtbare Blasen: eine enge Blase für einen besten Freund, eine mittlere für einen Kollegen und eine weite für einen Fremden. Wenn ein Roboter ohne zu fragen in Ihre enge Blase platzt, ist das unhöflich und potenziell gefährlich.

Stellen Sie sich nun vor, Sie geben diesen Roboter eine Kamera auf seinem Kopf (eine „egozentrische“ Sicht), damit er die Welt genau so sieht wie wir. Die große Frage, die sich Wissenschaftler stellen, ist: Können wir einen Roboter so trainieren, dass er auf ein Bild schaut und sofort weiß: „Oh nein, ich bin zu nah an dieser Person!“ oder „Puh, ich habe genug Platz“? Hier kommen Vision-Language Models (VLMs) ins Spiel. Das sind superintelligente KI-Programme, die ein Bild betrachten und darüber sprechen können – fast so wie ein Roboter, der ein Bilderbuch lesen und Ihnen die Geschichte dazu erzählen kann. Forscher sind begeistert, denn wenn diese KIs allein durch das Betrachten verstehen können, was persönlicher Freiraum bedeutet, brauchen wir vielleicht keine teuren, schweren Sensoren an jedem Roboter. Wir könnten ihnen einfach eine Kamera und ein Gehirn geben.

Aber hier ist der Clou: Nur weil eine KI ein Bild beschreiben kann, bedeutet das nicht, dass sie auch wirklich versteht, wo Dinge im 3D-Raum sind. Diese Arbeit stellt drei verschiedene KI-„Gehirne“ auf die Probe, um zu sehen, ob sie als Sicherheitswächter für Roboter fungieren können.

Das Experiment: Kann KI Gefahr erkennen?

Die Forscher erstelladen einen speziellen Trainingsdatensatz aus 1.243 Fotos, die aus der Sicht eines Roboters in realen Umgebungen aufgenommen wurden. Sie beschrifteten jedes Foto mit einem „Gefahrenlevel“, basierend darauf, wie nah die Menschen am Roboter waren:

• Hohe Gefahr: Jemand ist direkt vor dem Gesicht des Roboters (Kollision unmittelbar bevorstehend!).
• Moderate Gefahr: Jemand ist nah dran, und der Roboter muss sich vorsichtig bewegen.
• Geringe Gefahr: Jemand ist in der Nähe, aber der Roboter muss ihn nur im Auge behalten.
• Minimale Gefahr: Alles ist sicher.

Sie testeten drei verschiedene Open-Source-KI-Modelle: InternVL, SmolVLM und Qwen-VL. Sie versuchten, diese Modelle auf zwei Arten zu trainieren: erstens, indem sie ihnen Fragen in verschiedenen Stilen stellten (wie etwa einen einfachen Befehl gegenüber einem komplexen, schrittweisen Denkprozess), und zweitens, indem sie ihnen ein wenig zusätzliches Training (genannt „Fine-Tuning“) mit 200 spezifischen Bildern gaben.

Die Ergebnisse: Ein Held, zwei Versager

Die Ergebnisse waren eine Mischung aus „nicht schlecht“ und „nicht gut genug“.

1. Das „Rate-Problem“
Ohne spezielles Training verfuhren alle drei Modelle fast exakt wie ein Schüler, der bei einer Multiple-Choice-Prüfung rät. Ihre Gesamtgenauigkeit war kaum besser als ein Münzwurf. Selbst nach dem zusätzlichen Training verbesserte sich die allgemeine Fähigkeit, alle vier Gefahrenstufen korrekt zu sortieren, nicht wesentlich. Es war, als wären die Modelle gut darin, das Café zu beschreiben, aber schrecklich darin, zu wissen, wann sie aufhören müssen zu laufen.

2. Die Qwen-Ausnahme
Es gab jedoch einen herausragenden Helden: Qwen-VL. Während die anderen beiden Modelle (InternVL und SmolVLM) im Grunde versagten, die gefährlichsten Situationen zu erkennen (sie übersahen fast alle von ihnen), wurde Qwen-VL tatsächlich besser darin, „hohe Gefahr“-Szenarien zu identifizieren.

• Entscheidend war, dass diese Verbesserung aus einer spezifischen Kombination davon stammte, wie die Frage gestellt wurde und wie das Modell trainiert wurde. Die besten Ergebnisse wurden erzielt, wenn ein sehr spezifischer, komplexer Prompt verwendet wurde, der die KI bat, „Schritt für Schritt zu denken“, zusammen mit einer ersten Runde des Fine-Tunings. Mit diesem Setup schaffte es Qwen-VL, etwa 79 % der Hochrisiko-Situationen zu erkennen.
• Die anderen Modelle versagten selbst mit denselben komplexen Prompts und demselben Training und übersahen immer noch fast alles.
• Interessanterweise half es Qwen-VL nicht viel weiter, ein zusätzliches Training (eine zweite Runde des Fine-Tunings) zu erhalten; der größte Schub kam durch die Kombination aus diesem speziellen „Denk“-Prompt und der ersten Fine-Tuning-Runde.

3. Die Überraschung beim „blinden Fleck“
Hier ist der interessanteste Teil. Die Forscher prüften, ob die KI tatsächlich die Person ansah, um zu entscheiden, ob es gefährlich sei. Sie baten die KI, ein Kästchen um die Person zu zeichnen, um die sie sich besorgt machte.

• Der Schock: Selbst wenn Qwen-VL korrekt „GEFAHR!“ rief, zeichnete es oft das Kästchen nicht um die richtige Person. Manchmal zeigte es auf den Boden, manchmal auf eine Wand und manchmal auf die richtige Person.
• Das Fazngnis: Die Arbeit legt nahe, dass das Modell das Gefahrenlevel eher basierend auf einem „Gefühl“ oder einem Muster im gesamten Bild bestimmt, anstatt die spezifische Distanz zur Person tatsächlich zu verstehen. Es ist wie ein Schüler, der die richtige Antwort in einem Mathetest gibt, aber nicht zeigen kann, wie er darauf kam oder auf welche Zahlen er sich bezog.

Was das für die Robotersicherheit bedeutet

Die Arbeit kommt zu dem Schluss, dass diese KI-Modelle zwar klüger werden, aber noch nicht bereit sind, als alleiniger Sicherheitswächter für einen Roboter zu fungieren, der sich durch eine Menge bewegt.

• Man kann ihnen noch nicht vertrauen: Wenn man sich auf sie verlässt, könnte man eine Kollision übersehen, weil das Modell denkt, es sei sicher, obwohl es das nicht ist, oder es könnte in Panik geraten, wenn es eigentlich sicher ist.
• Prompting und spezifisches Training sind entscheidend: Ein wenig zusätzliches Training half Qwen-VL zwar nur geringfügig allein, aber es löste das Problem der anderen Modelle nicht. Die größten Gewinne wurden erzielt, indem man das Modell bat, sorgfältig zu argumentieren, kombiniert mit einer spezifischen Fine-Tuning-Konfiguration.
• Die „blinde“ Gefahr: Die wichtigste Erkenntung ist, dass das Erhalten des richtigen Labels (Hohe Gefahr) nicht bedeutet, dass der Roboter auch weiß, warum es gefährlich ist. Er könnte aus den falschen Gründen richtig liegen.

Kurz gesagt: Diese Vision-Language-Modelle sind wie sehr gesprächige Touristen, die eine Szene wunderschön beschreiben können, aber oft die Orientierung verlieren, wenn man sie fragt, wie sie navigieren sollen. Sie zeigen Potenzial, insbesondere das Qwen-Modell, wenn man es bittet, sorgfältig nachzudenken, und es richtig trainiert, aber sie brauchen noch viel mehr Übung, bevor wir sie durch eine belebte Straße fahren lassen können, ohne dass ein Mensch ihnen über die Schulter schaut.