Hazard or Anomaly? Evaluating VLMs for Understanding Dangers and Discrepancies

Technische Samenvatting: Gevaar of Anomalie? Evaluatie van VLMs voor het Begrip van Gevaren en Discrepanties

Probleemstelling
Moderne veiligheidskritische systemen, zoals die gebruikt worden bij zoek- en reddingsoperaties en industriële veiligheid, vertrouwen steeds vaker op Vision-Language Models (VLMs) om complexe scènes te interpreteren en menselijke besluitvorming te ondersteunen. De huidige evaluatiekaders voor de veiligheidsredenering van VLMs framen gevaarherkenning echter vaak als een binaire beslissing (Veilig/Onveilig). Deze binaire benadering verhult een cruciaal onderscheid: het verschil tussen een scène die louter ongebruikelijk is (een anomalie) en een scène die een werkelijk fysieke dreiging vormt (een gevaar). De auteurs stellen dat zonder een expliciete scheiding tussen deze concepten, het onduidelijk blijft of VLMs werkelijke fysieke gevaren identificeren of slechts reageren op contextuele onregelmatigheden. Deze samensmelting kan leiden tot "overreactie", waarbij anomalistische maar niet-gevaarlijke situaties worden geclassificeerd als gevaarlijk, wat operatoren potentieel kan afleiden van reële risico's.

Methodologie
Om deze beperking aan te pakken, stellen de auteurs een evaluatiepipeline voor die "gevaar" en "anomalie" als orthogonale dimensies onderscheidt.

• Definities:

  • Gevaar (Hazard): Een bron van potentieel fysieke schade onder normale interactieomstandigheden (in lijn met OSHA-definities).
  • Anomalie (Anomaly): Een schending van verwachte ruimtelijke, functionele of contextuele relaties die niet noodzakelijkerwijs gevaar impliceert.
  • Klassen: De studie maakt gebruik van een vierklasse-schema: Veilig, Anomalistisch, Gevaarlijk en Anomalistisch-Gevaarlijk.

• Dataset: De auteurs hebben een benchmark van 610 afbeeldingen samengesteld, afgeleid van publieke datasets die de bouwsector, natuurrampen en gevaarlijke objecten beslaan. Afbeeldingen werden gegenereerd op basis van tekstuele beschrijvingen en gelabeld door onderzoekers met behulp van een twee-bit codering (Veilig, Anomalie, Gevaar, Beiden). Grensgevallen werden besproken om definities te verfijnen, waarbij afbeeldingen zonder consensus werden uitgesloten. De uiteindelijke dataset werd gedownsampled om een gebalanceerde klassenrepresentatie voor tests te waarborgen.

• Experimenteel Ontwerp: De studie evalueert verschillende state-of-the-art VLMs (waaronder GPT-4.1, Mistral-varianten en Gemini-varianten) over drie prompting-strategieën:

  1. Zero-Shot: Het verstrekken van definities en het vragen om classificatie.
  2. Few-Shot: Het verstrekken van voorbeelden van correcte classificaties voor elke klasse.
  3. Chain-of-Thought (CoT): Het modelleren om gevaren en anomalieën onafhankelijk van elkaar te identificeren voordat een definitieve beslissing wordt genomen.

  Daarnaast testten de auteurs twee inputmodaliteiten: ruwe afbeeldingen en "dense captions" (gedetailleerde tekstuele beschrijvingen van de afbeeldingen gegenereerd door Gemini 3 Flash) om de redeneercapaciteiten van het model te isoleren van de visuele perceptie.

• Metrieken: Prestaties werden gemeten aan de hand van de per-klasse Precision, Recall en F1-scores voor zowel anomalie- als gevaardetectie. De gezamenlijke classificatieprestaties werden geëvalueerd met behulp van Hamming Loss om de foutmarge in de vierklasse-taxonomie te beoordelen.

Belangrijkste Resultaten

• Samensmelting van Concepten: Onder binaire veiligheidsprompting interpreteren VLMs anomalieusheid vaak onterecht als gevaarlijkheid. De studie bevestigt dat modellen vaak contextuele onregelmatigheid gebruiken als een proxy voor gevaar.
• Prestatievariantie:
  • Gevaar versus Anomalie: Modellen presteerden consequent beter bij het classificeren van gevaren (F1-scores vaak >0,75) dan bij anomalieën. Het concept "anomalie" bleek moeilijker te definiëren en te classificeren, waarschijnlijk door de semantische ambiguïteit.
  • Inputmodaliteit: In tegen strijd met de hypothese dat dense captions de redenering zouden isoleren, presteerden modellen over het algemeen slechter of vergelijkbaar met dense captions vergeleken met ruwe afbeeldingen. De auteurs suggereren dat captions mogelijk niet over de nodige contextuele focus beschikken of ruis introduceren.
  • Prompting-strategieën: Geen enkele promptingtechniek was universeel superieur. Hoewel Few-Shot prompting vaak de beste resultaten opleverde voor gevaarclassificatie, varieerden Chain-of-Thought of Few-Shot strategieën per model voor anomalieclassificatie.
  • Modelgrootte: Grotere modellen (bijv. GPT-4.1, Gemini 3 Flash) presteerden over het algemeen beter dan kleinere modellen (bijv. Mistral 3B), met name in taken van gezamenlijke classificatie. De beste prestatie bij gezamenlijke classificatie (laagste Hamming Loss van 0,23) werd bereikt door Gemini 3 Flash met gebruik van Few-Shot prompting met afbeeldingen als input.
• Baseline Vergelijking: Bij vergelijking met een eerdere binaire veiligheidsstudie (Choi et al. [5]), resulteerde de Zero-Shot prompt van de auteurs (die gebruikmaakt van de vierklasse-definities) in een significant hogere nauwkeurigheid (p-waarde 0,0022), zelfs wanneer de resultaten naar binaire categorieën werden samengevoegd. Dit suggereert dat het dwingen van modellen om door de vierklasse-taxonomie te redeneren hun veiligheidsoordelen verbetert, zelfs als de uiteindelijke output binair is.

Betekenis en Claims
Het artikel claimt dat het expliciet scheiden van anomalie van gevaar een meer informatieve evaluatie biedt van de veiligheidsredenering van VLMs dan traditionele binaire benaderingen. Door de foutmodus bloot te leggen waarbij modellen "ongebruikelijk" verwarren met "gevaarlijk", benadrukt de studie een specifiek gebied waar huidige VLMs een betrouwbare situationele awareness missen.

De auteurs concluderen dat hoewel state-of-the-art VLMs een matige capaciteit vertonen in het onderscheiden van deze staten (met F1-scores rond de 0,70 voor anomalieën en tot 0,85 voor gevaren), ze nog steeds worstelen met de complexe redenering die vereist is voor veiligheidskritische vierklasse-taxonomieën. De studie stelt dat huidige modellen nog niet klaar zijn voor volledige autonome inzet in hoog-risico omgevingen zonder verdere verfijning in redeneercapaciteiten en prompt engineering. Dit werk levert een publieke dataset en een gestructureerde evaluatiepipeline om toekomstig onderzoek te faciliteren naar het maken van AI-systemen die consistenter zijn in het onderscheiden van ongebruikelijke condities van werkelijke gevaren.