Hazard or Anomaly? Evaluating VLMs for Understanding Dangers and Discrepancies

Sintesi Tecnica: Pericolo o Anomalia? Valutazione dei VLM per la Comprensione di Pericoli e Discrepanze

Definizione del Problema
I moderni sistemi critici per la sicurezza, come quelli utilizzati nella ricerca e soccorso e nella sicurezza industriale, si affidano sempre più ai modelli Vision-Language (VLM) per interpretare scene complesse e supportare il processo decisionale umano. Tuttavia, gli attuali framework di valutazione per il ragionamento sulla sicurezza dei VLM spesso inquadrano il riconoscimento del pericolo come una decisione binaria (Sicuro/Non Sicuro). Questo approccio binario oscura una distinzione critica: la differenza tra una scena che è semplicemente insolita (un'anomalia) e una scena che pone una vera minaccia fisica (un pericolo). Gli autori sostengono che, senza separare esplicitamente questi concetti, rimanga il dubbio se i VLM stiano identificando veri pericoli fisici o se stiano semplicemente reagendo a irregolarità contestuali. Questa confusione può portare a un "sovra-reazione", in cui situazioni anomale ma non pericolose vengono classificate erroneamente come rischiose, potenzialmente distraendo gli operatori dai rischi reali.

Metodologia
Per affrontare questa limitazione, gli autori propongono una pipeline di valutazione che distingue tra "pericolo" e "anomalia" come dimensioni ortogonali.

• Definizioni:

  • Pericolo (Hazard): Una fonte di potenziale danno fisico in condizioni di interazione normale (allineata con le definizioni OSHA).
  • Anomalia (Anomaly): Una violazione delle relazioni spaziali, funzionali o contestuali attese che non implica necessariamente un pericolo.
  • Classi: Lo studio utilizza uno schema a quattro classi: Sicuro, Anomalo, Pericoloso e Anomalo-Pericoloso.

• Dataset: Gli autori hanno curato un benchmark di 610 immagini derivate da dataset pubblici che coprono l'edilizia, i disastri naturali e oggetti pericolosi. Le immagini sono state generate da descrizioni testuali e etichettate dai ricercatori utilizzando una codifica a due bit (Sicuro, Anomalia, Pericolo, Entrambi). I casi limite sono stati discussi per affinare le definizioni, con l'esclusione delle immagini prive di consenso. Il dataset finale è stato sottoposto a campionamento per garantire una rappresentazione equilibrata delle classi per i test.

• Design Sperimentale: Lo studio valuta diversi VLM allo stato dell'arte (inclusi GPT-4.1, varianti di Mistral e varianti di Gemini) attraverso tre strategie di prompting:

  1. Zero-Shot: Fornire le definizioni e richiedere la classificazione.
  2. Few-Shot: Fornire esempi di classificazioni corrette per ogni classe.
  3. Chain-of-Thought (CoT): Guidare il modello a identificare indipendentemente pericoli e anomalie prima di prendere una decisione finale.

  Inoltre, gli autori hanno testato due modalità di input: immagini grezze e "densi caption" (descrizioni testuali dettagliate delle immagini generate da Gemini 3 Flash) per isolare le capacità di ragionamento del modello dalla sua percezione visiva.

• Metrici: Le prestazioni sono state misurate utilizzando Precision, Recall e punteggi F1 per classe, sia per il rilevamento dell'anomalia che del pericolo. La performance della classificazione congiunta è stata valutata utilizzando la Hamming Loss per valutare il tasso di errore nella tassonomia a quattro classi.

Risultati Chiave

• Confusione dei Concetti: Sotto il prompting di sicurezza binaria, i VLM interpretano frequentemente l'anomalia come pericolo. Lo studio conferma che i modelli spesso si affidano all'irregolarità contestuale come proxy del pericolo.
• Varianza delle Prestazioni:
  • Pericolo vs Anomalia: I modelli si sono dimostrati costantemente più bravi a classificare i pericoli (punteggi F1 spesso >0,75) rispetto alle anomalie. Il concetto di "anomalia" si è rivelato più difficile da definire e classificare, probabilmente a causa della sua ambiguità semantica.
  • Modalità di Input: Contrariamente all'ipotesi che i densi caption isolerebbero il ragionamento, i modelli sono generalmente stati meno performanti o simili con i densi caption rispetto alle immagini grezze. Gli autori suggeriscono che i caption possano mancare del necessario focus contestuale o introdurre rumore.
  • Strategie di Prompting: Nessuna tecnica di prompting è stata universalmente superiore. Mentre il prompting Few-Shot ha spesso prodotto i migliori risultati per la classificazione del pericolo, le strategie Chain-of-Thought o Few-Shot variavano a seconda del modello per la classificazione delle anomalie.
  • Dimensione del Modello: I modelli più grandi (ad esempio, GPT-4.1, Gemini 3 Flash) hanno generalmente superato i modelli più piccoli (ad esempio, Mistral 3B), in particolare nei compiti di classificazione congiunta. La migliore performance di classificazione congiunta (la Hamming Loss più bassa di 0,23) è stata ottenuta da Gemini 3 Flash utilizzando il prompting Few-Shot con input di immagini.
• Confronto con il Baseline: Rispetto a uno studio precedente sulla sicurezza binaria (Choi et al. [5]), il prompting Zero-Shot degli autori (che utilizza le definizioni a quattro classi) ha prodotto un'accuratezza significativamente superiore (p-value 0,0022) anche quando i risultati venivano collassati in categorie binarie. Ciò suggerisce che forzare i modelli a ragionare attraverso la tassonomia a quattro classi migliora i loro giudizi di sicurezza, anche se l'output finale è binario.

Significatività e Rivendicazioni
L'articolo sostiene che separare esplicitamente l'anomalia dal pericolo fornisce una valutazione più informativa del ragionamento sulla sicurezza dei VLM rispetto ai tradizionali approcci binari. Esponendo il modo di fallimento in cui i modelli confondono l'insolito con il pericoloso, lo studio evidenzia un'area specifica in cui gli attuali VLM mancano di una consapevolezza situazionale affidabile.

Gli autori concludono che, sebbene i VLM allo stato dell'arte mostrino una capacità moderata di distinguere questi stati (con punteggi F1 intorno a 0,70 per le anomalie e fino a 0,85 per i pericoli), essi incontrano ancora difficoltà con il ragionamento complesso richiesto dalle tassonomie a quattro classi per la sicurezza. Lo studio sostiene che gli attuali modelli non sono ancora pronti per un dispiegamento completamente autonomo in ambienti ad alto rischio senza ulteriori raffinamenti nelle capacità di ragionamento e nel prompt engineering. Il lavoro fornisce un dataset pubblico e una pipeline di valutazione strutturata per facilitare la ricerca futura volta a rendere i sistemi di IA più coerenti nel distinguere le condizioni insolite dai pericoli reali.