Sintesi Tecnica: HorusEye – Il Linguaggio come Attenzione Dinamica per l'Analisi Visiva di Emergenza

1. Definizione del Problema

Le operazioni di soccorso in emergenza avvengono frequentemente in condizioni visive che deviano significativamente dalle distribuzioni pulite e ben illuminate utilizzate per l'addestramento dei Modelli Vision-Language (VLM). Fattori quali nebbia, fumo e lo spostamento fondamentale di modalità dell'imaging termico (che rimuove il colore e altera la texture) pongono sfide critiche per i sistemi di visione artificiale. Sebbene i VLM abbiano dimostrato forti capacità nella comprensione visiva standard, la loro robustezza in queste condizioni degradate rimane non quantificata.

La domanda centrale di ricerca affrontata da questo studio è: In che misura il feedback in linguaggio naturale può servire come meccanismo di attenzione dinamica per riesaminare e raffinare i compiti di analisi visiva in tempo reale in condizioni di emergenza degradate? Gli autori propongono che i prompt in linguaggio naturale possano agire come segnali esterni per guidare l'elaborazione visiva di un modello, analogamente alle istruzioni verbali date dai soccorritori umani in scene caotiche.

2. Metodologia

2.1 Dataset: RefCOCO-Degraded

Per valutare sistematicamente le prestazioni sotto degradazione, gli autori hanno costruito il benchmark RefCOCO-Degraded, composto da 15.244 immagini derivate da 3.811 immagini base del dataset RefCOCO. Ogni immagine base è stata sistematicamente degradata in quattro condizioni:

• Clean (Pulita): L'immagine originale non modificata (baseline).
• Fog (Nebbia): Simulata utilizzando il modello di visibilità di Koschmieder per ridurre il contrasto preservando il colore.
• Smoke (Fumo): Simulata tramite occlusione basata su particelle con rumore di Perlin per introdurre variazioni locali e spostamenti di colore grigio.
• Thermal (Termica): Simulata convertendo le immagini RGB in valori di intensità in scala di grigi, rimuovendo tutte le informazioni cromatiche.

2.2 Modelli Valutati

Sono stati valutati cinque VLM che rappresentano diverse approcci architettonici:

• Gemini 2.0 Flash: Architettura multimodale proprietaria.
• Qwen2-VL-2B: VLM open-source, istruito tramite instruction-tuning (2B parametri).
• BLIP-2: Utilizza un Q-Former per collegare encoder d'immagine congelati con LLM.
• LLaVA-1.6: Proietta direttamente le caratteristiche visive nello spazio di embedding dell'LLM.
• Kosmos-2: Un modello di grounding con capacità di grounding esplicite.

2.3 Pipeline Sperimentale

L'indagine ha seguito una pipeline in cinque fasi che affronta quattro domande di ricerca (RQ) sequenziali:

1. RQ1 (Baseline di Grounding Visivo): Ha misurato la degradazione baseline delle prestazioni di visual grounding (usando l'Intersection over Union, IoU) attraverso le quattro condizioni.
2. RQ2 (Il Linguaggio come Feedback come Attenzione Dinamica): Ha testato un protocollo di feedback iterativo a tre round. Se una previsione iniziale falliva ($IoU < 0.5$), il modello riceveva un feedback linguistico direzionale (es. "guarda più a sinistra") per correggere il bounding box. La metrica era la percentuale di guadagno di IoU dal Round 1 al Round 3.
3. RQ3 (Generalizzazione VQA sulla Salute): Ha valutato la classificazione della postura (in piedi, seduto, sdraiato) per testare se l'attenzione spaziale esplicita (tramite il ritaglio della regione di interesse) si generalizza ai compiti sanitari. Questo ha confrontato gli input di Immagine Intera (Full Image) rispetto a quelli di Immagine Ritagliata (Cropped Image).
4. RQ4 (Analisi delle Allucinazioni): Ha quantificato il rischio di allucinazione sotto degradazione utilizzando un H-Score (Punteggio di Allucinazione). Questo punteggio combina conteggi di fabbricazioni, penalità per l'eccessiva fiducia e bonus di incertezza per determinare se i modelli diventano più pericolosi (erronei ma sicuri di sé) o appropriatamente incerti sotto stress.

3. Contributi Chiave

1. Benchmark RefCOCO-Degraded: L'introduzione di un dataset di benchmark sistematico progettato specificamente per la valutazione dei VLM in emergenza, coprendo degradazioni da nebbia, fumo e termica.
2. Efficacia del Feedback Linguistico Dipendente dal Modello: Evidenza empirica che dimostra che il feedback linguistico non è una soluzione universale. Mentre Gemini ha ottenuto un miglioramento del +47,3% nelle condizioni termiche attraverso il feedback iterativo, Qwen2-VL ha subito una degradazione del -5,1% sotto lo stesso protocollo.
3. Il "Paradosso Termico": La scoperta che le strategie di ritaglio (cropping), che migliorano le prestazioni nelle condizioni RGB (es. +4% per Gemini), causano un fallimento catastrofico nelle immagini termiche (-26% per Gemini). Ciò evidenzia che l'imaging termico si affida a indizi contestuali (es. l'orizzonte, gli oggetti circostanti) che vengono persi quando l'immagine viene ritagliata.
4. Identificazione della Sicurezza di BLIP-2: L'identificazione di BLIP-2 come un modello unicamente pericoloso per l'impiego in emergenza. A differenza di altri modelli che hanno aumentato l'incertezza sotto degradazione, BLIP-2 ha mostrato un aumento delle allucinazioni (+0,34 aumento dell'H-Score) e una totale mancanza di linguaggio di esitazione, rendendolo incline a fabbricare informazioni con sicurezza.

4. Risultati Chiave

• Grounding Visivo (RQ1): Le condizioni termiche hanno causato la degradazione più severa. Qwen2-VL ha perso il 63,6% della sua accuratezza di grounding nelle condizioni termiche, mentre Gemini ha perso il 37,7%. Nebbia e fumo hanno causato una degradazione moderata (calo di IoU del 10–15%).
• Feedback Linguistico (RQ2):
  • Gemini: Ha mostrato una forte correlazione positiva tra la severità della degradazione e l'utilità del feedback. Il miglioramento variava da +0,5% (Clean) a +47,3% (Thermal).
  • Qwen2-VL: Ha mostrato guadagni positivi nelle condizioni Clean/Fog (+18,7%, +17,0%), ma è degradato del -5,1% nelle condizioni Thermal, indicando che il meccanismo di feedback ha confuso il modello negli scenari termici a bassa visibilità.
• Strategie di Ritaglio (Cropping) (RQ3):
  • Gemini: Il ritaglio ha aiutato nelle condizioni Clean (+4%) ma ha distrutto le prestazioni nelle condizioni Thermal (-26%).
  • BLIP-2: Unicamente robusto al ritaglio, beneficiando dell'attenzione focalizzata in tutte le condizioni (+12% a +16%).
  • Qwen2-VL: Costantemente danneggiato dal ritaglio nelle condizioni RGB (-12%).
• Allucinazioni (RQ4):
  • BLIP-2: Classificato come PERICOLOSO (DANGER). Il suo H-Score è aumentato significativamente sotto la degradazione termica, e ha fallito nell'esprimere incertezza (punteggio di incertezza pari a 0,00).
  • Gemini & Qwen2-VL: Classificati come PIÙ SICURI (SAFER). Entrambi i modelli hanno aumentato appropriatamente le espressioni di incertezza nelle condizioni degradate, riducendo il rischio di allucinazioni sicure.

5. Significato e Rivendicazioni

L'articolo sostiene che il linguaggio naturale può funzionare come un meccanismo di attenzione dinamica per i VLM, ma il suo successo è criticamente legato all'architettura specifica del modello e alle condizioni visive.

• Nessuna Soluzione Universale: Le tecniche che si sono dimostrate efficaci per un modello (es. feedback iterativo per Gemini, ritaglio per BLIP-2) non possono essere assunte come trasferibili ad altri. Infatti, lo stesso meccanismo può produrre risultati opposti (miglioramento vs degradazione) a seconda del modello.
• Il Contesto è Critico nell'Imaging Termico: Il "Paradosso Termico" stabilisce che per l'imaging termico, l'elaborazione dell'immagine intera è essenziale. Il ritaglio rimuove gli indizi spaziali e contestuali necessari per compiti come la classificazione della postura quando mancano colore e texture.
• Implicazioni per la Sicurezza: Per i progettisti di sistemi di emergenza, la scelta del modello è una decisione critica per la sicurezza. Gli autori raccomandano Gemini per le condizioni termiche grazie al suo feedback reattivo e alla sua incertezza calibrata, sconsigliando esplicitamente l'impiego di BLIP-2 in scenari di emergenza a meno che non venga implementata una mitigazione delle allucinazioni.

Lo studio conclude che i progettisti di sistemi di emergenza devono validare rigorosamente i meccanismi di feedback linguistico e le strategie di attenzione per ogni combinazione unica modello-condizione prima del deployment, piuttosto che fare affidamento su assunzioni generali sulla robustezza dei VLM. Il benchmark RefCOCO-Degraded e i protocolli sperimentali forniscono una base per la ricerca futura sui VLM robusti per applicazioni critiche per la sicurezza.