WildFireVQA: A Large-Scale Radiometric Thermal VQA Benchmark for Aerial Wildfire Monitoring

Titolo: WildFireVQA: Un Benchmark VQA Radiometrico Termico su Larga Scala per il Monitoraggio Aereo degli Incendi Boschivi

1. Il Problema

Il monitoraggio degli incendi boschivi richiede una consapevolezza situazionale tempestiva e azionabile, spesso ottenuta tramite piattaforme aeree (droni/UAV). Sebbene esistano benchmark per la Risposta alle Domande Visive (VQA) in ambito di telerilevamento, questi presentano lacune critiche per la gestione degli incendi:

• Mancanza di dati termici radiometrici: I benchmark esistenti si basano prevalentemente su immagini RGB o visualizzazioni termiche a colori (palette-based), che non forniscono valori di temperatura reali per pixel.
• Assenza di ragionamento basato sulla temperatura: Non esiste un dataset specifico che valuti la capacità dei modelli di ragionare sulle misurazioni termiche fisiche (es. identificare punti caldi nascosti dal fumo o combustione lenta) in scenari di sicurezza critica.
• Limitazioni attuali: I modelli linguistici multimodali (MLLM) faticano a gestire il ragionamento specifico per gli incendi oltre alla semplice rilevazione della presenza del fuoco, specialmente in condizioni di scarsa visibilità.

2. Metodologia

Gli autori hanno sviluppato WildFireVQA, un benchmark su larga scala che integra immagini RGB con dati termici radiometrici grezzi.

• Dataset:

  • Basato sul dataset FLAME 3, contenente 6.097 campioni sincronizzati da tre incendi prescritti (Sycan Marsh, Willamette, Shoetank).
  • Ogni campione include: un'immagine RGB, una visualizzazione termica mappata a colori e un file TIFF termico radiometrico (che contiene i valori di temperatura reali per ogni pixel).
  • Il dataset contiene 207.298 domande a scelta multipla (34 per campione) suddivise in 6 categorie operative:
    1. Presenza e Rilevamento.
    2. Classificazione (comportamento del fuoco, vegetazione, ecc.).
    3. Distribuzione e Segmentazione.
    4. Localizzazione e Direzione.
    5. Ragionamento Cross-Modale (RGB + Termico).
    6. Pianificazione del Volo (sicurezza UAV).

• Generazione e Validazione delle Etichette (Pipeline Ibrida):
  Per garantire l'affidabilità in un dominio critico per la sicurezza, è stata adottata una strategia rigorosa:

  1. Generazione MLLM: Uso di Gemini 2.5 Pro per generare risposte iniziali basate su immagini RGB, termiche e statistiche termiche estratte.
  2. Etichettatura Deterministica Sensor-driven: Per domande che richiedono precisione fisica (es. altezza del drone, intensità dei punti caldi, conteggio veicoli), si sono utilizzati algoritmi deterministici basati sui dati dei sensori (GPS, altitudine, soglie di temperatura fisiche come 200°C) invece della sola inferenza visiva.
     • Esempio: L'altezza sopra il livello del suolo (AGL) è calcolata sottraendo l'elevazione del terreno (da dati SRTM) all'altitudine ellissoidale GPS.
     • Esempio: I punti caldi sono definiti come pixel con $T \ge 200^\circ C$, aggregati in componenti connesse e filtrati per dimensioni fisiche reali.
  3. Verifica di Coerenza:
     • Intra-frame: Controllo logico per evitare contraddizioni tra domande diverse sullo stesso frame (es. se "Nessun fuoco", non può esserci "localizzazione hotspot").
     • Inter-frame: Uso del matching delle feature ORB per identificare frame sovrapposti e garantire che le risposte siano coerenti tra viste simili.

• Protocollo di Valutazione:
  Sono stati testati quattro MLLM rappresentativi (LLaVA-v1.6, Qwen3-VL, InternVL2, MiniCPM-V2) in setting zero-shot. Gli esperimenti hanno confrontato tre modalità di input:

  1. Solo RGB.
  2. Solo Termico (visualizzazione a colori).
  3. RAG (Retrieval-Augmented Generation): Aggiunta di statistiche termiche radiometriche estratte (min, max, deviazione standard, % pixel > 200°C/400°C) come contesto testuale al prompt.

3. Risultati Chiave

• Dominanza del RGB: Attualmente, l'immagine RGB rimane la modalità più forte per tutti i modelli valutati, indipendentemente dall'aggiunta di dati termici.
• Impatto del Contesto Termico (RAG):
  • I modelli più avanzati (Qwen3-VL e InternVL2) traggono beneficio significativo dall'aggiunta delle statistiche termiche estratte (RAG), raggiungendo la massima accuratezza (es. Qwen3-VL al 54.76% con RGB + RAG).
  • Questo dimostra che, quando le informazioni termiche sono esplicitate in modo strutturato, i modelli possono migliorare il ragionamento, specialmente per compiti legati alla distribuzione del calore e alla localizzazione.
  • Modelli più piccoli o meno capaci di integrazione (es. MiniCPM-V2) hanno subito un calo di prestazioni con il RAG, indicando difficoltà nel fondere contesti visivi, testuali e numerici complessi.
• Limiti Attuali: Nonostante i miglioramenti con il RAG, le prestazioni complessive rimangono basse rispetto a compiti VQA generici, evidenziando le difficoltà attuali degli MLLM in scenari di sicurezza critica dove il ragionamento fisico è essenziale.

4. Contributi Principali

1. WildFireVQA: Il primo benchmark VQA su larga scala specificamente progettato per il monitoraggio degli incendi, che combina immagini RGB e dati termici radiometrici grezzi.
2. Approccio Ibrido di Annotazione: Una metodologia innovativa che combina generazione MLLM, calcoli deterministici basati su sensori (per evitare allucinazioni su dati fisici) e verifiche di coerenza rigorose.
3. Valutazione Operativa: Definizione di 34 tipi di domande che coprono non solo la rilevazione, ma anche la pianificazione del volo e il ragionamento cross-modale, essenziali per l'intelligenza operativa degli UAV.
4. Analisi delle Modalità: Dimostrazione empirica che, sebbene il RGB sia dominante, il contesto termico radiometrico esplicito è cruciale per migliorare le capacità di ragionamento dei modelli più potenti.

5. Significato e Impatto

Il lavoro di WildFireVQA colma un vuoto critico nella ricerca sull'IA per la gestione delle catastrofi. Fornisce un terreno di prova standardizzato per valutare quanto bene i modelli multimodali possano supportare decisioni operative in scenari di incendi boschivi, dove la temperatura reale è spesso più informativa della semplice apparenza visiva (specialmente sotto il fumo).
Il benchmark sottolinea la necessità di sviluppare modelli capaci di integrare dati fisici (sensori) con la percezione visiva per applicazioni di sicurezza, e stabilisce una baseline per futuri sviluppi verso sistemi autonomi di monitoraggio incendi basati su UAV. Il dataset e il codice sono open-source, favorendo la riproducibilità e l'avanzamento della ricerca in questo settore.