WildFireVQA: A Large-Scale Radiometric Thermal VQA Benchmark for Aerial Wildfire Monitoring

Probleemstelling

Bestaande benchmarks voor Visuele Vraag-Antwoord (VQA) in de luchtvaart en brandbestrijding zijn grotendeels gebaseerd op RGB-beeldmateriaal en evalueren niet het specifieke multimodale redeneren dat nodig is voor bosbrandmonitoring. Er ontbreekt een dataset die expliciet gebruikmaakt van radiometrische thermische data (met per-pixel temperatuurwaarden) om redeneren te ondersteunen dat is gebaseerd op temperatuurmetingen. Dit is cruciaal omdat zichtbare vlammen soms door rook worden verduisterd, terwijl thermische sensoren nog steeds hete plekken kunnen detecteren. Bestaande datasets missen vaak de mogelijkheid om operationele beslissingen (zoals vluchtplanning en brandgedrag) te evalueren op basis van deze fysieke metingen.

Methodologie

1. Dataset Constructie (WildFireVQA)

• Bron: De dataset is gebaseerd op het FLAME 3-dataset, dat gesynchroniseerde RGB-beelden en radiometrische thermische beelden bevat van UAV-vluchten tijdens voorgeschreven branden.
• Dataomvang: 6.097 RGB-thermische samples.
• Modaliiteiten: Elk sample bevat drie uitgelijnde modaliteiten:
  1. Een RGB-afbeelding.
  2. Een kleurkaart-gevisualiseerde thermische weergave.
  3. Een radiometrische TIFF-bestand met echte per-pixel temperatuurwaarden (in °C).
• Vraagset: Er zijn 34 vragen per frame ontworpen, resulterend in 207.298 meerkeuzevragen. Deze vallen in zes categorieën:
  • Aanwezigheid en detectie.
  • Classificatie (brandgedrag, vegetatie).
  • Distributie en segmentatie (oppervlakte van hitte).
  • Lokalisatie en richting.
  • Cross-modale redenering (combinatie van RGB en thermisch).
  • Vluchtplanning (UAV-veiligheid).

2. Annotatie en Validatie
Om de betrouwbaarheid van de labels te garanderen, combineert het team een hybride aanpak:

• MLLM-gegenereerde antwoorden: Het model Gemini 2.5 Pro wordt gebruikt om antwoorden te genereren op basis van visuele input en samengevatte radiometrische statistieken (min/max temperatuur, standaardafwijking, percentage pixels >200°C/400°C).
• Sensor-gedreven deterministische labeling: Voor specifieke vragen (zoals UAV-hoogte, hotspot-detectie en hittebron-isolatie) worden algoritmen gebruikt die direct werken op de metadata en temperatuurwaarden, zonder afhankelijkheid van visuele interpretatie.
  • Voorbeeld: Hotspots worden gedefinieerd als pixels >200°C. De grootte wordt omgerekend naar fysieke meters op de grond met behulp van de UAV-hoogte en het camera-veld van zicht (GSD).
• Consistentiechecks:
  • Intra-frame: Logische controles om tegenstrijdigheden binnen één frame te voorkomen (bijv. als er "geen brand" is, mogen er geen hete plekken zijn).
  • Inter-frame: Gebruik van ORB-feature matching om overlappende frames te identificeren en te zorgen dat antwoorden op identieke vragen consistent blijven.

3. Evaluatieprotocol
Er wordt een uitgebreide evaluatie uitgevoerd voor vier representatieve Multimodale Large Language Models (MLLMs): LLaVA-v1.6, Qwen3-VL, InternVL2 en MiniCPM-V2.

• Settings: Zero-shot evaluatie in drie configuraties:
  1. Alleen RGB.
  2. Alleen Thermisch (kleurkaart).
  3. Retrieval-Augmented Generation (RAG): waarbij samengevatte radiometrische statistieken als tekst aan de prompt worden toegevoegd.

Belangrijkste Bijdragen

1. WildFireVQA Benchmark: De eerste grote-scale VQA-benchmark specifiek voor bosbranden die RGB combineert met radiometrische thermische data, waardoor temperatuur-gebaseerd redeneren mogelijk wordt.
2. Robuuste Annotatie: Een nieuw framework voor het genereren van labels dat MLLM-output combineert met deterministische sensor-algoritmen en strikte consistentiecontroles, wat essentieel is voor veiligheidskritieke toepassingen.
3. Operationele Vraagcategorieën: Een gestructureerde set vragen die verder gaat dan eenvoudige detectie en zich richt op operationele intelligentie (bv. vluchtplanning, brandverspreiding).
4. Evaluatie van RAG: Een analyse van hoe het toevoegen van expliciete temperatuurstatistieken (via RAG) de prestaties van verschillende modellen beïnvloedt.

Resultaten

• Modale Prestaties: Voor alle geteste modellen blijft RGB de sterkste modality. Thermische input alleen presteert aanzienlijk slechter.
• Invloed van RAG:
  • Sterkere modellen (zoals Qwen3-VL-8B en InternVL2-8B) profiteren significant van de toegevoegde radiometrische statistieken. Qwen3-VL bereikte de hoogste algehele nauwkeurigheid van 54,76% met RGB + RAG.
  • Dit toont aan dat deze modellen de expliciete temperatuurdata kunnen integreren om hun redenering te verbeteren, vooral bij vragen die direct gebaseerd zijn op temperatuur.
  • MiniCPM-V2 presteerde juist slechter met RAG, wat suggereert dat het model moeite heeft om visuele content, context en gestructureerde numerieke data in één prompt te combineren.
• Foutpatronen: Bestaande modellen hebben moeite met complexe cross-modale redenering en vluchtplanning in veiligheidskritieke scenario's, wat de noodzaak benadrukt voor gespecialiseerde training.

Betekenis en Conclusie

WildFireVQA vult een kritieke lacune in de evaluatie van AI voor bosbrandbestrijding. Het paper demonstreert dat hoewel RGB-beeldmateriaal momenteel het beste werkt, temperatuur-gebaseerd redeneren (vooral wanneer ondersteund door expliciete sensorstatistieken) essentieel is voor nauwkeurige situational awareness. De dataset en het evaluatieprotocol bieden een standaard om toekomstige modellen te testen op hun vermogen om operationele beslissingen te ondersteunen in veiligheidskritieke omgevingen, waarbij fysieke metingen (temperatuur) worden gebruikt om visuele beperkingen (zoals rook) te overbruggen. De code en dataset zijn open-source beschikbaar gesteld.