Technische Samenvatting: Thermo-VL

Probleemstelling

Vision-Language Models (VLM's) hebben aanzienlijk succes behaald in open-ended beeldbegrip en visuele vraag-antwoordtaken (VQA) door instructietuning op grote RGB-datasets. Deze modellen erven echter de faalmodi van zichtbaar-spectrum-sensoren. Bij zwakke verlichting, schittering, mist of rook verliest RGB-beeldmateriaal vaak cruciaal bewijsmateriaal uit de scène, waardoor standaard VLM's broos worden in veiligheidskritieke scenario's zoals nachtelijk rijden, zoek- en reddingsoperaties en inspectie bij slecht zicht.

Hoewel thermische infrarood (IR)-beelden een complementaire scènestructuur behouden (bijvoorbeeld mensen, dieren, warme voertuigen) wanneer zichtbare cues verslechteren, zijn huidige benaderingen voor het integreren van thermische data in VLM's suboptimaal. Veelgebruikte oplossingen bestaan uit het vertalen van thermische beelden naar pseudo-RGB voordat ze worden ingevoerd in op RGB getrainde VLM's. Deze op vertaling gebaseerde pijplijn introduceert een generatieve bottleneck, riskeert het hallucineren van details in zichtbare stijl, en onderdrukt modality-specifieke informatie die niet van nature wordt weergegeven in de RGB-ruimte. Bovendien zijn bestaande RGB-thermische datasets (bijvoorbeeld KAIST, FLIR-ADAS) voornamelijk ontworpen voor detectie of tracking en missen ze de taalkundig gesuperviseerde supervisie die vereist is voor instructietuning en open-ended redenering.

Methodologie

De auteurs presenteren Thermo-VL, een golflengte-bewust VLM gebaseerd op de Molmo-7B-D-ruggengraat. De architectuur is ontworpen om uitgelijnde RGB- en thermische invoer te integreren zonder de vooraf getrainde RGB-taalinterface te destabiliseren of dure hertraining van de volledige ruggengraat te vereisen.

Architectuur

1. Dual Visual Encoders:

   • RGB-stroom: Gebruikt de bevroren Molmo vooraf getrainde visietoren ($\phi_R$).
   • Thermische stroom: Gebruikt een ViT-L/14-encoder ($\phi_T$) geïnitieerd vanuit een Masked Autoencoder (MAE) die vooraf is getraind op een gepoolde multiband infrarood-corpus (KAIST, FLIR-ADAS, OSU/OTCBVS, NIRSCENE). Om compatibiliteit te behouden met Molmo's verwachting van een 3-kanaals invoer, worden enkellaagse thermische beelden gerepliceerd over drie kanalen.
   • Parameter-efficiëntie: Tijdens training blijven de RGB-encoder en het Taalmodel (LLM) bevroren. Alleen de laatste $N_\ell=4$ transformer-blokken van de thermische encoder, de thermische LayerNorm en de fusiemodule worden bijgewerkt.

2. Tekst-gestuurde Dual-Attention Fusiemodule:
   De kerninnovatie is een fusieblok dat thermische features conditioneert op zowel de taalprompt als de RGB-context voordat ze in de bevroren RGB-stroom worden geïnjecteerd.

   • Invoer: Uitgelijnde RGB-tokens ($R$), thermische tokens ($T$) en prompt-embeddings ($P$).
   • Dual-Attention: De thermische tokens worden verfijnd via twee parallelle attention-paden:
     • Tekst-gestuurd pad: $T_{txt} = \text{MHA}(\bar{T}, \bar{P}, \bar{P})$
     • RGB-gestuurd pad: $T_{rgb} = \text{MHA}(\bar{T}, \bar{R}, \bar{R})$
   • Verfijning: Deze paden worden samengevoegd met de originele thermische features om een verfijnde representatie $\hat{T}$ te produceren.
   • Gated Residual Injectie: In plaats van RGB-tokens te vervangen, voorspelt het model een residual $\Delta R$ vanuit $\hat{T}$ en moduleert deze met token-voor-token gates $\alpha$. De uiteindelijke gefuseerde tokens worden berekend als:
     $$R^\dagger = R + \alpha \odot \Delta R$$
     Dit ontwerp zorgt ervoor dat de fusie query-bewust is en de vooraf getrainde RGB-taalinterface behoudt, terwijl gerichte injectie van thermisch bewijsmateriaal mogelijk blijft.

Trainingsdoel

Het model wordt geoptimaliseerd met een samengestelde verliesfunctie:
$$L = L_{LM} + \lambda_{align}L_{align} + \lambda_{contr}L_{contr} + \lambda_{gate}L_{gate}$$

• $L_{LM}$: Standaard autoregressieve cross-entropy-verlies voor de taalkundige modeleringstaak.
• $L_{align}$: Token-niveau L2-uitlijning tussen RGB- en thermische features om cross-modale consistentie af te dwingen.
• $L_{contr}$: Contrastief verlies (InfoNCE) om globale semantische representaties van RGB, thermisch en tekst uit te lijnen.
• $L_{gate}$: Entropieregulering op het gating-mechanisme om gate-saturatie te voorkomen (d.w.z. voorkomen dat het model een modale volledig negeert).
• Augmentatie: Tijdens training wordt een bloksgewijze RGB-maskeringstrategie toegepast, waarbij willekeurig 10% van het RGB-beeldoppervlak wordt gemaskeerd om over-reliance op het zichtbare spectrum te verminderen.

Belangrijkste Bijdragen

1. Golflengte-bewust VLM: Introductie van Thermo-VL, dat gepaarde RGB- en thermische invoer integreert via een tekst-gestuurde dual-attention fusiemodule met token-voor-token gated residual injectie, waarbij de RGB-toren en LLM bevroren blijven.
2. Parameter-efficiënte Adaptatie: Een fine-tuning-strategie die alleen de laatste paar blokken van de thermische encoder en de fusieparameters bijwerkt, geregulariseerd door token-niveau uitlijning, contrastieve supervisie en gate-entropie.
3. Unificatie van RGB-Thermische Taalsupervisie:
   • Dataset: Een pixel-uitgelijnde RGB-thermische instructietuning-dataset met ongeveer 19.500 beeldparen en ongeveer 54.000 QA-paren, samengesteld uit publieke datasets en synthetische thermische augmentatie (met F-ViTA) op PixMo-cap-qa-data.
   • Benchmark: Thermo-VL-Bench, een handmatig gescreende, binaire VQA-benchmark met ongeveer 3.148 beeldparen en ongeveer 15.000 QA-paren, ontworpen voor redenering bij zwakke verlichting en over het spectrum.

Experimentele Resultaten

Experimenten werden uitgevoerd op Thermo-VL-Bench en de externe RGB-Th Bench.

• Thermo-VL-Bench:

  • RGB+Thermisch: Thermo-VL behaalde 88,96% nauwkeurigheid, een aanzienlijke verbetering ten opzichte van de Molmo-basislijn (75,79%) wanneer beide modaliteiten werden aangeleverd.
  • Alleen Thermisch: Verbeterd van 81,20% (Molmo) naar 82,23%.
  • Alleen RGB: De prestaties bleven behouden op 88,67%, gelijk aan de basislijn, wat aantoont dat het fusiemechanisme bestaande RGB-capaciteiten niet verslechtert.
  • Totaal: Thermo-VL behaalde de hoogste gecombineerde score (86,37%) onder alle vergeleken modellen (inclusief InternVL, Qwen2.5-VL en LLaVA-Next).

• RGB-Th Bench:

  • Thermo-VL kwam overeen met de Molmo-basislijn op RGB-only teksttaken (77,25%), maar verbeterde de prestaties aanzienlijk op RGB-Thermische teksttaken, stijgend van 60,84% naar 69,15%.

• Ablatiestudies:

  • Het verwijderen van tekst-gestuurde attention veroorzaakte de grootste prestatiedaling (88,96% $\to$ 82,34%), wat de belangrijkheid van vraag-bewuste fusie bevestigt.
  • Het verwijderen van de gated residual of RGB-gestuurde attention degradeerde ook de prestaties, wat de rol van het ontwerp valideert in het behoud van de RGB-interface terwijl thermische data wordt geïntegreerd.
  • Auxiliaire verliezen ($L_{contr}$ en $L_{gate}$) bleken cruciaal voor cross-modale consistentie en het voorkomen van modale instorting.

Betekenis en Claims

Het artikel beweert dat expliciete, prompt-geconditioneerde multispectrale fusie thermische cues in staat stelt RGB-data effectief aan te vullen wanneer ze binnen het model worden gefuseerd, in plaats van op invoerniveau te worden toegevoegd of vertaald naar pseudo-RGB. Thermo-VL toont aan dat het mogelijk is krachtige vooraf getrainde VLM's uit te breiden naar thermische perceptie zonder hun vooraf getrainde RGB-taalinterface te destabiliseren.

De auteurs positioneren Thermo-VL als een onderzoeksprototype in plaats van een systeem dat klaar is voor implementatie. Ze erkennen beperkingen, waaronder de aanname van ruimtelijk uitgelijnde invoer, het gebruik van door het model gegenereerde QA-supervisie wat artefacten kan introduceren, en het feit dat Thermo-VL-Bench een handmatig gescreende, door het model gegenereerde benchmark is in plaats van een volledig door mensen geschreven benchmark. Het werk is bedoeld om onderzoek te ondersteunen in multispectrale vision-language learning en instructietuning onder omstandigheden met zwakke verlichting, in plaats van als een zelfstandige basis te dienen voor veiligheidskritieke besluitvorming.