💻 computer science

Thermo-VL: Extending Vision-Language Models to Thermal Infrared Perception

Thermo-VL ist ein neuartiges Vision-Language-Modell, das die Wahrnehmung bei schwachem Licht verbessert, indem es einen trainierbaren thermischen Encoder und einen textgesteuerten Dual-Attention-Fusionsmodul in einen eingefrorenen Molmo-7B-Rückgrat integriert und so eine robuste reasoning über Spektralgrenzen hinweg durch einen neu eingeführten RGB-Thermal-Datensatz und Benchmark ermöglicht.

Ursprüngliche Autoren: Rusiru Thushara, Yasiru Ranasinghe, Jay Paranjape, Vishal M. Patel

Veröffentlicht 2026-05-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Rusiru Thushara, Yasiru Ranasinghe, Jay Paranjape, Vishal M. Patel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr intelligenten, gut gebildeten Roboterassistenten namens Molmo. Dieser Roboter ist ein Experte darin, Fotos zu betrachten, die bei normalem Tageslicht aufgenommen wurden (RGB-Bilder), und Fragen dazu zu beantworten. Er weiß, wie ein Hund aussieht, wo ein Auto geparkt ist, und kann einen Sonnenuntergang wunderschön beschreiben.

Allerdings gibt es einen Haken: Molmo ist im Dunkeln blind. Wenn Sie ihm ein Foto zeigen, das nachts, bei dichtem Nebel oder durch Rauch aufgenommen wurde, gerät er in Verwirrung. Er kann die Person, die im Schatten steht, oder den warmen Motor eines Autos nicht erkennen, da er sich vollständig auf reflektiertes Licht verlässt, das dort nicht vorhanden ist.

Thermo-VL ist die Lösung, die die Forscher entwickelt haben, um dieses Problem zu beheben. So funktioniert es, einfach erklärt:

1. Das Upgrade „Nachtsichtbrille"

Anstatt zu versuchen, den gesamten Roboter von Grund auf neu im Sehen im Dunkeln zu unterrichten (was langsam wäre und dazu führen könnte, dass er vergisst, wie man bei Tageslicht sieht), gaben die Forscher Molmo ein spezielles Paar Nachtsichtbrillen.

Die Brille (Thermal Encoder): Diese Brillen sehen „Wärme" statt Licht. Sie können einen warmen Menschen oder ein heißes Auto selbst in absoluter Dunkelheit orten.
Die Strategie: Die Forscher behielten die ursprünglichen „Tageslichtaugen" (den RGB-Teil) eingefroren und unberührt bei. Sie trainierten nur den neuen „Nachtsicht"-Teil. Auf diese Weise verliert Molmo nicht seine Fähigkeit, bei Sonnenlicht zu sehen, gewinnt aber die Fähigkeit, im Dunkeln zu sehen.

2. Der „intelligente Übersetzer" (Das Fusionsmodul)

Man kann das Nachtsichtbild nicht einfach über das Tageslichtbild kleben und hoffen, dass der Roboter es versteht. Der Roboter muss wissen, wann er die Wärmesicht verwenden soll und wonach er suchen muss.

Hier kommt die Textgesteuerte Fusion ins Spiel. Stellen Sie sich dies als einen intelligenten Übersetzer oder einen Dirigenten in einem Orchester vor.

Die Frage ist die Partitur: Wenn Sie den Roboter fragen: „Ist jemand auf dem Weg?", fungiert die Frage wie eine musikalische Partitur.
Die Aufgabe des Dirigenten: Das Fusionsmodul hört auf Ihre Frage. Wenn Sie nach einer Person fragen, weist es den „Wärmesicht"-Teil an, sich auf warme Formen zu konzentrieren. Wenn Sie nach einem Auto fragen, konzentriert es sich auf Motorwärme.
Das Gated Residual: Der Übersetzer ersetzt das Tageslichtbild nicht; er injiziert die Wärmeinformationen in es. Stellen Sie sich vor, es ist wie das Hinzufügen einer Prise Salz zu einer Suppe. Sie ersetzen die Suppe nicht durch Salz; Sie fügen nur genug hinzu, um den Geschmack zu verbessern. Der Roboter sieht die ursprüngliche Szene, aber nun mit „Wärmehighlights" genau dort, wo die Frage danach verlangt.

3. Das „Trainingsstudio" (Der Datensatz)

Um dieses neue System zu unterrichten, konnten die Forscher nicht einfach alte Fotos verwenden, da die meisten keine damit verbundenen Fragen haben. Sie bauten ein Studio für den Roboter:

Das Training: Sie schufen Tausende von Bildpaaren: ein normales Foto und ein „Wärme"-Foto derselben Szene.
Der Trainer: Sie nutzten KI, um Fragen und Antworten für diese Paare zu generieren, die Dinge wie „Wie viele Personen sind da?" oder „Ist die Straße frei?" abdecken.
Die Prüfung (Thermo-VL-Bench): Sie entwickelten zudem einen strengen Test. Sie überprüften die Fragen manuell, um sicherzustellen, dass der Roboter nicht durch Raten betrügen konnte. Dieser Test prüft speziell, ob der Roboter Rätsel im Dunkeln oder wenn sowohl Licht als auch Wärme verfügbar sind, lösen kann.

4. Die Ergebnisse: Warum es wichtig ist

Als sie Thermo-VL dem Test unterzogen:

Bei Tageslicht: Es schnitt genauso gut ab wie der ursprüngliche Roboter (Molmo). Es wurde durch die neuen Brillen nicht verwirrt.
Im Dunkeln: Es wurde viel besser darin, Dinge zu finden, die der ursprüngliche Roboter verpasst hatte.
Die Kombination: Wenn der Roboter sowohl das Tageslichtfoto als auch das Wärmebild gemeinsam nutzen konnte, wurde er zu einem Superdetektiv. Er konnte Fragen beantworten, die er zuvor überhaupt nicht bewältigen konnte.

Das Fazit

Die Arbeit behauptet, dass Thermo-VL ein Weg ist, einem intelligenten, nur auf Tageslicht angewiesenen Roboter die Fähigkeit zu geben, im Dunkeln zu sehen, ohne seine bestehende Intelligenz zu zerstören. Dies geschieht durch das Hinzufügen eines „wärmesensierenden" Gehirns, das auf Ihre Fragen hört und dem Roboter nur die Wärmeinformationen zeigt, die er benötigt, während der Rest des Wissens des Roboters sicher und unversehrt bleibt.

Wichtiger Hinweis aus der Arbeit: Die Autoren warnen, dass dies derzeit ein Forschungsprototyp ist. Es ist ein leistungsfähiges Werkzeug zum Verständnis von Szenen bei schwachem Licht, aber noch kein perfektes, einsatzbereites System für kritische Sicherheitsaufgaben (wie autonomes Fahren), da es auf gepaarten Bildern basiert und dennoch Fehler machen kann. Sie weisen auch darauf hin, dass die Daten, mit denen es trainiert wurde, teilweise von anderer KI generiert wurden, sodass es möglicherweise einige Eigenheiten oder Verzerrungen aufweist.

Technische Zusammenfassung: Thermo-VL

Problemstellung

Vision-Language-Modelle (VLMs) haben durch Instruction Tuning auf großen RGB-Datensätzen erhebliche Erfolge im offenen Bildverständnis und bei der visuellen Fragebeantwortung (VQA) erzielt. Diese Modelle erben jedoch die Fehlermodi der Sensoren im sichtbaren Spektrum. Bei schwacher Beleuchtung, Blendung, Dunst oder Rauch verliert RGB-Bildmaterial oft kritische Szenenbeweise, wodurch Standard-VLMs in sicherheitskritischen Szenarien wie Nachtfahrten, Such- und Rettungseinsätzen sowie Inspektionen bei schlechter Sicht unzuverlässig werden.

Während thermische Infrarot-(IR-)Aufnahmen komplementäre Szenenstrukturen (z. B. Menschen, Tiere, warme Fahrzeuge) bewahren, wenn sichtbare Hinweise nachlassen, sind aktuelle Ansätze zur Integration thermischer Daten in VLMs suboptimal. Übliche Workarounds beinhalten die Übersetzung thermischer Bilder in Pseudo-RGB, bevor sie in RGB-trainierte VLMs eingespeist werden. Dieser auf Übersetzung basierende Pipeline führt zu einem generativen Engpass, birgt das Risiko, Details im sichtbaren Stil zu hallucinieren, und unterdrückt modality-spezifische Informationen, die im RGB-Raum nicht natürlich repräsentiert sind. Darüber hinaus sind bestehende RGB-Thermal-Datensätze (z. B. KAIST, FLIR-ADAS) primär für Detektion oder Verfolgung konzipiert und fehlen die sprachüberwachte Supervision, die für Instruction Tuning und offenes Schlussfolgern erforderlich ist.

Methodik

Die Autoren stellen Thermo-VL vor, ein wellenlängenbewusstes VLM, das auf dem Molmo-7B-D-Backbone aufbaut. Die Architektur ist so konzipiert, dass sie ausgerichtete RGB- und Thermal-Eingaben integriert, ohne die vortrainierte RGB-Sprach-Schnittstelle zu destabilisieren oder eine teure Neuschulung des gesamten Backbones zu erfordern.

Architektur

Dual Visual Encoders:
- RGB-Stream: Verwendet den eingefrorenen Molmo-vortrainierten Vision-Tower ( $\phi_R$ ).
- Thermal-Stream: Verwendet einen ViT-L/14-Encoder ( $\phi_T$ ), der von einem Masked Autoencoder (MAE) initialisiert wurde, der auf einem gepoolten Multi-Band-Infrarot-Korpus (KAIST, FLIR-ADAS, OSU/OTCBVS, NIRSCENE) vortrainiert wurde. Um die Kompatibilität mit der Erwartung von Molmo für 3-Kanal-Eingaben zu gewährleisten, werden einkanalige thermische Bilder über drei Kanäle repliziert.
- Parametereffizienz: Während des Trainings bleiben der RGB-Encoder und das Sprachmodell (LLM) eingefroren. Nur die letzten $N_\ell=4$ Transformer-Blöcke des Thermal-Encoders, die Thermal-LayerNorm und das Fusionsmodul werden aktualisiert.
Textgeführter Dual-Attention-Fusionsmodul:
Die Kerninnovation ist ein Fusionsblock, der Thermal-Features sowohl auf den Sprachprompt als auch auf den RGB-Kontext konditioniert, bevor sie in den eingefrorenen RGB-Stream injiziert werden.
- Eingabe: Ausgerichtete RGB-Tokens ( $R$ ), Thermal-Tokens ( $T$ ) und Prompt-Embeddings ( $P$ ).
- Dual-Attention: Die Thermal-Tokens werden über zwei parallele Attention-Pfade verfeinert:
  - Textgeführter Pfad: $T_{txt} = \text{MHA}(\bar{T}, \bar{P}, \bar{P})$
  - RGB-geführter Pfad: $T_{rgb} = \text{MHA}(\bar{T}, \bar{R}, \bar{R})$
- Verfeinerung: Diese Pfade werden mit den ursprünglichen Thermal-Features zusammengeführt, um eine verfeinerte Darstellung $\hat{T}$ zu erzeugen.
- Gated Residual Injection: Anstatt RGB-Tokens zu ersetzen, sagt das Modell ein Residuum $\Delta R$ aus $\hat{T}$ voraus und moduliert es mit tokenweisen Gates $\alpha$ . Die finalen fusionierten Tokens werden berechnet als:
  $R^\dagger = R + \alpha \odot \Delta R$
  Dieses Design stellt sicher, dass die Fusion abfragebewusst ist und die vortrainierte RGB-Sprach-Schnittstelle erhält, während eine gezielte Injektion thermischer Beweise ermöglicht wird.

Trainingsziel

Das Modell wird unter Verwendung einer zusammengesetzten Verlustfunktion optimiert:
$L = L_{LM} + \lambda_{align}L_{align} + \lambda_{contr}L_{contr} + \lambda_{gate}L_{gate}$

$L_{LM}$ : Standard-autoregressiver Cross-Entropy-Verlust für die Sprachmodellierungsaufgabe.
$L_{align}$ : Token-Level-L2-Ausrichtung zwischen RGB- und Thermal-Features, um konsistente Kreuzmodalkonsistenz zu erzwingen.
$L_{contr}$ : Kontrastiver Verlust (InfoNCE) zur Ausrichtung globaler semantischer Darstellungen von RGB, Thermal und Text.
$L_{gate}$ : Entropieregulierung am Gate-Mechanismus, um Gate-Sättigung zu verhindern (d. h. zu verhindern, dass das Modell eine Modalität vollständig ignoriert).
Augmentation: Während des Trainings wird eine blockweise RGB-Masking-Strategie angewendet, bei der zufällig 10 % der RGB-Bildfläche maskiert werden, um eine übermäßige Abhängigkeit vom sichtbaren Spektrum zu reduzieren.

Hauptbeiträge

Wellenlängenbewusstes VLM: Einführung von Thermo-VL, das gepaarte RGB- und Thermal-Eingaben über ein textgeführtes Dual-Attention-Fusionsmodul mit tokenweiser gated residual injection integriert, wobei der RGB-Tower und das LLM eingefroren bleiben.
Parametereffiziente Anpassung: Eine Fine-Tuning-Strategie, die nur die letzten Blöcke des Thermal-Encoders und die Fusionsparameter aktualisiert, regularisiert durch Token-Level-Ausrichtung, kontrastive Supervision und Gate-Entropie.
Vereinheitlichte RGB-Thermal-Sprachsupervision:
- Datensatz: Ein pixelgenauer RGB-Thermal-Instruction-Tuning-Datensatz mit ca. 19.500 Bildpaaren und ca. 54.000 QA-Paaren, der aus öffentlichen Datensätzen und synthetischer Thermal-Augmentation (unter Verwendung von F-ViTA) auf PixMo-cap-qa-Daten erstellt wurde.
- Benchmark: Thermo-VL-Bench, ein manuell gescreenter, binärer VQA-Benchmark mit ca. 3.148 Bildpaaren und ca. 15.000 QA-Paaren, der für Schlussfolgerungen bei schwacher Beleuchtung und über Spektralgrenzen hinweg konzipiert wurde.

Experimentelle Ergebnisse

Experimente wurden auf Thermo-VL-Bench und dem externen RGB-Th Bench durchgeführt.

Thermo-VL-Bench:
- RGB+Thermal: Thermo-VL erreichte 88,96 % Genauigkeit, eine erhebliche Verbesserung gegenüber der Molmo-Baseline (75,79 %), wenn beide Modalitäten bereitgestellt wurden.
- Nur Thermal: Verbessert von 81,20 % (Molmo) auf 82,23 %.
- Nur RGB: Die Leistung blieb bei 88,67 % erhalten und entsprach der Baseline, was zeigt, dass der Fusionsmechanismus die bestehenden RGB-Fähigkeiten nicht verschlechtert.
- Gesamt: Thermo-VL erzielte die höchste kombinierte Punktzahl (86,37 %) unter allen verglichenen Modellen (einschließlich InternVL, Qwen2.5-VL und LLaVA-Next).
RGB-Th Bench:
- Thermo-VL entsprach der Molmo-Baseline bei reinen RGB-Textaufgaben (77,25 %), verbesserte jedoch die Leistung bei RGB-Thermal-Textaufgaben erheblich und stieg von 60,84 % auf 69,15 %.
Ablationsstudien:
- Die Entfernung der textgeführten Attention verursachte den größten Leistungsabfall (88,96 % $\to$ 82,34 %), was die Bedeutung der fragebewussten Fusion bestätigt.
- Die Entfernung des gated Residuals oder der RGB-geführten Attention verschlechterte ebenfalls die Leistung und validierte die Rolle des Designs bei der Erhaltung der RGB-Schnittstelle bei gleichzeitiger Integration thermischer Daten.
- Es wurde gezeigt, dass auxiliary losses ( $L_{contr}$ und $L_{gate}$ ) entscheidend für die Kreuzmodalkonsistenz und die Verhinderung des Modalitätskollaps sind.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass eine explizite, prompt-konditionierte multispektrale Fusion es ermöglicht, thermische Hinweise effektiv mit RGB-Daten zu ergänzen, wenn sie innerhalb des Modells fusioniert werden, anstatt auf Eingabeebene angehängt oder in Pseudo-RGB übersetzt zu werden. Thermo-VL zeigt, dass es möglich ist, leistungsstarke vortrainierte VLMs auf thermische Wahrnehmung zu erweitern, ohne ihre vortrainierte RGB-Sprach-Schnittstelle zu destabilisieren.

Die Autoren positionieren Thermo-VL als Forschungsprototyp und nicht als einsatzbereites System. Sie erkennen Einschränkungen an, darunter die Annahme räumlich ausgerichteter Eingaben, die Verwendung von modellgenerierter QA-Supervision, die Artefakte einführen kann, und die Tatsache, dass Thermo-VL-Bench ein manuell gescreener, modellgenerierter Benchmark ist und kein vollständig von Menschen verfasster. Die Arbeit soll die Forschung im Bereich des multispektralen Vision-Language-Lernens und Instruction Tuning unter Bedingungen schwacher Beleuchtung unterstützen, anstatt als alleinige Grundlage für sicherheitskritische Entscheidungsfindung zu dienen.