TherA: Thermal-Aware Visual-Language Prompting for Controllable RGB-to-Thermal Infrared Translation

Each language version is independently generated for its own context, not a direct translation.

Das Problem: Warum Computer "Wärme" nicht verstehen

Stell dir vor, du hast ein normales Foto (RGB) von einer belebten Straße. Du siehst Autos, Menschen und Gebäude. Ein Computer kann das Foto sehen, aber er weiß nicht, wie es sich anfühlt.

Wenn du dem Computer sagst: "Mach daraus ein Wärmebild", machen die alten Methoden oft einen großen Fehler. Sie denken: "Okay, das Auto ist rot, also mache ich es im Wärmebild auch rot (heiß)." Aber das ist physikalisch falsch! Ein geparktes Auto ist kalt, ein fahrendes Auto mit laufendem Motor ist heiß. Ein Mensch ist warm, ein Stein ist kalt.

Bisherige KI-Modelle waren wie Künstler, die nur Farben kopieren, ohne die Physik zu verstehen. Sie malten heiße Abgase auf geparkte Autos, weil sie dachten, Autos sind immer heiß. Das Ergebnis sah aus wie ein Wärmebild, war aber physikalisch Unsinn.

Die Lösung: TherA – Der "Wärme-Physiker" im Kopf

Die Forscher haben TherA entwickelt. Das ist wie ein neuer, intelligenter Assistent, der zwei Dinge gleichzeitig tut:

Der Detektiv (TherA-VLM): Bevor das Bild gemalt wird, schaut sich der Assistent das Foto genau an und fragt sich: "Was passiert hier eigentlich?"
- Metapher: Stell dir vor, du hast einen Wärme-Physiker in deinem Kopf. Er sieht das Foto und denkt: "Aha, das Auto fährt, der Motor läuft, also ist es heiß. Der andere steht still, also ist er kalt. Es ist regnerisch, also kühlt die Straße ab."
- Er schreibt sich diese physikalischen Fakten auf einen Zettel (einen "Embedding"), statt nur zu sagen "Mach es warm".
Der Maler (Diffusions-Modell): Dieser Maler nimmt den Zettel vom Physiker und malt das Wärmebild. Da er die physikalischen Regeln kennt, malt er das geparkte Auto kühl und das fahrende Auto heiß.

Was macht TherA besonders? (Die Kontrolle)

Das Coolste an TherA ist, dass du der KI sagen kannst, wie das Bild aussehen soll, ohne das Foto neu zu machen.

Text-Befehle: Du kannst sagen: "Mach es zu einer regnerischen Nacht." Der Physiker denkt: "Regen kühlt alles ab, und nachts ist es dunkel." Der Maler passt die Wärmeverteilung sofort an.
Vorbild-Bilder: Du kannst ein Foto von einem fahrenden Auto hochladen und sagen: "Mach mein geparktes Auto so heiß wie dieses hier." TherA versteht dann: "Oh, das Auto soll jetzt laufen und heiß sein!" und ändert nur die Wärme, nicht die Form des Autos.

Die Metapher: Stell dir vor, du hast ein normales Foto. TherA ist wie ein magischer Filter, den du nicht nur mit "Warm" oder "Kalt" bedienst, sondern mit einer ganzen Geschichte. Du sagst: "Stell dir vor, es ist ein heißer Sommertag und dieses Auto hat gerade eine lange Strecke gefahren." TherA malt dann genau das Wärmebild, das zu dieser Geschichte passt.

Warum ist das wichtig?

Echte Wärmebilder (TIR) sind teuer zu machen. Man braucht spezielle Kameras, und es ist schwer, genug davon zu sammeln, um KI-Systeme (z. B. für autonome Autos) zu trainieren.

TherA ist wie ein Fotokopierer für Wärmebilder. Er nimmt normale, billige Fotos und wandelt sie in hunderte, tausende realistische Wärmebilder um.

Er lernt die Regeln der Physik (warum ist ein Motor heiß?).
Er kann Szenen verändern (Tag/Nacht, Regen/Sonne), um dem Computer beizubringen, wie die Welt unter verschiedenen Bedingungen aussieht.

Zusammenfassung in einem Satz

TherA ist ein KI-System, das nicht einfach nur Farben austauscht, sondern wie ein Wärme-Physiker denkt, um aus normalen Fotos realistische, physikalisch korrekte Wärmebilder zu zaubern, die man sogar steuern kann – ganz ohne teure Wärmebildkameras.

Each language version is independently generated for its own context, not a direct translation.

1. Problemstellung

Die thermische Infrarot (TIR) Bildgebung bietet robuste Wahrnehmungsfähigkeiten bei schlechten Sichtverhältnissen und ist eine wertvolle Ergänzung zu RGB-Kameras. Dennoch stellt die Sammlung und Annotation großer TIR-Datensätze einen erheblichen Engpass dar, da TIR-Sensoren teuer sind und die manuelle Kennzeichnung von Textur-armen Bildern Expertenwissen erfordert.

Bestehende Ansätze zur Synthese von Pseudo-TIR-Daten durch Bildübersetzung (RGB-zu-TIR) haben zwei Hauptmängel:

Fehlende physikalische Plausibilität: Die meisten Methoden behandeln die Übersetzung als reinen "Style Transfer" auf Pixelebene. Sie ignorieren die zugrunde liegende Thermodynamik (z. B. Materialemissivität, aktive Wärmequellen, Umgebungsbedingungen). Dies führt zu unrealistischen Wärmeverteilungen (z. B. werden geparkte Autos oft fälschlicherweise als heiß dargestellt).
Mangelnde Steuerbarkeit: Die Übersetzung ist oft deterministisch (eins-zu-eins), obwohl ein einzelnes RGB-Bild viele gültige thermische Ausgaben haben kann (z. B. je nach Tageszeit oder Wetter). Es fehlt an Mechanismen, um die thermische Erscheinung gezielt zu steuern, ohne die Szenengeometrie zu verändern.

2. Methodik: Das TherA-Framework

TherA ist ein steuerbares Übersetzungsframework, das aus zwei synergistischen Komponenten besteht: einem Thermal-Aware Vision-Language Model (TherA-VLM) und einem latenten Diffusionsmodell.

A. Der R2T2-Datensatz

Um das Modell zu trainieren, wurde der R2T2-Datensatz (100.000 Paare) erstellt. Dieser enthält:

Ausgerichtete RGB-TIR-Bildpaare.
Strukturierte, kanonische Textbeschreibungen, die thermisch relevante Attribute kodieren.
Diese Beschreibungen wurden mit einem multimodalen LLM (Gemini 2.5 Pro) generiert und normalisieren die Daten in ein Schema, das Szene (Wetter, Tageszeit), Objekte, Materialien und Wärmeemissionszustände (aktiv/passiv) beschreibt.

B. TherA-VLM (Thermal-Aware Vision-Language Model)

Dies ist das Kernstück der Methode. Anstatt freier Textbeschreibungen (wie bei herkömmlichen VLMs) generiert TherA-VLM ein kompaktes, strukturiertes Thermal Embedding ( $h_N$ ).

Architektur: Basierend auf LLaVA 1.5, wobei nur die LoRA-Schichten des Sprachmodells und des Bildprojektors feinabgestimmt werden.
Funktion: Das Modell analysiert das Eingabe-RGB-Bild und eine Benutzeranweisung (Text oder Referenzbild) und leitet physikalisch fundierte Attribute ab (z. B. "Auto: aktiv, Motor heiß").
Output: Ein Vektor ( $h_N$ ), der den thermischen Kontext der Szene kodiert.

C. VLM-konditioniertes Diffusionsmodell

Ein latenter Diffusions-Übersetzer (basierend auf Stable Diffusion UNet) nutzt das Thermal Embedding von TherA-VLM als Bedingung.

Adapter: Ein spezieller "TE-Adapter" (Thermal Embedding Adapter) projiziert das VLM-Embedding in den Aufmerksamkeitsraum des UNet, um die semantische Lücke zwischen VLM und Diffusionsmodell zu schließen.
Eingabe: Das Modell erhält das verrauschte TIR-Latent und das RGB-Latent als Eingabe.
Steuerung: Durch den Dual-Classifier-Free-Guidance (CFG) Ansatz kann die Ausgabe durch den VLM-Kontext (semantische/physikalische Bedingung) und das visuelle RGB-Signal gesteuert werden.

D. Steuerbarkeit (Controllability)

TherA ermöglicht zwei Arten der Kontrolle, ohne die Geometrie zu ändern:

Textgesteuert: Der Benutzer gibt Anweisungen wie "bewölkt" oder "nachts", um globale Szenenattribute zu ändern.
Referenzgesteuert: Ein Referenz-RGB-Bild (z. B. ein aktives Auto vs. ein geparktes Auto) wird dem VLM gegeben. Das Modell extrahiert daraus das thermische Verhalten und überträgt es auf das Zielszenario.

3. Hauptbeiträge

Thermal-Aware VLM Conditioning: Einführung von TherA-VLM, das physikalisch fundierte thermische Embeddings generiert, um Diffusionsmodelle zu steuern.
Steuerbare thermische Modulation: Erstes RGB-zu-TIR-Modell, das sowohl text- als auch referenzbildgesteuerte Kontrolle über den thermischen Zustand (aktiv/passiv, Wetter, Tageszeit) bietet.
State-of-the-Art (SOTA) Leistung: Überlegene Ergebnisse in quantitativen Metriken und Zero-Shot-Generalisierung.
Ressourcen-Freigabe: Öffentliche Freigabe des R2T2-Datensatzes, der Gewichte von TherA-VLM und des Übersetzungsmoduls.

4. Ergebnisse

Die Evaluation erfolgte auf den Benchmarks M3FD, FLIR und CART.

Quantitative Ergebnisse: TherA erreicht auf allen Metriken (PSNR, SSIM, FID, LPIPS) neue Bestwerte. Im Vergleich zu SOTA-Baselines (wie DiffV2IR, F-ViTA) zeigt TherA eine durchschnittliche Steigerung der Zero-Shot-Performance um bis zu 33%.
Zero-Shot Generalisierung: Modelle, die nur auf R2T2 trainiert wurden, generalisieren hervorragend auf ungesehene Datensätze (z. B. CART), was auf die Robustheit des physikalisch fundierten Conditioning zurückzuführen ist.
Qualitative Ergebnisse: TherA erzeugt physikalisch plausible Bilder (z. B. kalte geparkte Autos, warme laufende Motoren, korrekte Wärmeverteilung bei Gebäuden), während Baselines oft Artefakte oder physikalisch unmögliche Wärmeverteilungen produzieren.
Downstream Tasks: Pseudo-TIR-Daten von TherA verbessern die Leistung bei nachgelagerten Aufgaben wie thermischer Segmentierung und RGB-TIR-Bildzuordnung (Matching) signifikant stärker als Daten anderer Übersetzungsmodelle.

5. Bedeutung und Fazit

TherA adressiert die fundamentale Lücke zwischen RGB- und TIR-Bildgebung, indem es die Übersetzung von einem rein visuellen Stiltransfer zu einem physikalisch fundierten, steuerbaren Prozess macht.

Wissenschaftlicher Impact: Die Arbeit zeigt, dass die Integration von physikalischem Wissen (via VLM) in Diffusionsmodelle notwendig ist, um realistische thermische Szenen zu synthetisieren.
Praktischer Nutzen: Durch die Möglichkeit, Pseudo-TIR-Daten für beliebige Wetterbedingungen und Objektzustände zu generieren, kann TherA die Datenknappheit im Bereich der thermischen Wahrnehmung (z. B. für autonomes Fahren oder Überwachung) effektiv lösen.
Limitationen: Das System arbeitet derzeit auf normalisierten, relativen Temperaturbildern und nicht auf absoluten radiometrischen Werten. Zudem hängt die Qualität stark von der Sichtbarkeit im Eingabe-RGB-Bild ab.

Zusammenfassend stellt TherA einen Paradigmenwechsel dar, der semantisches Verständnis und physikalische Prinzipien nutzt, um kontrollierbare und realistische thermische Bildsynthese zu ermöglichen.