UniLight: A Unified Representation for Lighting

Das Paper stellt UniLight vor, eine einheitliche latente Repräsentation für Beleuchtung, die durch kontrastives Lernen verschiedene Modalitäten wie Text, Bilder und Umgebungsmaps in einem gemeinsamen Embedding vereint, um eine flexible, modality-übergreifende Manipulation von Licht in visuellen Anwendungen zu ermöglichen.

Das Wesentliche

Stell dir vor, du bist ein Regisseur in einem riesigen Filmstudio. Deine Aufgabe ist es, die perfekte Beleuchtung für jede Szene zu finden. Aber hier ist das Problem: Jeder im Team spricht eine andere „Sprache", wenn es um Licht geht.

• Der Fotograf zeigt dir ein Foto und sagt: „Schau, so hell und warm soll es sein."
• Der Architekt gibt dir eine 360-Grad-Karte (eine Art Kugelpanorama), die zeigt, wo die Sonne steht.
• Der Physiker reicht dir eine Tabelle mit Zahlen (Irradiance), die genau berechnet, wie viel Licht wo ankommt.
• Der Drehbuchautor schreibt nur einen Satz: „Es ist ein sonniger Morgen, die Sonne steht rechts oben."

Das Problem bisher war: Diese vier Leute konnten nicht miteinander reden. Wenn du dem Fotografen die Worte des Autors gabst, verstand er sie nicht. Wenn du dem Architekten die Zahlen des Physikers gabst, schüttelte er nur den Kopf. Jede Beleuchtungsmethode war wie eine Insel, die nicht mit den anderen verbunden war.

Das ist genau das Problem, das „UniLight" löst.

Die Lösung: Ein universeller Dolmetscher

Die Forscher hinter UniLight haben einen genialen Trick erfunden: Sie bauen eine gemeinsame Sprache (ein „latenter Raum"), die alle diese verschiedenen Licht-Formen versteht.

Stell dir UniLight wie einen super-intelligenten Dolmetscher vor, der in der Mitte des Raumes sitzt.

1. Der Fotograf gibt ihm ein Foto.
2. Der Autor gibt ihm einen Text.
3. Der Physiker gibt ihm Zahlen.
4. Der Architekt gibt ihm eine 360-Grad-Karte.

Der Dolmetscher übersetzt alle diese Eingaben in denselben Code. Egal, ob du ein Bild oder einen Text eingibst, der Dolmetscher sagt: „Aha! Das ist genau dasselbe Licht wie hier!"

Wie funktioniert das? (Die Magie dahinter)

Um diesen Dolmetscher zu trainieren, haben die Forscher eine riesige Bibliothek mit tausenden von Szenen aufgebaut. Für jede Szene haben sie alles gesammelt: das Foto, die 360-Grad-Karte, die Lichtberechnungen und eine Beschreibung.

Sie haben dem Dolmetscher beigebracht, dass diese vier Dinge immer zusammengehören. Aber es gibt noch einen besonderen Trick:
Der Dolmetscher muss nicht nur wissen, dass es hell ist, sondern auch, woher das Licht kommt. Deshalb haben sie ihm eine Art Kompass (nämlich „Sphärische Harmonische") eingebaut. Das ist wie ein inneres Gefühl für Richtung. Wenn du den Dolmetscher drehst, merkt er sofort: „Moment, das Licht kommt jetzt von links, nicht mehr von rechts!"

Was kann man damit machen?

Dank dieser gemeinsamen Sprache können wir jetzt Dinge tun, die früher unmöglich waren:

1. Die Licht-Suche (Retrieval):
   Stell dir vor, du hast ein Foto von einem gemütlichen Wohnzimmer mit warmem Licht. Du kannst dieses Foto in das System werfen und sagen: „Finde mir alle Texte oder 360-Grad-Karten, die genau dieses Licht beschreiben!" Das System findet sie sofort, weil es den „Licht-Code" versteht.

2. Licht aus dem Nichts erzeugen (Generation):
   Du kannst einen Text eingeben wie: „Ein kalter, blauer Morgen in einem Büro" und das System erstellt daraus automatisch eine perfekte 360-Grad-Lichtkarte, die du für 3D-Animationen nutzen kannst.

3. Bilder neu beleuchten (Relighting):
   Das ist das Coolste: Du hast ein Foto von einem Gesicht. Du möchtest, dass die Sonne plötzlich von links scheint, statt von rechts. Früher war das eine Albtraum-Arbeit für Computer. Mit UniLight sagst du einfach: „Ändere das Licht auf 'Sonne von links'". Das System nimmt das Bild, versteht das alte Licht, tauscht es gegen das neue aus und malt die Schatten und Reflexionen perfekt neu. Es fühlt sich an, als würdest du einen Lichtschalter umlegen.

Warum ist das wichtig?

Bisher mussten Experten für Computergrafik sich entscheiden: „Will ich mit Text arbeiten oder mit Bildern?" UniLight sagt: „Warum nicht beides?"

Es ist wie ein universeller Stecker. Früher gab es für jede Lichtquelle einen anderen Stecker, der nur in eine bestimmte Steckdose passte. UniLight ist der Adapter, der alles verbindet. Ob du ein Bild, einen Text oder eine mathematische Formel hast – UniLight macht daraus dasselbe Licht, das du in deiner digitalen Welt nutzen kannst.

Zusammengefasst: UniLight ist der große Vermittler, der alle Sprachen des Lichts versteht und es uns ermöglicht, Bilder und Szenen so einfach und flexibel zu beleuchten, als hätten wir einen Zauberstab in der Hand.

Technische Zusammenfassung

1. Problemstellung

Beleuchtung ist ein entscheidender Faktor für das visuelle Erscheinungsbild von Bildern. Bisherige Ansätze zur Darstellung und Kontrolle von Beleuchtung in der Computer Vision und Computer Graphics leiden jedoch unter einer fundamentalen Inkompatibilität zwischen verschiedenen Repräsentationsformen.

• Verschiedene Modalitäten: Beleuchtung wird typischerweise durch unterschiedliche Formate beschrieben, wie z. B. Umgebungslichtkarten (Environment Maps), Textbeschreibungen, Irradiance-Karten (Bestrahlungsstärke) oder Referenzbilder.
• Fehlende Interoperabilität: Jede dieser Darstellungen hat spezifische Vor- und Nachteile, ist aber oft nicht mit den anderen kompatibel. Methoden zur Beleuchtungsschätzung oder -steuerung sind meist auf eine einzige Repräsentation spezialisiert und können nicht flexibel zwischen Modalitäten wechseln (z. B. eine Beleuchtung aus einem Text in eine Umgebungslichtkarte umwandeln).
• Limitationen bestehender Lösungen: Implicit-Representationen (wie NeRFs) sind oft aufgaben spezifisch, während traditionelle Methoden (z. B. sphärische Harmonische) oft zu einfach sind oder manuelle Annotationen erfordern.

2. Methodik: UniLight

Das Paper stellt UniLight vor, einen gemeinsamen latenten Raum (Joint Latent Space), der diese inkompatiblen Beleuchtungsmodalitäten in einer einzigen, hochdimensionalen Einbettung vereint.

A. Datenpipeline und Datensatz

Um das Modell zu trainieren, wurde ein neuer, multimodaler Datensatz erstellt:

• Quelle: 8.020 HDR-Umgebungslichtkarten (innen und außen).
• Generierung: Aus jeder Karte werden 9 perspektivische Bilder extrahiert.
• Modalitäten pro Sample:
  1. Die originale Umgebungslichtkarte.
  2. Ein extrahiertes Bild (512x512, 90° FOV).
  3. Eine Irradiance-Karte (geschätzt mit Prism).
  4. Eine Textbeschreibung (generiert durch ein Vision-Language-Modell, InternVL3-38B, basierend auf der Analyse der hellsten Lichtquellen).
  5. Geschätzte Umgebungslichtkarten aus Bildern (via DiffusionLight-Turbo) zur Erhöhung der Robustheit.

B. Architektur

Das Modell besteht aus mehreren Komponenten, die in einen gemeinsamen latenten Raum projizieren:

1. Modalitätsspezifische Encoder:
   • Bilder (Umgebungslicht, Bild, Irradiance): Nutzen DINOv2-B (Vision Transformer) als Backbone. Für Umgebungslichtkarten werden LDR-, HDR- (logarithmisch kodiert) und Richtungs-Kodierungen (x,y,z-Koordinaten) kombiniert.
   • Text: Nutzt den Qwen3 Embedding Encoder (0.6B Parameter), der auf Beleuchtungssemantik feinabgestimmt wird.
2. Fusionsmodul: Ein leichtgewichtiges, transformer-basiertes Modul mit lernbaren Query-Tokens (Standard: 8 Tokens), das die Features der Encoder zusammenfasst und auf eine gemeinsame Dimension (D=512) abbildet.
3. Auxiliary Head (Sphärische Harmonische): Ein spezieller Kopf, der aus dem latenten Vektor Koeffizienten sphärischer Harmonischer (bis Grad 3) vorhersagt. Dies dient als explizite Supervision für die Erfassung von Lichtrichtungen.

C. Trainingsziel (Loss Function)

Das Training erfolgt kontrastiv mit zwei Hauptzielen:

1. Kontrastiver Verlust ($L_C$): Zwingt die Encoder, Einbettungen für dieselbe Beleuchtungssituation (unabhängig von der Modalität) im latenten Raum nahe beieinander zu platzieren (Cross-Entropy Loss über alle Modalitäten).
2. Sphärische-Harmonische-Loss ($L_{SH}$): Minimiert den quadratischen Fehler zwischen den vorhergesagten und den Ground-Truth-Koeffizienten der sphärischen Harmonischen, um die Richtungspräzision zu stärken.

• Gesamt-Loss: $L = L_C + L_{SH}$

3. Wichtige Beiträge

• Einheitlicher latenter Raum: Erste Arbeit, die Text, Bilder, Irradiance und Umgebungslichtkarten in einem einzigen Embedding vereint.
• Multimodale Pipeline: Ein skalierbarer Ansatz zur Generierung von Trainingsdaten, der VLMs und Intrinsic-Decomposition nutzt.
• Richtungs-Verstärkung: Die Integration der sphärischen Harmonischen als auxiliary task verbessert das Verständnis der Lichtrichtung signifikant.
• Anwendungsflexibilität: Demonstration der Vielseitigkeit in drei verschiedenen Downstream-Aufgaben.

4. Ergebnisse und Evaluation

Die Autoren evaluieren UniLight in drei Szenarien:

• Cross-Modal Retrieval (Wiedergewinnung):

  • Das Modell kann Beleuchtungen basierend auf Text, Bild oder Irradiance in anderen Modalitäten wiederauffinden.
  • Ergebnis: Deutlich bessere Recall-Raten (z. B. R@1 ~25% für Text→Bild) im Vergleich zu Baselines wie CLIP oder Qwen3-VL. Die Abduktionsstudie zeigt, dass die sphärische Harmonische-Supervision (SH3) essenziell für die Genauigkeit ist; ohne sie bricht die Leistung ein.
  • Die Einbettungen kodieren die Lichtrichtung präzise (nachgewiesen durch Rotationstests, bei denen die Ähnlichkeit mit der Drehung abnimmt).

• Generierung von Umgebungslichtkarten:

  • Ein auf Stable Diffusion 3.5 Medium basierendes Modell wird mit UniLight-Embeddings konditioniert, um 360°-Umgebungslichtkarten aus Text, Bildern oder Irradiance zu generieren.
  • Ergebnis: Übertrifft DiffusionLight-Turbo sowohl in visuellen als auch in quantitativen Metriken (PSNR, SSIM, LPIPS).

• Beleuchtungssteuerung bei der Bildsynthese (Relighting):

  • Integration in das X→RGB-Framework zur Neubeleuchtung von Bildern.
  • Ergebnis: Im Vergleich zu Baselines (die oft statische Schatten/Helligkeit bei Drehung der Lichtquelle zeigen) ermöglicht UniLight eine physikalisch konsistente und kohärente Neubeleuchtung, bei der Schatten und Highlights korrekt auf die neue Lichtquelle reagieren.

5. Bedeutung und Ausblick

UniLight stellt einen bedeutenden Schritt hin zu einer einheitlichen, physikalisch fundierten Darstellung von Beleuchtung dar.

• Flexibilität: Es ermöglicht Entwicklern, Beleuchtung unabhängig von der Eingabemodalität zu steuern (z. B. „Licht aus dem Text in eine 3D-Szene übertragen").
• Generative KI: Die Arbeit ebnet den Weg für präzisere und kontrollierbare Beleuchtungseffekte in generativen Modellen (Diffusion Models), was für Anwendungen in Film, Gaming und VR entscheidend ist.
• Zukunft: Potenzielle Erweiterungen könnten die Integration von räumlich variierenden Beleuchtungen (für komplexe Innenräume) und die Anpassung an weitere gängige Encoder für Zero-Shot-Anwendungen umfassen.

Zusammenfassend löst UniLight das Problem der Fragmentierung von Beleuchtungsrepräsentationen und schafft eine Brücke zwischen semantischen Beschreibungen (Text) und physikalischen Daten (Maps/Images), was die Kontrolle über generative Bildsynthese revolutioniert.