CARL: Camera-Agnostic Representation Learning for Spectral Image Analysis

Das Paper stellt CARL vor, ein kameraneutrales Modell für das Repräsentationslernen, das mithilfe eines neuartigen spektralen Encoders mit Selbst- und Kreuz-Aufmerksamkeit sowie einer selbstüberwachten Vortrainingsstrategie die Generalisierbarkeit von KI-Methoden über verschiedene Spektralbildgebungsmodalitäten hinweg ermöglicht und so eine robuste Grundlage für zukünftige spektrale Fundamentmodelle schafft.

Das Wesentliche

Das große Problem: Jeder Kamera hat ihre eigene Sprache

Stell dir vor, du möchtest ein riesiges Puzzle aus Bildern legen, um zu lernen, wie man Dinge erkennt – sei es in der Medizin (z. B. Organe im Körper), beim Autofahren (Verkehrszeichen) oder aus dem Weltraum (Satellitenbilder).

Das Problem ist: Jede Kamera spricht eine andere Sprache.

• Eine Kamera im Krankenhaus sieht vielleicht 100 verschiedene Farbnuancen (Kanäle).
• Eine Kamera im Auto sieht nur 3 (Rot, Grün, Blau).
• Eine Satellitenkamera sieht vielleicht 12 oder 116 Kanäle.

Bisher mussten KI-Modelle wie ein strenger Lehrer sein, der nur mit einem Schüler arbeiten kann. Wenn du ein Modell für die Krankenhaus-Kamera trainiert hast, funktionierte es nicht mit der Autokamera. Du musstest für jede Kamera ein neues, separates Modell bauen. Das war wie ein riesiger Haufen ungenutzter Daten, weil man sie nicht zusammenführen konnte.

Die Lösung: CARL – Der universelle Dolmetscher

Die Forscher haben CARL entwickelt. Man kann sich CARL wie einen genialen Dolmetscher vorstellen, der alle diese verschiedenen Kamerasprachen versteht und in eine einzige, universelle Sprache übersetzt.

Hier ist, wie CARL funktioniert, mit ein paar einfachen Vergleichen:

1. Der „Spektrale Dolmetscher" (Der Spektral-Encoder)

Normalerweise schauen sich Computerbilder nur an, wo etwas ist (die Form). CARL schaut sich aber auch an, was das Licht genau ist.

• Die Analogie: Stell dir vor, jede Kamera mischt ihre Farben anders. Die eine nutzt viel Rot, die andere viel Blau. CARL hat einen speziellen Mechanismus (einen „Dolmetscher"), der nicht auf die Anzahl der Farben achtet, sondern auf die Wellenlänge (die genaue „Note" des Lichts).
• Wie es geht: CARL nimmt die vielen verschiedenen Farbkanäle einer Kamera und komprimiert sie in ein paar wenige, wichtige „Zusammenfassungen" (wir nennen sie Lernbare Spektral-Repräsentationen). Es ist so, als würde man ein 500-seitiges Buch in eine prägnante Zusammenfassung von 8 Sätzen verwandeln, die den Kern der Geschichte trifft – egal, ob das Original auf Deutsch, Französisch oder Chinesisch war.

2. Die „Landkarte des Lichts" (Wellenlängen-Positionskodierung)

Damit der Dolmetscher weiß, welche Farbe welche ist, gibt CARL jedem Lichtkanal eine Art Adresse.

• Die Analogie: Stell dir vor, die Farben sind wie Noten auf einer Klaviatur. Eine Kamera spielt vielleicht nur die Töne von C bis G, eine andere von A bis E. CARL weiß genau, wo diese Töne auf der Klaviatur liegen. Es ignoriert nicht, dass die Tasten anders angeordnet sind, sondern versteht die Position der Töne. So kann es sagen: „Ah, dieser Kanal ist Rot, egal ob er der erste oder der zehnte Kanal der Kamera ist."

3. Der „Selbstlern-Coach" (Selbstüberwachtes Lernen)

Um diesen Dolmetscher so gut wie möglich zu machen, haben die Forscher ihn nicht mit fertigen Lösungen gefüttert (was teuer und mühsam ist), sondern haben ihn selbst üben lassen.

• Die Analogie: Stell dir vor, du zeigst dem KI-Modell ein Bild, aber du verdeckst zufällig einige Farben (Kanäle). Die Aufgabe der KI ist es, die fehlenden Farben basierend auf den sichtbaren Teilen und dem Kontext zu erraten.
• Das passiert in zwei Schritten:
  1. Farben raten: „Welche Farbe fehlt hier?" (Spektrales Lernen).
  2. Formen raten: „Welches Objekt ist das?" (Räumliches Lernen).
• Durch dieses Training auf riesigen Mengen an Daten (von Satelliten, Autos und Operationssälen) lernt CARL, was wirklich wichtig ist, und wird extrem robust.

Warum ist das so cool? (Die Ergebnisse)

CARL hat in drei verschiedenen Welten getestet, wie gut es funktioniert:

1. In der Medizin: Es konnte Organe in Bildern erkennen, selbst wenn die Trainingsdaten von ganz anderen Kameras kamen als die Testbilder. Es war wie ein Chirurg, der auch mit einem neuen, fremden Mikroskop sofort arbeiten kann.
2. Beim Autofahren: Es lernte, Verkehrsschilder zu erkennen, indem es Wissen aus RGB-Kameras (normale Kameras) auf hyperspektrale Kameras übertrug. Selbst wenn im Testbild ein Objekt (z. B. ein Pfosten) fehlte, wusste CARL, wie es aussieht, weil es es von anderen Daten gelernt hatte.
3. Im Weltraum: Es analysierte Satellitenbilder von verschiedenen Satelliten (mit unterschiedlichen Sensoren) und war besser als alle bisherigen Modelle, die nur für einen bestimmten Satelliten gemacht waren.

Das Fazit

Vor CARL war die Welt der Spektralbilder wie ein Haufen isolierter Inseln. Jede Kamera war eine eigene Insel, und man konnte nicht von einer zur anderen reisen.

CARL baut eine Brücke. Es ist das erste Modell, das versteht, dass Licht Licht ist, egal wie viele Kanäle die Kamera hat. Es macht KI für Spektralbilder universell einsetzbar, robuster und effizienter. Statt für jede neue Kamera ein neues Modell zu erfinden, nutzen wir jetzt einfach CARL – den universellen Dolmetscher für das Licht.

Kurz gesagt: CARL macht KI aus dem „Einzelkämpfer" zum „Weltbürger", der mit jeder Kamera der Welt sprechen kann.

Technische Zusammenfassung

1. Problemstellung

Spectral Imaging (Spectral Imaging), einschließlich RGB-, Multispektral- (MSI) und Hyperspektralbildgebung (HSI), bietet wertvolle Informationen für Anwendungen in der Medizin, autonomen Fahren und Fernerkundung. Ein zentrales Hindernis für die Entwicklung robuster KI-Methoden ist jedoch die hohe Variabilität zwischen verschiedenen Spektralkameras. Diese Variabilität äußert sich in:

• Unterschiedlicher Kanaldimensionalität (Anzahl der Spektralkanäle).
• Unterschiedlichen erfassten Wellenlängen (Spektrale Abdeckung).

Herkömmliche Modelle (z. B. CNNs oder Vision Transformers) sind oft auf eine feste Kanaldimension und spezifische Wellenlängen trainiert. Dies führt zu "kamera-spezifischen Daten-Silos", in denen Modelle nicht auf andere Kameras verallgemeinern können. Bestehende Ansätze zur Kanal-Invarianz ignorieren oft die physikalischen Beziehungen zwischen den Kanälen (Wellenlängen), während wellenlängenbewusste Ansätze oft nicht kanal-invariant sind. Zudem fehlt es an Self-Supervised-Learning (SSL) Strategien, die sowohl räumliche als auch spektrale Informationen in einer kamera-agnostischen Weise lernen.

2. Methodik: CARL Framework

Das vorgestellte Modell CARL (Camera-Agnostic Representation Learning) adressiert diese Probleme durch eine neuartige Architektur und einen Selbstüberwachungs-Trainingsansatz.

A. Architektur

Das Framework besteht aus zwei Hauptkomponenten:

1. Spektraler Encoder ($E_{spec}$):

   • Wellenlängen-Positionscodierung: Um Kanal-Korrespondenzen über verschiedene Kameras hinweg herzustellen, werden die physikalischen Wellenlängen $\lambda_i$ der Kanäle als Positionscodierung (basierend auf sinusförmigen Fourier-Features) in die Eingabe integriert. Dies ermöglicht dem Modell, die Bedeutung eines Kanals basierend auf seiner Wellenlänge zu verstehen, unabhängig von der Gesamtanzahl der Kanäle.
   • Self-Attention & Cross-Attention: Der Encoder verarbeitet Spektral-Tokens (Patches) durch eine Self-Attention-Schicht. Anschließend werden $K$ lernbare Spektral-Repräsentationen (Queries) via Cross-Attention auf die Spektral-Tokens angewendet. Dieser Mechanismus destilliert die relevanten spektralen Informationen in eine kompakte, feste Anzahl von Repräsentationen ($K$), unabhängig von der ursprünglichen Kanaldimension $C$.
   • Aggregation: Die $K$ Repräsentationen werden aggregiert (z. B. durch Summation), um eine kamera-agnostische Feature-Karte zu erzeugen.

2. Räumlicher Encoder ($E_{spat}$):

   • Die kamera-agnostischen Features werden an einen Standard-Raum-Encoder (z. B. ViT oder EVA-02) weitergeleitet, der die räumlichen Beziehungen zwischen den Patches erfasst.

B. Selbstüberwachungs-Strategie (CARL-SSL)

Um große Mengen ungelabelter Daten zu nutzen, wurde ein neuer SSL-Ansatz entwickelt, der räumliches und spektrales Lernen kombiniert:

• Maskierung: Sowohl im Spektral- als auch im Räumlichen Bereich werden Teile der Eingabe maskiert.
• Teacher-Student-Paradigma: Ein "Student"-Netzwerk versucht, die Features der maskierten Bereiche vorherzusagen, basierend auf den unmaskierten Eingaben. Ein "Teacher"-Netzwerk (mittels Exponential Moving Average aktualisiert) generiert die Ziel-Features aus der vollständigen Eingabe.
• Spektrales SSL: Das Student-Netzwerk rekonstruiert maskierte Spektral-Kanäle im Feature-Raum unter Verwendung der Wellenlängen-Positionscodierung der maskierten Kanäle.
• Räumliches SSL: Analog wird die räumliche Struktur rekonstruiert (basierend auf I-JEPA).
• Verlustfunktion: Der Gesamtverlust basiert auf VICReg (Variance-Invariance-Covariance Regularization), um Feature-Collapse zu verhindern und diverse, invariante Repräsentationen zu lernen.

3. Hauptbeiträge

1. Erster Ansatz für räumlich-spektrales, kamera-agnostisches Lernen: CARL ist das erste Modell, das eine echte Kanal-Invarianz mit Wellenlängen-Bewusstsein kombiniert, indem es Wellenlängen als Positionscodierung nutzt und lernbare Spektral-Repräsentationen einführt.
2. Erstes kamera-agnostisches räumlich-spektrales SSL-Framework: CARL-SSL ermöglicht das Training auf heterogenen Datensätzen (verschiedene Kameras, verschiedene Kanalzahlen) ohne manuelle Annotationen.
3. Skalierbarkeit und Validierung: Das Modell wurde erfolgreich in drei völlig unterschiedlichen Domänen validiert: medizinische Bildgebung, autonomes Fahren und Satellitenbildgebung.

4. Ergebnisse

Die Experimente zeigen, dass CARL sowohl gegenüber kamera-spezifischen Modellen als auch gegenüber bestehenden kanal-invarianten Baselines überlegen ist:

• Medizinische Bildgebung (Organ-Segmentierung):

  • CARL behielt eine hohe Genauigkeit (mIoU) bei, selbst wenn der Trainingsdatensatz zunehmend durch synthetische Multispektral-Bilder (mit simulierten Filtern und variierenden Kanalzahlen) ersetzt wurde.
  • Im Gegensatz zu Baselines, deren Performance mit zunehmender spektraler Heterogenität einbrach, blieb CARL robust.
  • Feature-Analysen (t-SNE) zeigten, dass die gelernten Merkmale stark von der Semantik (Organ-Typ) und kaum von der Kamera-Quelle beeinflusst werden.

• Autonomes Fahren (Stadt-Szenen-Segmentierung):

  • Auf dem HSICity-Datensatz (Hyperspektral) übertraf CARL-SSL alle Baselines.
  • Ein entscheidender Vorteil: CARL konnte Wissen aus RGB-Daten (Cityscapes, z. B. "Pole"-Klasse) auf Hyperspektral-Daten übertragen, selbst wenn diese Klasse im Hyperspektral-Trainingsset fehlte. Kamera-spezifische Modelle scheiterten hier.

• Fernerkundung (Satellitenbilder):

  • Bei der Vorhersage auf Out-of-Distribution-Sensoren (z. B. Gaofen-5 mit 116 Kanälen oder Orbita mit 32 Kanälen), die nicht im Pre-Training verwendet wurden, erzielte CARL die beste durchschnittliche Rangliste (1.6) über 11 Benchmark-Datensätze.
  • CARL zeigte eine signifikant bessere Generalisierungsfähigkeit auf unbekannte Sensoren als State-of-the-Art-Modelle wie SpectralGPT+ oder DOFA.

5. Bedeutung und Ausblick

CARL stellt einen Paradigmenwechsel in der Spektralbildanalyse dar. Es löst das Problem der Fragmentierung von Daten in kamera-spezifische Silos, indem es ein universelles Feature-Representation-Learning ermöglicht.

• Generalisierung: Das Modell kann auf beliebige Spektralkameras angewendet werden, ohne dass eine Anpassung der Architektur oder ein Neutrainieren für jede spezifische Kanalkonfiguration nötig ist.
• Daten-Nutzung: Durch den SSL-Ansatz können riesige Mengen ungelabelter Daten aus verschiedenen Quellen (verschiedene Sensoren, verschiedene Domänen) gemeinsam genutzt werden, was die Leistungsfähigkeit von Foundation Models für die Spektralbildgebung massiv steigert.
• Zukunft: CARL dient als Rückgrat für zukünftige spektrale Foundation Models und ebnet den Weg für robustere, universell einsetzbare KI-Systeme in Medizin, Umweltmonitoring und autonomen Systemen.

Der Code und die Modellgewichte sind öffentlich unter https://github.com/IMSY-DKFZ/CARL verfügbar.