DC-ViT: Modulating Spatial and Channel Interactions for Multi-Channel Images

1. Problemstellung

Das Training und die Evaluierung von Bildcodierern für Multi-Channel Imaging (MCI) stellen eine erhebliche Herausforderung dar. Im Gegensatz zu natürlichen RGB-Bildern, die standardisierte Kanäle besitzen, weisen MCI-Daten (z. B. aus Mikroskopie oder Fernerkundung) oft eine heterogene Anzahl von Kanälen mit unterschiedlichen semantischen Bedeutungen auf. Diese Heterogenität entsteht durch variierende Färbeprotokolle, Sensortypen und Erfassungseinstellungen.

Bestehende Multi-Channel Vision Transformer (MC-ViT)-Architekturen adressieren dies, indem sie Patch-Tokens aller Kanäle in einen einzigen langen Sequenzraum kodieren und dort gemeinsam durch Self-Attention verarbeiten. Dies führt jedoch zu zwei Hauptproblemen:

1. Feature-Verdünnung (Feature Dilution): Die uneingeschränkte Interaktion zwischen allen Tokens (über alle Kanäle und räumlichen Positionen hinweg) führt dazu, dass kanalspezifische Semantiken verwässert werden.
2. Mangelnde Kontrolle: Es fehlt eine explizite Steuerung darüber, wie Informationen zwischen den Kanälen ausgetauscht werden. Eine vollständige Trennung der Kanäle ist ebenfalls suboptimal, da sich Kanäle oft gegenseitig ergänzen (z. B. Referenzmarker in der Mikroskopie).

2. Methodik: Decoupled Vision Transformer (DC-ViT)

Die Autoren schlagen den Decoupled Vision Transformer (DC-ViT) vor, der die Informationsweitergabe explizit reguliert, indem er räumliche und kanalbezogene Interaktionen entkoppelt. Die Architektur besteht aus zwei Hauptkomponenten:

A. Decoupled Self-Attention (DSA)

Anstatt alle Tokens in einer einzigen Sequenz zu verarbeiten, zerlegt DSA die Token-Aktualisierung in zwei komplementäre Pfade:

• Räumliche Aktualisierung (Spatial Updates): Modelliert die Struktur innerhalb eines einzelnen Kanals. Hier wird Attention nur über die räumlichen Tokens desselben Kanals berechnet ($N$ Tokens pro Kanal). Dies stärkt die kanalspezifischen Merkmale.
• Kanalweise Aktualisierung (Channel-wise Updates): Integriert adaptiv Informationen über die Kanäle hinweg. Hier wird Attention an festen räumlichen Positionen über alle Kanäle ($C$ Kanäle) berechnet.

Diese beiden Pfade werden durch einen lernbaren Skalierungsfaktor $\alpha$ kombiniert. Wichtig ist, dass die kanalweise Interaktion nur in einer Teilmenge der Encoder-Schichten $\mathcal{M}$ aktiviert wird. In den anderen Schichten erfolgt nur die räumliche Verarbeitung. Dies erzeugt einen „Bottleneck", der sicherstellt, dass die unteren Schichten robuste, unabhängige Kanaldarstellungen lernen, bevor eine selektive Interaktion stattfindet.

B. Decoupled Aggregation (DAG)

Herkömmliche MC-ViTs nutzen oft einen cls-Token oder globales Pooling über alle Tokens, was die „Wichtigkeit" einzelner Kanäle ignoriert. DC-ViT führt eine hierarchische Aggregation ein:

1. Räumliches Pooling: Zuerst werden die Features innerhalb jedes Kanals separat zusammengefasst (z. B. durch Attention-basiertes Pooling oder Max-Pooling), um eine repräsentative Embedding pro Kanal zu erhalten.
2. Kanal-Pooling: Anschließend werden diese kanal-spezifischen Embeddings über die Kanäle hinweg aggregiert, um die finale Repräsentation zu bilden. Dies ermöglicht dem Modell, aufgaben-spezifische Gewichte für die Bedeutung der einzelnen Kanäle zu lernen.

3. Schlüsselbeiträge

• Entkopplung der Interaktionen: Der erste Ansatz, der Self-Attention explizit in räumliche (intra-channel) und kanalweise (cross-channel) Komponenten zerlegt, um Feature-Dilution zu vermeiden.
• Selektive Interaktion: Die Einführung des Konzepts, kanalübergreifende Attention nur in bestimmten Schichten ($\mathcal{M}$) zu aktivieren, um eine Balance zwischen Unabhängigkeit und Kontext-Sharing zu finden.
• Hierarchische Aggregation: Die DAG-Methode, die die Kanal-Heterogenität explizit in der finalen Repräsentation berücksichtigt.
• Skalierbarkeit: Durch die Entkopplung wird die rechnerische Komplexität der Attention-Mechanismen von quadratisch ($O(C^2N^2)$ bei MSA) auf nahezu linear ($O(CN^2 + NC^2)$ bei DSA) reduziert, was besonders bei vielen Kanälen vorteilhaft ist.

4. Ergebnisse

Die Autoren evaluierten DC-ViT auf drei Standard-MCI-Benchmarks: CHAMMI (Mikroskopie), JUMP-CP (chemische Perturbationen) und So2Sat (Fernerkundung).

• Leistungssteigerung: DC-ViT übertrifft konsistent bestehende MC-ViT-Baselines (wie ChAdaViT, ChannelViT, DiChaViT und ChaMAEViT) in allen Metriken. Die durchschnittliche Verbesserung über alle Benchmarks hinweg ist signifikant.
• Transfer Learning: Auch bei der Feinabstimmung (Fine-Tuning) von vortrainierten Encodern (die oft auf Einzelkanal-Daten trainiert wurden) zeigt DC-ViT eine bessere Generalisierungsfähigkeit als herkömmliche Ansätze.
• Ablationsstudien:
  • Das Entfernen von DSA oder DAG führt zu einem deutlichen Leistungsabfall.
  • Die Platzierung der kanalweisen Attention in den mittleren Schichten des Encoders (z. B. Schichten 4, 6, 8) erwies sich als optimal; zu frühe oder zu späte Interaktion verschlechtert die Ergebnisse.
  • Die Methode ist robust gegenüber verschiedenen Initialisierungen des Gewichts $\alpha$.

5. Bedeutung und Fazit

Das Paper demonstriert, dass die explizite Strukturierung der Interaktion zwischen Kanälen entscheidend für die Modellierung heterogener MCI-Daten ist. DC-ViT bietet eine einfache, aber effektive architektonische Modifikation, die die inhärenten Eigenschaften von Multi-Channel-Bildern besser erfasst als bisherige Ansätze.

Die Arbeit zeigt, dass man nicht zwischen vollständiger Trennung oder vollständiger Verschmelzung von Kanälen wählen muss, sondern dass eine regulierte, selektive Interaktion notwendig ist, um sowohl die kanalspezifische Semantik zu bewahren als auch den kontextuellen Nutzen anderer Kanäle zu nutzen. Dies führt zu robusteren und informativeren Repräsentationen für Downstream-Aufgaben in Bereichen wie der biologischen Forschung und der Fernerkundung.