Technisches Resümee: InfraNet: Qualitätsbewusste RGB-Steuerung für effiziente Infrarot-Objekterkennung

1. Problemstellung

Die robuste Objekterkennung unter widrigen visuellen Bedingungen (z. B. Schwachlicht, Blendung, Nebel) bleibt eine erhebliche Herausforderung für multimodale Wahrnehmungssysteme. Während die Infrarot-Sensorik (IR) durch die Erfassung thermischer Strahlung unabhängig vom Umgebungslicht Robustheit bietet, behandeln bestehende fusionsbasierte Methoden RGB- und IR-Modalitäten typischerweise während des Trainings und der Inferenz gleichermaßen. Diese Annahme der „gleichberechtigten Behandlung“ übersieht einen kritischen Fehler: die Unzuverlässigkeit der RGB-Modalität unter degradierten Bedingungen.

Wenn RGB-Bilder stark degradiert sind (z. B. dunkel oder verrauscht werden), kann die wahllose Fusion von ihnen mit zuverlässigen IR-Merkmalen irrelevante oder schädliche Informationen einführen, was zu einem „negativen Transfer“ führt, der die gesamte Erkennungsgenauigkeit beeinträchtigt. Darüber hinaus erfordern die meisten aktuellen State-of-the-Art (SOTA)-Fusionsmethoden einen dualen Modaleingang während der Inferenz, was sie unpraktisch macht, wenn RGB-Sensoren nicht verfügbar oder korrumpiert sind. Es besteht ein Bedarf an einem Framework, das RGB als Steuersignal während des Trainings nutzt, um das IR-Lernen zu verbessern, aber eine effiziente, hochgenaue IR-nur-Bereitstellung ermöglicht.

2. Methodik

Kern-Framework: InfraNet

Die Autoren schlagen InfraNet vor, ein IR-zentriertes, qualitätsbewusstes Framework, das darauf ausgelegt ist, die RGB-Steuerung während des Trainings zu regulieren und gleichzeitig eine flexible Bereitstellung im RGB–IR- oder IR-nur-Modus zu unterstützen. InfraNet verwendet eine asymmetrische Architektur, die aus Folgendem besteht:

1. Primärer IR-Pfad: Extrahiert mehrskalige Infrarot-Merkmale für Vorhersagen.
2. Auxiliärer RGB-Pfad: Liefert während des Trainings reliabilitätskontrollierte Überwachungssignale.

Kernkomponente: QualGate

Die zentrale Innovation von InfraNet ist QualGate, ein qualitätsbewusstes Fusionsmodul, das auf mehreren Skalen innerhalb des Netzwerks eingesetzt wird. QualGate lernt ein aufgabenorientiertes Kontrollsignal, um die kreuzmodale Interaktion dynamisch zu regulieren. Sein Betrieb umfasst zwei parallele Mechanismen:

• Reliabilitäts-Kontrollwert ($q$): Ein Skalarwert $q \in (0, 1)$ wird aus den auxiliären RGB-Merkmalen ($A_{in}$) unter Verwendung eines leichtgewichtigen MLP vorhergesagt. Dieser Wert wird für das Detektionsziel optimiert, anstatt als handgefertigte Bildqualitätsmetrik zu dienen.
• RGB-Unterdrückungsgatter: Der auxiliäre Beitrag wird durch $w_{rgb}(q) = q$ gewichtet. Wenn die RGB-Qualität schlecht ist (niedriges $q$), wird die RGB-Steuerung herabgestuft, um die Injektion von Rauschen zu verhindern.
• IR-Verstärkungsgatter: Gleichzeitig wird ein inverser Reliabilitätsgewinn $\alpha(q)$ auf den IR-Strom angewendet. Definiert als $\alpha(q) = \text{clip}(1.5 - q; 1.0, 1.5)$, bewirkt dieser Mechanismus, dass der Beitrag der IR-Merkmale steigt, wenn die RGB-Steuerung schwach ist, wodurch sichergestellt wird, dass die IR-Repräsentation robust bleibt.
• Fusion: Die endgültige Ausgabe $A_{out}$ ist eine Fusion des unterdrückten auxiliären Terms und der verstärkten IR-Injektion:
  $$A_{out} = w_{rgb}(q) \cdot A_{in} + \sum_{k=1}^{K} \alpha(q) \cdot g_k \cdot F_k$$
  wobei $F_k$ die ausgerichteten IR-Merkmale darstellt und $g_k$ ein Inhalts-Gatter ist.

Architektonische Varianten

Basierend auf InfraNet sind zwei spezifische Architekturen entworfen worden:

1. InfraNet-IR: Ein leichtgewichtiges, einarmiges Netzwerk, das auf Recheneffizienz optimiert ist. Es wird mit gepaarten RGB–IR-Eingängen trainiert (unter Verwendung von RGB als privilegiertes auxiliäres Signal), wird aber mit IR-nur-Inferenz bereitgestellt. Der RGB-Zweig und alle Fusionsmodule werden zur Testzeit entfernt, was keinen zusätzlichen Overhead verursacht.
2. InfraNet-RGB-IR: Eine leistungsstärkere Dual-Branch-Struktur, die sowohl während des Trainings als auch der Inferenz sowohl RGB- als auch IR-Eingänge verarbeitet und QualGate zur reliabilitätskontrollierten kreuzmodalen Fusion nutzt.

Trainingsstrategie

Das Framework verwendet eine asymmetrische Verlustfunktion:
$$\mathcal{L} = \mathcal{L}^{(\text{main})}_{\text{det}} + w_{\text{aux}} \mathcal{L}^{(\text{aux})}_{\text{det}}$$
wobei das Gewicht des auxiliären Verlusts $w_{\text{aux}}$ auf 0,25 gesetzt ist. Dies stellt sicher, dass die Optimierung primär vom Infrarot-Pfad dominiert wird, während der auxiliäre Zweig eine adaptive Steuerung zur Verbesserung der IR-Repräsentationen bietet.

3. Wichtigste Beiträge

• InfraNet-Framework: Ein qualitätsbewusstes, RGB-gesteuertes Framework für die Infrarot-Objekterkennung, das RGB als reliabilitätskontrolliertes auxiliäres Signal während des Trainings behandelt und so eine flexible IR-nur-Bereitstellung ermöglicht.
• QualGate-Modul: Ein neuartiger Fusionsmechanismus, der ein aufgabenorientiertes Kontrollsignal lernt, um unzuverlässige RGB-Steuerung zu unterdrücken und IR-Merkmale zu kompensieren, wodurch das Risiko eines negativen Transfers durch degradierte RGB-Daten gemindert wird.
• Dual-Modus-Bereitstellung: Das Design zweier Varianten (InfraNet-IR und InfraNet-RGB-IR), die sowohl eine wettbewerbsfähige Leistung bei effizienter einmodaler Inferenz als auch bei hochkapazitiver dualer Fusion erzielen.

4. Experimentelle Ergebnisse

Die Methode wurde auf vier Benchmark-Datensätzen evaluiert: LLVIP, FLIR-Aligned, M3FD und DroneVehicle.

• Leistung: InfraNet erreichte eine starke oder wettbewerbsfähige Genauigkeit über alle Datensätze hinweg.
  • Auf LLVIP erreichte die RGB–IR-Variante (YOLOv8) 70,5 % mAP und übertraf damit den SOTA WaveMamba (66,0 %). Die IR-nur-Variante erreichte 68,8 % mAP ohne zusätzlichen Inferenz-Overhead.
  • Auf FLIR-Aligned erreichte die IR-nur-Variante (ResNet50) eine Inferenzzeit von 9,4 ms bei 53,0 % mAP, was signifikant schneller ist als dualmodale Wettbewerber bei gleichzeitig wettbewerbsfähiger Genauigkeit.
  • Auf DroneVehicle erreichte die IR-nur YOLOv12 Variante 84,7 % mAP50, was WaveMamba um +4,9 % absolute Gewinne übertraf, mit bemerkenswerten Verbesserungen bei der Erkennung kleiner Objekte (z. B. Autos, Busse).
  • Auf M3FD demonstrierte die Methode Robustheit in Nacht- und Challenge-Subsets, in denen die RGB-Sichtbarkeit stark beeinträchtigt ist.
• Effizienz: InfraNet-IR behält eine hohe Effizienz in der IR-nur-Inferenz bei, indem es den RGB-Zweig und die Fusionsmodule vollständig entfernt.
• Ablationsstudien: Experimente bestätigten, dass sowohl der RGB-Unterdrückungs- als auch der IR-Verstärkungszweig von QualGate notwendig sind; das Entfernen eines der beiden führt zu Leistungseinbußen. Der gelernte Kontrollwert $q$ zeigte, dass er sich effektiv an kontrollierte RGB-Degradationen (Nebel, Helligkeit) anpasst, ohne dass explizite Qualitätsannotationen erforderlich sind.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass InfraNet das langjährige Problem der Unzuverlässigkeit von RGB unter widrigen Bedingungen adressiert, indem es das Paradigma von „gleicher Fusion“ zu „IR-zentrierter, qualitätsbewusster Steuerung“ verschiebt.

• Robustheit: Durch die Unterdrückung unzuverlässiger RGB-Hinweise und die Verstärkung von IR-Merkmalen verhindert die Methode die Kontamination von IR-Repräsentationen, was zu einer stabileren Detektion bei schlechten Lichtverhältnissen und widrigem Wetter führt.
• Bereitstellungflexibilität: Im Gegensatz zu bestehenden Fusionsmethoden, die während der Inferenz duale Modaleingänge erfordern, bietet InfraNet-IR eine praktische Lösung für Szenarien, in denen RGB-Sensoren nicht verfügbar oder korrumpiert sind, wobei eine hohe Genauigkeit ohne den Rechenaufwand einer dualen Architektur zur Laufzeit erreicht wird.
• Effizienz: Das Framework zeigt, dass die auxilläre Überwachung während des Trainings die IR-nur-Leistung erheblich steigern kann, ohne einen Overhead bei der Bereitstellung zu verursachen, was es für ressourcenbeschränkte Anwendungen wie autonomes Fahren und UAV-Überwachung geeignet macht.