CLIP4VI-ReID: Learning Modality-shared Representations via CLIP Semantic Bridge for Visible-Infrared Person Re-identification

Stellen Sie sich vor, Sie versuchen, einen bestimmten Freund in einer überfüllten Stadt zu finden, aber Sie haben zwei sehr unterschiedliche Karten. Die eine Karte ist ein lebendiges, hochauflösendes Farbfoto, das bei Tageslicht aufgenommen wurde und Ihre Freundin in ihrer leuchtend roten Jacke und blauen Sneaker zeigt. Die andere Karte ist ein körniges, Schwarz-Weiß-Thermalbild, das nachts aufgenommen wurde, wobei die Person wie ein leuchtend weißer Klumpen vor einem dunklen Hintergrund aussieht. Dies ist die tägliche Herausforderung für Überwachungskameras und Computer-Vision-Systeme: Eine Person, die im Tageslicht (sichtbares Licht) gesehen wurde, mit derselben Person im Dunkeln (Infrarot) abzugleichen. Während Menschen problemlos die Verbindung zwischen einem farbigen Gesicht und einer Wärmesignatur herstellen können, haben Computer Schwierigkeiten, da der „Abstand“ zwischen diesen beiden Arten von Bildern massiv ist. Sie sehen völlig unterschiedlich aus, was es für eine Standard-KI schwierig macht, zu erkennen, dass sie dieselbe Person betrachten. Um dieses Problem zu lösen, nutzen Forscher oft einen cleveren Trick unter Verwendung eines „universellen Übersetzers“ namens CLIP. Betrachten Sie CLIP als einen superintelligenten Bibliothekar, der Millionen von Büchern gelesen und Millionen von Fotos gesehen hat; er weiß, dass das Wort „Sneaker“ das Bild von Schuhen verbindet, selbst wenn das Bild verschwommen oder im Dunkeln aufgenommen wurde. Indem sie Wörter als Brücke nutzen, kann der Computer versuchen, das Tagesfoto durch ihre gemeinsame Beschreibung mit dem Nachtfoto zu verbinden.

Es gibt jedoch einen Haken. Der „Bibliothekar“ (CLIP) wurde hauptsächlich mit farbenfrohen, sonnigen Fotos trainiert. Wenn man ihn bittet, einen leuchtenden Wärmeklumpen aus einer Nachtkamera zu beschreiben, gerät er oft in Verwirrung und liefert vage oder verrauschte Beschreibungen wie „eine vage Person“ anstatt „eine Person mit einem Rucksack“. Diese Verwirrung stört den Abgleichprozess. In dieser Arbeit schlagen die Autoren eine neue Methode namens CLIP4VI-ReID vor, um dieses Problem zu beheben. Anstatt den verwirrten Bibliothekern zu bitten, das Nachtfoto direkt zu beschreiben, bitten sie ihn zuerst, das klare Tagesfoto zu beschreiben. Dann nutzen sie diese genaue Beschreibung als Leitfaden, um dem Computer beizubringen, das Nachtfoto korrekt zu sehen. Sie gehen dabei in drei Schritten vor: erstens generieren sie perfekte Textbeschreibungen aus den Tagesfotos; zweitens nutzen sie diese Wörter, um das Verständnis des Computers für die Nachtfotos zu korrigieren; und schließlich führen sie das gesamte System fein ab, damit die Tagesfotos, die Nachtfotos und die Textbeschreibungen perfekt zusammenpassen. Die Ergebnisse zeigen, dass dieser schrittweise Ansatz viel besser darin ist, die richtige Person zu finden, als bisherige Methoden, was beweist, dass die Verwendung der richtigen Art von „Wörtern“ als Brücke dem Computer helfen kann, auch im Dunkeln klar zu sehen.

Das Problem: Die große Modalitätslücke

Stellen Sie sich vor, Sie versuchen, den Ausweis eines Verdächtigen (ein klares Farbfoto) mit einem Kamerabild aus einer dunklen Gasse (einem thermischen Schwarz-Weiß-Bild) abzugleichen. In der Welt der Computer Vision wird dies als Visible-Infrared Person Re-identification (VI-ReID) bezeichnet. Das Ziel ist einfach: Dieselbe Person über diese zwei sehr unterschiedlichen Arten von Bildern hinweg zu finden. Aber es ist unglaublich schwer, weil die beiden Bilder überhaupt nicht zueinander passen. Das Farbfoto ist voller Details wie rote Hemden und blaue Jeans, während das Thermalbild nur eine leuchtende Form ist, die auf der Körperwärme basiert.

Lange Zeit versuchten Computer, dies zu lösen, indem sie entweder versuchten, das Thermalbild in ein Farbbild umzuwandeln (was oft künstlich und verrauscht aussieht), oder indem sie versuchten, direkt gemeinsame Merkmale zwischen den beiden zu finden. Aber die Autoren dieser Arbeit bemerkten einen Fehler in der Art und Weise, wie neuere, intelligentere KI-Modelle (basierend auf etwas namens CLIP) dies handhaben. Diese Modelle versuchten, eine Textbeschreibung für sowohl das Farbfoto als auch das Thermalfoto zu generieren. Das Problem? Die KI wurde auf Millionen von sonnigen, farbenfrohen Fotos trainiert. Wenn sie ein Thermalbild betrachtete, wusste sie nicht, was sie sagen sollte. Sie generierte schwache, ungenaue Beschreibungen wie „eine schwer zu sehende Person“ anstatt nützlicher Details wie „trägt einen Hut“. Diese schlechte Beschreibung machte es schwieriger, die Person abzugleichen, anstatt es einfacher zu machen.

Die Lösung: Eine dreistufige Brücke

Um dies zu beheben, bauten die Autoren ein neues System namens CLIP4VI-ReID. Anstatt die KI zu zwingen, mit Worten zu beschreiben, wie das Thermalbild aussieht, entwarfen sie einen cleveren dreistufigen Prozess, der wie eine Baucrew fungiert, die eine Brücke zwischen den beiden Welten baut.

Stufe 1: Die Text-Semantik-Generierung (TSG)
Zuerst entschieden sich das Team dazu, die KI nicht mehr bitten zu lassen, das Thermalbild zu beschreiben. Stattdessen baten sie sie nur, die klaren Farbfotos zu beschreiben. Sie nutzten eine Technik namens „Prompt Learning“, was so ist, als würde man der KI einen Lückentext geben: „Ein Foto einer [_____] Person.“ Die KI lernt, die Lücken mit spezifischen Details (wie „trägt Sneaker“ oder „trägt einen Rrucksack“) basierend nur auf den Farbfotos auszufüllen. Da die Farbfotos klar sind, generiert die KI perfekte, detaillierte Textbeschreibungen. Diese Beschreibungen werden zum „Goldstandard“ oder zur Brücke.

Stufe 2: Infrarot-Merkmalseinbettung (IFE)
Nun, da sie die perfekten Textbeschreibungen von den Farbfotos haben, nutzen sie diese, um der KI beizubringen, wie sie die Thermalbilder betrachtet. Sie bitten die KI nicht, neue Wörter für das Thermalbild zu generieren. Stattdessen sagen sie der KI: „Schau dir dieses Thermalbild an und versuche, seine Merkmale mit dem Text abzustimmen, den wir bereits für das Farbfoto geschrieben haben.“ Dies ist so, als würde man einem Schüler eine klare Karte zeigen und ihn dann bitten, einen nebligen Pfad unter Verwendung derselben Karte als Leitfaden zu navigieren. Die KI lernt, ihr Verständnis des Thermalbildes anzupassen, damit es mit der genauen Textbeschreibung übereinstimmt. Dieser Schritt „korrigiert“ oder behebt die Merkmale des Thermalbildes, indem er die korrekten Identitätsinformationen in sie einspeist.

Stufe 3: Hochgradige semantische Ausrichtung (HSA)
Schließlich feinstimmt das Team das gesamte System nach. Sie stellen sicher, dass die Textbeschreibungen nicht versehentlich Details enthalten, die nur im Farbfoto vorhanden sind (wie spezifische Farben) und nicht mit dem Thermalfoto geteilt werden. Sie wollen, dass der Text nur Dinge beschreibt, die für beide Bilder wahr sind (wie „eine Person mit einem Rucksack“). Sie passen auch die Teile der KI an, die die Farbe- und Thermalbilder separat betrachten, um sicherzustellen, dass sie die besten Details erfassen. Diese letzte Stufe stellt sicher, dass das Farbfoto, das Thermalfoto und die Textbeschreibung alle mit hoher Präzision auf dieselbe Person deuten.

Was sie fanden

Die Autoren testeten ihr neues System auf zwei berühmten Datensätzen von Personen in Farb- und Thermalbildern: SYSU-MM01 und RegDB. Sie verglichen ihre Methode mit den besten existierenden Techniken.

• Auf dem SYSU-MM01-Datensatz: Ihr Verfahren, CLIP4VI-ReID, erreichte eine Rank-1-Genauigkeit von 75,54 % in der „All-Search“-Einstellung (bei der das System die Person unter vielen Möglichkeiten finden muss). Dies war besser als die bisher beste Methode, die 75,2 % erreichte. In der „Indoor-Search“-Einstellung erreichten sie eine noch höhere Rank-1-Genauigkeit von 83,98 % und übertrafen damit die nächstbeste Methode deutlich.
• Auf dem RegDB-Datensatz: Die Ergebnisse waren noch beeindruckender. Im „Infrared-to-Visible“-Test (das Finden eines Farbfotos aus einer Thermalabfrage) erreichten sie eine Rank-1-Genauigkeit von 92,28 %, was der höchste Wert unter allen getesteten Methoden war. Im „Visible-to-Infrared“-Test erreichten sie 94,51 % Rank-1-Genauigkeit.

Das Papier enthielt auch visuellen Beweis. Sie zeigten, dass die „mentale Karte“ der Farbe und Thermalbilder vor ihrer Methode an völlig unterschiedlichen Orten lag. Nach ihrem dreistufigen Prozess gruppierten sich die Bilder derselben Person (ob Farbe oder Thermal) eng zusammen, während die Bilder verschiedener Personen weit voneinander entfernt blieben.

Warum es wichtig ist

Die Kernaussage ist, dass der Versuch, einen Computer direkt eine Thermalbeschreibung erstellen zu lassen, oft zu Verwirrung und Fehlern führt. Indem man zuerst das klare Farbbild nutzt, um die Beschreibung zu generieren, und dann diese Beschreibung nutzt, um das Thermalbild zu führen, vermeidet das System das „Rauschen“ und erzielt deutlich bessere Ergebnisse. Die Autoren schlagen vor, dass dieser „Coarse-to-Fine“-Ansatz – beginnend mit einer groben Ausrichtung und dann Verfeinerung – ein mächtiger Weg ist, um Computern zu helfen, über verschiedene Lichtarten hinweg zu sehen. Obwohl die Methode etwas mehr Trainingszeit als einfachere Modelle erfordert, deutet die Verbesserung der Genauigkeit darauf hin, dass dies ein lohnender Kompromiss für Sicherheitssysteme ist, die rund um die Uhr, also Tag und Nacht, funktionieren müssen.