Vision-Modulated Soft-Part-Aware Mamba for Video-Based Visible-Infrared Person Re-Identification

Im leisen Summen eines städtischen Überwachungsnetzwerks beobachten Kameras ständig und erfassen den Fluss der Menschen bei Tag und Nacht. Seit Jahrzehnten verlassen sich Sicherheitssysteme auf sichtbare Lichtkameras, die gleiche Art, die Farbfotos aufnimmt, um Personen anhand ihrer Kleidung und Merkmale zu identifizieren. Doch wenn die Sonne untergeht und das Licht schwindet, haben diese Kameras Schwierigkeiten; die Farben verblassen und Texturen verschwimmen zu ununterscheidbaren Schatten. Um dies zu lösen, kombinieren Sicherheitsteams zunehmend sichtbare Kameras mit Infrarotsensoren, die die vom Körper eines Menschen abgestrahlte Wärme sehen, anstatt des Lichts, das von seiner Kleidung reflektiert wird. Dies schafft eine neue Herausforderung: Wie erkennt ein Computer, dass eine Person, die in einem körnigen, hitsebasierten Infrarotvideo zu sehen ist, dieselbe Person ist, die in einem klaren Farbvideo einer anderen Kamera zu sehen war? Diese Aufgabe, bekannt als sichtbare-Infrarot-Personen-Reidentifikation (Visible-Infrared Person Re-identification), erfordert ein System, das lernt, die massiven Unterschiede darin zu ignorieren, wie die beiden Kameras die Welt sehen, und sich stattdattdessen auf die einzigartige Identität der Person zu konzentrieren, die durch das Bild läuft.

Die Schwierigkeit vertieft sich, wenn das Subjekt in Bewegung ist. Ein Mensch ist selten ein statisches Bild; er ist eine Sequenz von Bewegungen, ein Gang, der sich mit jedem Schritt verändert. Bestehende Computersysteme versuchen dies oft zu lösen, indem sie die ganze Person auf einmal betrachten oder das Bild in starre, feste Streifen schneiden, wie beim Aufschneiden eines Laibes Brot. Menschen laufen jedoch nicht in geraden Linien; sie drehen sich, wenden ab und neigen sich. Ein starrer Schnitt könnte in einem Frame den Kopf einer Person erfassen und im nächsten die Schulter, wodurch die Kontinuität der Identität unterbrochen wird. Darüber hinaus ist die Art und Weise, wie eine Person im Dunkeln aussieht, grundlegend verschieden von der Art, wie sie im Licht aussieht, was es schwierig macht, dass ein Computer denselben Körperteil über diese beiden verschiedenen Ansichten hinweg abzugleichen. Forscher der Changzhou University haben einen neuen Ansatz für dieses Problem vorgeschlagen, der das starre Schneiden zugunsten einer flüssigeren, adaptiven Methode aufgibt, die lernt, spezifische Körperregionen zu verfolgen, während sie sich bewegen und verändern.

Die Forscher entwickelten ein System, das sie VM-SPMamba nennen und das operiert, indem es zuerst die gesamte Szene versteht und sich dann auf spezifische, flexible Teile der Person konzentriert. Anstatt den Computer zu zwingen, feste horizontale Streifen des Bildes anzusehen, lernt das System, „weiche Teile“ zu identifizieren. Stellen Sie sich einen Computer vor, der selbst entscheiden kann, wo sich der Kopf, der Torso und die Beine einer Person in jedem Frame befinden, selbst wenn die Person sich lehnt oder sich der Kamerawinkel verschiebt. Das System tut dies, indem es eine globale Sicht auf die Person nutzt, um seine Aufmerksamkeit zu lenken, was es ihm ermöglicht, Pixel zu bedeutungsvollen Regionen zu gruppieren, die sich an die Pose der Person anpassen. Das bedeutet, wenn eine Person ihren Arm hebt, passt das System die Grenzen der „Arm“-Region an, um der Bewegung zu folgen, anstatt an einem vordefinierten Kasten festzuhalten, der den Arm vielleicht in der Mitte durchschneidet.

Sobald diese flexiblen Regionen identifiziert sind, behandelt das System jede davon als eine eigene, unabhängige Geschichte. Es verfolgt die „Kopf“-Region über alle Frames des Videos hinweg, verfolgt dann die „Torso“-Region über dieselben Frames und so weiter. Durch die Trennung des Videos in diese unterschiedlichen Bewegungsströme kann das System lernen, wie sich jeder spezifische Körperteil im Laufe der Zeit entwickelt. Dies ist entscheidend, da die Art und Weise, wie sich ein Kopf bewegt, anders ist als die Art und Weise, wie sich ein Bein bewegt, und diese Unterschiede sind der Schlüssel zur Identifizierung einer Person. Die Forscher fanden heraus, dass das System durch die Modellierung dieser Teile separat und die anschließende Kombination ihrer Geschichten viel besser darin wird, die verwirrenden Unterschiede zwischen den Infrarot- und den sichtbaren Kameras zu ignorieren. Es lernt, dass ein spezifisches Bewegungsmuster in der Infrarotansicht mit demselben Bewegungsmuster in der sichtbaren Ansicht korrespondiert, selbst wenn die Farben und Texturen völlig unterschiedlich sind.

Um dem System diese Fähigkeit beizubringen, nutzten die Forscher eine leistungsstarke Trainingsmethode, die eine „Sprachkomponente“ beinhaltet. Sie fütterten das System nicht nur mit Bildern, sondern auch mit Textbeschreibungen von Identitäten, wodurch der Computer lernt, die visuellen Muster der Bewegung einer Person mit einem semantischen Konzept dessen zu verknüpfen, wer diese Person ist. Dies fungt als Brücke und hilft dem System zu verstehen, dass die Wärmesignatur einer gehenden Person dieselbe Identität ist wie ihr Farbbild, auch wenn sie sich völlig unähnlich sehen. Das System wurde auf zwei großen Datensätzen getestet, die Hunderttausende von Bildern aus realen Überwachungsszenarien enthalten. Im Infrarot-zu-Sichtbar-Test, bei dem das System versucht, eine Person in einem Farbvideo zu finden, nachdem sie in einem hitfebasierten Video gesehen wurde, erreichte die neue Methode eine Erfolgsquote von 72,3 Prozent. In der umgekehrten Richtung erreichte sie 72,4 Prozent. Diese Zahlen stellen einen bedeutenden Sprung nach vorn dar und übertreffen frühere Bestleistungen in einigen Messgrößen um mehr als zehn Prozentpunkte.

Die Forscher testeten ihr System auch auf einem viel größeren und komplexeren Datensatz mit über dreitausend verschiedenen Personen und längeren Videosequenzen. Obwohl das System in diesem schwierigeren Test nicht bei jeder einzelnen Metrik den absolut höchsten Wert erzielte, blieb es hochgradig wettbewerbsfähig, indem es die richtige Person in fast 70 Prozent der Infrarot-zu-Sichtbar-Fälle und in 70 Prozent der Sichtbar-zu-Infrarot-Fälle als die beste Übereinstimmung korrekt identifizierte. Dies deutet darauf hin, dass die Methode robust genug ist, um die chaotische, unvorhersehbare Natur der realen Überwachung zu bewältigen, in der Menschen in Menschenmengen laufen, die Richtung ändern und unter variierenden Lichtverhältnissen erscheinen. Die Studie zeigte explizit auf, dass ältere Methoden, die auf festen, unveränderlichen Schnitten des Bildes beruhen, schlechter abschneiden, wenn Menschen sich bewegen oder die Kamerawinkel wechseln. Indem sie bewiesen, dass flexible, adaptive Teile überlegene gegenüber starren sind, bietet die Forschung einen klareren Weg für den Aufbau von Überwachungssystemen, die zuverlässig Tag und Nacht funktionieren.

Der Erfolg dieses Ansatzes liegt in seiner Fähigkeit, die Art und Weise nachzuahmen, wie Menschen intuitiv einer Person folgen könnten: indem sie sich auf den Fluss ihrer Körperteile konzentrieren, anstatt auf eine statische Momentaufnahme. Das System muss nicht gesagt bekommen, wo der Kopf oder die Beine sind; es lernt, sie zu finden, indem es beobachtet, wie die Pixel zusammen sich bewegen. Diese Anpassungsfähigkeit ermöglicht es ihm, die Verzerrungen zu bewältigen, die durch Gehen, Wenden und die unterschiedlichen Arten, wie Kameras die Welt erfassen, entstehen. Während das aktuelle System immer noch auf gelabelte Daten angewiesen ist, um diese Muster zu lernen, und eine feste Anzahl von Körperteilen verwendet, zeigen die Ergebnisse, dass die Abkehr von starren Strukturen hin zu flüssigen, inhaltsbewussten Repräsentationen eine leistungsstarke Strategie ist. Während Überwachungsnetzwerke weiterhin expandieren und sich verstärkt auf Infrarottechnologie für die nächtliche Sicherheit verlassen, liefern Methoden wie diese die notwendigen Werkzeuge, um sicherzustellen, dass die richtige Person identifiziert wird, unabhängig von der Tageszeit oder der Kamera, die die Szene einfängt.