Rethinking Multi-Branch and Cross-Backbone Fusion for Vehicle Re-Identification in the Foundation-Model Era

Stellen Sie sich vor, Sie versuchen, ein bestimmtes Auto in einer Stadt voller tausender identisch aussehender Fahrzeuge zu finden. Dies ist die Aufgabe der „Vehicle Re-Identification“ (Re-ID), einer Superkraft für intelligente Verkehrssysteme, die Kameras dabei hilft, ein Auto zu verfolgen, während es von einer Straßenecke zur nächsten springt. Jahrelang war das Geheimrezept für mehr Fortschritt die „Diversität“. Ingenieure glaubten, wenn man ein Team aus verschiedenen Experten aufbaut, um das Auto zu betrachten, wäre die Gruppe klüger als jede einzelne Person. Sie würden die Aufgabe aufteilen: Ein Experte schaut vielleicht auf die Räder, ein anderer auf das Dach, und ein dritter nutzt eine völlig andere Denkweise (wie ein menschliches Gehirn gegenüber einem Robotergehirn), um Details zu erfassen, die die anderen übersehen haben. Die große Idee war: Mehr Vielfalt bedeutet weniger Fehler. Aber was passiert, wenn man seinem Team bereits ein Genie-Niveau an Gehirnschmalz zur Verfügung stellt? Hilft es, noch mehr Helfer hinzuzufügen, oder steht es einem eher im Weg?

Dieses Paper, geschrieben von Yu Wang und Hongyu Yang, taucht genau in diese Frage ein. Sie testeten ein modernes, leistungsstarkes KI-Gehirn (ein sogenanntes „Foundation Model“) bei der Aufgabe, Autos zu finden. Anstatt ein unordentliches Team aus vielen verschiedenen Experten aufzubauen, fragten sie: „Was, wenn wir einfach nur einen wirklich, wirklich klugen Experten nutzen und ihn perfekt lehren?“ Sie führten ein massives Experiment auf zwei berühmten Car-Datensätzen durch, VeRi-Wild und VeRi-776, unter Anwendung eines strengen Regelwerks, um sicherzustellen, dass die Ergebnisse fair sind. Sie haben nicht nur geraten; sie haben alles mit hochpräzisen Werkzeugen gemessen und geprüft, ob die verschiedenen Teile ihrer KI tatsächlich unterschiedliche Dinge sahen oder ob sie sich nur wiederholten.

Die Antwort, die sie fanden, ist ein kleiner Plot-Twist für die Welt der KI. Sie entdeckten, dass wenn man mit einem superintelligenten Foundation Model beginnt, die alte Regel „Mehr ist besser“ außer Kraft gesetzt wird. Als sie versuchten, mehrere „Heads“ (verschiedene Experten) auf demselben Gehirn zu kombinieren, bildeten die Experten kein diverses Team; sie fingen alle an, exakt dasselbe zu denken. Es war, als würde man fünf Detektive einstellen, die sich alle dazu entscheiden, denselben Hinweis auf dieselbe Weise zu untersuchen. Selbst als sie versuchten, zwei völlig unterschiedliche Arten von Gehirnen zu mischen – ein Standardmodell und ein ausgeklügeltes Transformer-Modell – konnte das fancy Modell nichts Nützliches hinzufügen. Tatsächlich war das einzelne, gut trainierte Gehirn genauso gut wie das ganze Team, aber es war viel schneller und kostengünstiger im Betrieb. Das Paper kommt zu dem Schluss, dass man für diese spezifische Aufgabe, mit dieser spezifischen Art von intelligentem Gehirn, keinen Ausschuss braucht. Man braucht nur einen Superstar, das richtige Trainingsrezept und einen cleveren Trick, um die Ergebnisse am Ende doppelt zu prüfen.

Die Geschichte des einzelnen Super-Experten

Seit fast einem Jahrzehnt ist die KI-Community besessen von der Idee, dass Diversität der König ist. In der Welt der Fahrzeug-Re-Identifizierung bedeutete dies den Bau komplexer Systeme mit Multi-Branch-Architekturen. Stellen Sie sich ein Team zur Fahrzeuginspektion vor, bei dem eine Person das Nummernschild prüft, eine andere das Reifenprofil und eine dritte den Lackzustand. Die Theorie war, dass das System durch die Aufteilung der Arbeit in parallele Ströme mehr Details erfassen würde, als eine einzelne Person könnte. Einige Teams versuchten sogar die Cross-Backbone Fusion, was so ist, als würde man einen menschlichen Detektiv und einen Roboter-Detektiv zusammenstellen, in der Hoffnung, dass ihre unterschiedlichen Sichtweisen auf die Welt ihre jeweiligen blinden Flecken abdecken würden.

Die Annahme war simpel: vielfältigere Repräsentationen bedeuten bessere Ergebnisse. Aber dieses Paper stellt eine entscheidende Frage: Funktioniert das noch, wenn wir „Foundation Models“ verwenden?

Foundation Models sind wie vorab trainierte Genies. Sie haben bereits das gesamte Internet (oder in diesem Fall Millionen von Bildern) gelesen und gelernt, wie man die Welt sieht, noch bevor man sie bittet, eine spezifische Aufgabe zu erledigen. Die Autoren, Wang und Yang, fragten sich: Wenn man mit einem Gehirn beginnt, das bereits fast perfekt darin ist, Autos zu sehen, ist dann noch Raum für ein zweites Gehirn, das helfen kann? Oder weiß das erste Gehirn bereits alles, was es wissen muss?

Das Experiment: Ein Gehirn gegen das ganze Team

Um dies herauszufinden, stellten die Autoren einen fairen Kampf auf. Sie nahmen ein leistungsstarkes, vorab trainiertes KI-Modell namens DINOv3-ConvNeXt und gaben ihm ein spezifisches „Rezept“ für das Training. Dieses Rezept war keine Magie; es war lediglich ein sorgfältiger Zeitplan, wie die KI zu lehren war, einschließlich der Momente, in denen das Gehirn eingefroren wurde, wann es frei lernen durfte und wie die Lernrate angepasst wurde.

Sie testeten dieses einzelne Gehirn auf zwei großen Datensätzen:

1. VeRi-Wild: Eine riesige Sammlung von Autoaufnahmen mit tausenden verschiedenen Autos.
2. VeRi-776: Ein etwas kleinerer, aber sehr kniffliger Datensatz, der verwendet wird, um zu sehen, ob die KI auf neue Situationen generalisieren kann.

Sie verglichen dieses einzelne, gut trainierte Gehirn mit den stärksten existierenden Teams, die mehrere Zweige und sogar Metadaten (Zusatzinformationen wie Kamerawinkel) nutzten.

Das Ergebnis: Das einzelne Gehirn gewann. Oder besser gesagt: Es gab ein Unentschieden.
Das einzelne DINOv3-ConvNeXt-Modell erreichte mit dem richtigen Trainingsrezept einen Genauigkeitswert von 88,19 mAP (ein Maß dafür, wie gut die Suche ist) auf dem VeRi-Wild Small Datensatz. Dies entsprach der Leistung der komplexesten Multi-Branch-Systeme, die auf zusätzliche Metadaten angewiesen waren. Als sie einen „Re-Ranking“-Schritt hinzufügten (eine clevere Methode, um die Top-Ergebnisse doppelt zu prüfen), sprang der Wert auf 92,38 mAP.

Die Autoren fanden heraus, dass das einzelne Gehirn genauso gut war wie das ganze Team, aber 2,8-mal schneller war und 3-mal weniger Rechenaufwand (FLOPs) benötigte.

Der „Diversitäts“-Mythos entlarvt

Der spannendste Teil des Papers ist, wie sie bewiesen haben, warum der Team-Ansatz scheiterte. Sie schauten nicht nur auf das Endergebnis; sie blickten in das Gehirn der KI, um zu sehen, was die verschiedenen „Heads“ eigentlich machten.

1. Der Same-Backbone Collapse (Die Klonen-Armee)
Als sie vier verschiedene „Heads“ auf denselben Backbone setzten, erwarteten sie, dass diese auf unterschiedliche Teile des Autos schauen würden. Stattdessen stellten sie fest, dass mit fortschreitendem Training alle vier Heads anfingen, exakt dasselbe zu denken.

• Die Analogie: Stellen Sie sich vor, Sie stellen vier Detektive ein. Zuerst schaut einer auf die Schuhe, einer auf den Hut, einer auf die Tasche und einer auf das Gesicht. Aber während sie zusammenarbeiten, fangen alle an, auf das Gesicht zu schauen, weil dort die offensichtlichsten Hinweise liegen. Am Ende starren sie alle auf denselben Punkt.
• Die Daten: Die Autoren maßen dies mit einem Tool namens Jaccard-Ähnlichkeit. Sie fanden heraus, dass die verschiedenen Heads in dem, was sie abriefen, zu 83,5 % bis 84,1 % identisch waren. Sie waren im Wesentlichen Klone. Die Kombination half nicht, da sie alle dieselben Fehler machten und dieselben Treffer fanden.

2. Das Cross-Backbone Versagen (Das unpassende Duo)
Als Nächstes probierten sie den „Mensch vs. Roboter“-Ansatz aus. Sie nahmen das ConvNeXt-Gehirn (den „Menschen“) und versuchten, es mit einem Transformer-Gehirn (dem „Roboter“) zu verschmelzen. Sie wussten, dass diese beiden Arten von Gehirnen von Natur aus unterschiedlich sind.

• Das Setup: Sie froren das ConvNeXt-Gehirn ein, damit es sich nicht veränderte, sodass es als „semantischer Anker“ (ein stabiler Referenzpunkt) fungierte, und trainierten nur den Transformer und das Fusionsmodul. Sie probierten drei verschiedene Trainingsrezepte aus, um sicherzustellen, dass der Transformer nicht einfach nur „faul“ war.
• Das Ergebnis: Das Transformer-Gehirn hatte zu kämpfen. Selbst mit dem besten Training erreichte es nur etwa 73 mAP, während das ConvNeXt-Gehirn bei 88,19 mAP lag.
• Die Fusion: Als sie versuchten, sie zu kombinieren, wurde das System nicht besser. Tatsächlich entschied der „Oracle“ (ein perfektes, theoretisches System, das den besten Weg zur Mischung kennt), dem Transformer das Gewicht Null zuzuweisen. Er war so viel schlechter, dass das System ihn komplett ignorierte. Die Fusion fügte dem einzelnen Gehirn nicht mehr als 0,11 mAP hinzu (eine winzige, statistisch unbedeutende Menge).

Warum geschah das?

Das Paper bietet eine klare Erklärung: Shared Trajectories (Gemeinsame Pfade).
Wenn man mehrere Heads auf demselben Backbone trainiert, folgen sie demselben Pfad. Alle werden in der Welt der Mathematik in Richtung derselben „Lösung“ gedrängt. Sie bleiben nicht divers; sie kollabieren in Redundanz.
Darüber hinaus spielt die Fine-Tuning Distortion eine Rolle. Wenn man ein vorab trainiertes Genie nimmt und ihm einen neuen Trick beibringt, wird seine ursprüngliche „Sicht“ auf die Welt verzerrt, um an die neue Aufgabe angepasst zu werden. Die Unterschiede, die zu Beginn bestanden (wie die unterschiedlichen Arten, wie ein CNN und ein Transformer Dinge sehen), werden ausgelöscht, da beide versuchen, das Auto-Problem auf die gleiche Weise zu lösen.

Die Effizienzgrenze

Die Autoren kommen zu dem Schluss, dass die „Efficiency Frontier“ (die bestmögliche Leistung bei geringstem Aufwand) für die Fahrzeug-Re-Identifizierung im Zeitalter der Foundation Models so aussieht:

• Ein starker Backbone: Nutzen Sie ein einzelnes, leistungsstarkes Foundation Model (wie DINOv3-ConvNeXt).
• Das richtige Rezept: Trainieren Sie es sorgfältig mit einem spezifischen Zeitplan (staged learning rate decay).
• Exaktes Sparse Re-ranking: Nutzen Sie einen smarten, speichereffizienten Trick, um die Top-Ergebnisse doppelt zu prüfen.

Diese Kombination erreicht die Leistung der komplexesten Multi-Branch-Systeme, kostet aber nur einen Bruchteil der Rechenleistung.

Was das für die Zukunft bedeutet

Das Paper sagt nicht, dass Diversität niemals nützlich ist. Es sagt, dass für diese spezifische Aufgabe, mit dieser spezifischen Art von KI und in diesem Maßstab der Daten, Diversität keinen Ertrag bringt. Die Regel „Mehr ist besser“ ist gebrochen.

Die Autoren sind vorsichtig und listen auf, was sie widerlegen könnte (ihre „Falsifizierer“):

• Wenn jemand einen Weg findet, einen Transformer so zu trainieren, dass er die Lücke zum ConvNeXt-Gehirn schließt.
• Wenn sie eine völlig andere Art des Pre-Trainings verwenden, die die Gehirne unterscheidbar hält.
• Wenn sie dies an einem viel kleineren Datensatz testen, bei dem das einzelne Gehirn noch nicht „gesättigt“ ist.

Aber für den Moment ist die Botschaft klar: Hören Sie auf, unordentliche Expertenteams zu bauen. Finden Sie stattdessen ein Genie, lehren Sie es gut und lassen Sie es die Arbeit erledigen. Es ist schneller, billiger und genauso klug.