CR-QAT: Curriculum Relational Quantization-Aware Training for Open-Vocabulary Object Detection

Die Arbeit stellt CR-QAT vor, einen Framework aus stufenweiser Quantisierung und textzentrierter relationaler Wissensdistillation, der die durch extreme Niedrigbit-Quantisierung verursachten Einbußen bei der feinkörnigen Vision-Language-Ausrichtung in Open-Vocabulary-Objekterkennung effektiv kompensiert und so die Leistung auf ressourcenbeschränkten Geräten signifikant verbessert.

Das Wesentliche

Stell dir vor, du hast einen genialen, aber riesigen und schwerfälligen Detektiv namens „Open-Vocabulary Object Detection" (OVOD). Dieser Detektiv kann nicht nur bekannte Dinge wie Hunde oder Autos erkennen, sondern auch völlig neue Begriffe verstehen, die er vorher nie gelernt hat (z. B. „ein lila Gummientchen auf einem Skateboard"). Das funktioniert, weil er Bilder und Wörter wie ein zweisprachiger Dolmetscher verknüpft.

Das Problem: Dieser Detektiv ist so schwer (ein riesiger Rucksack voller Wissen), dass er auf kleinen Geräten wie Smartphones oder Drohnen gar nicht erst laufen kann. Er braucht zu viel Rechenleistung und Speicher.

Um ihn leicht zu machen, wollen wir ihn „quantisieren". Das ist wie beim Packing: Wir nehmen den riesigen Rucksack und versuchen, alles in winzige, quadratische Fächer zu pressen, damit er klein und leicht wird. Das Problem dabei: Wenn man zu stark komprimiert (z. B. nur noch 4 Bit statt 32 Bit), wird der Inhalt unleserlich. Der Detektiv vergisst nicht nur, wie ein „Lamp" aussieht, sondern verliert auch das Gefühl dafür, dass eine Lampe und ein Tisch oft zusammengehören. Die feinen Beziehungen zwischen den Dingen gehen verloren.

Hier kommt die neue Methode CR-QAT ins Spiel. Die Autoren nennen es „Lehrplan-basiertes Quantisierungstraining". Man kann es sich wie eine drei-Phasen-Ausbildung für einen Schüler vorstellen, der einen schweren Job lernen muss:

1. Der sanfte Einstieg (Curriculum Learning)

Stell dir vor, du willst einem Schüler Mathematik beibringen. Wenn du ihm sofort die schwierigste Gleichung gibst, während er noch nicht einmal die Zahlen kennt, wird er scheitern.

• Das alte Problem: Man hat versucht, den ganzen Rucksack auf einmal zu komprimieren. Das hat zu viel „Rauschen" (Fehler) erzeugt, das sich durch das ganze System geschoben hat.
• Die CR-QAT-Lösung: Wir machen es Schritt für Schritt (wie ein Lehrplan).
  • Schritt 1: Wir komprimieren nur den „Rücken" des Detektivs (die Basis, die Bilder sieht), während Kopf und Arme noch groß und stabil sind. So lernt der Rücken, auch mit kleinen Daten klarzukommen, ohne dass der Rest zusammenbricht.
  • Schritt 2: Erst wenn der Rücken stabil ist, komprimieren wir den Rest (Kopf und Arme).
  • Analogie: Es ist wie beim Bau eines Hauses. Man stellt erst das Fundament (Rücken) sicher, bevor man die Wände (Hals) und das Dach (Kopf) darauf baut. So stürzt nichts ein.

2. Der kluge Mentor (Text-zentrierte Wissensdistillation)

Selbst mit dem Schritt-für-Schritt-Ansatz verliert der kleine Detektiv noch viel von seinem „Gespür". Er weiß vielleicht noch, was eine Lampe ist, aber er vergisst, wie Lampen sich zueinander verhalten (z. B. dass sie oft über Tischen hängen).

• Das alte Problem: Normales Training versucht nur, die richtige Antwort zu finden. Es ignoriert die Beziehungen zwischen den Dingen.
• Die CR-QAT-Lösung: Wir nutzen einen großen, perfekten Lehrer (den unkomprimierten Detektiv), der dem kleinen Schüler beibringt, nicht nur was er sieht, sondern wie die Dinge zusammenhängen.
  • Die Magie: Der Lehrer nutzt Wörter als „Anker". Er sagt dem Schüler: „Schau mal, wenn wir das Wort 'Lampe' sagen, dann müssen alle Lampen im Bild sich ähnlich anfühlen und sich von 'Stühlen' unterscheiden."
  • Die Metapher: Stell dir vor, der Lehrer zeichnet eine Landkarte für den Schüler. Auf dieser Karte sind nicht nur die Städte (Objekte) markiert, sondern auch die Straßen, die sie verbinden. Der Schüler lernt nicht nur die Städte auswendig, sondern behält die Struktur der Landkarte bei, auch wenn er nur eine winzige Skizze davon hat.

Das Ergebnis

Durch diese Kombination aus sanftem, schrittweisem Lernen und kluger Mentorenschaft gelingt es CR-QAT, den riesigen Detektiv so stark zu verkleinern, dass er auf kleinen Geräten läuft, ohne seine Intelligenz zu verlieren.

• Ohne diese Methode: Der kleine Detektiv sieht nur noch verschwommene Flecken und vergisst, dass eine Lampe eine Lampe ist.
• Mit CR-QAT: Der kleine Detektiv ist zwar leicht, erkennt aber auch feinste Details und versteht die Zusammenhänge fast genauso gut wie der riesige Original-Detektiv.

Zusammengefasst: Die Autoren haben einen Weg gefunden, einen schweren, intelligenten KI-Modell-Riesen so zu verkleinern, dass er in die Hosentasche passt, ohne dabei seine Fähigkeit zu verlieren, die Welt zu verstehen und Zusammenhänge zu erkennen. Sie haben dafür gesorgt, dass der „kleine" Detektiv nicht dumm wird, sondern clever bleibt.

Technische Zusammenfassung

1. Problemstellung

Open-Vocabulary Object Detection (OVOD) ermöglicht die Erkennung neuer Objektkategorien durch die Ausrichtung von visuellen und sprachlichen Repräsentationen (Vision-Language Alignment). Allerdings sind die zugrunde liegenden Modelle (oft basierend auf schweren Vision-Transformern und Text-Encodern) rechenintensiv und für ressourcenbeschränkte Edge-Geräte ungeeignet.

Während Quantisierung (z. B. auf 4-Bit) eine praktikable Methode zur Komprimierung darstellt, zeigt die Arbeit, dass eine naive extreme Low-Bit-Quantisierung bei OVOD-Modellen katastrophale Folgen hat:

• Verlust der feingranularen Ausrichtung: Die Ähnlichkeit zwischen Regionen-Embeddings und Text-Embeddings (Region-Text-Alignment) wird stark verzerrt.
• Verzerrung relationaler Strukturen: Die semantischen Beziehungen zwischen verschiedenen Regionen innerhalb desselben Bildes (Inter-Region-Beziehungen) gehen verloren.
• Fehlerakkumulation: Bei der gleichzeitigen Quantisierung des gesamten Netzwerks akkumulieren sich Fehler aus frühen Schichten und propagieren durch das Modell, was eine stabile Optimierung unmöglich macht.

Standard-Methoden wie Post-Training Quantization (PTQ) führen bei 4-Bit zu einem kompletten Leistungsabfall (AP ≈ 0.0), und herkömmliches Quantization-Aware Training (QAT) kann diese komplexen, multidimensionalen Verzerrungen nicht ausreichend korrigieren.

2. Methodik: CR-QAT

Die Autoren schlagen CR-QAT (Curriculum Relational Quantization-Aware Training) vor, ein integriertes Framework, das zwei Hauptkomponenten kombiniert, um die Quantisierungsfehler zu minimieren und die relationalen Strukturen wiederherzustellen:

A. Curriculum QAT (CQAT) – Stufenweise Optimierung

Um die Fehlerakkumulation zu verhindern, wird das Modell nicht vollständig gleichzeitig quantisiert. Stattdessen wird ein Curriculum-Lernansatz verwendet:

• Partitionierung: Das Modell wird in funktionale Einheiten unterteilt (bei YOLO-World: 1. Backbone, 2. Neck-Head).
• Progressive Quantisierung:
  • Stufe 1: Nur der Backbone wird quantisiert, während Neck und Head in voller Genauigkeit (FP32) eingefroren bleiben. Dies isoliert Fehler und verhindert, dass Rauschen aus frühen Schichten die nachfolgenden Module destabilisiert.
  • Stufe 2: Anschließend wird der Neck-Head quantisiert, wobei der bereits optimierte Backbone als stabiler Input dient.
• Dies ermöglicht eine schrittweise Wiederherstellung der Repräsentationsfähigkeit und sorgt für stabile Gradienten während des Trainings.

B. Text-zentrierte Relationale Knowledge Distillation (TRKD)

Um die durch die Bit-Reduktion verlorenen Informationen wiederherzustellen, wird eine modulspezifische Knowledge Distillation (KD) eingesetzt:

• Backbone (Aufgabenunabhängig): Hier wird eine klassische Feature-Distillation angewendet, um die multi-skalierten visuellen Merkmale des Lehrers (Teacher) auf den Schüler (Student) zu übertragen.
• Neck-Head (Aufgabenrelevant): Da dieser Teil für die Cross-Modal-Fusion und das Matching zuständig ist, wird TRKD eingeführt.
  • Text-Anker: Text-Embeddings dienen als Ankerpunkte.
  • Pairwise Similarity Matrizen: Für jede Textabfrage wird eine Matrix konstruiert, die sowohl die Ähnlichkeit zwischen Text und Regionen (Region-Text-Alignment) als auch die Ähnlichkeiten zwischen den Regionen selbst (Region-Region-Beziehungen) enthält.
  • Ziel: Der Schüler lernt, die multidimensionale relationale Struktur des Lehrers nachzubilden, indem die Differenz dieser Matrizen minimiert wird. Dies stellt sicher, dass sowohl die semantische Ausrichtung als auch die räumlichen Beziehungen erhalten bleiben.

3. Wichtige Beiträge

1. Erste Arbeit zu extremer Low-Bit-Quantisierung für OVOD: Systematische Analyse der Degradation von Vision-Language-Alignment und relationalen Strukturen bei 4-Bit-Quantisierung.
2. CQAT-Framework: Einführung einer stufenweisen Quantisierungsstrategie zur Isolierung von Fehlern und Sicherung einer stabilen Optimierung.
3. TRKD-Strategie: Entwicklung einer speziellen Distillationsmethode, die Text-Embeddings nutzt, um sowohl Region-Text- als auch Region-Region-Beziehungen gleichzeitig wiederherzustellen.
4. Umfassende Validierung: Demonstration der Überlegenheit gegenüber bestehenden QAT-Baselines unter aggressiven Bedingungen.

4. Ergebnisse

Die Methode wurde auf YOLO-World (Modelle M, L, X) mit dem Objects365v2-Datensatz trainiert und auf den Benchmarks LVIS und COCO (Zero-Shot) evaluiert. Die Konfiguration war extrem aggressiv (4-Bit Gewichte, 4-Bit Aktivierungen, 8-Bit Attention).

• Leistungsgewinne:
  • Auf LVIS (Zero-Shot) erreichte CR-QAT relative Verbesserungen von bis zu 38,9 % im AP (Average Precision) im Vergleich zum Standard-QAT.
  • Auf COCO (Zero-Shot) wurden relative Verbesserungen von bis zu 40,9 % erzielt.
  • Besonders stark waren die Verbesserungen bei seltenen Kategorien (APr), was die Wiederherstellung der feingranularen Ausrichtung bestätigt.
• Vergleich mit Baselines:
  • PTQ scheiterte komplett (AP 0.0).
  • Standard-QAT erholte sich nur teilweise und wies große Lücken zum FP32-Modell auf.
  • CR-QAT näherte sich dem FP32-Modell in Bezug auf Embedding-Verzerrung und Konfidenzscores deutlich an.
• Ablationsstudien: Zeigten, dass sowohl das Curriculum-Training als auch die TRKD-Komponenten essenziell sind und synergistisch wirken. Eine Trennung von Neck und Head in drei Stufen war weniger effektiv als die Zwei-Stufen-Strategie.

5. Bedeutung und Fazit

CR-QAT adressiert eine kritische Lücke in der Implementierung von Open-Vocabulary-Detektoren auf Edge-Geräten. Die Arbeit zeigt, dass reine Aufgabenverluste (Task Loss) nicht ausreichen, um die komplexen semantischen Räume von OVOD-Modellen nach einer extremen Quantisierung wiederherzustellen.

Durch die Kombination von fehlerisolierendem Curriculum-Lernen und relationalem Wissenstransfer gelingt es, die Modellgröße drastisch zu reduzieren (bis zu 7,6-fach kleiner, bis zu 33,4-fach weniger Bit-Operationen), ohne die Fähigkeit zur Erkennung neuer Kategorien oder die Genauigkeit der Lokalisierung zu opfern. Dies macht hochleistungsfähige OVOD-Modelle erstmals für ressourcenbeschränkte Echtzeitanwendungen praktikabel.