CR-QAT: Curriculum Relational Quantization-Aware Training for Open-Vocabulary Object Detection

Het artikel introduceert CR-QAT, een curriculum-gebaseerd raamwerk voor kwantisatiebewust trainen dat door middel van gefaseerde optimalisatie en relationele kennisdistillatie de prestaties van open-vocabulaire objectdetectie bij agressieve kwantisatie (zoals 4-bit) aanzienlijk verbetert zonder de visueel-taaluitlijning te verstoren.

De kern

Stel je voor dat je een super-intelligente robot hebt die foto's kan bekijken en er alles over kan vertellen, zelfs over dingen waar hij nooit eerder van heeft gehoord (zoals "een vintage lamp" of "een rare exotische vogel"). Dit heet Open-Vocabulary Object Detection. Deze robot is echter zo groot en zwaar dat hij niet op je telefoon of een kleine camera past. Hij is als een olifant die probeert in een muisgat te kruipen.

Om deze robot kleiner te maken, willen we zijn "hersenen" (de software) verkleinen. We doen dit door de getallen die hij gebruikt te vereenvoudigen. In plaats van complexe, nauwkeurige getallen (zoals 3.14159265), gebruiken we hele simpele getallen (zoals 3 of 3.5). Dit noemen we kwantisatie.

Het probleem is: als je dit te agressief doet (bijvoorbeeld alleen maar hele simpele getallen gebruiken), wordt de robot dom. Hij vergeet niet alleen de namen van de dingen, maar ook hoe de dingen met elkaar verbonden zijn. Hij ziet misschien een "hond", maar vergeet dat de hond naast een "boom" staat en dat de boom "groot" is. De verbanden tussen de objecten gaan verloren.

De auteurs van dit paper hebben een slimme oplossing bedacht, genaamd CR-QAT. Laten we dit uitleggen met een verhaal:

Het Probleem: De "Grote Sprong"

Stel je voor dat je een student wilt leren om een complexe wiskundetoets te maken.

• De oude methode (Naïeve kwantisatie): Je gooit de student direct in de diepe, met de zwaarste toets die er is. De student raakt in paniek, maakt overal fouten en leert niets. De "relaties" tussen de formules (dat A leidt tot B) zijn weg.
• Het resultaat: De robot ziet wel een hond, maar denkt dat het een auto is, en vergeet dat de hond aan een lijn zit.

De Oplossing: CR-QAT (Het "Stap-voor-stap" Leren)

De auteurs zeggen: "Laten we het niet in één keer doen, maar in stappen." Ze gebruiken twee slimme trucs:

1. CQAT: De "Cursus" (Stap-voor-stap)

In plaats van de hele robot in één keer te verkleinen, doen ze het in twee fasen, net als een schoolcursus:

• Fase 1 (De Basis): Ze verkleinen eerst alleen de "oog" van de robot (de achterkant die de beelden ziet). De rest van de robot (de "hersen" die beslissingen nemen) blijft nog even groot en sterk. Zo kan de robot de verkleinde beelden nog goed verwerken zonder in de war te raken.
• Fase 2 (De Top): Zodra de "oog" goed werkt met de simpele getallen, verkleinen ze ook de "hersen". Omdat de basis nu al stabiel is, kan de robot de nieuwe, kleinere hersenen veel beter aansturen.

De analogie: Het is alsof je een zware koffer eerst op een karretje zet (Fase 1) voordat je hem zelf gaat dragen (Fase 2). Als je de koffer direct op je rug gooit, val je om. Met het karretje leer je eerst hoe je moet lopen, en dan pas til je de last zelf.

2. TRKD: De "Gids" (De Leraar)

Nu de robot in kleine stappen leert, hebben ze nog een probleem: de robot vergeet nog steeds de fijne details. Daarom gebruiken ze een leraar (een grote, perfecte versie van de robot) die bijstaat.

Maar deze leraar doet iets heel speciaals. Hij zegt niet alleen: "Dat is een hond." Hij zegt ook:

• "Kijk, deze hond staat dichtbij de boom."
• "De hond en de boom hebben een speciale relatie."
• "De tekst 'hond' past perfect bij dit beeld."

De leraar maakt een kaartje met verbanden (een matrix). Hij laat de kleine robot zien: "Zie je hoe deze twee objecten op de foto op elkaar lijken? En hoe ze passen bij het woord 'hond'? Houd dat in je hoofd."

Dit heet Text-Centric Relational Knowledge Distillation.

• Simpele uitlef: De leraar geeft de student niet alleen het antwoord, maar ook de redenering en de samenhang tussen de dingen. Zonder deze gids zou de robot alleen maar raden.

Het Resultaat

Door deze twee trucken te combineren (stap-voor-stap leren + een slimme leraar die verbanden uitlegt), lukt het om de enorme robot te verkleinen tot een formaat dat op een telefoon past, zonder dat hij dom wordt.

• Vroeger: Als je de robot verkleinde, zag hij 100% fouten.
• Nu: Met CR-QAT ziet hij bijna net zo goed als de grote versie, zelfs als hij extreem klein is gemaakt.

Kort samengevat:
Stel je voor dat je een gigantische bibliotheek (de AI) wilt verplaatsen naar een kleine koffer. Als je alles erin gooit, gaat alles kapot.

1. CQAT zorgt ervoor dat je eerst de zware boeken (de basis) verpakt, zodat je niet omvalt.
2. TRKD zorgt ervoor dat een ervaren bibliothecaris (de leraar) je vertelt welke boeken bij elkaar horen en waarom, zodat je in de kleine koffer precies weet waar alles staat.

Zo kunnen we slimme, open-vocabulaire robots op elk apparaat draaien, zonder dat ze hun intelligentie verliezen.

Technische samenvatting

Probleemstelling

Open-Vocabulary Object Detection (OVOD) maakt het mogelijk om nieuwe objectcategorieën te detecteren die niet tijdens het trainingstijdperk zijn gezien, door gebruik te maken van visueel-taaluitlijning (bijvoorbeeld via CLIP). Echter, deze modellen zijn vaak zeer groot en rekenintensief, wat de implementatie op resource-beperkte randapparatuur (edge devices) bemoeilijkt.

Hoewel kwantisatie (het verlagen van de precisie van gewichten en activaties, bijvoorbeeld naar 4-bit) een praktische oplossing biedt voor compressie, blijkt dat naieve extreme low-bit kwantisatie (zoals 4-bit) ernstige prestatieverliezen veroorzaakt bij OVOD-modellen. De auteurs identificeren twee kritieke problemen:

1. Verlies van fijne visueel-taaluitlijning: De nauwkeurige overeenkomst tussen beeldregio's en tekstembeddings wordt verstoord.
2. Vervorming van relationele structuren: De semantische relaties tussen verschillende regio's binnen hetzelfde beeld (bijvoorbeeld hoe objecten tot elkaar verhouden) gaan verloren.

Bestaande methoden voor Quantization-Aware Training (QAT) en Post-Training Quantization (PTQ) slagen er niet in om deze twee aspecten gelijktijdig te herstellen onder extreme compressie, wat leidt tot een catastrofale daling in detectieprestaties.

Methodologie: CR-QAT

De auteurs stellen CR-QAT (Curriculum Relational Quantization-Aware Training) voor, een geïntegreerd framework dat twee hoofdcomponenten combineert om de kwantisatiefouten te minimaliseren en de relationele kennis te behouden:

1. Curriculum QAT (CQAT)

Om de accumulatie van kwantisatiefouten te voorkomen (waarbij ruis in vroege lagen door latere lagen wordt versterkt), wordt het model niet in één keer gekwantiseerd. In plaats daarvan wordt een curriculum-approach gebruikt:

• Het model wordt opgedeeld in functionele eenheden (bijvoorbeeld Backbone en Neck-Head).
• Fase 1: Alleen de backbone wordt gekwantiseerd, terwijl de rest van het netwerk (neck en head) in volledige precisie (FP32) gefixeerd blijft. Dit isoleert fouten en zorgt voor stabiele gradiënten.
• Fase 2: De neck en head worden vervolgens ook gekwantiseerd, terwijl de reeds geoptimaliseerde backbone als stabiele basis dient.
• Dit zorgt voor een geleidelijke en stabiele optimalisatie, in plaats van een plotselinge schok door het kwantiseren van het hele netwerk.

2. Text-Centric Relational Knowledge Distillation (TRKD)

Om het verlies aan semantische kennis te compenseren, wordt Knowledge Distillation (KD) toegepast, maar dan specifiek afgestemd op de OVOD-taak:

• Feature Distillation: Voor de task-agnostische backbone wordt standaard feature-mimicking gebruikt om de representatiekracht te behouden.
• TRKD voor Neck-Head: Voor de taakrelevante onderdelen (die de visueel-taaluitlijning regelen) wordt een nieuwe methode ontwikkeld. TRKD gebruikt tekstembeddings als "ankers" om een paarsgewijze similariteitsmatrix te construeren.
  • Deze matrix bevat zowel de relaties tussen regio en tekst (region-text alignment) als de relaties tussen verschillende regio's (region-region relationships).
  • Door de student (gekwantiseerd model) te trainen om deze matrix van de leraar (FP32-model) na te bootsen, wordt de multi-dimensionale relationele kennis effectief overgedragen.

Belangrijkste Bijdragen

1. Eerste werk voor extreme low-bit OVOD: Dit is het eerste onderzoek dat zich specifiek richt op extreme low-bit (bijv. 4-bit) kwantisatie voor Open-Vocabulary Object Detection-modellen.
2. Systematische analyse: De auteurs analyseren systematisch hoe kwantisatie de visueel-taaluitlijning en inter-regio relaties vervormt.
3. CR-QAT Framework: De introductie van een nieuw framework dat CQAT (voor stabiele optimalisatie) en TRKD (voor relationele kennisoverdracht) combineert.
4. TRKD-strategie: Een innovatieve distillatiestrategie die tekst-geankerde similariteitsmatrijzen gebruikt om zowel alignement als relationele structuren te herstellen.

Resultaten

De methode is geëvalueerd op de YOLO-World-architectuur met extreme 4-4-8 bit-instellingen (gewicht-activatie-attentie) op de LVIS en COCO zero-shot benchmarks.

• Prestatieverbetering: CR-QAT overtreft bestaande QAT-baselines consistent.
  • Op de LVIS benchmark (met veel zeldzame categorieën) werd een relatieve verbetering van 38,9% in AP (Average Precision) behaald ten opzichte van de standaard QAT.
  • Op de COCO benchmark werd een relatieve verbetering van 40,9% behaald.
• Vergelijking met PTQ: Post-Training Quantization (PTQ) faalde volledig (AP 0.0) in deze extreme instellingen, wat aantoont dat training noodzakelijk is.
• Ablatiestudies: Experimenten bevestigen dat zowel het curriculum (CQAT) als de relationele distillatie (TRKD) essentieel zijn; zonder curriculum faalt de distillatie, en zonder distillatie blijft de prestatie lager.
• Kwalitatieve analyse: Visuele resultaten tonen aan dat CR-QAT niet alleen het aantal gedetecteerde objecten herstelt, maar ook de semantische similariteitspatronen tussen objecten (bijv. "lade" vs. "lade") veel dichter bij het FP32-baseline houdt dan standaard QAT.

Betekenis

Dit paper is van groot belang voor de implementatie van geavanceerde AI-modellen op randapparatuur. Het toont aan dat het mogelijk is om OVOD-modellen extreem te comprimeren (tot 4-bit) zonder de cruciale visueel-taalcapaciteiten te verliezen, mits er gebruik wordt gemaakt van een zorgvuldig ontworpen trainingsstrategie. De combinatie van curriculum learning en relationele kennisoverdracht biedt een nieuwe richting voor het kwantiseren van complexe, multimodale modellen, waardoor real-time open-vocabulary detectie op beperkte hardware haalbaar wordt.