OV-DEIM: Real-time DETR-Style Open-Vocabulary Object Detection with GridSynthetic Augmentation

Dit paper introduceert OV-DEIM, een real-time open-vocabulary objectdetector op basis van het DEIMv2-architectuur die, door middel van een query-aanvullingsstrategie en de nieuwe GridSynthetic-dataaugmentatietechniek, state-of-the-art prestaties bereikt met verbeterde efficiëntie en detectie van zeldzame categorieën.

De kern

Stel je voor dat je een super slimme, snelle camera hebt die overal in de wereld kan kijken. Deze camera moet niet alleen zien dat er iets is, maar ook precies wat het is, zelfs als het iets is waarvoor de camera nooit eerder is getraind. Dit heet "Open-Vocabulary Object Detection".

Het probleem is dat de meeste slimme camera's die we nu hebben, ofwel traag zijn (zoals een gedetailleerde schilder die alles eerst goed bekijkt voordat hij tekent), ofwel snel maar beperkt (zoals een snelle fotograaf die alleen bekende gezichten herkent).

De auteurs van dit paper hebben OV-DEIM bedacht. Laten we uitleggen hoe dit werkt met een paar simpele vergelijkingen.

1. De Snelle Schilder (DETR vs. YOLO)

Stel je twee soorten detectives voor:

• De oude stijl (YOLO): Dit is een detective die heel snel door een menigte loopt en iedereen die hij ziet, eerst op een lijstje zet. Daarna moet hij die lijstje doorlopen, dubbele namen schrappen en beslissen wie er echt belangrijk is. Dit "dubbelchecken" kost tijd.
• De nieuwe stijl (DETR): Dit is een detective die direct ziet wie de dader is en direct de naam noemt. Geen lijstjes, geen schrappen. Dit is veel sneller en efficiënter.

Het probleem met de nieuwe stijl (DETR) was tot nu toe dat ze vaak te traag waren voor echt snelle toepassingen (zoals een zelfrijdende auto) en moeite hadden met zeldzame dingen (zoals een "blauwe giraffe" in plaats van een gewone).

OV-DEIM is de oplossing: het is een snelle DETR. Het combineert de snelheid van de oude stijl met de slimme, directe aanpak van de nieuwe stijl. Het kan dus in real-time kijken en direct zeggen: "Daar is een blauwe giraffe!" zonder te hoeven twijfelen of te schrappen.

2. De Magische Grid (GridSynthetic)

Hoe leer je een camera om dingen te herkennen die het nog nooit heeft gezien? Je moet het veel oefenen. Maar als je alleen maar foto's van een hond op een grasveld laat zien, weet de hond niet hoe hij eruitziet als hij in een badkuip zit of op een fiets.

De auteurs gebruiken een truc genaamd GridSynthetic.

• Het idee: Stel je voor dat je een leeg canvas hebt. Je pakt nu niet één foto, maar knipt stukjes uit honderden verschillende foto's: een wiel van een fiets, een kopje koffie, een kat, een sneeuwschoen.
• De truc: Je plakt deze stukjes in een strak raster (een grid) op je canvas, net als een bord met verschillende vakjes.
• Het resultaat: De camera ziet in één oogopslag een heel nieuwe, bizarre scène met veel verschillende objecten die normaal nooit samen voorkomen.

Dit helpt de camera op twee manieren:

1. Het maakt het makkelijker: Omdat de objecten netjes in vakjes zitten, hoeft de camera niet te gissen waar de randen van het object zijn. Het kan zich volledig focussen op de naam van het object.
2. Het maakt het slimmer: De camera leert dat een "fietswiel" en een "kat" samen kunnen bestaan, zelfs als dat in de echte wereld rare combinaties zijn. Dit maakt de camera veel beter in het herkennen van zeldzame dingen.

3. De Extra Oefenvragen (Query Supplement)

Stel je voor dat je een examen doet met 300 vragen. Maar je weet dat er soms meer dan 300 dingen op de foto staan. Dan mis je misschien de laatste paar.

Normaal gesproken heeft een DETR-camera maar een vast aantal "vragen" (of zoekopdrachten) om objecten te vinden. Als er meer objecten zijn dan vragen, mis je ze.
De auteurs voegen een slimme truc toe: Query Supplement.

• Ze laten de camera eerst een snelle scan maken (de "encoder") en daaruit extra "vragen" halen voor de objecten die de camera nog niet heeft gevonden.
• Dit is alsof je tijdens het examen extra blaadjes krijgt om je antwoorden op te schrijven, zonder dat je langzamer moet denken. Je krijgt meer kans om alles te vinden, maar het kost je geen extra tijd om te schrijven.

Waarom is dit belangrijk?

In de echte wereld verandert alles. Vandaag zie je een hond, morgen een drone, en overmorgen een robot.

• Snelheid: OV-DEIM is snel genoeg voor robots en auto's die in real-time moeten reageren.
• Slimheid: Het herkent zeldzame dingen (zoals een "roze olifant") veel beter dan de huidige snelste camera's.
• Geen gedoe: Het heeft geen ingewikkelde "dubbelcheck"-stappen nodig, waardoor het energiezuiniger en sneller is.

Kortom: OV-DEIM is als het geven van een superkracht aan een snelle camera. Door slimme oefeningen (de Grid) en een slimme manier van zoeken (de extra vragen), kan deze camera in een flits zien wat er gebeurt, zelfs als het iets is dat niemand eerder heeft bedacht.

Technische samenvatting

Probleemstelling

Real-time Open-Vocabulary Object Detection (OVOD) is cruciaal voor toepassingen in dynamische omgevingen (zoals robotica en autonoom rijden), waar modellen een groot en evoluerend aantal objectcategorieën moeten herkennen binnen strikte latentie-eisen.

• Huidige beperkingen: Bestaande real-time OVOD-methoden zijn voornamelijk gebaseerd op YOLO-architecturen. Hoewel deze efficiënt zijn, vereisen ze vaak post-processing met Non-Maximum Suppression (NMS), wat extra latentie introduceert. Bovendien presteren ze vaak minder goed op zeldzame (long-tail) categorieën.
• DETR-achterstand: DETR-achtige modellen (zoals Grounding DINO) bieden wel end-to-end detectie zonder NMS, maar missen vaak de snelheid en lichtgewicht-architectuur van YOLO-modellen voor real-time toepassingen. Ze kampen ook met uitdagingen bij het leren van semantische relaties voor zeldzame objecten.

Methodologie: OV-DEIM

De auteurs stellen OV-DEIM voor, een end-to-end DETR-achtige detector voor open-vocabulary detectie, gebaseerd op het recente DEIMv2-framework. De architectuur integreert vision-language modeling voor efficiënte inferentie.

1. Architectuur en Ontwerp

• Backbone & Encoder: Het model gebruikt DINOv3 voor grotere varianten en gedistilleerde Tiny ViTs voor kleinere varianten, wat een goede balans biedt tussen prestaties en rekenefficiëntie.
• Vision-Language Alignment: In plaats van zware cross-modale fusie-netwerken (die de inferentie vertragen), gebruikt OV-DEIM een lichte adapter in de tekstencoder (gebaseerd op MobileCLIP) om tekst-embeddings naar de visuele ruimte te projecteren. Een eenvoudige "Vision-Text Alignment Head" berekent de gelijkenis tussen beeldfeatures en tekst-embeddings.
• Query Selection: In plaats van willekeurige queries, selecteert het model de top-K encoder-features gebaseerd op hun visuele gelijkenis met de ingevoerde tekst-prompten. Dit zorgt ervoor dat de queries semantisch relevant zijn voor de te detecteren objecten.

2. Query Supplement Strategie

Een beperking van DETR-modellen is het vaste aantal decoder-queries, wat de kans op gemiste detecties vergroot bij beelden met veel objecten.

• Oplossing: De auteurs introduceren een lichte "query supplement" strategie waarbij extra hoogwaardige queries uit de encoder-output worden geselecteerd als extra detectie-kandidaten.
• Voordeel: Dit verhoogt het aantal voorspellingen per beeld (en verbetert de Fixed AP) zonder de decoder-architectuur te wijzigen of de inferentiesnelheid te verlagen, omdat er geen extra decoder-pass nodig is.

3. GridSynthetic Data Augmentation

Om de semantische discriminatie te verbeteren, vooral voor zeldzame categorieën, introduceren ze GridSynthetic.

• Principe: In plaats van objecten willekeurig over te plakken (zoals bij Copy-Paste) of te vervagen (zoals bij MixUp), worden geannoteerde objecten uitgesneden en gerangschikt in een gestructureerd $m \times n$ raster op een nieuw canvas.
• Voordelen:
  • Het creëert een "ideaal" lokalisatiescenario waarbij de lokalisatiekwaliteit ($q$) hoog is, waardoor de classificatietraining minder last heeft van ruis door slechte lokalisatie.
  • Het verrijkt patronen van object-co-voorkomen en dwingt het model om cross-categorie semantische relaties te leren.
  • Het kan naadloos worden gecombineerd met MixUp voor verdere verbeteringen.

Belangrijkste Bijdragen

1. OV-DEIM Framework: Een real-time, DETR-achtige OVOD-oplossing die NMS elimineert, wat leidt tot stabiele en snelle inferentie met sterke zero-shot prestaties.
2. Query Supplement: Een strategie om het aantal kandidaat-detecties te vergroten zonder extra inferentiekosten, wat de prestaties op Fixed AP aanzienlijk verbetert.
3. GridSynthetic: Een nieuwe data-augmentatiestrategie die de lokalisatie-problematiek in de classificatieverliesfunctie minimaliseert en de semantische robuustheid voor zeldzame categorieën versterkt.

Resultaten

De auteurs evalueren OV-DEIM op de LVIS (1.203 categorieën, sterk long-tail) en COCO (80 categorieën) datasets, na pre-training op Objects365V1, GQA en Flickr30k.

• Prestaties op LVIS: OV-DEIM presteert beter dan bestaande YOLO-gebaseerde modellen (YOLOE) op zeldzame categorieën.
  • De S-, M- en L-varianten verbeteren de APr (Average Precision voor zeldzame categorieën) met respectievelijk 4.6, 1.7 en 3.5 AP ten opzichte van de corresponderende YOLOE-modellen.
  • Het model behaalt state-of-the-art resultaten op Fixed AP terwijl het een lagere latentie heeft.
• Prestaties op COCO: OV-DEIM toont sterke zero-shot transfer naar COCO, met verbeteringen van 3.4 tot 1.5 AP ten opzichte van YOLO-World en YOLOE.
• Snelheid: Ondanks de complexiteit van DETR-modellen, behaalt OV-DEIM hoge frames per seconde (FPS) op een NVIDIA T4 GPU (bijv. 161 FPS voor het S-model), wat het concurrentieel maakt met YOLO-architecturen.

Betekenis en Impact

Dit werk sluit de kloof tussen de snelheid van YOLO-modellen en de robuustheid van DETR-modellen voor open-vocabulary detectie.

• Efficiëntie: Door NMS te elimineren en een lichte architectuur te gebruiken, maakt het OVOD toepasbaar in real-time scenario's.
• Robuustheid: De focus op zeldzame categorieën via GridSynthetic en de query-supplement strategie lost een belangrijk probleem op in open-vocabulary detectie: de slechte prestaties op de "long tail" van objectcategorieën.
• Toekomst: OV-DEIM biedt een sterke baseline voor toekomstig onderzoek in real-time open-vocabulary detectie en demonstreert dat DETR-achtige modellen, wanneer goed geoptimaliseerd, superieur kunnen zijn aan traditionele YOLO-varianten in complexe, open-wereld scenario's.