CoT-PL: Chain-of-Thought Pseudo-Labeling for Open-Vocabulary Object Detection

1. Het Probleem

Open-Vocabulary Object Detection (OVD) heeft als doel objecten te lokaliseren en te herkennen die niet tijdens het trainingsproces zijn gezien (novel classes), gebruikmakend van alleen annotaties voor bekende (base) classes. Bestaande state-of-the-art methoden vertrouwen vaak op single-step image-text matching via Vision-Language Models (VLMs) zoals CLIP.

De auteurs identificeren drie kritieke beperkingen van deze single-step benadering in complexe scènes (zoals overvolle of verduisterde situaties):

1. Ruisonze pseudo-bounding boxes (L1): Door te vertrouwen op beeldniveau-supervisie en co-occurrence statistieken, krijgen regio's labels gebaseerd op de context in plaats van de specifieke inhoud. Bijvoorbeeld, een gedeeltelijk verduisterde voet wordt ten onrechte gelabeld als "skateboard" omdat deze vaak samen voorkomt met een skateboard.
2. Afhankelijkheid van captions (L2): Deze methoden vereisen een vooraf gedefinieerde set van kandidaat-classes, vaak afgeleid van beeldcaptions. Objecten die niet in de caption staan of slecht worden beschreven, worden genegeerd of verkeerd geclassificeerd.
3. Background Collapse (L3): In single-step reasoning wordt het onderscheid tussen verduisterde objecten en achtergrond niet gemaakt. Verduisterde objecten die niet direct matchen met een label, worden tijdens het trainen onterecht geleerd als achtergrond, wat de detectie van deze objecten onmogelijk maakt.

2. Methodologie: CoT-PL

De auteurs introduceren CoT-PL, een framework dat visuele Chain-of-Thought (CoT) redenering integreert in het pseudo-labeling proces. In plaats van direct een label toe te wijzen, wordt het proces opgesplitst in drie interpreteerbare stappen die offline worden uitgevoerd. Dit creëert rijke, semantisch onderbouwde supervisie voor de online training.

Fase 1: Offline Pseudo-Label Generatie (3-stappen CoT)

Het framework combineert SAM (Segment Anything Model) voor objectlocalisatie en MLLM (Multimodal Large Language Model) voor redenering.

• Stap 1: Object Localisatie & Verificatie:
  • SAM genereert class-agnostische maskers.
  • Een MLLM wordt gevraagd: "Bestaat er een object in deze regio?"
  • Het antwoord is ternair: "Ja", "Nee" of "Onzeker". Regio's met "Nee" of "Onzeker" worden verworpen om ruis te filteren.
• Stap 2: Categorie Herkenning:
  • Voor geverifieerde objecten vraagt de MLLM: "Wat is het object en geef een beschrijving?"
  • Dit gebeurt zero-shot, zonder afhankelijkheid van een vooraf gedefinieerde vocabulaire of captions. De MLLM levert een klassenaam en een gedetailleerde tekstuele beschrijving op (bijv. "een witte auto").
• Stap 3: Achtergrond Grounding:
  • De MLLM wordt gevraagd: "Is dit object een voorgrond-element?"
  • Dit helpt expliciet om achtergrondconcepten (zoals "lucht" of "gras") te onderscheiden van verduisterde voorgrondobjecten, waardoor "background collapse" wordt voorkomen.

Refinement: Om hallucinaties te minimaliseren, worden alleen labels behouden die frequent voorkomen (gebaseerd op een drempelwaarde afgeleid van de base classes). Deze worden "Semantic Anchors" genoemd.

Fase 2: Online Training & Inference

De gegenereerde pseudo-labels en de tussenliggende redeneringsdata worden gebruikt om een detector (gebaseerd op Faster R-CNN) te trainen via een contrastief doel.

• Region-Text Alignment (RTA): De detector wordt getraind om visuele features van regio's af te stemmen op de gedetailleerde tekstuele beschrijvingen (niet alleen de klassenaam) die door de MLLM zijn gegenereerd. Dit helpt bij het onderscheiden van visueel vergelijkbare objecten.
• Contrastive Background Learning (CBL): Een speciaal verliesmechanisme dat ervoor zorgt dat achtergrondfeatures (geëncodeerd als negatieve samples) duidelijk gescheiden blijven van voorgrondfeatures. Dit helpt bij het herwinnen van features voor verduisterde objecten.
• Efficiëntie: De complexe redenering vindt offline plaats. Tijdens de online training worden alleen de gegenereerde "Semantic Anchors" gebruikt, wat de rekentijd aanzienlijk verlaagt ten opzichte van methoden die online self-training vereisen.

3. Belangrijkste Bijdragen

1. Visuele Chain-of-Thought voor OVD: Het is de eerste methode die CoT-redenering systematisch toepast op het genereren van pseudo-labels voor open-vocabulary detectie, waardoor complexe scènes beter worden ontrafeld.
2. Oplossing voor Background Collapse: Door expliciete achtergrond-grounding in de redeneringsketen, worden verduisterde objecten niet langer als achtergrond behandeld.
3. Vocabulaire-onafhankelijkheid: Door zero-shot MLLM-redenering te gebruiken, is het systeem niet beperkt tot de woorden in een caption of een vooraf gedefinieerde lijst, wat leidt tot een breder scala aan gedetecteerde objecten.
4. Efficiëntie: Het framework bereikt state-of-the-art prestaties met een lagere rekentijd dan concurrenten die online self-training gebruiken, omdat de zware MLLM-inferentie offline wordt gedaan.

4. Resultaten

De methode is geëvalueerd op twee standaard benchmarks: OV-COCO en OV-LVIS.

• OV-COCO: CoT-PL behaalt een nieuwe state-of-the-art met 43.4 AP50 voor novel classes (met ResNet-50), wat een verbetering is van 9.4 punten ten opzichte van de sterke baseline (BARON).
• OV-LVIS: De methode verbetert de detectie van zeldzame classes (rare categories) met 26.4 APr en segmentatie met 24.8 APr, wat een verbetering is van respectievelijk 3.2 en 2.2 punten ten opzichte van eerdere werken.
• Efficiëntie: De methode genereert pseudo-labels in gemiddeld 0.43 seconden per afbeelding, wat sneller is dan concurrenten zoals SAS-Det (die >1 seconde per afbeelding kost inclusief trainingstijd).
• Robuustheid: De methode presteert aanzienlijk beter in uitdagende scenario's zoals "Crowded" (drukte) en "Occluded" (verduistering) in vergelijking met single-step methoden.

5. Betekenis

CoT-PL markeert een paradigmaverschuiving in Open-Vocabulary Object Detection. In plaats van te vertrouwen op directe, maar vaak onbetrouwbare beeld-tekst matching, introduceert het een gestructureerde, interpreteerbare redeneerstap die de complexiteit van visuele scènes ontleedt. Dit lost fundamentele problemen op zoals achtergrond-collapse en vocabulaire-beperkingen. De succesvolle integratie van foundation models (SAM en MLLMs) in een efficiënt trainingsframework toont aan dat het "offline denken" (CoT) de kwaliteit van "online leren" drastisch kan verbeteren, wat een nieuwe richting opent voor robuuste detectie in de echte wereld.