What is the Right Embedding Space for Contrastive Learning in REC?

Technische Samenvatting: C-REX voor Referring Expression Counting

Probleemstelling

Referring Expression Counting (REC) vereist dat modellen specifieke subsets van objecten binnen een afbeelding tellen op basis van fijnmazige tekstuele beschrijvingen (bijv. "persoon die een motorfiets bestuurt" versus "persoon die wandelt"). De kernuitdaging ligt in het onderscheiden van visueel gelijkaardige objecten die enkel verschillen door subtiele contextuele of attribuut-gebaseerde kenmerken.

Bestaande state-of-the-art REC-methoden pakken dit aan via image-text contrastive learning (CL). Deze benaderingen trainen modellen om visuele tokens af te stemmen op positieve tekstprompts, terwijl ze deze wegdrukken van negatieve tekstprompts. De auteurs identificeren echter twee kritieke beperkingen in deze strategie:

1. Schaarste aan Negatieven: Het aantal beschikbare negatieve verwijzende expressies voor een enkele afbeelding is beperkt (meestal minder dan 5), terwijl contrastive learning theoretisch profiteert van grote batches met diverse negatieve samples om robuuste representaties te leren.
2. Embedding Misalignment: De effectiviteit van image-text CL hangt sterk af van de afstemming tussen de beeld- en tekst-embeddingruimtes. De auteurs stellen dat deze afstemming vaak imperfect is, wat leidt tot visuele embeddings die semantisch onderscheidbare maar visueel gelijkaardige objecten verstrengelen, waardoor fijne discriminatie wordt bemoeilijkt.

Methodologie: C-REX

Om deze beperkingen te overwinnen, stellen de auteurs C-REX (Contrastive Learning for Referring Expression Counting) voor, een framework dat contrastive learning volledig verplaatst naar de visuele embeddingruimte, waardoor de afhankelijkheid van tekst-embeddings voor de contrastieve doelstelling wordt geëlimineerd.

Kernmechanisme

In plaats van beeld-tokens te contrasteren met tekst-tokens, contrasteert C-REX beeld-tokens met andere beeld-tokens binnen dezelfde afbeelding.

1. Sample Definitie: Voor een gegeven afbeelding en een verwijzende expressie (RE) voorspelt het model de locaties van objecten. Met behulp van Bipartite Matching worden voorspelde tokens gekoppeld aan ground-truth punten.
   • Positieven ($I^+$): Beeld-tokens die gematcht zijn met ground-truth objecten die horen bij de specifieke RE.
   • Negatieven ($I^-$): Alle andere beeld-tokens in de afbeelding (inclusclusief objecten van dezelfde klasse met andere attributen, andere klassen, of achtergrond-tokens).
2. Modificatie van de Loss Functie: De auteurs passen de standaard Supervised Contrastive Loss [35] aan. Een belangrijke modificatie is dat alleen positieve samples als anchors worden gebruikt.
   • Standaard supervised CL trekt vaak alle samples van dezelfde klasse naar elkaar toe. Echter, in C-REX is de negatieve set ($I^-$) heterogeen (bevatten auto's, voetgangers, achtergrond, etc.). Het clusteren van deze diverse negatieven zou contraproductief zijn.
   • Daarom is de loss functie geformuleerd om positieve tokens dichter bij elkaar te trekken terwijl ze weggedrukt worden van alle negatieve tokens, zonder de negatieven te dwingen samen te clusteren.
   • Het doel is gedefinieerd als:
     $$\mathcal{L}^*_{\text{sup}} = \sum_{i \in I^+} -\log \left( \frac{1}{|I^+|-1} \sum_{p \in I^+ - \{i\}} \frac{\exp(z_i \cdot z_p / \tau)}{\sum_{\alpha \in I - \{i\}} \exp(z_i \cdot z_\alpha / \tau)} \right)$$
3. Integratie: C-REX fungeert als een plug-in module. Het vervangt de image-text contrastive loss in bestaande REC-architecturen (GroundingREC, CAD-GD) of wordt toegevoegd naast standaard counting losses voor detectie-gebaseerde baselines (GroundingDINO). De tekstuele input wordt nog steeds gebruikt om de visuele backbone te conditioneren via cross-attention, maar het supervisiesignaal voor discriminatie komt uitsluitend uit de visuele ruimte.

Extensie naar Class-Agnostic Counting

Het framework wordt aangepast voor class-agnostic counting door positieven te definiëren op basis van een doelklasse in plaats van een specifieke RE. Hoewel de verbetering minder uitgesproken is dan bij REC (omdat klasse-niveau onderscheid al gemakkelijker te leren is), levert het nog steeds prestatiewinst op.

Belangrijkste Bijdragen

1. Verschuiving naar Image-Space CL: Het artikel toont aan dat het uitvoeren van contrastive learning volledig binnen de beeld-embeddingruimte superieur is aan image-text CL voor REC, omdat het een stabieler signaal biedt en problemen met cross-modale afstemming voorkomt.
2. Schaalbare Negatieve Sampling: Door niet-gematchte beeld-tokens als negatieven te gebruiken, vergroot C-REX de pool van negatieve samples van een handvol tekstprompts naar honderden beeld-tokens per afbeelding, wat de stabiliteit van de supervisie aanzienlijk verbetert.
3. Plug-and-Play Framework: C-REX is ontworpen om architectuur-agnostisch te zijn en integreert naadloos in bestaande REC-modellen zonder structurele wijzigingen.
4. State-of-the-Art Prestaties: De methode bereikt nieuwe state-of-the-art resultaten op de REC-8K dataset over meerdere backbones en architecturen.

Experimentele Resultaten

De auteurs evalueerden C-REX op de REC-8K en FSC-147 datasets met drie architecturen: GroundingREC, CAD-GD en GroundingDINO.

• Prestatiewinst: Op de REC-8K dataset verbeterde C-REX de prestaties met tot wel 28% in Mean Absolute Error (MAE) (geobserveerd op de validatieset voor GroundingREC met Swin-T backbone) en 24,5% in Root Mean Squared Error (RMSE) (geobserveerd op de testset voor GroundingDINO met Swin-T backbone) vergeleken met de baselines.
• Consistentie: Verbeteringen werden waargenomen over alle objectdichtheidsbereiken (0–20, 21–50, 51–100, 100+), met name bij taken die fijne discriminatie vereisen (bijv. het onderscheiden van een "blauwe auto" van een "zwarte auto" of een "persoon die een fiets bestuurt" van een "persoon die een motorfiets bestuurt").
• Ablatie-studies:
  • Image-Space vs. Image-Text: Pure image-space CL presteerde beter dan zowel image-text CL als de combinatie van beide, wat suggereert dat image-text signalen suboptimaal of redundant zijn wanneer image-space signalen worden geoptimaliseerd.
  • Positieve Selectie: Het gebruik van Bipartite Matching voor het selecteren van positieven presteerde beter dan strategieën gebaseerd op de gelijkenis van tokens met tekstprompts.
  • Loss Modificatie: De aangepaste loss (met alleen positieven als anchors) presteerde aanzienlijk beter dan de standaard supervised contrastive loss formulering.
• Robuustheid: C-REX vertoonde verbeterde robuustheid tegen geparafraseerde verwijzende expressies vergeleken met de baselines.
• Vergelijking met VLMs: Gespecialiseerde REC-modellen uitgerust met C-REX presteerden significant beter dan algemene Vision-Language Models (Molmo2-4B) in zero-shot en few-shot settings, wat de noodzaak van taakspecifieke training voor tellen onderstreept.

Betekenis en Claims

Het artikel claimt dat de "juiste embeddingruimte" voor contrastive learning in REC de visuele embeddingruimte is, en niet de image-text ruimte. Door de contrastieve doelstelling los te koppelen van de tekstmodaliteit, leert het model rijkere, stabielere fijne visuele representaties. De auteurs benadrukken dat deze aanpak het probleem van de schaarste aan negatieve samples en de instabiliteit van cross-modale afstemming oplost, wat leidt tot superieure generalisatie in open-world counting scenario's. Het framework wordt gepresenteerd als een veelzijdig instrument dat niet alleen REC, maar ook andere counting taken die fijne discriminatie vereisen, zoals class-agnostic counting, kan verbeteren.