Technisches Resümee: C-REX für Referring Expression Counting

Problemstellung

Referring Expression Counting (REC) erfordert Modelle, die spezifische Teilmengen von Objekten innerhalb eines Bildes basierend auf feingranularen textuellen Beschreibungen zu zählen (z. B. „Person, die ein Motorrad fährt“ vs. „Person, die geht“). Die zentrale Herausforderung besteht darin, visuell ähnliche Objekte zu unterscheiden, die sich nur durch subtile kontextuelle oder attributive Merkmale unterscheiden.

Bestehende State-of-the-Art-Methoden für REC adressieren dies mittels Bild-Text-kontrastivem Lernen (CL). Diese Ansätze trainieren Modelle darauf, visuelle Token mit positiven Text-Prompts abzugleichen und sie gleichzeitig von negativen Text-Prompts wegzudrücken. Die Autoren identifizieren jedoch zwei kritische Einschränkungen dieser Strategie:

1. Knappheit an Negativen: Die Anzahl der verfügbaren negativen Referenzbeschreibungen für ein einzelnes Bild ist begrenzt (typischerweise weniger als 5), während kontrastives Lernen theoretisch von großen Batches diverser negativer Proben profitiert, um robuste Repräsentationen zu erlernen.
2. Einbettungs-Fehlausrichtung (Embedding Misalignment): Die Effektivität von Bild-Text-CL hängt stark von der Ausrichtung der Bild- und Text-Einbettungsräume ab. Die Autoren argumentieren, dass diese Ausrichtung oft unvollkommen ist, was zu visuellen Einbettungen führt, die semantisch unterschiedliche, aber visuell ähnliche Objekte miteinander verknüpfen (entangle), wodurch die feingranulare Diskriminierung behindert wird.

Methodik: C-REX

Um diese Einschränkungen zu überwinden, schlagen die Autoren C-REX (Contrastive Learning for Referring Expression Counting) vor, ein Framework, das das kontrastive Lernen vollständig in den visuellen Einbettungsraum verlagert und somit die Abhängigkeit von Text-Einbettungen für das kontrastive Ziel eliminiert.

Kernmechanismus

Anstatt Bild-Token gegen Text-Token zu kontrastieren, kontrastiert C-REX Bild-Token gegen andere Bild-Token innerhalb desselben Bildes.

1. Definition der Stichproben: Für ein gegebenes Bild und eine Referenzbeschreibung (RE) sagt das Modell Objektpositionen voraus. Mittels Bipartite Matching werden die vorhergesagten Token mit den Ground-Truth-Punkten abgeglichen.
   • Positive ($I^+$): Bild-Token, die mit den Ground-Truth-Objekten der spezifischen RE übereinstimmen.
   • Negative ($I^-$): Alle anderen Bild-Token im Bild (einschließlich Objekten derselben Klasse mit anderen Attributen, anderer Klassen oder Hintergrund-Token).
2. Modifikation der Verlustfunktion: Die Autoren passen den Standard-Supervised Contrastive Loss [35] an. Eine wesentliche Modifikation besteht darin, dass nur positive Stichproben als Anker verwendet werden.
   • Standardmäßiges Supervised CL zieht oft alle Stichproben derselben Klasse zusammen. In C-REX ist die Menge der Negativen ($I^-$) jedoch heterogen (sie enthält Autos, Fußgänger, Hintergrund usw.). Das Clusterung dieser diversen Negativen wäre kontraproduktiv.
   • Daher ist die Verlustfunktion so formuliert, dass sie positive Token näher zusammenzieht, während sie diese von allen negativen Token wegdrückt, ohne die Negativen zur Clusterung zu zwingen.
   • Das Ziel ist definiert als:
     $$\mathcal{L}^*_{\text{sup}} = \sum_{i \in I^+} -\log \left( \frac{1}{|I^+|-1} \sum_{p \in I^+ - \{i\}} \frac{\exp(z_i \cdot z_p / \tau)}{\sum_{\alpha \in I - \{i\}} \exp(z_i \cdot z_\alpha / \tau)} \right)$$
3. Integration: C-REX fungiert als Plug-in-Modul. Es ersetzt den Bild-Text-kontrastiven Verlust in bestehenden REC-Architekturen (GroundingREC, CAD-GD) oder wird neben den Standard-Counting-Losses für detektionsbasierte Baselines (GroundingDINO) hinzugefügt. Der Texteingang wird weiterhin verwendet, um das visuelle Backbone via Cross-Attention zu konditionieren, aber das Diskriminations-Supervisionssignal stammt ausschließlich aus dem visuellen Raum.

Erweiterung auf klassenagnostisches Zählen

Das Framework wird für das klassenagnostische Zählen angepasst, indem Positives basierend auf einer Zielklasse statt einer spezifischen RE definiert wird. Obwohl die Verbesserung weniger ausgeprägt ist als bei REC (da klassenbasierte Unterscheidungen bereits leichter zu lernen sind), liefert es dennoch Leistungssteigerungen.

Kernbeiträge

1. Verschiebung zum Bildraum-CL: Die Arbeit zeigt, dass das Durchführen von kontrastivem Lernen vollständig innerhalb des Bild-Einbettungsraums überlegen gegenüber Bild-Text-CL für REC ist, da es ein stabileres Signal liefert und Probleme der Cross-Modal-Ausrichtung vermeidet.
2. Skalierbare Negativ-Sampling: Durch die Nutzung nicht übereinstimmender visueller Token als Negative erhöht C-REX den Pool an negativen Stichproben von einer Handvoll Text-Prompts auf hunderte visuelle Token pro Bild, was die Stabilität der Supervision signifikant verbessert.
3. Plug-and-Play-Framework: C-REX ist architekturagnostisch konzipiert und lässt sich nahtlos in bestehende REC-Modelle integrieren, ohne strukturelle Änderungen zu erfordern.
4. State-of-the-Art Performance: Die Methode erzielt neue State-of-the-Art-Ergebnisse auf dem REC-8K-Datensatz über mehrere Backbones und Architekturen hinweg.

Experimentelle Ergebnisse

Die Autoren evaluierten C-REX auf den Datensätzen REC-8K und FSC-147 unter Verwendung von drei Architekturen: GroundingREC, CAD-GD und GroundingDINO.

• Leistungssteigerungen: Auf dem REC-8K-Datensatz verbesserte C-REX die Leistung um bis zu 28 % im mittleren absoluten Fehler (MAE) (beobachtet auf dem Validierungsset für GroundingREC mit Swin-T Backbone) und um 24,5 % im Wurzel-Quadrat-Mittelwertfehler (RMSE) (beobachtet auf dem Testset für GroundingDINO mit Swin-T Backbone) im Vergleich zu den Baselines.
• Konsistenz: Verbesserungen wurden über alle Objektdichtebereiche hinweg beobachtet (0–20, 21–50, 51–100, 100+), mit besonderen Gewinnen bei Aufgaben der feingranularen Diskriminierung (z. B. Unterscheidung zwischen einem „blauen Auto“ und einem „schwarzen Auto“ oder „Person, die ein Fahrrad fährt“ und „Person, die ein Motorrad fährt“).
• Ablationsstudien:
  • Bildraum vs. Bild-Text: Reines Bildraum-CL übertraf sowohl Bild-Text-CL als auch die Kombination aus beiden, was darauf hindeutet, dass Bild-Text-Signale suboptimal oder redundant sind, wenn Bildraum-Signale optimiert werden.
  • Positive Selektion: Die Verwendung von Bipartite Matching zur Auswahl von Positiven übertraf Strategien, die auf der Ähnlichkeit der Token zum Text-Prompt basieren.
  • Loss-Modifikation: Der modifizierte Loss (Verwendung nur von Positiven als Anker) übertraf die Standardformel des Supervised Contrastive Loss signifikant.
• Robustheit: C-REX zeigte im Vergleich zu Baselines eine verbesserte Robustheit gegenüber paraphrazierten Referenzbeschreibungen.
• Vergleich zu VLMs: Spezialisierte REC-Modelle, die mit C-REX ausgestattet sind, übertrafen spezialisierte General-Purpose Vision-Language-Modelle (Molmo2-4B) in Zero-Shot- und Few-Shot-Settings deutlich, was die Notwendigkeit der aufgabenbezogenen Trainings hervorhebt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass der „richtige Einbettungsraum“ für kontrastives Lernen in REC der visuelle Einbettungsraum ist, nicht der Bild-Text-Raum. Durch die Entkopplung des kontrastiven Ziels von der Textmodalität lernt das Modell reichere, stabilere feingranulare visuelle Repräsentationen. Die Autoren betonen, dass dieser Ansatz das Problem der Knappheit an negativen Stichproben und der Instabilität der Cross-Modal-Ausrichtung löst, was zu einer überlegenen Generalisierung in Open-World-Counting-Szenarien führt. Das Framework wird als vielseitiges Werkzeug präsentiert, das nicht nur REC, sondern auch andere Zählaufgaben, die eine feingranulare Diskriminierung erfordern (wie klassenagnostisches Zählen), verbessern kann.