Technische Samenvatting: SOCO – Benchmarking van Semantische Objectcorrespondentie in Vision Foundation Models

Probleemstelling

Het meten van gestructureerd objectbegrip in Vision Foundation Models (VFM's) blijft een aanzienlijke uitdaging vanwege inconsistente evaluatieprotocollen en beperkt toezicht op het niveau van onderdelen. Hoewel bestaande benchmarks categorie-niveau herkenning dekken (bijv. ImageNet) of ruimtelijke lokalisatie (bijv. detectie, segmentatie), bieden zij beperkt inzicht in of een representatie een gestructureerd objectbegrip bevat: het vermogen om semantisch overeenkomende onderdelen te relateren over verschillende objectinstanties en categorieën heen.

Huidig onderzoek naar Semantische Correspondentie (SC) wordt beperkt door:

1. Ambigue Taakdefinities: Bestaande benchmarks verwarren vaak het herkennen van een lokaal concept (bijv. een wielcentrum) met het identificeren van de specifieke instantie binnen een object (bijv. voorwiel links versus achterwiel rechts).
2. Gebrek aan Cross-Categorie Evaluatie: De meeste datasets evalueren correspondentie alleen binnen een enkele categorie, waardoor het falen van de kennisoverdracht tussen gerelateerde categorieën (bijv. het matchen van een wiel op een auto met een wiel op een bus) niet wordt beoordeeld.
3. Inconsistente Annotaties: Keypoint-definities in eerdere datasets (bijv. SPair-71k, MISC210K) zijn vaak geometrische heuristieken in plaats van semantisch gegronde concepten, wat leidt tot ambiguïteit bij symmetrische objecten of objecten met een hoge intra-klasse variabiliteit.
4. Beperkte Multimodale Evaluatie: Huidige benchmarks missen taalbeschrijvingen, wat een systematische evaluatie van Large Vision-Language Models (LVLM's) met betrekking tot hun fijnmazende begrip op onderdeelniveau verhindert.

Methodologie: Het SOCO-framework

De auteurs stellen Semantische Objectcorrespondentie (SOC) voor, een taxonomie-gestuurde formulering die drie onderscheidende vermogens ontrafelt:

1. Conceptcorrespondentie (CC): Het matchen van hetzelfde lokale semantische concept (bijv. "wielcentrum") over instanties heen, ongeacht de positie.
2. Semantische Objectcorrespondentie (SOC): Het matchen van hetzelfde concept met dezelfde object-relatieve identiteit (bijv. "voorwiel links"). Dit vereist zowel het vastleggen van semantiek als geometrische positie.
3. Cross-Categorie SOC (Cross-SOC): Het matchen van object-relatieve keypoints over gerelateerde categorieën via gedeelde taxonomische concepten (bijv. het matchen van een wiel op een auto met een wiel op een tractor).

De SOCO-dataset

Om deze taxonomie te operationaliseren, introduceren de auteurs SOCO, een grootschalige benchmark met:

• Schaal en Diversiteit: 100 diverse categorieën georganiseerd in vier superklassen (Transport, Handobjecten, Meubilair, Dieren), totaal 4.000 afbeeldingen en meer dan 1 miljoen correspondentieparen.
• Taxonomie-gestuurde Annotaties: Keypoints worden gedefinieerd als unieke semantische concepten met disambuerende positionele attributen (bijv. "voor", "links", "achter") binnen een object-gecentreerd coördinatensysteem. Dit lost ambiguïteit bij symmetrische objecten op.
• Taal-gronding: Elke keypoint bevat een door mensen gespecificeerde taalbeschrijving (bijv. "Centraal punt van het voorwiel links van een bus"), wat de evaluatie van LVLM's mogelijk maakt.
• Databronnen: Afbeeldingen zijn afkomstig van ImageNet3D (voor door mensen gemaakte objecten) en Animal3D (voor dieren), wat geldige 3D-pose metadata garandeert.

Evaluatieprotocollen

• Vision Modellen: Geëvalueerd op een zero-shot wijze met behulp van nearest-neighbor feature matching (argmax cosine similarity) op bevroren backbones. Prestaties worden gemeten via Percentage van Correcte Keypoints (PCK@0.1).
• LVLM's: Geëvalueerd als een multiple-choice Visual Question Answering (VQA) taak met het CircularEval-protocol. Drie instellingen worden getest:
  1. Vis.: Visuele query (gemarkeerde bronafbeelding).
  2. Vis.+Desc.: Visuele query + tekstuele beschrijving.
  3. Desc.: Alleen een tekstuele query (geen bronafbeelding).
• Downstream Correlatie: De paper correleert SOC-prestaties met dichte downstream taken (segmentatie, tracking, 3D-pose, 3D-detectie) en vergelijkt dit met ImageNet kNN classificatie.

Belangrijkste Bijdragen

1. Taakformulering: De introductie van Semantische Objectcorrespondentie (SOC) als een principiële decompositie van semantische correspondentie in conceptherkenning, gestructureerd objectbegrip en cross-categorie transfer.
2. Dataset Release: SOCO, de eerste benchmark die een hiërarchische keypoint-taxonomie, taalbeschrijvingen en cross-categorie correspondentieparen combineert over 100 categorieën.
3. Vision-Model Analyse: Uitgebreide evaluatie over een brede familie van VFM's (DINO, CLIP, Stable Diffusion, I-JEPA, etc.) die duidelijke foutmodi aan het licht brengt.
4. LVLM Analyse: Een systematische evaluatie van LVLM's die een prestatiekloof laat zien tussen tekst-geprompt lokalisatie en visuele-referentie matching.
5. Diagnostische Nut: Demonstratie dat SOC-prestaties sterker correleren met dichte downstream taken dan ImageNet classificatie-nauwkeurigheid.

Experimentele Resultaten

Vision Foundation Models

• Semantisch vs. Geometrisch Bewustzijn: Sterke VFM's vertonen een consistente en substantiële prestatiedaling van Conceptcorrespondentie (CC) naar Semantische Objectcorrespondentie (SOC). Bijvoorbeeld, DINOv2 daalt van 78,9% (CC) naar 60,4% (SOC). Dit geeft aan dat hoewel modellen sterke lokale semantische features coderen, ze moeite hebben met het disambigueren van herhaalde onderdelen (bijv. links versus rechts wiel) en het coderen van object-niveau geometrie.
• Cross-Categorie Uitdagingen: Prestaties dalen verder in de Cross-SOC setting (bijv. DINOv2: 55,0%), wat wijst op beperkte abstractievermogens over categorieën heen.
• Model Architecturen: Dichte zelfgesuperviseerde modellen (DINO-familie) presteren beter dan globale alignment-modellen (CLIP) en reconstructie-gebaseerde modellen (MAE, CroCov2) op correspondentietaken. Echter, zelfs de beste modellen vertonen significante tekortkomingen in geometrische redenering.
• Categorie Afhankelijkheid: Prestaties variëren aanzienlijk per supercategorie. Modellen worstelen het meest met "Meubilair" en "Transport" vanwege herhaalde symmetrische onderdelen, terwijl "Dieren" kleinere CC→SOC kloven vertonen.

Large Vision-Language Models (LVLM's)

• Lokalisatie Kloof: LVLM's zijn aanzienlijk sterker in tekst-geprompte onderdeellokalisatie (Desc. setting) dan in visuele-referentie cross-image matching (Vis. setting). Bijvoorbeeld, Qwen3-VL-8B behaalt 54,0% nauwkeurigheid in de Desc. setting maar slechts 34,2% in de Vis. setting.
• Implicatie: Dit legt een kloof bloot tussen taal-gegronde lokalisatie en fijnmazige visuele correspondentie, wat suggereert dat LVLM's zwaar leunen op tekstuele cues in plaats van robuuste visuele feature alignment voor onderdeel-matching.

Relatie tot Downstream Taken

• Sterkere Voorspeller: SOC-prestaties correleren sterker met dichte downstream taken (segmentatie, 3D-detectie, tracking, 3D-pose) dan ImageNet kNN classificatie.
• Diagnostische Waarde: Dit positioneert SOC als een praktische, zero-shot diagnostiek voor representatiekwaliteit die meer is afgestemd op gestructureerd visueel begrip dan globale classificatiemetrieken.

Betekenis en Claims

Het paper positioneert SOCO als een verenigde benchmark voor het analyseren van fijnmazige visuele redenering en multimodale representatiekwaliteit in het tijdperk van grote foundation models. De auteurs beweren dat:

1. SOCO specifieke foutmodi blootlegt: Door CC, SOC en Cross-SOC te scheiden, onthult de benchmark dat huidige modellen betrouwbaar semantische concepten matchen, maar worstelen met object-niveau geometrie en cross-categorie abstractie.
2. Een nieuwe diagnostische standaard: SOC dient als een effectievere zero-shot diagnostiek voor representatiekwaliteit dan ImageNet classificatie, met name voor taken die dichte, gestructureerde begrip vereisen.
3. Multimodale beperkingen: De benchmark benadrukt een kritieke kloof in huidige LVLM's, die bekwaam zijn in het lokaliseren van onderdelen via tekst, maar niet het vermogen hebben om visuele referenties over afbeeldingen heen te transfereren met fijnmazige precisie.

De auteurs concluderen dat SOCO een springplank biedt naar modellen die niet alleen objecten herkennen, maar ook hun onderdelen en structurele relaties begrijpen op een manier die generaliseert over categorieën en modaliteiten. De dataset en code worden beschikbaar gesteld om verdere research in deze richting te faciliteren.