Technische Samenvatting: COCOLogic-V2

Probleemstelling

Interpreteerbare machine learning-modellen, zoals Concept Bottleneck Models (CBMs) en neuro-symbolische programmasynthese-methoden, zijn ontworpen om de verifieerbaarheid van modelbeslissingen mogelijk te maken, een cruciale vereiste voor hoog-risico domeinen zoals de gezondheidszorg en de financiële sector. De evaluatie van deze modellen is echter historisch beperkt gebleven tot nauwe settings: CBMs worden vaak beoordeeld op enkelvoudige label classificatie van afbeeldingen, terwijl programmasynthese en neuro-symbolische benaderingen vaak vertrouwen op synthetische taken of abstracte patroonherkenning in plaats van complexe inductieve redenering op real-world data.

Bestaande benchmarks slagen er niet in de complexiteit van visuele inductieve redenering te vangen. Specifiek lijden voorgaande iteraties van redeneerdatasets (zoals de oorspronkelijke COCOLogic) vaak aan klasse-imbalans en laten ze modellen toe om "shortcuts" te exploiteren (bijv. een klasse voorspellen op basis van een enkel object zoals een kom) in plaats van de onderliggende logische regels te leren. Bovendien maskeren standaard evaluatiemetrieken vaak het onvermogen van een model om met randgevallen om te gaan, aangezien een hoge algehele nauwkeurigheid bereikt kan worden door gemakkelijk te classificeren monsters correct te classificeren, terwijl het faalt op die welke een precieze begrip van de logica vereisen.

Methodologie: De COCOLogic-V2 Dataset

Om deze beperkingen aan te pakken, introduceren de auteurs COCOLogic-V2, een object-gecentreerde dataset voor visuele inductieve redenering op real-world afbeeldingen afgeleid van MSCOCO. De dataset is ontworpen om een brede subset van propositielogica te dekken, inclusief propositielogica, objecttelling, telling-vergelijkingen en de afwezigheid van objecten.

Belangrijkste Ontwerpkenmerken

1. Multilabel Framing: In tegen tegenstelling tot zijn voorganger, frameert COCOLogic-V2 de taak als multilabel classificatie om shortcuts en klasse-imbalans te verminderen.
2. Compositionele Logische Regels: De dataset bestaat uit 10 verschillende logische regels (bijv. "Signal and Ride", "Double Serving", "Herd Alone") gebaseerd op de co-occurrence, afwezigheid of specifieke aantallen van objectcategorieën binnen een afbeelding.
3. Fijnmazige Monster Categorisering: Een kerninnovatie is de categorisering van monsters in drie verschillende typen om automatische diagnose van modelverantwoording mogelijk te maken:
   • Positive Variants: Verschillende manieren waarop een regel kan worden voldaan (afgeleid van de Disjunctieve Normale Vorm van de regel).
   • Near-Boundary (NB) Negatives: Monsters die zich dicht bij de beslissingsgrens bevinden. Deze worden gegenereerd door een enkele letteraal in de logica om te keren of de objectaantallen te wijzigen (bijv. "exact drie" veranderen naar "één of twee"). Deze monsters testen of een model de specifieke details van de regel heeft geleerd.
   • Far-From-Boundary (FB) Negatives: Monsters die gemakkelijk te onderscheiden zijn van positieve monsters, vaak classificeerbaar zonder de regel te begrijpen.
4. COCOLogic-V2-FS: Een gecureerde, kleinschalige versie van de dataset die 24 trainingsmonsters per regel bevat, specifief ontworpen om de mogelijkheden van few-shot en in-context leren te evalueren.

Sampling Procedure

De dataset wordt gesampled uit MSCOCO-afbeeldingen. Het proces houdt in dat er tot 1.000 afbeeldingen per positieve variant worden geselecteerd, waarbij ten minste 500 afbeeldingen per NB-type worden gegarandeerd, en de rest wordt opgevuld met FB-monsters om een distributie te behouden die dicht bij de originele MSCOCO-dataset ligt. De uiteindelijke trainingsset bevat 25.000 afbeeldingen en de testset bevat 3.500 afbeeldingen.

Experimentele Evaluaties

De auteurs hebben verschillende families van benaderingen geëvalueerd op zowel de volledige dataset als de few-shot versie:

• Concept-Based Models: Varianten van CBMs met grondwaarheid objectlabels (Oracle), getrainde detectoren (Mask R-CNN), gesuperviseerde encoders, CLIP-gebaseerde representaties, Object-Centric CBMs (OCB), en de Deep Concept Reasoner (DCR).
• Black-Box Baselines: Fine-tuned ResNet-50.
• Few-Shot Benaderingen: In-context learning met Vision-Language Models (VLMs) zoals GPT-5.5, Gemini-3.1-Pro-Preview, en Claude-Opus-4-7, evenals programmasynthese met de VLP-benadering met Gemma-4-31B-it.

Belangrijkste Resultaten

1. Falen op Near-Boundary Monsters: Op de volledige dataset bereikten de meeste modellen een hoge algehele gebalanceerde nauwkeurigheid (B-Acc > 80%) door positieve monsters succesvol te scheiden van FB-negatieven. Echter, de prestaties op NB-monsters waren consistent slecht, vaak dalend naar of onder het niveau van willekeurig gokken (bijv. 27–48% voor diverse CBMs). Dit geeft aan dat modellen grove statistische patronen exploiteren in plaats van de onderliggende logische regels te leren.
2. Impact van Perceptie Ruis: Modellen die vertrouwen op ruiziger concept-representaties (bijv. CLIP of getrainde detectoren) presteerden slechter op NB-monsters dan die met grondwaarheid labels, wat suggereert dat fijnmazige details van regels moeilijk te vangen zijn met imperfecte perceptie.
3. Few-Shot Uitdagingen: In de COCOLogic-V2-FS setting hadden alle CBM-benaderingen aanzienlijke problemen door het beperkte trainingssignaal (24 monsters per regel). Hoewel in-context learning met VLMs en programmasynthese beter presteerden (bereikend van ~70% B-Acc), hadden zij ook uitdagingen. Specifiek identificeerden VLMs vaak semantisch gerelateerde maar logisch onprecieze patronen, en programmasynthese had moeite met grote zoekruimtes en het identificeren van relevante objecten zonder grondwaarheid concepten.
4. Oracle Upper Bounds: Zelfs met perfecte concept-inputs (Oracle) faalden lineaire predictoren op regels die XOR of exacte tellingen bevatten, terwijl MLPs bijna perfecte prestaties behaalden, wat bevestigt dat de dataset in principe oplosbaar is maar niet-lineaire redeneer-capaciteiten vereist.

Bijdragen

Het artikel levert drie primaire bijdragen:

1. COCOLogic-V2: Een object-gecentreerde dataset voor visuele inductieve redenering over natuurlijke afbeeldingen die de logische scope uitbreidt tot het omvatten van telling en vergelijkingen, geherformuleerd als een multilabel taak.
2. COCOLogic-V2-FS: Een gecureerde few-shot versie voor het evalueren van data-beperkte settings en in-context learning.
3. Empirisch Bewijs van Beperkingen: Een demonstratie dat huidige interpreteerbare benaderingen (CBMs, VLMs, programmasynthese) tekortschieten in het vangen van onderliggende logische regels, met name op near-boundary monsters, wat visuele inductieve redenering markeert als een open uitdaging.

Betekenis en Claims

De auteurs beweren dat COCOLogic-V2 een concreet fundament biedt voor het bevorderen van methoden voor visuele inductieve redenering. De fijnmazige categorisering van de dataset (Positive, NB, FB) dient als een automatisch diagnostisch instrument, dat onthult dat een hoge algehele nauwkeurigheid vaak een falen verbergt om specifieke logische regels te leren.

Het artikel concludeert dat visuele logische redenering op real-world data een open uitdaging blijft. Huidige modellen scheiden positieve en gemakkelijke negatieve monsters goed, maar falen op monsters die een juist begrip van de details van de regel vereisen. De auteurs suggereren dat toekomstig werk zich moet richten op het mitigeren van redenering-specifieke shortcuts en het uitbreiden van datasets om complexere logische structuren en objectrelaties te bevatten om de grenzen van interpreteerbare modellen verder te testen.