Sintesi Tecnica: COCOLogic-V2

Definizione del Problema

I modelli di apprendimento automatico interpretabili, come i Concept Bottleneck Models (CBM) e i metodi di sintesi di programmi neuro-simbolici, sono progettati per consentire la verifica delle decisioni dei modelli, un requisito critico per domini ad alto rischio come la sanità e la finanza. Tuttavia, la valutazione di questi modelli è stata storicamente limitata a contesti ristretti: i CBM sono spesso valutati sulla classificazione di immagini a etichetta singola, mentre la sintesi di programmi e gli approcci neuro-simbolici si basano frequentemente su compiti sintetici o sul riconoscimento di pattern astratti piuttosto che sul ragionamento induttivo complesso su dati del mondo reale.

I benchmark esistenti non riescono a catturare la complessità del ragionamento induttivo visivo. Nello specifico, le iterazioni precedenti dei dataset di ragionamento (come l'originale COCOLogic) soffrono spesso di squilibrio delle classi e permettono ai modelli di sfruttare "scorciatoie" (ad esempio, predire una classe basandosi su un singolo oggetto come una ciotola) invece di apprendere le regole logiche sottostanti. Inoltre, le metriche di valutazione standard spesso mascherano l'incapacità di un modello di gestire i casi limite (edge cases), poiché un'elevata accuratezza complessiva può essere ottenuta classificando correttamente i campioni facili pur fallendo su quelli che richiedono una comprensione precisa della logica.

Metodologia: Il Dataset COCOLogic-V2

Per affrontare queste limitazioni, gli autori introducono COCOLogic-V2, un dataset incentrato sugli oggetti per il ragionamento induttivo visivo su immagini reali derivate da MSCOCO. Il dataset è progettato per coprire un ampio sottoinsieme della logica del primo ordine, inclusa la logica proposizionale, il conteggio degli oggetti, il confronto tra conteggi e l'assenza di oggetti.

Caratteristiche Chiave del Design

1. Inquadramento Multilabel: A differenza del suo predecessore, COCOLogic-V2 inquadra il compito come classificazione multilabel per ridurre le scorciatoie e lo squilibrio delle classi.
2. Regole Logiche Composizionali: Il dataset comprende 10 regole logiche distinte (ad esempio, "Signal and Ride", "Double Serving", "Herd Alone") basate sulla co-occorrenza, l'assenza o conteggi specifici di categorie di oggetti all'interno di un'immagine.
3. Categorizzazione Fine-Grained dei Campioni: Un'innovazione centrale è la categorizzazione dei campioni in tre tipi distinti per consentire la diagnosi automatica dell'accountability del modello:
   • Varianti Positive: Diversi modi in cui una regola può essere soddisfatta (derivati dalla Forma Normale Disgiuntiva della regola).
   • Negativi Vicini al Confine (NB - Near-Boundary): Campioni che sono vicini al confine decisionale. Questi vengono generati invertendo un singolo letterale nella logica o modificando i conteggi degli oggetti (ad esempio, cambiando "esattamente tre" in "uno o due"). Questi campoli testano se un modello ha appreso i dettagli specifici della regola.
   • Negativi Lontani dal Confine (FB - Far-From-Boundary): Campioni che sono facilmente distinguibili dai positivi, spesso classificabili senza comprendere la regola.
4. COCOLogic-V2-FS: Una versione curata e su piccola scala del dataset contenente 24 campioni di addestramento per regola, progettata specificamente per valutare le capacità di apprendimento few-shot e in-context.

Procedura di Campionamento

Il dataset è campionato da immagini MSCOCO. Il processo prevede la selezione di fino a 1.000 immagini per variante positiva, garantendo almeno 500 immagini per ogni tipo NB, e riempiendo il resto con campioni FB per mantenere una distribuzione vicina al dataset MSCOCO originale. Il set di addestramento finale contiene 25.000 immagini e il set di test contiene 3.500 immagini.

Valutazioni Sperimentali

Gli autori hanno valutato diverse famiglie di approcci sia sul dataset completo che sulla versione few-shot:

• Modelli Basati su Concetti (Concept-Based Models): Varianti di CBM utilizzando etichette di oggetti ground-truth (Oracle), detector pre-addestrati (Mask R-CNN), encoder supervisionati, rappresentazioni basate su CLIP, Object-Centric CBMs (OCB) e il Deep Concept Reasoner (DCR).
• Baseline Black-Box: ResNet-50 sottoposto a fine-tuning.
• Approcci Few-Shot: In-context learning con Vision-Language Models (VLM) come GPT-5.5, Gemini-3.1-Pro-Preview e Claude-Opus-4-7, nonché sintesi di programmi utilizzando l'approccio VLP con Gemma-4-31B-it.

Risultati Chiave

1. Fallimento sui Campioni Vicini al Confine (NB): Sul dataset completo, la maggior parte dei modelli ha ottenuto un'elevata accuratezza bilanciata complessiva (B-Acc > 80%) separando con successo i campioni positivi dai negativi FB. Tuttavia, le prestazioni sui campioni NB sono state costantemente scarse, scendendo spesso al livello o al di sotto del caso casuale (ad esempio, 27–48% per vari CBM). Ciò indica che i modelli stanno sfruttando pattern statistici grossolani invece di apprendere le regole logiche sottostanti.
2. Impatto del Rumore Percettivo: I modelli che si affidano a rappresentazioni concettuali più rumorose (ad esempio, CLIP o detector pre-addestrati) hanno performato peggio sui campioni NB rispetto a quelli che utilizzano etichette ground-truth, suggerendo che i dettagli fini delle regole sono difficili da catturare con una percezione imperfetta.
3. Sfide Few-Shot: Nell'impostazione COCOLogic-V2-FS, tutti gli approcci CBM hanno incontrato grandi difficoltà a causa del segnale di addestramento limitato (24 campioni per regola). Sebbene l'in-context learning con i VLM e la sintesi di programmi abbiano performato meglio (raggiungendo circa il 70% di B-Acc), hanno comunque affrontato sfide significative. Nello specifico, i VLM spesso identificavano pattern semanticamente correlati ma logicamente imprecisi, mentre la sintesi di programmi faticava con spazi di ricerca ampi e l'identificazione di oggetti rilevanti senza concetti ground-truth.
4. Upper Bound dell'Oracle: Anche con input concettuali perfetti (Oracle), i predittori lineari sono falliti su regole che coinvolgono XOR o conteggi esatti, mentre gli MLP hanno raggiunto prestazioni quasi perfette, confermando che il dataset è risolvibile in linea di principio ma richiede capacità di ragionamento non lineare.

Contributi

Il paper apporta tre contributi primari:

1. COCOLogic-V2: Un dataset incentrato sugli oggetti per il ragionamento induttivo visivo su immagini naturali che espande l'ambito logico includendo conteggi e confronti, riformulato come compito multilabel.
2. COCOLogic-V2-FS: Una versione few-shot curata per valutare contesti con dati limitati e l'apprendimento in-context.
3. Evidenza Empirica di Limitazioni: Una dimostrazione che gli attuali approcci interpretabili (CBM, VLM, sintesi di programmi) non riescono a catturare le regole logiche sottostanti, in particolare sui campioni vicini al confine, evidenziando il ragionamento induttivo visivo come una sfida aperta.

Significato e Rivendicazioni

Gli autori affermano che COCOLogic-V2 fornisce una base concreta per far avanzare i metodi nel ragionamento induttivo visivo. La categorizzazione fine-grained del dataset (Positivo, NB, FB) funge da strumento diagnostico automatico, rivelando che un'elevata accuratezza complessiva spesso maschera il fallimento nell'apprendimento di specifiche regole logiche.

Il paper conclude che il ragionamento logico visivo su dati del mondo reale rimane una sfida aperta. Gli attuali modelli tendono a separare bene i campioni positivi e i negativi facili, ma falliscono su campioni che richiedono una comprensione appropriata dei dettagli della regola. Gli autori suggeriscono che il lavoro futuro dovrebbe concentrarsi sull'attenuazione delle scorciatoie specifiche del ragionamento e sull'estensione dei dataset per includere strutture logiche e relazioni tra oggetti più complesse per testare ulteriormente i limiti dei modelli interpretabili.