More Accurate, Less Human: Gestalt Grouping in Vision Models

Sintesi Tecnica: Più Accurato, Meno Umano: Raggruppamento Gestaltico nei Modelli di Visione

Problema
I modelli visione-linguaggio (VLM) sono sempre più impiegati nelle pipeline di visualizzazione per interpretare grafici, valutare design e agire come proxy per gli osservatori umani. Sebbene questi sistemi dimostrino un'elevata accuratezza nei benchmark sul completamento dei compiti, rimane non verificato se essi organizzino l'informazione visiva secondo le stesse regolarità percettive che governano la visione umana. Le valutazioni convenzionali misurano la capacità (ad esempio, i punteggi di alfabetizzazione alla visualizzazione), ma non riescono a distinguere tra risposte corrette derivate da un raggruppamento percettivo simile a quello umano e risposte derivate da meccanismi fondamentalmente diversi e non umani. Il documento sostiene che l'alta accuratezza non stabilisce la "somiglianza umana" nell'organizzazione percettiva, rendendo necessaria una transizione dalle metriche di prestazione del compito all'allineamento comportamentale con la psicologia cognitiva consolidata.

Metodologia
Gli autori introducono una batteria di valutazione comportamentale basata sulla psicologia della Gestalt, testando specificamente i principi di Chiusura (completamento percettivo di strutture incomplete) e Somiglianza (raggruppamento per attributi condivisi). Invece di raccogliere nuovi dati umani, la metodologia riutilizza stimoli e dati comportamentali umani pubblicati da precedenti studi di percezione come target di valutazione.

La batteria consiste in quattro compiti attraverso due tracce (basate su grafici e controlli di immagini naturali):

1. Riconoscimento della Silhouette (Chiusura): Un compito a scelta forzata su 16 vie su silhouette piene dove dettagli di texture e interni sono stati rimossi. L'ancora umana è la risposta modale di dieci osservatori.
2. Odd-One-Out Colore-Segno (Somiglianza): Identificazione dell'elemento anomalo tra i segni in base al colore, valutata rispetto a un kernel percettivo crowdsourced.
3. Conteggio Serie di Colori (Somiglianza): Conteggio di serie di colori distinte in un grafico, valutato rispetto alla banda di capacità umana pubblicata (6–12 categorie).
4. Odd-One-Out Oggetto (Somiglianza): Identificazione dell'anomalia semantica in immagini naturali, valutata rispetto al ceiling di test-retest del dataset THINGS.

Lo studio valuta 45 modelli appartenenti a cinque famiglie di addestramento: encoder supervisionati, encoder auto-supervisionati, encoder visione-linguaggio contrastivi, VLM open-weight e modelli foundation chiusi.

Metriche
Tre metriche complementari quantificano l'allineamento comportamentale:

• Accordo Comportamentale ($B$): Il tasso con cui la risposta di un modello corrisponde al target umano (scelta modale o banda di capacità). Misura la somiglianza umana, non solo la competenza.
• Consistenza dell'Errore Comportamentale ($\kappa$): Una misura del fatto che il modello commetta errori sugli stessi elementi che commettono gli umani, oltre quanto atteso dal caso date le rispettive accuratezze. Questo è confrontato con un ceiling di consistenza umano-umano.
• Replicazione dell'Effetto Comportamentale ($a(k)$): Se il profilo di accuratezza del modello attraverso variabili conteggi di serie imita la forma della curva di capacità umana.

Risultati Chiave

• Dissociazione tra Accuratezza e Somiglianza Umana: L'alta accuratezza nei benchmark non garantisce l'allineamento con l'organizzazione percettiva umana. I modelli spesso scambiano posizioni nelle classifiche a seconda del compito di raggruppamento specifico (ad esempio, un top performer nella somiglianza del colore può essere nella media nel raggruppamento semantico).
• Varianza della Consistenza dell'Errore: Sebbene 34 di 45 modelli abbiano superato l'accuratezza umana, solo quattro hanno raggiunto una consistenza dell'errore ($\kappa$) pari o superiore al ceiling umano-umano. Molti modelli, inclusi alcuni modelli foundation chiusi, mostrano un'alta accuratezza ma falliscono nel replicare i pattern di errore umani.
• Proprietà Specifiche della Famiglia:
  • VLM Open-Weight: Generalmente hanno performato male, con la maggior parte che non è riuscita a superare il floor del indovinare la posizione nei compiti semantici, suggerendo che le loro risposte generate non riflettono le capacità di raggruppamento delle loro torri di visione sottostanti.
  • Modelli Foundation Chiusi: Hanno mostrato uno spostamento a livello di blocco verso un raggruppamento simile all'umano, con diversi modelli (ad esempio, Claude-Opus-4.6) che hanno raggiunto sia un'accuratezza superiore a quella umana che una consistenza dell'errore di livello umano. Tuttavia, questo allineamento non è uniforme in tutto il tier.
  • Obiettivi di Addestramento: Il tipo di raggruppamento che un modello esibisce segue il suo obiettivo di addestramento piuttosto che la sua architettura. L'addestramento auto-supervisionato ha guidato nella somiglianza del colore, mentre l'addestramento visione-linguaggio contrastivo ha guidato nel raggruppamento semantico e nella forma.
• Specificità del Compito: Il raggruppamento simile all'umano non è un tratto globale; un modello che si allinea con gli umani su un compito può divergere drasticamente su un altro.

Significato e Rivendicazioni
Il documento sostiene di fornire un metro di misura riutilizzabile e basato sulla teoria per l'audit dei modelli di visione che entrano nelle pipeline di visualizzazione. Sfruttando i dati di psicofisica esistenti, la metodologia permette ai ricercatori di determinare se un modello "vede" i grafici come farebbe un pubblico umano senza condurre nuovi studi sugli utenti.

Gli autori affermano che:

1. L'ancoraggio comportamentale è misurabile: È possibile quantificare se i modelli organizzano il contenuto visivo tramite principi gestaltici umani.
2. L'accuratezza è insufficiente: Le metriche convenzionali perdono differenze critiche nell'organizzazione percettiva; un modello può essere "più accurato" ma "meno umano" nella sua logica di raggruppamento.
3. È richiesto un'evaluazione indicizzata al compito: Nessun singolo punteggio certifica un modello come proxy umano. Gli audit devono essere specifici per il compito (ad esempio, raggruppare segni rispetto al riconoscere forme) e per la famiglia di addestramento.
4. Limitazioni attuali: Lo studio si concentra su segni e oggetti isolati (i mattoni fondamentali dei grafici) piuttosto che su contesti grafici completi (assi, legende) e copre solo due principi della Gestalt (Chiusura e Somiglianza).

Il lavoro conclude che, sebbene alcuni modelli foundation chiusi abbiano raggiunto un livello di allineamento comportamentale tale da poter servire come proxy umani per compiti specifici, questa capacità è guadagnata attraverso ricette di addestramento specifiche piuttosto che attraverso la sola scala, e rimane dipendente dal compito.