More Accurate, Less Human: Gestalt Grouping in Vision Models

Technische Samenvatting: Nauwkeuriger, minder menselijk: Gestalt-groepering in visiemodellen

Probleemstelling
Vision-language modellen (VLM's) worden steeds vaker ingezet in visualisatiepipelines om grafieken te interpreteren, ontwerpen te evalueren en te fungeren als een proxy voor menselijke kijkers. Hoewel deze systemen een hoge benchmark-nauwkeurigheid vertonen op het gebied van taakvoltooiing, blijft het onverifieerd of zij visuele informatie organiseren volgens dezelfde perceptuele regelmatigheden die de menselijke visie beheersen. Conventionele evaluaties meten capaciteit (bijv. scores voor visualisatieliteratuur), maar slagen er niet in om onderscheid te maken tussen correcte antwoorden die voortkomen uit menselijke perceptuele groepering en antwoorden die gebaseerd zijn op fundamenteel andere, niet-menselijke mechanismen. Het artikel betoogt dat een hoge nauwkeurigheid geen "menselijkheid" in perceptuele organisatie vaststelt, wat een verschuiving noodzakelijk maakt van prestatiemetingen naar gedragsmatige afstemming met gevestigde cognitieve psychologie.

Methodologie
De auteurs introduceren een batterij voor gedragsevaluatie die geworteld is in de Gestaltpsychologie, waarbij specifiek wordt getest op de principes van Closure (perceptuele voltooiing van onvolledige structuren) en Similarity (groepering op basis van gedeelde attributen). In plaats van nieuwe menselijke data te verzamelen, hergebruikt de methodologie stimuli en gepubliceerde menselijke gedragsdata uit eerdere perceptiestudies als evaluatietargets.

De batterij bestaat uit vier taken over twee tracks (grafiekgebaseerde en natuurlijke beeldcontrole):

1. Silhouette Recognition (Closure): Een 16-weg gedwongen keuze-taak op gevulde silhouetten waarbij textuur en interne details zijn verwijderd. De menselijke ankerwaarde is de modale respons van tien waarnemers.
2. Mark-Color Odd-One-Out (Similarity): Het identificeren van de uitschieter onder markeringen op basis van kleur, gescoord tegenover een crowdsourced perceptuele kernel.
3. Color-Series Counting (Similarity): Het tellen van afzonderlijke kleurseries in een grafiek, gescoord tegenover de gepubliceerde menselijke capaciteitsband (6–12 categorieën).
4. Object Odd-One-Out (Similarity): Het identificeren van de semantische uitschieter in natuurlijke afbeeldingen, gescoord tegenover de way-test-retest plafond van de THINGS-dataset.

De studie evalueert 45 modellen binnen vijf trainingsfamilies: supervised encoders, self-supervised encoders, contrastive vision–language encoders, open-weight VLM's en closed foundation models.

Metrieken
Drie complementaire metrieken kwantificeren de gedragsmatige afstemming:

• Behavioral Agreement ($B$): De snelheid waarmee de respons van een model overeenkomt met het menselijke target (modale keuze of capaciteitsband). Dit meet menselijkheid, niet alleen vaardigheid.
• Behavioral Error Consistency ($\kappa$): Een maatstaf voor de vraag of een model fouten maakt op dezelfde specifieke items als mensen, verder dan wat verwacht zou worden door toeval gegeven hun respectievelijke nauwkeurigheid. Dit wordt vergeleken met een mens-mens consistentieplafond.
• Behavioral Effect Replication ($a(k)$): Of het nauwkeurigheidsprofiel van een model over variërende aantallen series de vorm van de menselijke capaciteitscurve nabootst.

Belangrijkste Resultaten

• Dissociatie van Nauwkeurigheid en Menselijkheid: Hoge benchmark-nauwkeurigheid garandeert geen afstemming met de menselijke perceptuele organisatie. Modellen wisselen vaak van positie in ranglijsten afhankelijk van de specifieke groeperingstaak (bijv. een top performer in kleur-gelijkenis kan gemiddeld zijn in semantische groepering).
• Variantie in Foutconsistentie: Hoewel 34 van de 45 modellen de menselijke nauwkeurigheid overtroffen, bereikten slechts vier modellen een foutconsistentie ($\kappa$) die gelijk was aan of boven het mens-mens plafond lag. Veel modellen, inclusief sommige closed foundation modellen, vertonen een hoge nauwkeurigheid maar falen in het repliceren van menselijke foutpatronen.
• Familiespecifieke Eigenschappen:
  • Open-Weight VLM's: Presteerden over het algemeen slecht, waarbij de meeste faalden om de positie-gok-vloer op semantische taken te passeren, wat suggereert dat hun gegenereerde antwoorden niet de groeperingscapaciteiten van hun onderliggende vision towers weerspiegelen.
  • Closed Foundation Models: Toonden een bloksgewijze verschuiving naar menselijke groepering, waarbij verschillende modellen (bijv. Claude-Opus-4.6) zowel een bovenmenselijke nauwkeurigheid als een menselijk niveau van foutconsistentie bereikten. Deze afstemming is echter niet uniform binnen de categorie.
  • Trainingsdoelstellingen: Het type groepering dat een model vertoont, volgt de trainingsdoelstelling in plaats van de architectuur. Self-supervised training leidde in kleur-gelijkenis, terwijl contrastive vision–language training leidde in semantische groepering en vorm.
• Taakspecificiteit: Menselijke groepering is geen globale eigenschap; een model dat zich als een mens gedraagt bij één taak, kan scherp afwijken bij een andere.

Betekenis en Claims
Het artikel claimt een herbruikbare, theoretisch onderbouwde meetlat te bieden voor het auditeren van visiemodellen die in visualisatiepipelines worden ingezet. Door gebruik te maken van bestaande psychofysische data, stelt de methodologie onderzoekers in staat om te bepalen of een model grafieken ziet zoals een menselijk publiek dat doet, zonder nieuwe gebruikersstudies uit te voeren.

De auteurs stellen dat:

1. Gedragsmatige gronding is meetbaar: Het is mogelijk om te kwantificeren of modellen visuele inhoud organiseren via menselijke Gestalt-principes.
2. Nauwkeurigheid is onvoldoende: Conventionele metrieken missen cruciale verschillen in perceptuele organisatie; een model kan "nauwkeuriger" zijn maar toch "minder menselijk" in zijn groeperingslogica.
3. Taak-geïndexeerde evaluatie vereist is: Geen enkele score certificeert een model als een menselijke proxy. Audits moeten specif