NumerosityVLM: A Cognitively Inspired Benchmark for Interpreting Numerosity Representations in Vision-Language Models
Het artikel introduceert NumerosityVLM, een cognitief geïnspireerde benchmark met 10.800 gecontroleerde synthetische afbeeldingen die onthult dat de numerositeitsperceptie van Vision-Language Models primair wordt bepaald door hun architectuur en taalcomponenten in plaats van door visuele condities, waarbij lineair scheidbare numerositeitssignalen vroeg in de visuele encoder verschijnen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Mensen bezitten een opmerkelijk, aangeboren vermogen om te herkennen hoeveel voorwerpen er in een groep zitten zonder ze één voor één te tellen. Een baby kan het verschil zien tussen een stapel van drie crackers en een stapel van vier voordat ze zelfs maar kunnen praten, vertrouwend op een gevoel voor getal dat van nature ontstaat in de ontwikkelende hersenen. Deze vaardigheid, bekend als numerositeitsperceptie, is een fundamenteel onderdeel van hoe wij de wereld begrijpen. In de afgelopen jaren hebben wetenschappers hun aandacht gericht op kunstmatige intelligentie, specifiek een type computersysteem dat een vision-language model wordt genoemd. Deze systemen zijn ontworpen om naar afbeeldingen te kijken en vragen daarover te beantwoorden, waarbij ze vaak met menselijke vloeiendheid presteren bij complexe taken. Echter, een hardnekkige vraag blijft: begrijpen deze machines het concept van "hoeveel" werkelijk, of gokken ze simpelweg op basis van visuele patronen die ze hebben gememoriseerd?
Om dit te beantwoorden, creëerde een team van onderzoekers een nieuwe testomgeving genaamd NumerosityVLM. Ze bouwden een set van 10.800 door de computer gegenereerde afbeeldingen, ontworpen om de trucs die een machine zouden kunnen misleiden, weg te nemen. In de echte wereld wordt tellen vaak verward door andere visuele aanwijzingen. Bijvoorbeeld, een groep grote objecten kan meer ruimte innemen dan een groep kleine objecten, wat een systeem ertoe kan leiden te denken dat er meer van de grote objecten zijn, simpelweg omdat ze een groter oppervlak beslaan. Om dit te voorkomen, controleerden de onderzoekers elk detail van hun afbeeldingen. Ze creëerden scenario's waarin het aantal objecten veranderde terwijl de totale ruimte die zij innamen gelijk bleef, en vice versa. Ze verwijderden ook textuur, vorm en kleur in fasen, waardoor alleen eenvoudige stippen overbleven, om te zien of de modellen vertrouwden op het uiterlijk van de objecten of op de werkelijke telling. Ze testten zeven verschillende open-source modellen, variërend van kleinere, oudere systemen tot grotere, meer geavanceerde systemen, waarbij ze de modellen vroegen de objecten in elke afbeelding te tellen.
De resultaten toonden een duidelijk onderscheid tussen de modellen. De meer geavanceerde systemen, die grotere interne structuren hadden, presteerden aanzienlijk beter en behaalden een hoge nauwkeurigheid, zelfs wanneer de visuele aanwijzingen misleidend waren. De kleinere, oudere modellen worstelden en slaagden er vaak niet in om verschillende hoeveelheden te onderscheiden, waarbij ze dezelfde beperkte set antwoorden produceerden, ongeacht wat er op de afbeelding stond. De onderzoekers ontdekten dat de grootste factor voor succes niet de visuele condities van de afbeelding was, maar de architectuur van het model zelf. De manier waarop de machine was gebouwd, maakte veel meer uit dan de specifieke visuele trucs die in de test werden gebruikt. Dit suggereert dat het vermogen om te tellen niet alleen een kwestie is van helder zien, maar van het hebben van de juiste interne structuur om die informatie te verwerken.
Door dieper in te gaan op de werking van deze modellen, bekeken het team de verschillende stadia van de verwerkingspijplijn van de machine. Ze ontdekten dat het vermogen om getallen te onderscheiden feitelijk heel vroeg optreedt, precies wanneer de machine de afbeelding voor het eerst bekijkt. Zelfs de minder succesvolle modellen konden het aantal objecten detecteren in hun initiële visuele lagen. Het probleem bleek zich later voor te doen. Het verschil tussen een model dat goed kon tellen en een model dat dat niet kon, lag in de manier waarop zij die visuele signalen vertaalden naar woorden. De meer succesvolle modellen waren beter in het omzetten van de numerieke informatie die ze al hadden gezien naar een correct tekstueel antwoord. De minder succesvolle modellen leken die informatie te verliezen terwijl ze overgingen van zien naar spreken.
De studie onderzocht ook hoe deze machines omgaan met de schaal van getallen. De best presterende modellen waren bijna perfect bij het tellen van kleine groepen tot vier objecten, een bereik dat mensen direct kunnen herkennen. Naarmate de getallen groter werden, daalde hun nauwkeurigheid en begonnen ze consistent lager te schatten dan de werkelijke telling. Dit patroon van onderschatting werd sterker naarmate de getallen toenamen, wat spiegelt aan een bekende beperking in de menselijke perceptie, waarbij het schatten van grote hoeveelheden minder precies wordt. De meest geavanceerde modellen vertoonden deze bias echter veel later dan de zwakkere modellen, wat suggereert dat zij een robuuster begrip van grotere getallen hebben.
Uiteindelijk geeft het onderzoek aan dat huidige vision-language modellen wel degelijk een vorm van numeriek begrip bezitten, maar dat dit kwetsbaar is en sterk afhankelijk is van hun ontwerp. Het vermogen om te zien "hoeveel" is aanwezig in de vroege visuele verwerking van deze systemen, maar de laatste stap van het omzetten van die perceptie in een betrouwbaar antwoord is waar de machines vaak falen. De studie concludeert dat het gat in prestaties niet komt door een gebrek aan visuele data, maar door de manier waarop verschillende modellen zijn gebouwd om die data te interpreteren en uit te drukken. Door deze factoren te isoleren, hebben de onderzoekers een duidelijkere kaart geschetst van waar kunstmatige intelligentie staat in haar reis naar werkelijke numerieke cognitie, waarmee zij aantonen dat hoewel de ogen van de machine het aantal kunnen zien, de geest van de machine nog moet leren tellen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.