Human-Like Coarse Object Representations in Vision Models

Probleemstelling

Mensen gebruiken voor intuïtieve fysica (zoals het voorspellen van botsingen) vaak ruwe, volumetrische "lichaamsrepresentaties" van objecten. In plaats van fijne visuele details te behouden, "vullen" mensen holtes (concaviteiten) in objecten in, waardoor ze objecten als gladdere, grovere vormen zien. Dit is een efficiënte strategie voor fysieke voorspellingen, maar het is onbekend hoe deze interne structuur er precies uitziet.

Daarentegen zijn moderne segmentatiemodellen (zoals SegFormer) getraind om pixel-accurate maskers te genereren die exact overeenkomen met de randen van objecten. Dit creëert een potentieel misalignment:

1. Doelconflict: Fijne segmentatie is goed voor herkenning, maar mogelijk inefficiënt of zelfs schadelijk voor fysieke redenering (zoals botsingstijdsvoorspelling).
2. Vraag: Hebben vision-modellen die getraind zijn voor segmentatie ook deze mensachtige, ruwe "lichaamsrepresentaties", en onder welke omstandigheden ontstaan deze?

Methodologie

De auteurs ontwikkelen een vergelijkingspijplijn om het gedrag van vision-modellen te vergelijken met menselijk gedrag in een Time-To-Collision (TTC)-paradigma.

1. Menselijke Data: Ze gebruiken een bestaand dataset van 226 deelnemers [25]. Deelnemers zagen video's van twee objecten die op elkaar afbewogen en moesten aangeven wanneer ze dachten dat ze zouden botsen. Een cruciale bevinding uit eerdere studies is dat mensen sneller reageren bij botsingen waarbij een concave kant (holte) betrokken is, wat suggereert dat ze de holte mentaal "opvullen" (over-schatten van het volume).
2. Modellen: Ze gebruiken zes varianten van het SegFormer-model (B0 t/m B5), variërend in grootte (van ~3,8M tot ~84,7M parameters).
3. Finetuning: Omdat de modellen getraind zijn op natuurlijke scènes (ADE20K) en niet op de specifieke polygonale stimuli van het experiment, worden ze gefinetuned op een synthetische dataset met geometrisch gevarieerde polygonen.
4. TTC Simulatie:
   • Het model segmenteert de initiële statische frame van een video.
   • De twee grootste verbonden componenten (de objecten) worden geëxtraheerd.
   • Deze maskers worden virtueel verplaatst volgens de echte snelheden van de objecten uit de video.
   • De voorspelde TTC is het moment waarop de maskers voor het eerst overlappen.
5. Alignatiemetric: De kernmetriek is het verschil in de concaviteitseffect tussen mens en model. Ze meten hoe groot het verschil is in de voorspelde botsingstijd tussen een concave en een convexe botsingssituatie ($\Delta = TTC_{concave} - TTC_{convex}$). De fout ($E$) is de absolute afwijking van dit menselijke effect door het model.

De auteurs manipuleren drie factoren om de "effectieve capaciteit" van het model te variëren:

• Trainingsduur: Checkpoints tijdens het trainen.
• Modelgrootte: Verschillende SegFormer-varianten (B0-B5).
• Pruning: Unstructured pruning (verwijderen van neuronen) om de capaciteit te verkleinen zonder opnieuw te trainen.

Belangrijkste Bijdragen

1. Evaluatiepijplijn: Een unificerend framework voor het kwantitatief vergelijken van visuele segmentatiemodellen met menselijke fysische oordelen (TTC).
2. Ontdekking van een U-vormige relatie: Ze tonen aan dat de overeenkomst met menselijk gedrag niet monotoon is met betrekking tot de kwaliteit van de segmentatie, maar een U-vormige curve volgt.
3. Identificatie van "Ideale Korrelgrootte": Er bestaat een specifiek regime van "ideale lichaamskorrelgrootte" (intermediate granularity) waar modellen het meest menselijk gedrag vertonen.
4. Resource-Rational Account: Het paper biedt een computationele verklaring waarom mensen ruwe representaties gebruiken: het is een efficiënt compromis onder beperkingen van hersengrootte en rekenkracht, en niet noodzakelijk een specifieke biologische bias.

Resultaten

De resultaten tonen consistent een U-vormige curve voor de fout ($E$) als functie van modelgrootte, trainingsstappen en pruning:

• Te kleine/te kort getrainde modellen (Linkerzijde van de U): Deze modellen "under-segmenteren". Ze reduceren objecten tot te grove blokken (blobs) en missen de nuance om het concaviteitseffect correct te simuleren. De fout is hoog.
• Te grote/te lang getrainde modellen (Rechterzijde van de U): Deze modellen "over-segmenteren". Ze focussen op pixel-perfecte randen en fijne onregelmatigheden. Hierdoor behouden ze de concaviteiten te precies, wat leidt tot een afwijking van het menselijke gedrag (mensen vullen holten in, deze modellen niet). De fout is ook hoog.
• Intermediair regime (Bodem van de U): Bij een tussenliggende trainingsduur, een gemiddelde modelgrootte, of lichte pruning, bereiken modellen de ideale korrelgrootte. In dit stadium "vullen" ze concaviteiten net genoeg in om het menselijke TTC-effect na te bootsen, zonder te veel detail te verliezen.

Specifieke bevindingen:

• Trainingsduur: De fout is hoog aan het begin, daalt naar een minimum bij een tussenliggend stadium, en stijgt weer naarmate het model convergeert naar pixel-accurate segmentatie.
• Modelgrootte: Grotere modellen bereiken het menselijke regime sneller (met minder trainingsstappen) dan kleinere modellen, maar als ze volledig getraind zijn, vertonen ze ook de over-segmentatie.
• Pruning: Licht pruning van een volledig getraind model verplaatst het gedrag terug naar het menselijke regime, wat suggereert dat beperkte capaciteit de "ruwe" representatie forceert.

Visueel wordt dit bevestigd door maskers die tonen dat modellen, net als mensen, concave gebieden "opvullen" (diffuseren) terwijl convexe randen stabiel blijven, maar alleen in het intermediaire regime.

Significantie en Conclusie

De studie heeft zowel praktische als theoretische implicaties:

• Theoretisch: Het suggereert dat mensachtige, ruwe objectrepresentaties voor fysica niet het resultaat zijn van een speciaal ontworpen biologische bias, maar een natuurlijk gevolg van resource-rationaliteit. Onder beperkingen van rekenkracht en tijd convergeren zowel biologische systemen als machine learning-modellen naar vereenvoudigde interne coderingen die detail opofferen voor stabiele, voorspellende structuur.
• Praktisch: Voor het ontwerpen van AI-systemen die veilig en voorspelbaar met mensen moeten interageren (bijv. in robotica of autonoom rijden), is het niet altijd nodig om pixel-perfecte segmentatie te hebben.
  • Advies: Om fysiek efficiënte representaties op te wekken, kunnen ontwikkelaars gebruikmaken van "simpele knoppen":
    • Gebruik van vroege checkpoints (mid-training).
    • Gebruik van bescheiden architecturen.
    • Toepassing van lichte neuron-pruning.

Samenvattend tonen de auteurs aan dat "coarse body representations" geen falen van segmentatiemodellen zijn, maar een nuttig operationeel punt voor fysiek redeneren dat optimaal aligneert met menselijke intuïtie wanneer de modelcapaciteit en trainingsduur in een specifiek, gematigd regime worden gehouden.