Technische Samenvatting: HueManity – Het onderzoeken van fijnmazige visuele perceptie in MLLM's

Probleemstelling

Hoewel Multimodale Grote Taalmodellen (MLLM's) indrukwekkende capaciteiten hebben getoond in hoogwaardig visueel redeneren, zoals visuele vraagbeantwoording (VQA) en beeldbeschrijving, negeren bestaande benchmarks grotendeels hun vermogen om fijnmazige perceptuele details te vatten. Huidige evaluatieparadigma's vervagen perceptie vaak met semantisch redeneren, waardoor modellen kunnen vertrouwen op talige priors in plaats van op pure visuele input. Nu MLLM's steeds vaker worden ingezet in kritieke domeinen (bijv. autonoom rijden, medische beeldvorming), vormt een gebrek aan fundamentele perceptuele scherpte — specifiek het vermogen om coherente signalen te extraheren uit visueel rommelige omgevingen — een aanzienlijk risico. Het artikel betoogt dat het vermogen om patronen te onderscheiden uit subtiele, laag-niveau cues (kleur, luminantie, textuur) een vereiste is voor robuuste visuele intelligentie, maar dat deze capaciteit nog niet door standaard benchmarks wordt onderzocht.

Methodologie: De HueManity Benchmark

Om dit gat te dichten, introduceren de auteurs HueManity, een schaalbare, geautomatiseerde benchmark die is ontworpen om fijnmazige visuele perceptie te isoleren en te evalueren.

Dataset Constructie

• Schaal en Inhoud: De benchmark bestaat uit 83.850 afbeeldingen, die elk een alfanumerische reeks van twee tekens bevatten, ingebed in een Ishihara-stijl stipjespatroon.
• Generatie Pipeline:
  1. Tekst Maskering: Een 900x900 pixel binaire masker wordt gegenereerd voor reeksen van twee tekens met behulp van de Pygame-bibliotheek met een vetgedrukt, cursief DejaVu Sans lettertype.
  2. Kleurselectie: 25 verschillende voorgrond-achtergrond kleurparen werden geselecteerd via een meerfasig proces. Dit omvatte kwantitatieve analyse via de CIEDE2000 ($\Delta E_{2000}$) kleurverschilformule om een gebalanceerde perceptuele moeilijkheidsgraad te garanderen, gevolgd door handmatige verificatie om menselijke leesbaarheid te garanderen.
  3. Patroon Rendering: Een iteratieve generator vult de afbeelding met overlappende cirkels (4–15 pixels). Cirkels binnen de karakterregio krijgen een voorgrondkleur, terwijl andere een achtergrondkleur krijgen. Deze kleuren ondergaan gerandomiseerde transformaties (gradiëntverschuivingen, RGB-verschuivingen en lichtheidsschaalvergroting) om dichte, uitdagende patronen te creëren.
• Taakontwerp: De benchmark bevat twee herkenningsopdrachten:
  • Numerieke Taak: Tweecijferige getallen (bijv. "17"), met een labelruimte van 90 mogelijkheden.
  • Alfanumerieke Taak: Alfanumerieke reeksen van twee tekens (bijv. "A7", "9b"), met een labelruimte van 3.364 mogelijkheden (waarbij visueel ambigue tekens zoals 'l', 'I', 'J', 'O' zijn uitgesloten).
• Controlecondities: Om perceptuele groepering te scheiden van karakterherkenning, worden modellen ook geëvalueerd op de binaire Tekst Maskers (controle-taak) naast de Ishihara Patronen.

Experimentele Opstelling

• Geëvalueerde Modellen: Negen state-of-the-art MLLM's werden getest, waaronder commerciële API-gebaseerde modellen (GPT-4.1, GPT-4.1 mini, Claude 3.7 Sonnet, Qwen VL Max, Pixtral) en open-source modellen (LLaVA-v1.6 varianten, Mistral-small3.1).
• Baselines:
  • Menselijke Prestaties: 16 vrijwilligers met normaal kleurzicht evalueerden 100 afbeeldingen per taak.
  • Traditionele CV: Een gefinetuned ResNet50 model (getraind op 2.000 samples) diende als een computer vision baseline.
• Evaluatieprotocol: Modellen werden geprompt om de exacte tekst in een strikt formaat te produceren. Prestaties werden gemeten via exact-match nauwkeurigheid. De studie omvatte ook ablatie-studies over beeldresolutie en onderzoek naar in-context leren en fine-tuning capaciteiten.

Belangrijkste Resultaten

Prestatiekloof

De evaluatie onthult een scherp prestatietekort in MLLM's vergeleken met menselijke en traditionele computer vision baselines:

• Menselijke Baseline: Bereikte bijna plafondprestaties (99,37% op numeriek, 93,25% op alfanumeriek).
• ResNet50 Baseline: Bereikte een hoge nauwkeurigheid (96,5% op numeriek, 94,5% op alfanumeriek), wat bewijst dat de taak oplosbaar is voor architecturen die in staat zijn om fijnmazige kenmerken te leren.
• MLLM Prestaties:
  • Numerieke Taak: Het best presterende model (GPT-4.1) behaalde slechts 33,6% nauwkeurigheid. Andere modellen varieerden van 19,0% tot bijna 0%.
  • Alfanumerieke Taak: De prestaties stortten verder in. GPT-4.1 behaalde slechts 3,0%, terwijl de meeste andere modellen een score van 0% of nabij nul hadden.
  • OCR vs. Perceptie: Terwijl modellen een hoge nauwkeurigheid (>80%) behielden op de binaire Tekst Maskers (wat functionele OCR aantoont), kelderde hun prestaties op de Ishihara Patronen. Dit geeft aan dat de fout geworteld is in perceptuele groepering en feature extractie uit clutter, en niet in de karakterherkenning zelf.

Foutmodi

Kwalitatieve analyse identificeerde drie duidelijke foutpatronen in MLLM's:

1. Hallucinatie: Het genereren van ongerelateerde, overmatig complexe tekst (bijv. zinnen als "MUST SEE") wanneer de visuele verwerking overweldigd wordt.
2. Vermijding: Het beschrijven van de afbeelding als een "kleurtest" of expliciet aangeven niet in staat te zijn de taak uit te voeren, in plaats van een poging tot een gok te wagen.
3. Erratic Output: Het produceren van willekeurige reeksen, repetitieve patronen of zinloze getallen, wat wijst op een gebrek aan stabiele visuele feature extractie.

Aanvullende Bevindingen

• In-Context Leren: Het verstrekken van few-shot voorbeelden verbeterde de prestaties niet; in veel gevallen verslechterde het de resultaten, wat suggereert dat de visuele complexiteit van voorbeelden ruis introduceert.
• Fine-Tuning: Het finetunen van een model (Gemma-3-4B) op de gepatroneerde afbeeldingen verbeterde de prestaties niet en vernietigde zelfs het vermogen om de eenvoudige mask-taak op te lossen, wat aangeeft dat de modellen leerden om plausibele reeksen te produceren in plaats van de perceptuele vaardigheid te leren.
• Resolutie Ablatie: Het verlagen van de beeldresolutie (downsampling) verbeterde onverwacht de prestaties voor het beste model (GPT-4.1), wat suggereert dat downsampling fungeert als een laagdoorlaatfilter die hoogfrequente ruis gladstrijkt, waardoor karaktervormen prominenter worden.
• Real-World Correlatie: Er werd een sterke positieve correlatie ($\rho = 0,82$) gevonden tussen HueManity prestaties en ranglijsten op de Vision Arena benchmark, wat suggereert dat fijnmazige perceptuele tekorten correleren met algemene prestaties op real-world multimodale taken.

Betekenis en Claims

Het artikel beweert dat HueManity een kritieke zwakte blootlegt in de perceptuele gronding van huidige MLLM's. De auteurs stellen dat:

1. Architecturale Beperkingen: De mislukking is waarschijnlijk te wijten aan architecturale bottlenecks (bijv. Vision Transformers die afbeeldingen in patches verdelen, projectielagen die fungeren als informatie-bottlenecks) en pre-training objectives die geoptimaliseerd zijn voor hoog-niveau semantiek in plaats van laag-niveau detail.
2. Diagnostische Nuttigheid: De benchmark dient als een krachtig diagnostisch instrument. De sterke correlatie met real-world benchmarks impliceert dat het verbeteren van fijnmazige perceptie essentieel is voor de inzet van MLLM's in veiligheidskritische toepassingen.
3. Onderzoeksrichting: De bevindingen suggereren dat huidige modellen deze vaardigheden niet simpelweg kunnen "leren" door standaard fine-tuning of in-context learning. Toekomstig werk moet zich richten op nieuwe architecturen die laag-niveau visuele informatie behouden en training objectives die expliciet robuuste visuele scherpte bevorderen, onafhankelijk van semantisch redeneren.

De auteurs stellen de dataset en de generatiecode beschikbaar om reproduceerbaar onderzoek en community-gestuurde uitbreidingen in dit domein te faciliteren.