Technische Samenvatting: Presteren AI-modellen op het gebied van abstract redeneren over verschillende modaliteiten heen op menselijke wijze?

Probleemstelling

Hoewel het o3-preview model van OpenAI recentelijk de menselijke nauwkeurigheid op de Abstraction and Reasoning Corpus (ARC) benchmark heeft overtroffen, blijft het onduidelijk of deze modellen de menselijke vermogens voor abstract redeneren bezitten waarvoor de benchmark is ontworpen. Hoge nauwkeurigheid op ARC-taken kan het gevolg zijn van het exploiteren van "shortcuts" (afkortingen)—onbedoelde correlaties in de data—in plaats van het begrijpen van de generaliseerbare, kernkennis-priors (bijv. objectheid, ruimtelijke relaties) die door de ontwerpers van de benchmark beoogd worden. Bovendien hebben bestaande evaluaties zich bijna uitsluitend gericht op tekstuele representaties van grid-taken, waardoor de prestaties van state-of-the-art multimodale modellen in de visuele modaliteit onverkend zijn gebleven. Dit artikel onderzoekt of AI-modellen de specifieke abstracties herkennen en ermee redeneren die door de benchmarkontwerpers zijn bedoeld, of dat ze vertrouwen op oppervlakkige patronen, zowel in tekstuele als visuele modaliteiten.

Methodologie

De auteurs evalueerden verschillende commerciële en open-weight modellen (o3 van OpenAI, o4-mini, Gemini 2.5 Pro van Google, Claude Sonnet 4 van Anthropic en niet-redenerende baselines) op de ConceptARC benchmark. ConceptARC bestaat uit 480 taken die zijn georganiseerd rond 16 basisruimtelijke en semantische concepten (bijv. "binnen vs. buiten", "boven vs. onder"). In tegen tegenstelling tot de complexere ARC, zijn ConceptARC-taken ontworpen om eenvoudig te zijn voor mensen, waarbij specifieke abstracte concepten worden geïsoleerd om de analyse van redeneerstrategieën te vergemakkelijken.

De studie maakte gebruik van een veelzijdige evaluatiekader:

1. Modaliteiten: Modellen werden getest in zowel tekstuele (integer matrix representatie) als visuele (afbeeldingsinput) modaliteiten.
2. Redeneerinspanning & Tools: Experimenten varieerden in redeneerinspanning (laag vs. medium token budget) en toegang tot externe Python-tools (ingeschakeld vs. uitgeschakeld).
3. Dual-Output Evaluatie: Voor elke taak moesten modellen het volgende genereren:
   • De output grid (gerepresenteerd als een integer matrix).
   • Een natuurlijke taalregel die de transformatie beschrijft.
4. Regelclassificatie: Gegenereerde regels werden handmatig geclassificeerd in drie categorieën:
   • Correct-Intended (Correct-Beoogd): Regels die overeenkomen met de ontworpen abstracties van de benchmark (menselijke kernkennis).
   • Correct-Unintended (Correct-Niet-Beoogd): Regels die werken op de demonstraties en correcte outputs produceren, maar berusten op spuriose patronen (bijv. numerieke relaties tussen kleurcodes) in plaats van de beoogde concepten.
   • Incorrect (Incorrect): Regels die de transformatie niet beschrijven of incorrecte outputs produceren.
5. Menselijke Baseline: Menselijke prestaties werden geëvalueerd met behulp van ongepubliceerde gegevens van Moskvichev et al. (2023), waarbij deelnemers zowel output grids als regels aanleverden.

Belangrijkste Resultaten

1. Nauwkeurigheid vs. Kwaliteit van Redeneren

• Tekstuele Modaliteit: In de tekstuele setting overtrof het beste model (o3 met medium inspanning) de menselijke nauwkeurigheid (73%) op ConceptARC, met een score van ~77%. Echter, nauwkeurigheid alleen was misleidend: ongeveer 27% van de correcte outputs van o3 in de tekstuele setting was gebaseerd op correct-unintended of incorrecte regels. In contrast hiermee vertrouwde slechts ongeveer 8% van de menselijke correcte outputs op dergelijke shortcuts.
• Visuele Modaliteit: De prestaties daalden scherp in de visuele modaliteit. Zelfs met Python-tools ingeschakeld, bereikten de beste modellen slechts ~29% nauwkeurigheid (o3 medium + tools), wat aanzienlijk achterblijft bij mensen.
• Regel-Grid Alignement: Ondanks de lage visuele nauwkeurigheid, was een aanzienlijk deel van de gegenereerde regels van de modellen in de visuele modaliteit correct-intended. Dit geeft aan dat modellen vaak het abstracte concept succesvol identificeerden, maar erin faalden dit correct toe te passen vanwege perceptuele beperkingen (bijv. het verkeerd identificeren van grid-dimensies of objectplaatsing).

2. Impact van Tools en Redeneerinspanning

• Tekstueel: Verhoogde redeneerinspanning verbeterde de nauwkeurigheid en de juistheid van de regels. Python-tools boden marginaal voordeel in deze modaliteit.
• Visueel: Verhoogde redeneerinspanning alleen had weinig effect. Het inschakelen van Python-tools (specifiek computer vision bibliotheken) leidde echter tot substantiële verbeteringen in zowel de output-nauwkeurigheid als de regel-juistheid, wat suggereert dat perceptuele knelpunten, in plaats van tekortkomingen in het redeneren, de primaire oorzaak van falen waren in de visuele modaliteit.

3. Aard van de Shortcuts

Modellen vertrouwden frequent op onbedoelde kenmerken, zoals:

• Numerieke relaties tussen de integer-codes toegewezen aan kleuren (bijv. vormen sorteren op kleurwaarde in plaats van ruimtelijke positie).
• Spuriose patronen in de demonstratie-grids die niet generaliseerden naar het onderliggende concept van de test-grid.
• Focus op laag-niveau pixelkenmerken in plaats van "objectheid".

Belangrijkste Bijdragen

1. Voorbij Nauwkeurigheid: Het artikel toont aan dat het evalueren van abstract redeneren uitsluitend via output-nauwkeurigheid de capaciteiten van AI in tekstuele modaliteiten aanzienlijk overschat (door het negeren van de afhankelijkheid van shortcuts) en in visuele modaliteiten onderschat (door de aanwezigheid van correct abstract redeneren te negeren ondanks perceptuele fouten).
2. Regel-niveau Analyse: Door een handmatige evaluatie van natuurlijke taalregels te introduceren, onthult de studie een significante kloof tussen menselijke en AI-redeneerstrategieën. AI-modellen zijn veel eerder geneigd taken op te lossen via oppervlakkige correlaties dan mensen, zelfs wanneer ze een hoge nauwkeurigheid bereiken.
3. Modaliteitsverschil: De studie benadrukt een kritieke disconnect in multimodale modellen: ze kunnen vaak de juiste abstracte regel formuleren voor visuele taken, maar falen in het uitvoeren van de transformatie vanwege perceptuele fouten.

Betekenis en Claims

De auteurs stellen dat hun bevindingen een getrouwer beeld geven van de abstracte redeneervermogens van AI-modellen. Ze betogen dat huidige benchmarks en evaluatiemetrieken, die prioriteit geven aan output-nauwkeurigheid, er niet in slagen vast te stellen of modellen werkelijk redeneren door analogie met behulp van menselijke priors.

Het artikel stelt dat voor AI-systemen om menselijke generalisatie en verklaarbaarheid te bereiken, zij voorbij "shortcuts" moeten gaan en robuust de beoogde abstracties moeten begrijpen. De resultaten suggereren dat hoewel huidige modellen veelbelovend zijn in het identificeren van abstracte concepten, ze niet de robuustheid bezitten om deze concepten consistent toe te passen, met name in visuele domeinen. De auteurs concluderen dat toekomstige vooruitgang naar mensachtige, op abstractie gerichte intelligentie evaluatiemethoden vereist die het proces (de gegenereerde regels) beoordelen naast het product (de output grid), en mogelijk architecturen of trainingsmethoden noodzakelijk maakt die expliciet menselijke priors incorporeren.