TACIT Benchmark: A Programmatic Visual Reasoning Benchmark for Generative and Discriminative Models

De auteurs introduceren TACIT, een nieuw programmatiek visueel redeneerbenchmark met 10 taken over 6 domeinen die generatieve en discriminatieve modellen evalueren via deterministische computer-vision verificatie en meerkeuzevragen met structureel plausibele distractors, om zo de beperkingen van bestaande benchmarks op te lossen.

De kern

Stel je voor dat je een superintelligente robot wilt testen om te zien of hij echt denkt of dat hij alleen maar gokt op basis van wat hij eerder heeft gezien.

De meeste huidige tests voor kunstmatige intelligentie (AI) zijn als een quiz in een taal die de robot misschien niet perfect spreekt. Als de robot de vraag goed beantwoordt, weten we niet of hij het plaatje heeft begrepen of dat hij gewoon slimme taaltrucs heeft gebruikt.

TACIT is een nieuwe, slimme test die dit probleem oplost. Het is als een visuele puzzelwedstrijd zonder woorden, ontworpen door Daniel Nobrega Medeiros. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Geen Woorden, Alleen Beelden (De "Stomme" Test)

Stel je voor dat je een kind een puzzel geeft, maar je mag geen woord zeggen. Je wijst alleen naar een plaatje met pijltjes, kleuren en vormen. Het kind moet de oplossing tekenen.

• Hoe TACIT werkt: De robot krijgt geen tekstuele instructies (geen "maak een lijn van A naar B"). Alles is visueel. Als de robot de oplossing maakt, weten we zeker dat hij het plaatje heeft "begrepen" en niet gewoon een tekstboek heeft gelezen.

2. Twee Manieren om te Testen: Bouwen vs. Kiezen

TACIT test de robot op twee verschillende manieren, alsof je iemand twee soorten examens geeft:

• Track 1: De Bouwer (Generatief)
  De robot moet de oplossing zelf tekenen. Hij krijgt een doolhof en moet het juiste pad uittekenen.
  • De metafoor: Het is alsof je de robot vraagt om een huis te bouwen. Als hij het huis niet kan bouwen, heeft hij het niet echt begrepen, zelfs niet als hij er goed uitziet.
• Track 2: De Kiezer (Discriminatief)
  De robot krijgt de puzzel én vijf mogelijke oplossingen. Hij moet de juiste aanklikken.
  • De metafoor: Dit is meerkeuze. Iemand kan een meerkeuzevraag goed beantwoorden door te gokken of door slimme hints te zien, zonder het onderliggende principe te begrijpen.

Het geheim: Als een robot Track 2 (kiezen) goed doet, maar Track 1 (bouwen) slecht, weten we dat hij alleen maar herkent wat hij al kent, maar niet echt kan creëren. Dat is een groot verschil in intelligentie!

3. De "Bijna-Good" Valstrikken

In de meerkeuze-test (Track 2) zijn de foutieve antwoorden niet stom. Ze zijn slim bedacht.

• De analogie: Stel je voor dat je een foto van een auto ziet. De goede oplossing is een rode auto. De foutieve opties zijn bijna perfect: één heeft een wiel dat net iets te klein is, een andere heeft een deur die net iets scheef staat.
• Waarom? De robot moet heel precies kijken. Hij kan niet zeggen "oh, het is een auto, dus dat is goed". Hij moet zien waarom die ene auto fout is. Dit dwingt de robot om echt na te denken over de structuur van de afbeelding.

4. De Rekenmachine als Scheidsrechter

Bij veel tests moet een mens (of een andere AI) kijken of het antwoord goed is. Dat is subjectief: "Vind jij dit een goede oplossing?"

• TACIT's oplossing: Er is geen menselijke scheidsrechter. Een computerprogramma kijkt puur naar de wiskunde en de regels.
  • Voorbeeld: Bij een doolhof kijkt de computer niet of de lijn "mooi" is. Hij kijkt puur: "Is er een verbinding van start naar finish zonder door muren te gaan?" Ja of nee. Geen discussie, geen gevoelens.

5. Wat voor Puzzels zijn het?

De test bestaat uit 10 verschillende soorten hersenkrakers, variërend van:

• Doolhoven (waar je door verschillende lagen moet reizen).
• Patroonpuzzels (zoals de bekende Raven-test, waar je het volgende plaatje in een rij moet raden).
• Logische netwerken (waar je knopen moet kleuren zonder dat twee naast elkaar dezelfde kleur hebben).
• Knooppunten (is dit touw een knoop of gewoon een lus?).

Waarom is dit belangrijk?

Vroeger dachten we dat AI slim was omdat hij goede antwoorden gaf op tekstvragen. TACIT laat zien dat we moeten kijken of AI echt visueel redeneert. Het is een manier om te zien of de robot een "denker" is die problemen kan oplossen, of alleen maar een "naar-geheugen-speler" die patronen herkent.

Kortom: TACIT is de eerlijke, woordloze, wiskundige test die eindelijk laat zien of een robot echt slim is, of dat hij alleen maar goed kan doen alsof.

Technische samenvatting

Probleemstelling

Bestaande benchmarks voor visueel redeneren hebben drie fundamentele beperkingen die de evaluatie van multimodale foundation modellen belemmeren:

1. Taalafhankelijkheid: Veel benchmarks (zoals MMMU of MathVista) verbergen redeneertaken in natuurlijke taal, waardoor het moeilijk is om visueel redeneren te scheiden van taalkundig begrip.
2. Smalle scope: Bestaande benchmarks (zoals RAVEN of ARC) focussen vaak op één specifiek redeneerdom (bijv. abstracte patronen) en missen de breedte om een volledig cognitief profiel te schetsen.
3. Subjectieve of beperkte evaluatie: Evaluatie is vaak beperkt tot meerkeuzevragen (discriminatie), wat "geraden" mogelijk maakt, of afhankelijk van subjectieve beoordeling (menselijke annotatoren of LLM-as-judge), wat reproduceerbaarheid ondermijnt. Voor taken waarbij het antwoord een gestructureerd beeld is (bijv. een opgelost doolhof), zou verificatie objectief en deterministisch moeten zijn.

Methodologie: Het TACIT Benchmark Framework

De auteurs introduceren de TACIT Benchmark (versie 0.1.0), een programmatiek gegenereerde benchmark die visueel redeneren test zonder taalclues. Het framework rust op vijf ontwerpprincipes:

1. Taalminimalisme: Alle instructies zijn visueel gecodeerd (via lay-out, kleuren en geometrie). Er is geen natuurlijke taal behalve voor as-labels en legenda's.
2. Dubbel-track evaluatie: Elke puzzel wordt getest via twee tracks:
   • Generatieve track: Het model moet een oplossingsbeeld genereren.
   • Discriminatieve track: Het model moet het juiste antwoord kiezen uit vijf opties (1 correct, 4 distractors).
3. Deterministische verificatie: Alle generatieve antwoorden worden verifieerd door specifieke computer vision (CV) pipelines (bijv. BFS voor doolhoven, pixel-sampling voor cellulaire automata). Er is geen menselijke of LLM-beoordeling nodig.
4. Geparametriseerde moeilijkheidsgraad: De moeilijkheid wordt gecontroleerd via onafhankelijke assen (bijv. rastergrootte, aantal lagen, complexiteit van regels).
5. Near-miss distractors: De vier foutieve opties in de discriminatieve track schenden elk precies één structurele constraint van de oplossing. Dit dwingt modellen om te redeneren over fijne visuele verschillen in plaats van oppervlakkige patronen te matchen.

De 10 Taken en 6 Domeinen:
De benchmark omvat 6.000 puzzels verdeeld over 10 taken in 6 domeinen:

• Ruimtelijk: Multi-layer doolhopen (navigatie via portaal).
• Abstracte Patronen: Raven's Progressive Matrices (geometrische transformaties).
• Causale Simulatie: Cellulaire Automata (voorwaartse simulatie en inverse regel-inferentie).
• Logische Constraints: Visuele logica-rasters (Latijnse vierkanten zonder tekst).
• Grafentheorie: K-kleuring van plannaire grafen en isomorfisme-detectie.
• Topologie: Unknot-detectie (is een knoop triviaal?).
• Geometrische Projectie: Orthografische projectie en isometrische reconstructie.

Data-gegenereerend proces:
Puzzels worden gegenereerd als SVG (Scalable Vector Graphics) en vervolgens rasterized naar PNG-bestanden in drie resoluties (512, 1024, 2048 px). Het gebruik van een vaste seed (42) en NumPy's default_rng garandeert volledige reproduceerbaarheid.

Key Contributions

1. Uitgebreide Benchmark: Een dataset van 6.000 puzzels (108.000 afbeeldingen) die zes verschillende redeneerdoms dekt, wat een bredere dekking biedt dan eerdere benchmarks.
2. Dubbel-track Evaluatie Framework: Een uniek systeem dat de kloof meet tussen constructief redeneren (genereren) en selectief redeneren (discrimineren) op identieke stimuli.
3. Deterministische CV-verificatie: Een volledig geautomatiseerde evaluatieharness die subjectiviteit elimineert en exacte, reproduceerbare scores levert.
4. Single-constraint Distractor Systeem: Een innovatief systeem voor het genereren van foutieve antwoorden die structureel plausibel zijn maar precies één regel schenden, wat diepere diagnostiek mogelijk maakt.
5. Open Source: De dataset, generatiecode en evaluatieharness zijn beschikbaar onder de Apache 2.0 licentie op HuggingFace.

Resultaten

• Dataset Statistieken: De release (v0.1.0) bevat 6.000 unieke puzzelinstanties. Per puzzel zijn er 1 puzzelbeeld, 1 oplossing en 4 distractors, wat resulteert in 36.000 afbeeldingen per resolutie en in totaal 108.000 PNG-bestanden.
• Evaluatie Protocol: De paper presenteert de architectuur voor evaluatie maar rapporteert geen prestatieresultaten van bestaande modellen. De auteurs verklaren dat het uitvoeren van uitgebreide baselines voor meerdere multimodale modellen aanzienlijke rekencapaciteit vereist en gepland is voor een vervolgstudie.
• Diagnostisch Potentieel: Het framework is ontworpen om de "constructive-selective gap" te kwantificeren. Modellen die goed scoren op de discriminatieve track maar slecht op de generatieve track, kunnen correcte oplossingen herkennen maar niet zelf construeren.

Significantie en Impact

De TACIT Benchmark biedt een cruciale stap voorwaarts in de evaluatie van AI-modellen:

• Isolatie van Visueel Redeneren: Door taalclues te verwijderen, kunnen onderzoekers eindelijk meten of een model echt visueel redeneert of slechts taalpatronen volgt.
• Reproduceerbaarheid: Het verwijderen van menselijke beoordeling en het gebruik van deterministische verificatie lost het probleem van inconsistente scores op.
• Diepte-analyse: Het onderscheid tussen generatieve en discriminatieve prestaties biedt inzicht in de "diepte" van het redeneren van een model. Dit is relevant voor toepassingen zoals automatisch ontwerp en wetenschappelijke visualisatie.
• Toekomstgericht: De modulaire architectuur maakt het eenvoudig om nieuwe taken en domeinen toe te voegen, wat de benchmark toekomstbestendig maakt voor de snelle evolutie van multimodale modellen.

Kortom, TACIT stelt een nieuwe standaard voor voor het testen van visuele intelligentie door zich te richten op structurele correctheid, deterministische verificatie en een breed scala aan redeneerdomeinen, vrij van taalbias.