COGITAO: A Visual Reasoning Framework To Study Compositionality & Generalization

COGITAO is een open-source, modulair framework en benchmark dat miljoenen unieke visuele taken genereert om de samenstellings- en generalisatiecapaciteiten van AI-modellen systematisch te bestuderen, waarbij het aantoont dat zelfs geavanceerde visuele modellen moeite hebben om bekende elementen in nieuwe combinaties toe te passen.

De kern

COGITAO: De "Legoblokken" voor het testen van slimme computers

Stel je voor dat je een kind leert spelen met Legoblokken. Eerst leer je het kind hoe je een rood blok kunt draaien. Dan leer je het hoe je een blauw blok kunt schuiven. Als het kind echt slim is, zou het later zonder moeite een rood blok kunnen draaien én schuiven, of een blauw blok twee keer draaien. Het kind heeft de losse stukjes (de concepten) begrepen en kan ze in nieuwe, nog nooit geziene combinaties gebruiken. Dit noemen we compositionaliteit: het vermogen om bekende onderdelen te mixen tot iets nieuws.

Helaas zijn de slimste computers van vandaag (zoals de AI's die je op je telefoon gebruikt) hier nog niet goed in. Ze zijn vaak uitstekend in het puzzelen (patronen herkennen die ze al hebben gezien), maar falen als ze iets nieuws moeten doen dat lijkt op iets wat ze al kennen, maar dan net even anders.

Dit is waar COGITAO komt. Het is een nieuw gereedschap, bedacht door onderzoekers, om precies dit probleem te testen.

Wat is COGITAO eigenlijk?

COGITAO is als een oneindige fabriek voor puzzels.
In plaats van dat mensen duizenden puzzels moeten bedenken (wat veel tijd kost en vaak niet consistent is), heeft COGITAO een computerprogramma dat automatisch miljoenen unieke puzzels maakt.

• Het Speelveld: Denk aan een simpel raster (een rooster) met gekleurde blokjes erop.
• De Acties: Er zijn 28 basisbewegingen die je met die blokjes kunt doen: draaien, spiegelen, verplaatsen, kleuren veranderen, etc.
• De Taak: De computer krijgt een startbeeld (bijvoorbeeld een blokje links) en een opdracht (bijvoorbeeld: "Draai het blokje, en schuif het dan omhoog"). De computer moet het eindbeeld tekenen.

Waarom is dit zo speciaal?

De kracht van COGITAO zit hem in de flexibiliteit. De onderzoekers kunnen de regels van de puzzel heel precies instellen:

1. De "Nieuwe Combinatie" Test: Je kunt de computer trainen op "Draai" en "Schuiven" apart. Vervolgens test je of hij het kan doen als je zegt: "Draai én Schuiven tegelijk". Als de AI dit niet kan, betekent het dat hij niet echt begrijpt wat "draaien" is, maar alleen heeft onthouden hoe het eruitzag in de trainingspuzzels.
2. De "Nieuwe Omgeving" Test: Je kunt de computer trainen op een klein rooster met één blokje. Vervolgens test je hem op een groot rooster met tien blokjes. Kan hij de regels nog steeds toepassen?

Wat hebben ze ontdekt?

De onderzoekers hebben de slimste AI-modellen van vandaag (zoals moderne "Transformers", die ook de basis zijn van chatbots) op deze puzzels getest. Het resultaat was verrassend en een beetje teleurstellend:

• Binnen hun comfortzone: Als de puzzels leken op wat ze hadden geoefend, waren ze fantastisch. Ze haalden bijna 100% score.
• Buiten hun comfortzone: Zodra ze een nieuwe combinatie moesten maken (bijvoorbeeld een beweging die ze kenden, maar dan in een nieuwe volgorde), vielen ze volledig uit elkaar. Ze haalden vaak 0% score.

De Metafoor:
Het is alsof je een student hebt die alle woorden in een woordenboek uit zijn hoofd heeft geleerd. Als je vraagt: "Wat betekent 'lopen'?", zegt hij het juiste antwoord. Maar als je vraagt: "Wat betekent 'lopen en dansen'?", raakt hij in paniek en zegt hij iets willekeurigs. Hij heeft de losse woorden niet echt begrepen, hij heeft ze alleen gepauzeerd.

Waarom is dit belangrijk?

De onderzoekers zeggen: "Als een AI niet kan leren in dit simpele, schone wereldje met blokjes, dan zal hij het ook niet kunnen in de echte, chaotische wereld."

• Robotica: Een robot moet kunnen begrijpen dat hij een kopje kan vastpakken en dan naar de tafel kan bewegen, ongeacht hoe groot het kopje is of waar de tafel staat.
• Veiligheid: Als we AI's willen gebruiken voor belangrijke taken (zoals zelfrijdende auto's), moeten we zeker weten dat ze niet alleen patronen herkennen, maar ook echt redeneren over nieuwe situaties.

Conclusie

COGITAO is een diagnose-instrument. Het is een simpele, gecontroleerde manier om te zien of een computer echt "denkt" of alleen maar "na-aapt". Tot nu toe laten de resultaten zien dat onze slimste computers nog niet echt kunnen denken zoals mensen: ze kunnen losse concepten niet makkelijk mixen tot nieuwe ideeën.

De boodschap is duidelijk: we moeten stoppen met het simpelweg groter maken van bestaande modellen (meer data, meer rekenkracht) en gaan zoeken naar nieuwe manieren om AI's te bouwen die echt kunnen combineren en generaliseren, net als een kind dat met Legoblokken speelt.

Technische samenvatting

Probleemstelling

De capaciteit om geleerde concepten te combineren en toe te passen in nieuwe situaties (compositional en systematische generalisatie) is een fundamenteel kenmerk van menselijke intelligentie. Bestaande machine learning-modellen, zelfs de meest geavanceerde, worstelen echter met deze vorm van generalisatie. Ze neigen vaak naar patroonherkenning en memorisatie in plaats van het begrijpen van onderliggende structurele regels.

Bestaande benchmarks voor visuele generalisatie (zoals CLEVR of dSprites) hebben beperkingen:

1. Ze bieden weinig controle over de compositiestructuur.
2. Ze verwarren visuele complexiteit met relationele structuur.
3. Ze zijn minder flexibel dan hun taalgebaseerde tegenhangers (zoals SCAN of COGS).

Er is dus behoefte aan een omgeving die visuele complexiteit minimaliseert om de kern van compositief redeneren puur te isoleren en te testen.

Methodologie: Het COGITAO Framework

De auteurs introduceren COGITAO (Compositional Generalization In Transformations And Objects), een procedurale, object-gerichte data-generatieframework. Het is geïnspireerd op de ARC-AGI (Abstraction and Reasoning Corpus) maar biedt veel meer controle en schaalbaarheid.

Kerncomponenten:

• Omgeving: Grid-based omgevingen (raster) met objecten.
• Objecten: Het systeem gebruikt een bibliotheek van 23.000 vooraf gegenereerde objecten met variërende eigenschappen (grootte, vorm, symmetrie, connectiviteit, kleurpatronen).
• Transformaties: Er is een set van 28 atomaire transformaties (bijv. translatie, rotatie, spiegeling, bijsnijden, vullen, dupliceren, kleurverandering).
  • Deze transformaties zijn ontworpen om onderling combineerbaar te zijn (composability).
  • Ze zijn uniek en niet equivalent aan combinaties van andere transformaties (geen redundantie).
• Generatieproces:
  • Het framework genereert taken door een reeks transformaties toe te passen op objecten in een grid.
  • Het kan miljoenen unieke taakregels genereren door de volgorde en diepte van transformaties te variëren.
  • De "compositiediepte" (aantal opeenvolgende transformaties) is aanpasbaar.
• Generalisatie-assen:
  1. Compositional Generalization (CompGen): Modellen worden getraind op bepaalde combinaties van transformaties en getest op nieuwe combinaties van dezelfde atomaire elementen (bijv. getraind op "A+B", getest op "B+A" of "A+B+C").
  2. Environmental Generalization (EnvGen): Modellen worden getest op veranderingen in de omgeving, zoals het aantal objecten, de grid-grootte, de objectgrootte of objectcomplexiteit, terwijl de transformatieregel hetzelfde blijft.

Extensies:

• RGB Rendering: COGITAO kan worden gerenderd als RGB-afbeeldingen om de overdracht naar realistische visuele taken te testen.
• Sequential-COGITAO: Uitbreiding naar sequentiële frames voor wereldmodel-onderzoek (voorspellen van tussenstappen).

Belangrijkste Bijdragen

1. Het COGITAO Generator Framework: Een Python-based tool die miljoenen unieke, controleerbare input-output regels kan genereren met instelbare compositiediepte.
2. Uitgebreide Benchmarks: Het release van meerdere dataset-configuraties die specifiek gericht zijn op verschillende aspecten van compositieve en systematische generalisatie.
3. Extensie naar Realiteit: De introductie van RGB-rendering en sequentiële frames om de brug te slaan tussen abstracte grids en natuurlijke visuele taken.
4. Uitgebreide Baselines: Een uitgebreide evaluatie van state-of-the-art architecturen, waaronder:
   • Vanilla Transformer (standaard ViT).
   • Grid-TF (ViT aangepast voor grids met object-positional encoding).
   • Pondering Looped Transformer (PL-TF) (recurrente architectuur met adaptieve rekentijd).
   • LLaDA (diffusie-gebaseerd taalmodel).
   • ResNet (convolutioneel baseline).

Resultaten

De auteurs trainden modellen van ongeveer 1 miljoen parameters (om een eerlijke vergelijking te garanderen) op 100.000 samples. De resultaten tonen een consistent patroon:

• In-Domain (ID) Prestaties: De meeste modellen, vooral de gespecialiseerde Grid-TF en PL-TF, presteren uitstekend op taken die lijken op de trainingsdata (hoge nauwkeurigheid).
• Out-of-Distribution (OOD) Prestaties:
  • Compositional Generalisatie: Alle modellen faalden dramatisch bij het generaliseren naar nieuwe combinaties van bekende transformaties. Zelfs als ze de individuele transformaties onder de knie hadden, konden ze deze niet correct combineren in nieuwe volgordes of diepere lagen. De nauwkeurigheid daalde vaak naar bijna 0% bij complexe OOD-taken.
  • Environmental Generalisatie: Modellen presteerden beter bij veranderingen in gridgrootte of objectaantal, maar faalden nog steeds bij gecombineerde complexiteit.
• Architectuurvergelijking:
  • PL-TF (Pondering Looped Transformer) presteerde over het algemeen het beste in OOD-scenario's, wat suggereert dat recurrente architecturen met adaptieve rekentijd beter zijn voor compositief redeneren.
  • LLaDA toonde sterke resultaten in bepaalde omgevingen, maar faalde ook bij strenge compositieve tests.
  • Vanilla Transformer en ResNet vertoonden grote dalingen in prestaties bij OOD-taken.
• Foutanalyse: De modellen vertoonden twee hoofdfouten:
  1. ID Bias: Het toepassen van een getrainde transformatie in plaats van de vereiste nieuwe transformatie.
  2. Structurale Compositie Fout: Het falen om een reeks atomaire transformaties te ontleden en opnieuw te combineren voor een nieuwe taak.

Betekenis en Conclusie

Het paper concludeert dat huidige state-of-the-art modellen (inclusief grote foundation modellen en gespecialiseerde vision transformers) nog steeds te veel vertrouwen op statistische patroonherkenning en memorisatie in plaats van echt compositief redeneren.

Kerninzichten:

• Het falen in COGITAO is niet een kwestie van onvoldoende data of modelgrootte (schaalvergroting tot 25M parameters bracht geen significante verbetering).
• Het probleem ligt in de fundamentele architecturale beperkingen om structurele regels te extraheren en toe te passen in nieuwe contexten.
• COGITAO biedt een cruciale, gecontroleerde testomgeving om deze beperkingen te diagnosticeren en de ontwikkeling van modellen te sturen die echt "leren redeneren" in plaats van "leren matchen".

De auteurs positioneren COGITAO niet alleen als een statische benchmark, maar als een platform om de kloof tussen abstracte redenering en real-world visuele interactie te overbruggen, essentieel voor de ontwikkeling van robuuste AI-systemen voor robotica en wereldmodellen.