COGITAO: A Visual Reasoning Framework To Study Compositionality & Generalization

Le papier présente COGITAO, un cadre de génération de données et un benchmark open-source inspiré d'ARC-AGI conçu pour étudier systématiquement la compositionnalité et la généralisation dans le raisonnement visuel, révélant ainsi les limites actuelles des modèles d'apprentissage automatique face à de nouvelles combinaisons d'éléments familiers.

L'essentiel

🧩 COGITAO : Le "Terrain de Jeu" pour tester l'intelligence artificielle

Imaginez que vous apprenez à un enfant à cuisiner. Vous lui montrez comment couper une carotte (transformation 1) et comment éplucher une pomme (transformation 2).
Si l'enfant est vraiment intelligent, il devrait pouvoir, sans que vous ayez besoin de lui montrer, couper une pomme ou éplucher une carotte. Il a compris les règles de base et sait les combiner.

C'est ce qu'on appelle la généralisation compositionnelle. C'est la capacité de prendre des idées simples apprises séparément et de les assembler pour résoudre de nouveaux problèmes.

Les humains font cela naturellement. Les intelligences artificielles (IA), même les plus avancées, ont encore beaucoup de mal. Elles ont tendance à "mémoriser" les recettes plutôt qu'à comprendre la logique de la cuisine.

Pour prouver ce problème, les chercheurs ont créé COGITAO.

🎮 C'est quoi COGITAO ?

COGITAO est comme un jeu vidéo de logique ultra-simplifié, un peu comme un puzzle sur une grille (un tableau de cases).

• Le décor : Des grilles avec des objets colorés (des carrés, des formes bizarres).
• Les règles : Il existe 28 "super-pouvoirs" simples que l'on peut appliquer aux objets : les déplacer, les tourner, les copier, changer leur couleur, etc.
• Le but : L'IA reçoit une grille de départ et une liste de super-pouvoirs à appliquer dans un ordre précis. Elle doit deviner à quoi ressemblera la grille finale.

La grande astuce de COGITAO :
Les chercheurs peuvent créer des millions de niveaux différents en mélangeant ces 28 super-pouvoirs.

• Ils entraînent l'IA sur des niveaux simples (ex: "déplacer vers le haut").
• Ensuite, ils la testent sur des niveaux qu'elle n'a jamais vus, mais qui utilisent les mêmes super-pouvoirs (ex: "déplacer vers le haut ET tourner").

C'est comme si on entraînait un chien à donner la patte, puis on lui demandait de donner la patte en sautant. S'il comprend le concept de "donner la patte", il devrait réussir.

🤖 Ce que les chercheurs ont découvert

Ils ont pris les IA les plus modernes et les plus intelligentes (les modèles qui écrivent des textes, voient des images, etc.) et les ont mises au défi sur COGITAO.

Le résultat est surprenant et un peu décevant :
Même si ces IA sont brillantes dans leur domaine habituel, elles échouent lamentablement sur COGITAO quand il s'agit de combiner des règles nouvelles.

• L'IA "têtue" : Si l'IA a appris à déplacer un objet vers la droite pendant l'entraînement, et qu'on lui demande de le déplacer vers la gauche (une règle qu'elle connaît mais dans un contexte nouveau), elle continue souvent de le déplacer vers la droite par habitude. Elle ne "pense" pas vraiment, elle suit des motifs appris.
• Le problème de la profondeur : Si on lui demande d'appliquer une séquence de 3 actions au lieu de 2, elle s'embrouille complètement. Elle ne parvient pas à décomposer le problème en petites étapes logiques.

🔍 Pourquoi est-ce important ?

Imaginez que vous voulez créer un robot pour aider dans une maison ou une usine.

• Si le robot apprend à ranger une tasse, il devrait pouvoir ranger une assise, puis ranger une tasse ET une assise ensemble.
• Si le robot ne fait que "mémoriser" des situations précises, il sera perdu dès qu'il rencontrera une situation légèrement différente.

COGITAO nous dit : "Arrêtez de croire que plus on donne de données à l'IA, plus elle deviendra intelligente."
Ces modèles actuels sont comme des perroquets très savants : ils répètent ce qu'ils ont entendu, mais ils ne comprennent pas vraiment la structure de la pensée.

🚀 La solution ?

Les chercheurs pensent qu'il faut changer la façon dont on construit les IA. Au lieu de simplement leur montrer des millions d'exemples, il faut leur donner des "briques de construction" logiques, un peu comme on apprend à un enfant à assembler des Lego.

COGITAO est donc un outil de diagnostic. Il permet de voir exactement où l'IA bloque : est-ce qu'elle ne comprend pas les objets ? Est-ce qu'elle ne comprend pas l'ordre des actions ? Est-ce qu'elle ne sait pas combiner les deux ?

En résumé

• Le problème : Les IA actuelles sont mauvaises pour combiner des règles simples pour résoudre de nouveaux problèmes.
• L'outil : COGITAO est un générateur de puzzles infinis pour tester cette capacité.
• La leçon : Pour avoir une vraie intelligence (comme celle des humains), il ne suffit pas d'avoir beaucoup de données. Il faut une architecture capable de "penser" par composition, pas juste par mémorisation.

C'est un appel à construire des IA qui ne se contentent pas de "regarder" le monde, mais qui comprennent comment les pièces du puzzle s'assemblent.

Résumé technique

1. Problématique

La capacité à composer des concepts appris et à les appliquer dans de nouveaux contextes (généralisation compositionnelle et systématique) est une pierre angulaire de l'intelligence humaine. Cependant, les modèles d'apprentissage automatique de pointe (SOTA) peinent toujours à maîtriser cette compétence.

Les benchmarks existants dans le domaine de la vision par ordinateur souffrent de plusieurs limitations par rapport à leurs équivalents linguistiques (comme SCAN ou COGS) :

• Manque de flexibilité : Ils offrent un contrôle limité sur la structure compositionnelle.
• Complexité visuelle confondue : Ils mélangent souvent la complexité visuelle avec la structure relationnelle, ce qui rend difficile l'isolement des capacités de raisonnement pur.
• Génération de données : Il est difficile de générer procéduralement des données visuelles avec une fidélité de tâche suffisante pour tester spécifiquement la généralisation.

L'objectif est donc de créer un environnement contrôlé pour évaluer si les modèles peuvent réellement comprendre et recomposer des règles abstraites, au-delà de la simple reconnaissance de motifs ou de la mémorisation.

2. Méthodologie : Le Framework COGITAO

Les auteurs introduisent COGITAO (Compositional Generalization In Transformations And Objects), un générateur de données procédural et centré sur les objets.

Principes de base

• Environnement : Des grilles de pixels (similaires à l'ARC-AGI) contenant des objets discrets.
• Atomes de transformation : Le système repose sur un ensemble de 28 transformations atomiques interchangeables (ex: translation, rotation à 90°, miroir, recadrage, changement de couleur, duplication, remplissage, etc.).
• Règles de génération :
  1. Chaque transformation doit être composable avec toutes les autres.
  2. Chaque transformation doit modifier l'objet d'une manière non équivalente systématiquement à une combinaison d'autres transformations (pour éviter la redondance).
• Génération de tâches : Le générateur crée des séquences de transformations appliquées à des objets sur une grille. Il peut générer des millions de règles uniques avec une profondeur de composition arbitraire (nombre de transformations séquentielles).
• Extensions :
  • COGITAO-RGB : Rendu d'images RGB réalistes (128x128) pour tester le transfert vers la vision naturelle.
  • Sequential-COGITAO : Séquences d'images intermédiaires pour la recherche sur les modèles du monde (World Models).

Protocole d'évaluation

L'évaluation se fait selon deux axes principaux en variant les paramètres entre l'entraînement et le test :

1. Généralisation Compositionnelle (CompGen) : Le modèle est entraîné sur des séquences de transformations spécifiques (ex: A+B) et testé sur des combinaisons inédites utilisant les mêmes atomes (ex: B+A, ou A+B+C).
2. Généralisation Environnementale (EnvGen) : Le modèle est testé sur des variations de l'environnement (nombre d'objets, taille de la grille, complexité des objets, couleurs) avec une séquence de transformation fixe.

3. Contributions Clés

1. Framework COGITAO : Un générateur procédural capable de produire des millions de tâches uniques et contrôlables, surpassant les jeux de données existants de plusieurs ordres de grandeur.
2. Benchmarks et Données : Publication de plusieurs jeux de données de référence ciblant des aspects spécifiques de la généralisation, permettant une expérimentation reproductible et évolutive.
3. Extensions vers le réel : Introduction de rendus RGB et de séquences temporelles pour connecter la recherche sur les grilles abstraites à la vision naturelle et aux modèles du monde.
4. Évaluation des modèles SOTA : Mise en place de baselines cohérentes avec des architectures variées (Transformers standards, Transformers centrés sur les objets, modèles récurrents, modèles de diffusion) pour démontrer les limites actuelles.

4. Résultats Expérimentaux

Les auteurs ont évalué quatre architectures principales (environ 1 million de paramètres chacune) :

• Vanilla Transformer (TF)
• Grid Transformer (Grid-TF) : Adapté avec des encodages de position d'objets et des tokens de registre.
• Pondering Looped Transformer (PL-TF) : Architecture récurrente avec temps de calcul adaptatif (inspirée de PonderNet).
• LLaDA : Modèle de langage basé sur la diffusion.

Constats principaux :

• Performance In-Domain (ID) : Les modèles, en particulier Grid-TF et PL-TF, obtiennent de bonnes performances sur les tâches de la distribution d'entraînement (souvent >80-90% de précision).
• Échec en Out-of-Distribution (OOD) : Tous les modèles échouent systématiquement à généraliser aux combinaisons inédites.
  • Dans les études CompGen, la précision chute souvent à 0% sur les combinaisons non vues, même si les atomes individuels sont maîtrisés.
  • Dans les études EnvGen, la performance se dégrade significativement avec l'augmentation de la complexité (plus d'objets, plus grande grille).
• Comparaison des architectures :
  • Le PL-TF montre les meilleurs résultats en OOD (notamment sur la complexité des objets et la composition), suggérant que les biais inductifs de récurrence et de temps de calcul adaptatif aident à la composition.
  • Le Grid-TF est le plus stable en ID mais échoue aussi en OOD.
  • Le Vanilla TF et le ResNet montrent des chutes drastiques de performance.
• Analyse des échecs : Deux modes d'échec dominants sont identifiés :
  1. Biais In-Domain (ID Bias) : Le modèle applique une transformation vue pendant l'entraînement même si la tâche OOD demande autre chose.
  2. Échec de composition structurelle : Le modèle ne parvient pas à décomposer une séquence complexe pour recomposer les atomes dans un nouvel ordre.

Des expériences supplémentaires sur des modèles de fondation (LLMs via In-Context Learning) confirment ces échecs, indiquant que le problème n'est pas résolu par la simple mise à l'échelle (scaling) des données ou des modèles.

5. Signification et Impact

• Diagnostic précis : COGITAO permet d'isoler les capacités de raisonnement compositionnel de la complexité visuelle, prouvant que les modèles actuels reposent davantage sur l'appariement de motifs (pattern matching) que sur une compréhension structurelle systématique.
• Défi pour l'IA : Les résultats soulignent que malgré les progrès récents, les architectures de pointe ne possèdent pas encore les mécanismes nécessaires pour une généralisation systématique, un prérequis pour une intelligence artificielle robuste et adaptable.
• Futur de la recherche : Ce framework offre une plateforme idéale pour développer de nouveaux biais inductifs, tester l'apprentissage par curriculum, et explorer comment les modèles peuvent apprendre à "apprendre" (meta-learning) des opérations primitives.

En résumé, COGITAO établit un nouveau standard pour évaluer la véritable intelligence compositionnelle en vision, démontrant que le fossé entre la performance en domaine connu et la capacité à généraliser à des combinaisons nouvelles reste un défi majeur non résolu pour l'IA actuelle.