Bongard-RWR+: Real-World Representations of Fine-Grained Concepts in Bongard Problems

Cet article présente Bongard-RWR+, un jeu de données étendu à 5 400 instances générées par une IA pour évaluer la capacité des modèles de vision-linguistique à raisonner sur des concepts visuels fins dans des problèmes de Bongard, révélant ainsi leurs limites actuelles face à la complexité des scènes réelles.

L'essentiel

🧩 Le Défi : Le Jeu des "Paires Mystères"

Imaginez un jeu de cartes très spécial, inventé il y a longtemps par un homme nommé Bongard. On vous montre deux rangées de six images chacune.

• À gauche, les images partagent un secret commun (par exemple : "tous les objets sont ronds").
• À droite, les images partagent un autre secret (par exemple : "tous les objets sont carrés").

Votre mission ? Deviner la règle cachée qui sépare les deux rangées, puis l'expliquer avec des mots. C'est un test de logique visuelle pure, un peu comme un QI visuel.

🤖 Le Problème : Les Robots sont Trop "Bêtes" (ou trop intelligents ?)

Jusqu'à récemment, les chercheurs testaient les intelligences artificielles (IA) avec des dessins simples, noirs et blancs, faits à l'ordinateur. C'était trop facile : l'IA apprenait à reconnaître des formes géométriques basiques.

Ensuite, on a essayé avec de vraies photos (des chats, des voitures, des paysages). Mais là, l'IA trichait un peu : elle reconnaissait le mot "chat" ou "voiture" sans vraiment comprendre la règle logique derrière (par exemple, "tous les chats regardent à gauche").

Les chercheurs voulaient un juste milieu : des vraies photos (pour que ce soit réaliste) mais avec des règles abstraites et subtiles (pour forcer l'IA à réfléchir vraiment).

🏗️ La Solution : L'Usine à Images Magique (Bongard-RWR+)

Le problème ? Créer 5 400 de ces énigmes à la main prendrait des années. C'est là qu'intervient l'équipe de l'article avec leur nouvelle création : Bongard-RWR+.

Voici comment ils ont construit cette usine à énigmes, étape par étape, comme une recette de cuisine :

1. Le Chef Dessinateur (IA de Texte vers Image) : Ils ont pris les anciennes énigmes abstraites et demandé à une IA très puissante (un modèle de génération d'images) de créer de nouvelles photos qui respectent la règle.
   • Exemple : Si la règle est "les lignes verticales", l'IA doit dessiner un gratte-ciel, un arbre, un poteau, etc., mais pas de maison ou de voiture.
2. Le Traducteur (IA d'Image vers Texte) : Une autre IA regarde chaque photo et écrit une description précise.
   • Exemple : "Un gratte-ciel bleu au centre de la ville."
3. L'Amplificateur : Ils demandent à une IA de réécrire cette description de 15 façons différentes pour avoir beaucoup de variété (un gratte-ciel rouge, un arbre en hiver, un poteau électrique...).
4. Le Contrôleur de Qualité (Humains) : C'est l'étape cruciale. Des humains regardent les images générées. Si l'IA a fait une erreur (par exemple, elle a dessiné un poteau qui penche alors que la règle était "vertical"), l'image est jetée à la poubelle.

Résultat : 5 400 nouvelles énigmes prêtes à l'emploi, avec des photos qui ressemblent au monde réel, mais qui testent une logique pure.

🧪 Le Test : Comment les IA se débrouillent-elles ?

Les chercheurs ont mis au défi les meilleures IA du moment (comme GPT-4V, LLaVA, etc.) avec ces nouvelles énigmes. Voici ce qu'ils ont découvert, et c'est assez surprenant :

• Les IA sont de bonnes "étiqueteuses" : Si on leur demande "Est-ce que c'est un chat ou un chien ?", elles sont excellentes.
• Les IA sont de mauvaises "détectives" : Dès qu'il faut trouver une règle subtile (comme "tous les objets pointent vers le nord" ou "les lignes sont courbes"), elles échouent lamentablement. Elles tombent souvent dans le piège de la "première impression".
• L'effet "Plus on a d'exemples, mieux c'est" : Quand on donne plus d'exemples à l'IA (au lieu de 2 images, on lui en donne 6), elle comprend un peu mieux, mais reste loin de la performance humaine.
• Le paradoxe du texte : Curieusement, si on transforme les images en texte (en décrivant les photos) et qu'on demande à l'IA de lire la description pour trouver la règle, elle réussit parfois mieux ! Cela suggère que les IA sont meilleures pour raisonner avec des mots que pour "voir" les relations cachées dans une image.

💡 La Conclusion : Il reste du pain sur la planche

Ce papier nous dit une chose importante : nos intelligences artificielles actuelles sont très fortes pour reconnaître des objets, mais elles sont encore très faibles pour le "raisonnement abstrait".

Elles peuvent voir un arbre, mais elles ont du mal à comprendre pourquoi cet arbre, avec un autre, forme une paire logique avec une règle précise. C'est comme si elles avaient un excellent œil de photographe, mais un cerveau de détective qui s'endort au premier indice subtil.

En résumé : Les chercheurs ont créé un nouveau terrain de jeu géant et réaliste pour les IA. Ils ont montré que même les robots les plus avancés ont encore beaucoup de mal à penser comme des humains face à des énigmes visuelles complexes. C'est un défi passionnant pour l'avenir de l'intelligence artificielle !

Résumé technique

1. Problématique et Contexte

Les Problèmes de Bongard (BP) constituent un test fondamental pour le raisonnement visuel abstrait (AVR). Ils consistent à identifier une règle abstraite qui sépare deux ensembles d'images (généralement 6 images de chaque côté) et à la formuler en langage naturel.

L'article identifie plusieurs limites dans les benchmarks existants :

• Benchmarks synthétiques (ex: Bongard-LOGO) : Bien qu'ils permettent un apprentissage à peu d'exemples (few-shot), les dessins noirs et blancs ne capturent pas la complexité des scènes réelles.
• Benchmarks réels (ex: Bongard HOI, OpenWorld) : Ils utilisent de vraies images, mais les concepts sont souvent grossiers (ex: "personne conduisant une voiture") et identifiables via des caractéristiques de haut niveau, réduisant la complexité du raisonnement.
• Bongard-RWR (précédent) : A tenté de représenter des concepts abstraits synthétiques avec des images réelles, mais sa construction manuelle a limité la taille du jeu de données à seulement 60 instances, rendant l'évaluation peu robuste.

Le défi principal : Créer un jeu de données à grande échelle qui combine la complexité des concepts abstraits (comme dans les BP originaux) avec la richesse visuelle du monde réel, tout en permettant une évaluation robuste des capacités de raisonnement des modèles actuels.

2. Méthodologie : Le Pipeline de Génération

Les auteurs introduisent Bongard-RWR+, un nouveau benchmark composé de 5 400 instances, généré via un pipeline semi-automatisé exploitant des modèles de langage visuel (VLM) et de génération d'images.

Le processus de génération suit quatre étapes clés (illustrées dans la Figure 3 du papier) :

1. Description Image-to-Text (I2T) : Pour chaque image d'un BP original (Bongard-RWR), le modèle Pixtral-12B génère deux descriptions textuelles :
   • Une description positive ($L^+$) décrivant fidèlement le contenu selon le concept de la face.
   • Une description négative ($L^-$) conçue pour éloigner le modèle de génération du concept opposé.
2. Augmentation Text-to-Text (T2T) : Chaque description positive est augmentée par un modèle T2T pour créer $N=15$ variations textuelles distinctes tout en préservant le concept sous-jacent. Cela permet de diversifier les scènes générées.
3. Génération Image Text-to-Image (T2I) : Le modèle Flux.1-dev synthétise des images (512x512) à partir des descriptions augmentées et des prompts négatifs correspondants.
4. Validation Humaine : Une étape cruciale de filtrage manuel est effectuée. Deux annotateurs experts vérifient que les images générées reflètent fidèlement le concept visé sans introduire d'éléments du concept opposé. Environ 30,2 % des images générées sont rejetées pour non-conformité.

Construction des Matrices :
À partir des images validées, les auteurs construisent des matrices de Bongard en sélectionnant des sous-ensembles d'images pour maximiser la diversité visuelle (en minimisant la similarité cosinus des embeddings ViT-L/14). Pour chaque concept original, 100 nouvelles matrices sont générées.

Variantes du Dataset :

• Bongard-RWR+/GS : Version en niveaux de gris pour isoler l'impact de la couleur.
• Bongard-RWR+/LP : Variantes avec un nombre variable d'images par face ($P=2$ à $6$) pour étudier l'apprentissage par démonstration.

3. Formulations des Tâches d'Évaluation

Le papier évalue les modèles sur six formulations de tâches, allant du plus simple au plus complexe :

1. Classification Binaire (I1S, I2S) : Assigner une ou deux images de test à la bonne face (Gauche/Droite).
2. Classification par Description (D1S, D2S) : Convertir les images en texte (via un I2T) puis classer les descriptions.
3. Sélection de Concept (CS) : Choisir le bon concept parmi un ensemble de candidats ($K \in \{2, 4, 8, 16\}$).
4. Génération de Concept (CG) : Générer une description textuelle libre du concept sous-jacent.

4. Résultats Expérimentaux

Les auteurs ont évalué quatre VLMs state-of-the-art (SOTA) : InternVL2.5 78B, Qwen2-VL 72B, LLaVA-Next 110B, et MiniCPM-o 2.6 8B.

Principales découvertes :

• Difficulté des concepts fins : Bien que les modèles réussissent à identifier des concepts grossiers (ex: taille, nombre), ils échouent systématiquement sur des concepts fins et subtils (ex: contours précis, rotations, angles, courbures).
  • Pour la tâche de sélection de concept avec $K=16$ (difficulté maximale), InternVL2.5 atteint 57 % de précision, tandis que les autres modèles chutent autour de 19-20 %.
  • Les concepts basés sur des relations spatiales précises (Rotation, Angle) et des détails de contour sont les plus difficiles.
• Limites de l'échelle des modèles : La performance augmente avec la taille du modèle, mais même les plus grands modèles (110B+) restent loin de la performance humaine sur les tâches les plus difficiles.
• Impact de la génération d'images : Les performances sur les images générées (Bongard-RWR+) sont fortement corrélées ($r > 0.99$) à celles sur les images réelles (Bongard-RWR), validant l'approche de génération pour l'évaluation du raisonnement visuel.
• Rôle de la couleur : L'utilisation d'images en niveaux de gris (GS) n'a pas dégradé la performance, et l'a parfois améliorée, confirmant que les concepts sont structurels et non dépendants de la couleur.
• Diversité visuelle : Les matrices avec une plus grande diversité visuelle (images très différentes pour un même concept) facilitent la reconnaissance du concept, suggérant que la répétition visuelle peut induire en erreur les modèles.
• Génération de texte : La tâche de génération libre de concepts (CG) est un échec majeur pour tous les modèles, avec des scores BLEU/ROUGE très faibles, indiquant une incapacité à articuler des règles abstraites complexes.

5. Contributions Clés

1. Pipeline Semi-Automatisé : Développement d'une méthode scalable combinant I2T, T2T et T2I pour générer des représentations réalistes de concepts abstraits, réduisant la dépendance à l'annotation manuelle massive.
2. Bongard-RWR+ : Introduction d'un nouveau benchmark de 5 400 matrices, offrant une échelle sans précédent pour évaluer le raisonnement visuel abstrait avec des images réalistes.
3. Analyse des Limites des VLMs : Démonstration empirique que les VLMs actuels, malgré leurs progrès, peinent à généraliser au-delà des heuristiques de haut niveau pour comprendre les relations géométriques et structurelles fines.
4. Évaluation Multitâche : Une évaluation complète couvrant la classification, la sélection et la génération, fournissant une vue d'ensemble des forces et faiblesses des modèles.

6. Signification et Impact

Ce travail met en lumière un fossé critique dans les capacités de raisonnement des modèles multimodaux actuels. Alors que les VLMs excellent dans la reconnaissance d'objets et la compréhension de scènes générales, ils échouent sur des tâches nécessitant une abstraction fine et une comparaison contextuelle précise, compétences pourtant naturelles pour l'intelligence humaine.

Bongard-RWR+ sert de test rigoureux pour mesurer les progrès futurs en matière de raisonnement visuel. Il suggère que l'augmentation simple de la taille des modèles ou des données d'entraînement ne suffit pas ; des architectures capables d'intégrer une logique symbolique et une perception visuelle fine sont nécessaires. De plus, la validation de l'efficacité des images générées ouvre la voie à la création de benchmarks massifs pour d'autres domaines du raisonnement artificiel.