🤖 AI

Bongards at the Boundary of Perception and Reasoning: Programs or Language?

Cet article introduit une approche neurosymbolique qui combine des modèles de langage de grande taille pour la génération de programmes paramétrés avec l'optimisation bayésienne pour l'ajustement des paramètres afin de résoudre les problèmes de Bongard, comblant ainsi le fossé entre la perception visuelle et le raisonnement abstrait.

Auteurs originaux : Cassidy Langenfeld, Claas Beger, Gloria Geng, Wasu Top Piriyakulkij, Keya Hu, Yewen Pu, Kevin Ellis

Publié 2026-02-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Cassidy Langenfeld, Claas Beger, Gloria Geng, Wasu Top Piriyakulkij, Keya Hu, Yewen Pu, Kevin Ellis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Le défi de l'« énigme visuelle »

Imaginez que l'on vous donne un ensemble de 12 dessins. Six d'entre eux sont « bons » (positifs) et six sont « mauvais » (négatifs). Votre tâche est de découvrir la règle secrète qui sépare les bons des mauvais.

C'est ce qu'on appelle un Problème de Bongard. Il ne s'agit pas de simples puzzles de type « trouver l'intrus ». Les règles peuvent être incroyablement complexes.

Exemple : Peut-être que les images « bonnes » possèdent toutes une forme avec un « cou » horizontal, tandis que les « mauvaises » ont un cou vertical. Ou peut-être que les formes « bonnes » sont « sinueuses », alors que les « mauvaises » sont « lisses ».

L'article pose une grande question : L'intelligence artificielle (IA) peut-elle résoudre ces énigmes comme le font les humains ? Les humains excellent pour observer une situation inédite, inventer un nouveau concept à la volée (comme « cou horizontal ») et l'appliquer. L'IA actuelle est excellente pour reconnaître des choses qu'elle a déjà vues (comme « ceci est un chat »), mais elle a souvent du mal lorsqu'elle doit inventer un nouveau concept à partir de zéro.

Le problème : L'IA est soit trop rigide, soit trop vague

Les chercheurs ont découvert que l'IA possède deux principales façons de réfléchir, et que les deux présentent des défauts face à ces énigmes :

L'approche « Chatbot » (Langage naturel) :
- Comment ça marche : L'IA regarde les images et tente de décrire la règle en mots, comme un détective rédigeant un rapport.
- Le défaut : Elle est douée pour les idées générales, mais manque de précision. Elle peut dire : « Les formes bonnes sont plutôt pointues », mais elle ne peut pas faire la différence entre une forme « légèrement pointue » et une forme « très pointue ». C'est comme un chef qui sait que la recette demande « une pincée de sel », mais qui ne sait pas exactement quelle quantité cela représente.
L'approche « Programmeur » (Code) :
- Comment ça marche : L'IA écrit un programme informatique pour vérifier les images. Elle peut mesurer des distances, des angles et des comptes exacts.
- Le défaut : Elle est excellente pour la précision, mais manque de créativité. Si la règle est « la forme ressemble à un visage triste », un programme informatique peine à définir mathématiquement la « tristesse ». C'est comme un robot capable de mesurer une pièce au millimètre près, mais incapable de comprendre le concept de « douillet ».

La solution : L'équipe des « Traducteurs »

Les auteurs ont construit un nouveau système qui agit comme une équipe de deux spécialistes travaillant ensemble. Ils appellent cela une approche « neurosymbolique » (combinant les réseaux de neurones/IA et la logique symbolique/programmation).

Voici comment fonctionne leur équipe, étape par étape :

Étape 1 : Le générateur d'idées (Le « Chatbot »)

D'abord, ils demandent à une IA puissante (un modèle de vision-langage) de regarder l'énigme et de suggérer quelques règles possibles en langage courant.

Analogie : Imaginez une séance de remue-méninges où un écrivier créatif suggère : « Peut-être que la règle concerne le "cou" de la forme ! »

Étape 2 : Le Traducteur (Le « Programmeur »)

Ensuite, le système prend ces suppositions en anglais (ou en langage naturel) et tente de les transformer en code informatique.

Le rebondissement : L'IA ne se contente pas d'écrire le code ; elle laisse des « blancs » pour les chiffres délicats. Par exemple, si la règle est « des formes avec un cou plus long que X », l'IA écrit le code mais laisse X comme une variable mystère.
Analogie : L'écrivain dit : « Le cou doit être plus long que [BLANK] ». Le programmeur prépare la machine pour mesurer le cou, mais attend la valeur exacte.

Étape 3 : Le Régleur (Optimisation Bayésienne)

C'est la recette secrète. Le système suit un processus de « tâtonnement » (essais et erreurs) pour trouver le chiffre parfait pour ces blancs. Il teste différents nombres (comme 5 pixels, 10 pixels, 15 pixels) pour voir lequel sépare parfaitement les images « bonnes » des images « mauvaises ».

Analogie : Imaginez que vous réglez une radio. Vous savez que la station se trouve quelque part entre 90 et 100, mais vous ne connaissez pas la fréquence exacte. Vous tournez lentement le cadran jusqu'à ce que les parasites disparaissent et que la musique soit parfaite. Le système fait cela mathématiquement pour trouver le point de « coupure » exact de la règle.

Étape 4 : Le Juge (Le Vérificateur)

Enfin, le système vérifie : « Est-ce que ce code fonctionne réellement sur toutes les images d'entraînement ? »

Si le code fonctionne parfaitement, le système accepte la règle.
Si le code échoue, le système retourne vers le « Chatbot » et lui dit : « Cette idée n'a pas fonctionné, essaie encore », et le cycle recommence.

Qu'ont-ils découvert ?

Les chercheurs ont testé cette « Approche d'équipe » contre les meilleurs modèles d'IA disponibles (comme GPT-4o et Claude 3.7) et même contre la performance humaine moyenne.

L'équipe gagne : En combinant la créativité du Chatbot avec la précision du Programmeur, leur système a résolu 51 des 100 problèmes de Bongard.
Battre l'humain : L'humain moyen, dans des études précédentes, résolvait environ 47 problèmes. Leur équipe d'IA en a résolu 51, marquant la première fois qu'une IA surpasse la performance humaine moyenne sur ce test spécifique.
Des forces différentes :
- Quand le problème portait sur la géométrie et les mathématiques (comme « ces lignes sont-elles parallèles ? »), la partie « Programmeur » de l'équipe était la héroïne.
- Quand le problème portait sur des concepts abstraits (comme « cette forme est-elle "ouverte" ou "fermée" ? »), la partie « Chatbot » était la héroïne.
- Lorsqu'ils utilisaient uniquement le Chatbot ou uniquement le Programmeur, ils obtenaient de moins bons résultats. Ils avaient besoin des deux.

Le test de la « Mémorisation »

Les chercheurs craignaient que l'IA ne soit pas en train de « tricher » en mémorisant les réponses d'Internet (puisque ces puzzles sont anciens et populaires). Pour tester cela, ils ont inversé les règles : ils ont dit à l'IA que les images « mauvaises » étaient en fait les « bonnes ». L'IA a tout de même bien performé, prouvant qu'elle ne se contentait pas de réciter des réponses mémorisées, mais qu'elle déduisait réellement la logique.

L'essentiel

Cet article montre que pour résoudre des puzzles visuels difficiles, l'IA ne doit pas seulement essayer de « penser » comme un humain ou de « calculer » comme un ordinateur. Elle doit faire les deux. En laissant une IA créative suggérer des idées et un ordinateur précis les vérifier avec des mathématiques exactes, nous pouvons construire des systèmes qui apprennent de nouveaux concepts visuels presque aussi bien que, et parfois mieux que, les humains.

Résumé technique : Bongards à la frontière de la perception et du raisonnement : Programmes ou Langage ?

Définition du problème

L'article traite du défi que représente la résolution des problèmes de Bongard (BP), un ensemble classique de 100 puzzles de raisonnement visuel à apprentissage par quelques exemples (few-shot) introduits en 1970. Chaque problème se compose de 12 images : six représentant un concept « positif » et six représentant un concept « négatif ». Contra\à des tâches telles que les matrices progressives de Raven, qui reposent sur des séquences logiques fixes, les BP exigent que le solveur perçoive des caractéristiques visuelles inédites « à la volée » et définisse de manière fluide de nouveaux primitifs perceptuels pour distinguer les deux catégories. La difficulté centrale réside dans la frontière entre la perception (identifier des caractéristiques telles que le « cou », la « concavité » ou la « circularité ») et le raisonnement (formuler une règle qui sépare les classes). Bien que les modèles de vision-langage (VLM) excellent dans les tâches visuelles quotidiennes, ils peinent face à la généralisation radicale requise par les BP, échouant souvent à synthétiser les règles géométriques ou conceptuelles précises nécessaires à une solution.

Méthodologie

Les auteurs proposent une approche neurosymbolique qui combine le raisonnement conceptuel de haut niveau des grands modèles de langage (LLM) avec la précision de l'exécution programmatique. Le système opère à travers deux tâches principales : la Vérification (classer une image non utilisée étant donné une règle de vérité terrain) et la Solution (générer la règle à partir de zéro).

Architecture du système

Le système comprend deux composants principaux : un Générateur d'hypothèses et un Vérificateur.

Générateur d'hypothèses :
- Utilise un VLM pour générer des règles candidates en langage naturel.
- Pour améliorer la diversité et la pertinence, le générateur utilise la génération augmentée par récupération (RAG). Il échantillonne des règles basées sur des exemples en contexte tirés de problèmes de Bongard précédents (exploitant le curriculum naturel du jeu de données) et de problèmes aléatoires.
- Pour la tâche de Solution, le générateur produit plusieurs règles candidates ; pour la tâche de Vérification, il prend la règle de vérité terrain comme entrée.
Vérificateur :
- Le vérificateur évalue les règles candidates en utilisant une stratégie hybride qui alterne entre l'Induction de programme et la Transduction (Chaîne de pensée - CoT).
- Induction de programme : Pour une règle donnée, le VLM tente de synthétiser un programme Python paramétré (spécifiquement une méthode classify_image) qui implémente la règle.
  - Programmes paramétrés : Reconnaissant que les seuils numériques exacts (par exemple, définir « allongé » versus « compact ») sont difficiles à deviner pour les LLM, le système traite certaines valeurs comme des paramètres.
  - Optimisation bayésienne : Le système effectue 15 étapes d'optimisation bayésienne pour trouver les valeurs de paramètres qui maximisent la précision du programme sur les exemples d'entraînement.
  - Score : Un programme est accepté s'il atteint un score $\ge 0,9$ sur l'ensemble d'entraînement. Si plusieurs programmes réussissent, le label majoritaire sur l'image de test détermine la sortie.
- Transduction (CoT) : Si aucun programme n'atteint le score requis, le vérificateur retombe sur une approche de Chaîne de pensée (CoT), incitant le VLM à classer directement l'image de test en se basant sur les exemples d'entraînement et la règle proposée.

Configuration expérimentale

Modèles : L'étude évalue GPT-4o et Claude 3.7 Sonnet.
Tâches :
- Vérification : Classer des images données une règle de vérité terrain.
- Solution : Générer la règle en langage naturel correct pour l'ensemble du problème.
- Inversion : Une tâche de contrôle où les exemples positifs et négatifs sont inversés pour tester la mémorisation.
Lignes de base (Baselines) : Les performances sont comparées aux VLM de base (sans synthèse de programme) et aux données de performance humaine précédentes (Wüst et al., 2025).

Principales contributions

Évaluation des VLM de pointe : L'article fournit un benchmark rigoureux de GPT-4o et Claude 3.7 sur les problèmes de Bongard, distinguant leur capacité à vérifier des règles et à les générer de zéro.
Modèle neurosymbolique hybride : Les auteurs introduisent un nouveau modèle qui synthétise des programmes paramétrés parallèlement au raisonnement en langage naturel. Cette approche tire parti de la capacité du VLM à générer des concepts de haut niveau et de la capacité du programme à effectuer des calculs géométriques exacts et l'ajustement de paramètres.
Comparaison Humain-Modèle : L'étude analyse les données humaines pour comparer les forces et faiblesses des VLM et du modèle hybride proposé par rapport au comportement humain, identifiant les catégories spécifiques où les modèles réussissent ou échouent par rapport aux humains.

Résultats

Performance de Vérification :
- Claude 3.7 a démontré une forte performance, atteignant une précision de 86,5 % en combinant la vérification programmatique et le raisonnement CoT.
- L'approche hybride (« + les deux ») a surpassé l'utilisation des programmes seuls ou du CoT seul, particerlement dans les catégories Spatiale et Conceptuelle. La vérification programmatique excellait dans les problèmes spatiaux et de similitude, tandis que le CoT était supérieur pour les problèmes conceptuels de haut niveau et numériques.
- GPT-4o a montré un écart plus important entre la performance programmatique et celle du CoT, le CoT surpassant généralement la synthèse de programme, ce qui suggère que l'efficacité de l'approche hybride dépend des capacités de génération de code du modèle sous-jacent.
Performance de Solution :
- Le système complet utilisant Claude 3.7 comme générateur d'hypothèses a résolu 51 des 100 problèmes.
- Ce résultat dépasse la performance humaine moyenne rapportée par Wüst et al. (2025), qui était d'environ 47 solutions correctes.
- GPT-4o a résolu 31 problèmes avec la méthode hybride, une amélioration par rapport à sa ligne de base mais restant en dessous des moyennes humaines.
Test de Mémorisation : La tâche d'« Inversion » a montré que l'inversion des labels positifs et négatifs avait peu d'impact sur la performance du modèle, suggérant que les modèles ne font pas simplement mémoriser des solutions de problèmes spécifiques, mais s'engagent dans un véritable raisonnement.

Signification et affirmations

L'article affirme que combiner le langage naturel et les programmes formels permet aux systèmes d'IA de raisonner plus précisément sur les concepts visuels que l'un ou l'autre des deux médiums seuls. En générant des concepts en langage et en les implémentant en code, le système comble le fossé entre la « perception » (identification des caractéristiques) et le « raisonnement » (application de la logique) requis par les problèmes de Bongard.

Les auteurs déclarent que leur système, à leur connaissance, a pour la première fois dépassé la précision humaine moyenne sur les problèmes de Bongard. Ils présentent cela non pas comme une solution finale au raisonnement visuel général, mais comme une étape vers des systèmes d'IA capables d'« acquérir et d'utiliser de nouveaux concepts perceptuels de manière semblable à l'humain ». Ce travail souligne que, bien que les VLM possèdent de vastes connaissances pré-entraînées, ils nécessitent la précision de l'exécution programmatique pour gérer les nuances géométriques et paramétriques des puzzles visuels abstraits. L'étude conclut que la nature complémentaire de l'induction (synthèse de programme) et de la transduction (CoT) est essentielle pour aborder les tâches complexes d'apprentissage de concepts à la frontière de la perception et du raisonnement.