💻 computer science

Neurosymbolic Object-Centric Learning with Distant Supervision

L'article présente DeepObjectLog, un modèle neurosymbolique probabiliste qui apprend des représentations centrées sur les objets directement à partir d'étiquettes de tâches globales par supervision lointaine, permettant une généralisation supérieure hors distribution sur des tâches de raisonnement visuel sans nécessiter d'annotations par objet.

Auteurs originaux : Stefano Colamonaco, David Debot, Giuseppe Marra

Publié 2026-05-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Stefano Colamonaco, David Debot, Giuseppe Marra

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment résoudre un problème de mathématiques, mais que vous ne lui montrez que la réponse finale, sans les étapes ni les nombres individuels.

Par exemple, vous montrez au robot une image sur laquelle sont griffonnés un « 3 » et un « 4 », et vous lui dites : « La réponse est 7. » Vous ne dites pas au robot où se trouve le 3, où se trouve le 4, ni même combien de nombres il y a dans l'image. Vous lui donnez simplement l'image et la somme finale.

Tel est le défi que relève l'article. La plupart des modèles d'IA sont comme des élèves qui mémorisent la clé de correction mais ne savent pas réellement faire les calculs si les nombres changent. Ils éprouvent des difficultés lorsque l'image contient un nombre différent d'éléments ou une nouvelle combinaison d'objets.

Le Problème : La « Boîte Noire » contre le « Puzzle Logique »

L'IA actuelle se divise en deux camps, tous deux comportant des défauts :

Les Réseaux de Neurones Purs (La Boîte Noire) : Ils sont excellents pour reconnaître des motifs, mais terribles en raisonnement. Si vous les entraînez à additionner deux nombres, ils pourraient apprendre à reconnaître la forme de la somme « 7 » plutôt qu'à réellement additionner 3 + 4. Si vous leur montrez 4 + 3, ils pourraient être confus car le motif ressemble légèrement différemment.
L'IA Neurosymbolique (Le Puzzle Logique) : Ces modèles utilisent des règles logiques strictes (comme « Si A + B = C »). Ils sont excellents en raisonnement, mais ils ont généralement besoin qu'un humain leur indique exactement où se trouvent les objets au préalable. Ils ne peuvent pas regarder une photo désordonnée et dire : « Ah, il y a un 3 ici et un 4 là-bas. » Ils ont besoin que les objets soient pré-découpés et leur soient remis.

La Solution : DeepObjectLog (Le Détective)

Les auteurs ont créé un nouveau système appelé DeepObjectLog. Imaginez-le comme un détective qui apprend à résoudre une énigme en observant la scène de crime et le verdict final, sans qu'on lui dise qui sont les suspects.

Voici comment cela fonctionne, en utilisant une analogie simple :

1. Le Système de « Slots » (La Loupe du Détective)
Imaginez que l'IA possède un ensemble de « slots » invisibles ou de loupes qu'elle peut placer n'importe où sur une image. Elle ne sait pas combien d'objets il y a, alors elle déploie, disons, 5 loupes.

Certaines loupes se posent sur un « 3 ».
D'autres se posent sur un « 4 ».
D'autres se posent sur un espace vide du fond.

2. La Question de « l'Objectité » (Est-ce un suspect ?)
Pour chaque loupe, l'IA se demande : « Est-ce vraiment un objet, ou juste du bruit de fond ? »

S'il s'agit du fond, l'IA dit : « Ignorez celui-ci. »
S'il s'agit d'un objet, elle dit : « C'est un suspect ! » et tente de deviner ce qu'il est (par exemple : « Cela ressemble à un 3 »).

3. La « Couche Logique » (Le Juge)
C'est la partie magique. L'IA prend toutes ses hypothèses (« Le suspect A est un 3, le suspect B est un 4, le suspect C n'est rien ») et les soumet à un programme logique strict (comme un manuel de règles mathématiques).

Le manuel dit : « Si vous additionnez les nombres des vrais suspects, le résultat doit correspondre à la réponse finale que nous avons reçue (7). »
Si l'IA a fait une mauvaise hypothèse (par exemple, elle pensait que le fond était un 5), les mathématiques ne donnent pas 7. La couche logique dit : « Cela n'a pas de sens », et envoie un signal de retour au détective pour qu'il change d'avis.

4. Apprendre de l'Erreur
Encore et encore, l'IA ajuste ses loupes. Elle apprend que lorsque la réponse finale est 7, elle doit trouver un 3 et un 4. Elle apprend à ignorer le bruit de fond car son inclusion fausse les mathématiques.

Pourquoi C'est une Grande Nouvelle

L'article affirme que cette approche est supérieure car elle apprend la structure plutôt que la simple mémorisation.

Généralisation (Le Test du « Nouvel Énigme ») : Si vous entraînez l'IA sur des images contenant 2 ou 3 nombres, puis que vous lui montrez une image avec 5 nombres, elle peut toujours la résoudre. Pourquoi ? Parce qu'elle a appris la règle de l'addition, et non simplement le motif de « deux nombres ». Elle peut activer plus de « loupes » pour gérer les nombres supplémentaires.
Aucune Étiquette Nécessaire : L'IA n'avait pas besoin qu'un humain dessine des cadres autour des nombres. Elle a déterminé où se trouvaient les objets simplement en essayant de satisfaire la réponse finale.
Mieux que les Modèles à « Gros Cerveau » : Les auteurs ont testé leur système contre des modèles d'IA massifs et pré-entraînés (comme ceux qui discutent avec vous). Même ces énormes modèles ont eu du mal avec ce puzzle logique spécifique, donnant des réponses incorrectes. DeepObjectLog, qui est beaucoup plus petit et spécialisé, a eu raison 90 % du temps.

La Conclusion

DeepObjectLog revient à enseigner à un enfant à faire des mathématiques en lui montrant la clé de correction et en lui laissant trouver les nombres lui-même. En combinant la capacité à « voir » les objets (perception) avec la capacité à « vérifier les calculs » (logique), l'IA apprend à comprendre le monde d'une manière flexible, logique, qui ne se brise pas lorsque la situation change.

L'article montre que cela fonctionne sur des tâches telles que l'addition de nombres, la reconnaissance de mains de poker et le comptage d'objets dans des scènes complexes, prouvant que l'IA peut apprendre à « réfléchir » sur les objets même lorsqu'on ne lui dit pas exactement ce que sont ces objets.

Résumé technique : Apprentissage neurosymbolique centré sur les objets avec supervision lointaine

Énoncé du problème

Les systèmes d'IA neurosymbolique actuels font face à un goulot d'étranglement critique : bien qu'ils puissent efficacement utiliser des règles symboliques pour superviser des concepts latents à partir d'étiquettes faibles, ils supposent généralement que les entités (objets) référencées par ces règles sont déjà spécifiées. À l'inverse, les modèles d'apprentissage centré sur les objets peuvent décomposer les images en représentations de type « slot », mais échouent souvent à aligner ces slots avec les prédicats spécifiques requis pour le raisonnement symbolique, en particulier lorsque la supervision au niveau de l'objet (par exemple, masques, boîtes englobantes ou étiquettes par objet) n'est pas disponible.

Ce papier aborde le défi de l'apprentissage neurosymbolique centré sur les objets sous supervision lointaine. Le problème central est défini comme l'apprentissage d'un modèle où :

Entrée : Un ensemble de données de paires image-étiquette $(x, y)$ où les images peuvent contenir un nombre inconnu d'objets, mais aucune annotation n'existe pour l'identité, la localisation ou la classe de l'objet.
Contrainte : Un programme logique probabiliste $L$ est fourni, spécifiant comment les prédicats latents au niveau de l'objet (par exemple, objectivité et classe) déterminent l'étiquette globale $y$ .
Objectif : Apprendre un modèle neurosymbolique qui infère la structure centrée sur les objets (quelles parties de l'image sont des objets et ce qu'ils sont) directement à partir de l'étiquette de tâche globale, permettant ainsi à la couche symbolique de contraindre la couche perceptuelle sans supervision explicite au niveau de l'objet.

Méthodologie : DeepObjectLog

Les auteurs proposent DeepObjectLog, une architecture neurosymbolique probabiliste qui intègre un encodeur perceptuel basé sur des slots avec une couche de logique probabiliste. Le modèle est entraîné de bout en bout en utilisant un objectif de Maximum A Posteriori (MAP) avec une inférence amortie.

1. Modèle graphique probabiliste

Le modèle définit une distribution conjointe sur l'image $x$ , l'étiquette de tâche $y$ , et des variables latentes incluant la représentation de la scène $z$ , les représentations de slots $s$ , les probabilités d'objectivité $\beta$ , les indicateurs d'objectivité $o$ , et les étiquettes de classe $c$ .

Encodeur : Un mécanisme d'attention de type Slot extrait jusqu'à $N$ représentations de slots latents $s_i$ de l'image.
Détecteur d'objets et classifieur : Pour chaque slot, le modèle prédit :
- Une probabilité d'objectivité $\beta_i \in [0, 1]$ , représentant l'incertitude que le slot corresponde à un objet significatif.
- Une distribution de classe $p(c_i | s_i, \beta_i)$ , conditionnée par l'objectivité.
- L'indicateur d'objectivité $o_i$ est modélisé comme une variable de Bernoulli avec le paramètre $\beta_i$ .
Masquage doux : Pour réduire l'influence des slots d'arrière-plan ou spuriaires, la représentation du slot est multipliée élément par élément par son score d'objectivité $\beta_i$ avant d'être transmise au classifieur et au décodeur.

2. Raisonnement logique probabiliste

Le composant symbolique utilise ProbLog, un cadre de programmation logique probabiliste.

Faits probabilistes : Les indicateurs d'objectivité $o_i$ et les assignations de classe $c_i$ sont traités comme des faits probabilistes (par exemple, $p::object(i)$).
Règles : Des règles logiques définissent comment ces faits se combinent pour déterminer l'étiquette de tâche $y$ (par exemple, $add(Z) \leftarrow digit(1, Y1), digit(2, Y2), Z \text{ est } Y1 + Y2$ ).
Marginalisation : La vraisemblance de l'étiquette observée $y$ est calculée en marginalisant sur toutes les assignations possibles d'objectivité et de classe. Cela permet au système de calculer un signal d'apprentissage au niveau de la tâche différentiable sans nécessiter d'échantillonnage discret ni de pertes d'appariement d'ensembles heuristiques (comme la perte hongroise).

3. Objectif d'apprentissage

L'objectif d'entraînement maximise la probabilité conjointe des données observées et d'une explication latente $z$ :
$\max_{\theta, \phi} \sum_{(x,y) \in D} \log p_\theta(y | s^*(q_\phi(x)), \beta^*(q_\phi(x))) + \log p_\theta(x | s^*(q_\phi(x)), \beta^*(q_\phi(x))) + \log p(q_\phi(x))$
Où :

Le premier terme encourage la représentation centrée sur les objets inférée à expliquer l'étiquette de tâche symbolique.
Le deuxième terme (perte de reconstruction) assure que la représentation peut reconstruire l'image d'entrée.
Le troisième terme est une a priori sur l'explication latente amortie.
$q_\phi$ est un encodeur neuronal qui approxime l'explication latente $z$ , évitant ainsi la nécessité d'une boucle d'optimisation interne par exemple d'entraînement.

Contributions clés

Formulation : Le papier formule le problème de l'apprentissage neurosymbolique centré sur les objets à partir de supervision lointaine, où les objets doivent être inférés à partir de la perception plutôt que fournis comme entrées structurées.
Interface probabiliste : Il introduit une interface différentiable entre les slots et la logique où les variables d'objectivité et de classe sont marginalisées via une inférence probabiliste. Cela élimine le besoin d'annotations d'objets, d'échantillonnage discret ou de pertes d'appariement d'ensembles.
Architecture DeepObjectLog : Les auteurs instancient cette formulation dans DeepObjectLog et démontrent que la rétroaction logique améliore l'utilisation des représentations centrées sur les objets pertinente pour la tâche, soutenant une généralisation relationnelle plus forte.

Résultats expérimentaux

Le modèle a été évalué sur quatre benchmarks : MultiMNIST-Addition, PokerRules, CLEVR-Addition et COCOLogic.

Généralisation compositionnelle : Sur MultiMNIST-Addition, DeepObjectLog a atteint une précision de 90,00 % sur des compositions hors distribution (OOD) (combinaisons de chiffres non vues), surpassant significativement les bases de référence neuronales (par exemple, Slot Attention à 13,30 %) et une base de référence neurosymbolique standard sans perception centrée sur les objets (35,76 %).
Généralisation de tâche : Dans la tâche PokerRules, le modèle a atteint une précision de 72,23 % sur des classes OOD (par exemple, « brelan » non vu lors de l'entraînement), tandis que la base de référence neurosymbolique a échoué (0,46 %). Les bases de référence neuronales ne pouvaient pas généraliser à de nouvelles classes car leurs espaces de sortie étaient fixés par les étiquettes d'entraînement.
Généralisation du nombre d'objets : Le modèle a démontré une extrapolation robuste vers des images contenant plus d'objets que ceux vus pendant l'entraînement (par exemple, 4 à 5 chiffres dans MultiMNIST), maintenant une précision élevée là où les concurrents se sont dégradés de manière significative.
Force du signal d'apprentissage : Sur COCOLogic, DeepObjectLog a atteint une précision conceptielle non triviale avec 0 % de supervision au niveau de l'objet, démontrant sa capacité à apprendre la structure des objets purement à partir du signal de tâche. Cette performance a été maintenue même lorsque les niveaux de supervision augmentaient.
Comparaison avec les VLM : Sur la tâche OOD MultiMNIST-Addition, DeepObjectLog (90 % de précision) a nettement surpassé les grands modèles vision-langage (LLaVA-1.5 et Qwen2.5-VL), qui ont eu du mal à résoudre la tâche de manière fiable avec un prompting zero-shot.

Signification et affirmations

Le papier affirme que DeepObjectLog représente une étape significative vers des systèmes neurosymboliques plus généraux en comblant le fossé entre la découverte d'objets perceptuels et le raisonnement symbolique. Sa signification principale réside dans :

Généralisation relationnelle : La capacité à soutenir le raisonnement sous des décalages de distribution, y compris de nouvelles compositions d'objets, différents nombres d'objets et de nouvelles requêtes symboliques sur des vocabulaires appris.
Robustesse sans supervision : La capacité à apprendre des structures centrées sur les objets significatives et à raisonner à leur sujet sans nécessiter de supervision explicite au niveau de l'objet (masques ou boîtes englobantes), en s'appuyant uniquement sur des étiquettes de tâches globales et des règles symboliques.
Interprétabilité : Le modèle fournit des prédictions interprétables au niveau de l'objet (objectivité et classe) qui s'alignent avec le processus de raisonnement symbolique, offrant des garanties que les approches purement neuronales ne possèdent pas.

Les auteurs reconnaissent des limitations, notamment le coût computationnel de l'inférence exacte dans la logique probabiliste (bien que atténué par des cadres d'optimisation) et le potentiel de raccourcis de raisonnement dans des contextes faiblement supervisés, que leurs contraintes structurelles visent à décourager. Ils concluent que bien que cette approche fasse progresser l'IA robuste et interprétable, les déploiements futurs doivent prendre en compte les risques liés aux biais et à la surveillance à double usage.