🤖 AI

Distilling Answer-Set Programming Rules from LLMs for Neurosymbolic Visual Question Answering

Cet article propose une approche neurosymbolique pour le Questionnement Visuel (Visual Question Answering) qui distille des règles de programmation par ensembles de réponses (Answer-Set Programming) à partir de grands modèles de langage en exploitant des exemples de quelques coups (few-shot) et le retour d'information d'un solveur pour étendre automatiquement les théories de raisonnement, offrant ainsi une alternative évolutive et interprétable à l'apprentissage de règles traditionnel fondé sur les données.

Auteurs originaux : Thomas Eiter, Nelson Higuera Ruiz, Johannes Oetsch

Publié 2026-06-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Thomas Eiter, Nelson Higuera Ruiz, Johannes Oetsch

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Enseigner la logique à un robot

Imaginez que vous avez un assistant robotique très intelligent capable de regarder une image et de répondre à des questions à son sujet (comme « Est-ce que le chat porte un chapeau ? »). C'est ce qu'on appelle le Visual Question Answering (VQA) (Réponse visuelle à des questions).

Habituellement, ces robots sont entraînés comme des athlètes : ils s'entraînent des millions de fois jusqu'à obtenir la bonne réponse en devinant des motifs. Mais cela les rend un peu comme une « boîte noire » : vous ne savez pas pourquoi ils ont trouvé la bonne réponse, et si vous leur posez un type de question légèrement différent, ils pourraient être confus.

Les auteurs de ce papier veulent construire un robot qui pense plus comme un logicien humain. Ils utilisent un « livre de règles » spécial appelé Answer-Set Programming (ASP). Considérez ce livre de règles comme un ensemble d'instructions logiques strictes (comme une recette) qui dit exactement au robot comment déduire la réponse.

Le Problème : Écrire ces livres de règles à la main est difficile. Si vous voulez qu'un robot apprenne un nouveau tour (comme compter des objets d'une manière spécifique), un développateur humain doit s'asseoir et écrire de nouvelles règles de zéro. C'est lent et fastidieux.

La Solution : Les auteurs ont demandé à une IA super intelligente (un Grand Modèle de Langage, ou LLM) d'écrire ces règles pour eux. Ils appellent ce processus la « Distillation de Règles ».

Comment ça marche : L'analogie du « Tuteur et de l'Étudiant »

Imaginez que le LLM est un étudiant brillant mais légèrement éparpillé, qui connaît beaucoup de choses sur la logique mais n'a jamais vu ce puzzle spécifique auparavant. Le « Professeur » (le système informatique) veut que l'étudiant écrive le bon livre de règles.

Voici le processus étape par étape qu'ils ont utilisé :

La Mise en place : Le professeur donne à l'étudiant un livre de règles « cassé ». Il fonctionne pour la plupart des choses, mais il manque une règle spécifique (par exemple, comment trouver le chemin le plus court sur une carte).
L'Exemple : Le professeur montre à l'étudiant un seul exemple : « Voici une image d'une carte, voici la question, et voici la bonne réponse. »
La Tentative : L'étudiant (le LLM) essaie d'écrire une nouvelle règle pour réparer le livre cassé.
- Le Piège : L'étudiant fait parfois des erreurs. Il peut écrire une règle avec une mauvaise grammaire (erreur de syntaxe) ou une règle qui semble correcte mais donne la mauvaise réponse (erreur de logique).
La Boucle de Correction (La « Réparation ») :
- Vérification de la Syntaxe : L'ordinateur vérifie si la règle est écrite dans le bon langage. Si l'étudiant utilise un symbole qui n'existe pas dans le langage du livre de règles, l'ordinateur dit : « Hé, corrige ton orthographe », et l'étudiant réessaie.
- Vérification de la Logique : L'ordinateur exécute la nouvelle règle. Si la réponse est fausse, l'ordinateur dit : « Tu as eu la mauvaise réponse. Réessaie. »
- Le « Filet de Sécurité » (Test de Régression) : Une fois que l'étudiant a écrit une règle qui fonctionne pour le nouvel exemple, l'ordinateur vérifie si cette règle casse les anciens exemples. C'est comme s'assurer qu'un nouvel ingrédient dans un gâteau ne gâche pas la saveur des gâteaux précédents que vous avez cuisinés.
Le Résultat : Une fois que la règle passe tous les tests, elle est ajoutée au livre de règles principal.

La « Magie » de quelques exemples

L'une des découvertes les plus cool de ce papier est que l'étudiant n'avait pas besoin d'étudier des milliers d'exemples. Une poignée d'exemples (parfois seulement 1 ou 2) suffisait aux modèles d'IA les plus intelligents pour comprendre la logique et écrire la règle parfaite.

C'est comme montrer à un chef de génie la photo d'un soufflé parfait et lui demander d'écrire la recette. Il n'a pas besoin de goûter 1 000 soufflés ; il a juste besoin de comprendre la logique des ingrédients.

Les Compétiteurs : Qui a le mieux réussi ?

Les chercheurs ont testé plusieurs différents « étudiants » (modèles d'IA) pour voir qui écrirait les meilleures règles :

Les Meilleurs Élèves (GPT-4o, DeepSeek, Gemini-3) : Ils étaient comme les majors de promotion de la classe. Ils écrivaient des règles parfaites presque à chaque fois, même pour des puzzles très complexes impliquant des cartes et des graphes.
- Gemini-3 était particulièrement spécial. Il semblait avoir un « mode de réflexion » où il faisait une pause pour revérifier sa propre logique avant d'écrire la règle, ce qui entraînait très peu d'erreurs et des livres de règles très courts et propres.
Les Étudiants en Difficulté (LLaMA3, Mistral) : Ces modèles étaient corrects pour des tâches simples mais se confondaient face à une logique complexe. Parfois, donner trop d'indices (prompts complexes) les faisait en réalité moins bien performer, comme s'ils étaient submergés par les instructions.

Le « Pruning » (Nettoyage du désordre)

Parfois, l'IA écrivait un livre de règles qui fonctionnait mais qui était désordonné. Elle pouvait inclure cinq façons différentes de dire la même chose, ou des règles qui n'étaient pas réellement nécessaires.

Les chercheurs ont créé un outil de « jardinier » (une heuristique d'élagage ou pruning) qui parcourait le livre de règles et coupait les branches mortes (règles redondantes).

Analogie : Imaginez que l'IA a écrit une phrase telle que : « S'il pleut, apportez un parapluie. Aussi, s'il pleut, apportez un parapluie. Aussi, s'il pleut, apportez un parapluie. » Le jardinier supprime les copies supplémentaires, ne laissant qu'une seule instruction claire.
Résultat : Cela a rendu les livres de règles plus petits et plus faciles à lire pour les humains, sans changer la capacité du robot à répondre aux questions.

Ce que cela signifie (selon le papier)

Le papier conclut que nous n'avons plus besoin de coder manuellement des logiques complexes pour les systèmes d'IA. Nous pouvons utiliser une IA intelligente pour « distiller » la logique pour nous, en utilisant seulement quelques exemples comme guide.

Cela fonctionne mieux quand la tâche est claire et que le modèle d'IA est très intelligent.
C'est différent de l'apprentissage automatique traditionnel car cela ne « mémorise » pas de données ; cela apprend la logique du problème.
Cela crée de la transparence : Comme le résultat est un ensemble de règles logiques (comme une recette), les humains peuvent réellement lire et comprendre pourquoi le robot a pris une décision.

En bref : Les auteurs ont construit un système où un humain fournit un puzzle logique cassé et quelques exemples, et une IA intelligente écrit les pièces manquantes du puzzle, vérifie son propre travail et rend un livre de règles propre et fonctionnel.

Résumé technique : Distillation de règles de programmation par ensembles de réponses à partir de LLM pour le Questionnement Visuel Neuro-symbolique

Énoncé du problème
Le questionnement visuel (VQA - Visual Question Answering) nécessite l'intégration d'entrées multimodales (vision et texte) avec des chaînes de raisonnement complexes. Bien que les approches neuro-symboliques modulaires offrent une interprétabilité en séparant la perception (neurale) du raisonnement (symbolique), elles font face à une charge de maintenance importante. Plus précisément, lorsque les exigences de la tâche changent — comme l'introduction de nouveaux types de questions ou d'opérateurs de raisonnement — la composante de raisonnement symbolique, souvent implémentée en programmation par ensembles de réponses (ASP - Answer-Set Programming), doit être étendue ou adaptée manuellement. Les méthodes traditionnelles d'apprentissage de règles basées sur les données (par exemple, l'apprentissage logique inductif) nécessitent généralement de grands ensembles de données et des espaces de recherche codés en dur (déclarations de mode) pour généraliser les règles. Cet article traite du défi de l'automatisation de l'extension des théories de raisonnement ASP dans les systèmes VQA sans réentraînement extensif ni ingénierie manuelle de règles.

Méthodologie
Les auteurs proposent un cadre de distillation de connaissances déclaratives où des modèles de langage de grande taille (LLM) sont sollicités par des invites (prompts) pour générer ou étendre des règles ASP à partir d'exemples de type "few-shot". Le système opère au sein d'un pipeline VQA neuro-symbolique modulaire composé de :

Module de Vision : Convertit les images en graphes de scènes symboliques (faits ASP).
Module de Langage : Convertit les questions en langage naturel en programmes fonctionnels (faits ASP).
Module de Raisonnement : Un solveur ASP déduit les réponses à partir des faits combinés et d'une théorie ASP (un ensemble de règles).

L'algorithme central (Algorithme 1) itère à travers une suite de distillation d'exemples VQA $(s, q, a)$ . Si la théorie ASP actuelle $T$ ne parvient pas à déduire la réponse correcte $a$ pour une scène $s$ et une question $q$ données, le système sollicite un LLM pour générer des règles candidates afin de combler l'écart. Le processus emploie une boucle de rétroaction impliquant :

Stratégies de Prompting :
- Multi-prompting : Demande plusieurs variantes de solutions en un seul appel.
- Chaîne de pensée (CoT - Chain-of-Thought) : Instruit le LLM de décomposer le problème en étapes logiques intermédiaires (versions simples et complexes).
Validation et Réparation (Mending) :
- Réparation de Syntaxe : Si le LLM génère un ASP syntaxiquement invalide (par exemple, des symboles mathématiques hallucinés), le message d'erreur du solveur est renvoyé au LLM pour correction.
- Réparation Sémantique : Si les règles sont syntaxiquement correctes mais produisent une mauvaise réponse, la sortie incorrecte du solveur est comparée à la vérité de terrain (ground truth) et renvoyée au LLM pour révision.
- Tests de Régression : Les nouvelles règles sont testées sur des exemples précédemment résolus pour assurer la cohérence et prévenir la régression.
Élimination de la Redondance : Une heuristique (Algorithme 2) élague les règles qui n'affectent pas l'ensemble de réponses, garantissant que la théorie distillée reste compacte.

Contributions Clés

Distillation de Connaissances Déclaratives : Une méthode pour étendre automatiquement les théories ASP dans les systèmes VQA en sollicitant des LLM avec des exemples, plutôt que de les utiliser comme données d'entraînement pour l'apprentissage statistique.
Stratégies de Prompting : La conception et l'évaluation de techniques de prompting spécifiques (multi-prompting, CoT) et de mécanismes de réparation (réparation syntaxique/sémantique) adaptés à la génération de programmes logiques.
Synthèse de Règles Compositionnelles : Démonstration que les LLM peuvent composer de nouveaux prédicats de plus haute arité (ex: in_between, connected) à partir d'opérations primitives existantes au sein de la théorie ASP.
Évaluation Empirique : Une évaluation complète sur trois ensembles de données diversifiés :
- GQA : Scènes du monde réel avec des relations d'objets complexes.
- CLEVR : Scènes géométriques synthétiques avec des questions compositionnelles.
- CLEGRV : Réseaux de transit basés sur des graphes nécessitant un raisonnement récursif (ex: chemins les plus courts).

Résultats
Les expériences ont évalué plusieurs LLM (GPT-4o, DeepSeek, Mistral-Large, LLaMA3-70B, Gemini-3 Pro) sur la restauration de prédicats supprimés des théories ASP.

Performance : Les modèles de grande échelle (GPT-4o, DeepSeek, Gemini-3) ont atteint une précision quasi parfaite (souvent >98 %) sur GQA et CLEVR avec très peu d'exemples (typiquement 1 à 4 par tentative de distillation).
Complexité des Données : La performance a chuté sur l'ensemble de données plus complexe CLEGRV (impliquant la récursion), bien que Gemini-3 Pro ait maintenu une précision élevée (100 % sur plusieurs prédicats), ce qui est attribué à son mode de "raisonnement élevé".
Sensibilité du Modèle : Les modèles plus petits ou moins capables (LLaMA3-70B, Mistral-Large) ont montré une grande variance et ont eu du mal avec les tâches complexes. Curieusement, pour ces modèles, la désactivation des stratégies de prompting complexes (comme CoT) améliorait parfois les performances, suggérant qu'ils peuvent être "surchargés" par des instructions verbeuses.
Efficacité : Gemini-3 Pro a été le plus efficace, nécessitant le moins d'exemples et de tokens, et produisant les ensembles de règles les moins redondants.
Ablation : Le pipeline de prompting complet (réparation + CoT + multi-prompting) a considérablement boosté les performances pour les modèles de premier rang, mais n'était pas toujours nécessaire pour les modèles plus faibles.

Signification et Revendications
L'article affirme que la distillation de règles à partir de LLM est une alternative prometteuse à l'apprentissage de règles traditionnel basé sur les données (ILP/SRL). Contra�à l'ILP, qui nécessite des définitions explicites de l'espace de recherche et de grands ensembles de données, cette approche tire parti des connaissances implicites des LLM, ne nécessitant que quelques exemples pour susciter des règles correctes et généralisables.

Interprétabilité : La méthode préserve la transparence des systèmes neuro-symboliques en produisant des règles logiques lisibles par l'homme plutôt que des poids neuraux opaques.
Adaptabilité : Elle offre un mécanisme viable pour permettre aux praticiens d'étendre dynamiquement les modules de raisonnement à mesure que les exigences des tâches évoluent, agissant comme un "copilote interactif" pour la programmation logique.
Limites : Les auteurs notent que la méthode suppose des sémantiques de questions décomposables et compositionnelles, et repose sur une validation empirique (tests de régression) plutôt que sur des preuves formelles de correction. L'approche est actuellement plus efficace pour les LLM larges et capables.

Ce travail suggère que, bien que les LLM puissent ne pas remplacer les moteurs de raisonnement formels, ils peuvent servir efficacement de pont pour automatiser la maintenance et l'extension des composants de raisonnement symbolique dans les systèmes d'IA complexes.