🤖 AI

Differentiable Learning of Lifted Action Schemas for Classical Planning

Cet article présente une nouvelle architecture de réseau neuronal qui apprend de manière robuste des schémas d'actions relevés et infère des arguments d'action non observés à partir de traces d'état entièrement observées, servant de composant différentiable pour les modèles de planification neuro-symbolique.

Auteurs originaux : Jonas Reiter, Jakob Elias Gebler, Hector Geffner

Publié 2026-05-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jonas Reiter, Jakob Elias Gebler, Hector Geffner

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment jouer à un jeu comme Sokoban (pousser des boîtes) ou les Tours de Hanoï (déplacer des disques), mais avec une contrainte très spécifique : vous pouvez voir le plateau avant et après chaque coup, et vous savez quel coup a été joué (par exemple, « déplacer le bloc »), mais vous ne pouvez pas voir les instructions internes du robot sur quels blocs spécifiques il a choisi de déplacer.

C'est le puzzle que l'article « Differentiable Learning of Lifted Action Schemas for Classical Planning » tente de résoudre. Les auteurs, Jonas Reiter, Jakob Elias Gebler et Hector Geffner, ont créé un nouveau type d'IA appelé DIAS (Differentiable Induction of Action Schemas) pour découvrir les règles cachées du jeu simplement en observant l'évolution du plateau.

Voici une explication simple de leur méthode, utilisant des analogies du quotidien.

1. Le Problème : Le Chef « Boîte Noire »

Imaginez un chef étoilé préparant un repas complexe. Vous pouvez voir les ingrédients sur le comptoir avant qu'il ne commence (État A) et le plat fini dans l'assiette après (État B). Vous savez aussi que le chef a utilisé l'action « Hacher ».

Cependant, vous ne savez pas quelle carotte spécifique le chef a hachée. Est-ce la grosse ? La petite ? Celle qui était déjà pelée ?

Les anciennes méthodes exigeaient généralement que vous indiquiez à l'IA exactement quelle carotte a été hachée.
DIAS doit déduire : « Compte tenu de la façon dont le tas de carottes a changé, le chef doit avoir haché la grosse. »

L'objectif est d'apprendre la règle générale (le « Schéma ») qui s'applique à n'importe quelle carotte, et pas seulement à celle spécifique de la vidéo. C'est comme apprendre la recette « Hachez n'importe quel légume » plutôt que simplement « Hachez cette carotte précise ».

2. La Solution : Le Réseau de Neurones « Détective »

Les auteurs ont créé un réseau de neurones qui agit comme un détective. Il fonctionne en deux étapes principales :

Étape 1 : Le Détective « Qui l'a fait ? » (Sélection)

L'IA examine les images « avant » et « après » du plateau de jeu. Elle utilise un Réseau de Neurones à Graphes (GNN) — imaginez cela comme un œil ultra-intelligent qui voit les relations entre les objets (par exemple, « Le Bloc A est au-dessus du Bloc B »).

L'IA crée une « empreinte digitale » (embedding) pour chaque objet sur le plateau.
Elle pose ensuite la question : « Laquelle de ces empreintes correspond au « slot » pour l'action « Déplacer » ? »
Elle utilise une astuce mathématique appelée Sinkhorn (imaginez un moyen très efficace de trier des cartes en piles) pour assigner les bons objets aux bons rôles dans l'action. C'est comme si l'IA disait : « Je suis à 90 % sûre que le robot a déplacé le bloc rouge, et non le bleu. »

Étape 2 : Le Détective « Qu'est-ce qui s'est passé ? » (Effets)

Une fois que l'IA a deviné quels objets étaient impliqués, elle tente d'apprendre les règles du jeu :

Préconditions : Ce qui devait être vrai avant le coup ? (par exemple, « Le bloc doit être dégagé sur le dessus »).
Effets : Qu'est-ce qui a changé à cause du coup ? (par exemple, « Le bloc est maintenant sur la table »).

L'IA écrit ces règles dans un format symbolique (comme un code informatique appelé PDDL). Elle simule ensuite le coup en utilisant ces règles devinées pour voir si elle prédit correctement l'image « après ». Si la simulation correspond à la vraie image « après », l'IA reçoit un signal de « bien joué ». Sinon, elle ajuste ses hypothèses et réessaie.

3. L'Ingrédient « Magique » : L'Apprentissage Différentiable

Habituellement, déterminer « quel objet a été déplacé » est un choix binaire (c'est soit le bloc rouge, soit le bloc bleu). C'est difficile pour l'IA à apprendre car on ne peut pas facilement « pousser » la réponse à mi-chemin.

La percée de l'article est de rendre ce processus différentiable.

Analogie : Imaginez que vous essayez de régler une radio sur une station claire. Au lieu de sauter de la station 1 à la station 2, vous pouvez faire glisser lentement le cadran.
DIAS ne devine pas simplement « Bloc Rouge ». Il devine « 80 % Bloc Rouge, 20 % Bloc Bleu ». Cela permet à l'IA d'utiliser la descente de gradient (une technique standard d'apprentissage automatique) pour faire glisser lentement ses hypothèses vers la réponse parfaite, plutôt que de rester coincée dans une boucle de mauvaises hypothèses.

4. Ce qu'ils ont découvert (Les Résultats)

L'équipe a testé DIAS sur 13 domaines de planification classique différents (comme Blocksworld, Logistics et Hanoi).

Scores Parfaits : Lorsqu'ils ont fourni à l'IA la liste complète des arguments (en lui disant exactement quels blocs ont bougé), elle a appris les règles parfaitement à chaque fois.
Le Mode Difficile : Lorsqu'ils ont caché les arguments (en donnant uniquement le nom de l'action, comme « déplacer »), elle a tout de même appris les règles parfaitement dans 8 cas sur 13 domaines. Dans les autres, elle était très proche.
Résistance au Bruit : Ils l'ont testé avec des données « bruitées » (où certains faits sur le plateau étaient inversés au hasard, comme dire qu'un bloc est dégagé alors qu'il est en réalité couvert). DIAS a géré cela de manière surprenante, bien qu'un bruit excessif finisse par le confondre.
Comparaison : Ils ont comparé leur méthode à une méthode symbolique traditionnelle (L1). DIAS était bien meilleur pour trouver les règles correctes, en particulier dans les domaines complexes où l'ancienne méthode échouait à trouver toutes les conditions nécessaires.

5. Pourquoi cela compte (Sans Promesses Excessives)

L'article affirme qu'il s'agit d'une simplification d'un problème beaucoup plus difficile : apprendre les règles de planification directement à partir d'images (comme regarder une vidéo d'un bras robotique déplaçant des blocs).

La Réalisation Actuelle : Ils ont résolu parfaitement l'« étape intermédiaire ». Ils ont prouvé que si vous pouvez voir l'état symbolique (la liste des faits) mais pas les arguments, vous pouvez toujours apprendre les règles en utilisant un réseau de neurones.
L'Objectif Futur : Les auteurs espèrent pouvoir éventuellement intégrer ce module « DIAS » dans un système plus large qui observe des images brutes et apprend les règles directement, sans qu'un humain ait besoin de traduire l'image en une liste de faits au préalable.

En résumé : L'article présente une nouvelle IA détective capable d'observer un jeu, de deviner quelles pièces ont bougé et de déduire les règles universelles du jeu, le tout en utilisant un processus d'apprentissage lisse et basé sur les mathématiques qui évite de rester coincé dans des impasses.

Résumé Technique : Apprentissage Différentiable de Schémas d'Actions Relevés pour la Planification Classique

Formulation du Problème

L'article aborde le défi consistant à apprendre des schémas d'actions relevés pour des domaines de planification classique à partir de traces observationnelles. Plus précisément, les auteurs traitent un cadre où les états sont entièrement observés (représentés comme des atomes STRIPS ancrés) mais les arguments d'action sont non observés. L'entrée consiste en des triplets $\langle s, a, s' \rangle$ , où $s$ et $s'$ sont des états ancrés et $a$ est soit un nom d'action complet, soit une action STRIPS+ (avec certains arguments observés), soit un nom d'action uniquement.

La difficulté principale réside dans le problème isomorphisme-dur d'inférer simultanément :

Arguments d'Action : Identifier quels objets dans l'état se lient aux paramètres d'une action.
Schémas Relevés : Apprendre les préconditions et les effets (listes d'ajout/suppression) pour chaque schéma d'action sous une forme relevée et symbolique.

Ce problème est présenté comme une simplification de la tâche plus réaliste d'apprentissage à partir de séquences d'images et d'étiquettes d'actions, visant à résoudre l'étape d'abstraction symbolique avec une précision quasi parfaite pour permettre l'intégration dans de plus grands systèmes neuro-symboliques.

Méthodologie : Architecture DIAS

Les auteurs proposent DIAS (Differentiable Induction of Action Schemas), une architecture neuronale qui apprend des schémas d'actions via la descente de gradient. L'approche opère en deux étapes principales, utilisant des opérations douces et différentiables pour permettre un entraînement de bout en bout.

1. Sélection d'Objets via Réseaux de Neurones à Graphes (GNN)

Construction du Graphes : L'état $s$ et la transition vers $s'$ sont encodés comme un graphe orienté $G$ . Les nœuds représentent les objets, et les arêtes représentent les prédicats (atomes) vrais dans l'état ou ajoutés/supprimés lors de la transition.
Encodage : Un Réseau de Convolution Graphique Relationnel (R-GCN) traite le graphe pour générer des vecteurs d'encodage de dimension $d$ (clés $K$ ) pour chaque objet.
Assignation des Emplacements : Pour chaque nom d'action $a$ , le modèle maintient des vecteurs de requête appris $Q_a$ correspondant à un nombre fixe d'"emplacements" (une borne supérieure sur l'arité de l'action).
Appariement Doux : Une matrice de correspondance est calculée via une attention par produit scalaire mise à l'échelle entre les clés d'objets et les requêtes d'action. Un algorithme de Sinkhorn rectangulaire est ensuite appliqué pour produire une matrice d'affectation douce $\tilde{S}_a$ , mapant probabilistiquement les objets vers les emplacements d'arguments d'action. Des poids d'emplacement appris $w_a$ déterminent la probabilité d'activation de chaque emplacement, permettant au modèle d'inférer l'arité de l'action.

2. Apprentissage des Préconditions et des Effets

Paramètres Relevés : Le modèle maintient des tenseurs de probabilité appris pour chaque atome relevé $p(x_i, x_j)$ afin de déterminer s'il s'agit d'une précondition positive/négative, d'un effet d'ajout ou d'un effet de suppression.
Ancrage : L'affectation douce $\tilde{S}_a$ projette ces probabilités relevées dans l'espace de la matrice d'adjacence ancrée, générant des probabilités pour des atomes spécifiques étant des préconditions ou des effets dans l'état actuel.
Prédiction d'État :
- Vérification des Préconditions : Le modèle calcule la probabilité $p_{pre}$ que toutes les préconditions soient satisfaites en évaluant la conjonction des probabilités d'atomes individuels. Pour éviter la disparition des gradients due à une initialisation aléatoire, une stratégie de planification de la moyenne géométrique est utilisée, transitionnant progressivement vers le vrai produit.
- Application des Effets : L'état successeur prédit $\hat{A}'$ est calculé en appliquant les probabilités d'ajout/suppression ancrées à la matrice d'adjacence de l'état actuel $A$ , mise à l'échelle par $p_{pre}$ .

3. Fonction de Perte et Optimisation

L'objectif d'entraînement minimise une perte composite :

Perte Principale ( $L_{adj}$ ) : Entropie croisée binaire entre l'état successeur prédit $\hat{A}'$ et l'état successeur réel $A'$ . Cela incite le modèle à sélectionner correctement les arguments et à prédire les changements d'état.
Perte Auxiliaire ( $L_{aux}$ ) : Encourage des effets minimaux et des préconditions maximales. Cela empêche le modèle d'apprendre des solutions triviales (par exemple, supposer que tous les atomes sont des effets ou qu'aucune précondition n'existe) en pénalisant les effets inactifs et les préconditions inactives.
Projection de Gradient : Pour garantir que l'objectif principal de prédiction d'état ne soit pas compromis par les objectifs auxiliaires, les auteurs emploient PCGrad (Chirurgie des Gradients). Le gradient auxiliaire est projeté sur l'hyperplan orthogonal au gradient principal s'ils entrent en conflit, garantissant que l'optimisation de $L_{main}$ prime.

Résultats Clés

Les auteurs ont évalué DIAS sur 13 domaines de planification IPC standards (par exemple, Blocs, Logistique, Hanoï, Sokoban) en utilisant trois variantes d'observation : actions STRIPS complètes, actions STRIPS+ et noms d'actions uniquement.

Récupération Parfaite : Dans 8 domaines sur 13, DIAS a appris les schémas d'actions relevés de vérité terrain parfaitement lors de toutes les 10 exécutions d'entraînement pour les trois variantes d'observation.
Robustesse :
- Bruit : Le modèle a démontré une robustesse au bruit d'observation (atomes retournés aléatoirement) jusqu'à 2 retournements par transition pour la plupart des domaines. Les performances se sont dégradées significativement à 8 retournements.
- Comparaison avec les Méthodes Symboliques : Comparé à l'algorithme L1 (une approche basée sur SAT), DIAS a obtenu des performances supérieures ou comparables, en particulier dans les domaines où L1 a échoué à récupérer des préconditions impliquant des variables absentes des effets.
- Analyse des Échecs : Les échecs ont été principalement attribués à :
  - Impasses : Des domaines comme Sokoban où les marches aléatoires échouent à explorer les régions d'état critiques.
  - Structure de l'Espace d'États : La structure en triangle de Sierpiński du domaine Hanoï limite la couverture par marche aléatoire.
  - Actions Redondantes : Le domaine Satellite, où des actions comme take_image entraînent souvent aucun changement d'état, confondant l'apprentissage des effets.
Ablation MLP : Une ablation remplaçant les effets STRIPS par un Perceptron Multicouche (MLP) a montré que bien que l'architecture puisse apprendre des dynamiques dépendantes de l'état, elle échoue à produire des schémas symboliques adaptés à la planification classique, soulignant la nécessité de la formulation STRIPS relevée pour la généralisation.

Signification et Revendications

L'article revendique que DIAS représente une étape significative vers l'apprentissage de domaines de planification à partir d'observations brutes (telles que des images) en résolvant le problème intermédiaire d'abstraction symbolique avec une haute fidélité.

Différentiabilité : La contribution principale est un composant différentiable robuste capable d'apprendre des schémas d'actions relevés sans nécessiter d'arguments d'action explicites, comblant le fossé entre le traitement neuronal des observations et la planification symbolique.
Généralisation : Contrairement aux modèles dynamiques basés sur des emplacements (par exemple, RIMs) qui peinent avec des nombres variables d'objets, DIAS apprend des représentations relevées qui se généralisent à un nombre arbitraire d'objets, une propriété inhérente à STRIPS mais difficile à apprendre à partir de données.
Portée Modeste : Les auteurs présentent explicitement ce travail comme une simplification du défi plus large de l'apprentissage à partir d'images. Ils ne revendiquent pas de résoudre directement le problème image-planification, mais soutiennent que l'atteinte d'une performance "quasi parfaite" sur l'étape d'abstraction symbolique est une condition préalable nécessaire et difficile pour de tels systèmes.
Limites : L'approche suppose des domaines STRIPS purs (sans effets conditionnels ni caractéristiques numériques) et repose sur l'hypothèse que les arguments d'action sont liés de manière injective aux objets. La méthode éprouve également des difficultés avec les domaines où l'échantillonnage par marche aléatoire fournit une couverture insuffisante de l'espace d'états.