🤖 AI

Neuro-Symbolic Injection of LTLf Constraints in Autoregressive Reinforcement Learning Policies

Cet article propose un cadre neuro-symbolique qui intègre des contraintes de logique temporelle linéaire sur traces finies (LTLf) dans des politiques d'apprentissage par renforcement autoregressives basées sur les transformers, en compilant les spécifications en automates finis déterministes différentiables, améliorant ainsi la satisfaction des contraintes tout en maintenant des rendements compétitifs dans les tâches d'apprentissage par renforcement hors ligne.

Auteurs originaux : Ashkan Ansarifard (Sapienza University of Rome), Matteo Mancanelli (Sapienza University of Rome), Elena Umili (Sapienza University of Rome), Fabio Patrizi (Sapienza University of Rome)

Publié 2026-06-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ashkan Ansarifard (Sapienza University of Rome), Matteo Mancanelli (Sapienza University of Rome), Elena Umili (Sapienza University of Rome), Fabio Patrizi (Sapienza University of Rome)

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Apprendre aux robots à suivre des règles sans passer par l'essai et l'erreur

Imaginez que vous essayiez d'apprendre à un robot à naviguer dans un labyrinthe. Dans le monde réel, si le robot heurte un mur, il apprend : « Aïe, ne fais pas ça ». Mais en Apprentissage par Renforcement Hors-Ligne (Offline Reinforcement Learning), le robot n'est pas autorisé à toucher le monde réel. Il peut seulement étudier un immense album photo de tentatives passées réalisées par quelqu'un d'autre.

Le problème ? Le robot dans l'album photo a pu commettre des erreurs. Si vous dites simplement au robot de « récolter le plus de points », il pourrait apprendre à copier ces erreurs parce qu'elles ont mené à des scores élevés par le passé, même si elles étaient dangereuses.

Ce papier présente une nouvelle façon d'enseigner à ces robots : l'Injection Neuro-Symbolique. Considérez cela comme le fait de donner au robot un « livre de règles » écrit dans un langage logique strict (LTLf) et de le forcer à étudier ce livre de règles tout en apprenant de l'album photo.

Le problème central : Le « Piège de la Récompense »

Les modèles d'IA standards (comme ceux utilisés dans ce papier, appelés Transformers) sont comme des étudiants brillants qui sont obsédés par l'obtention d'un « A » (maximiser la récompense). Ils regardent l'album photo et disent : « D'accord, je vois que sur cette photo, le robot a marché sur une bombe, mais il a obtenu une énorme récompense plus tard. Je vais faire pareil ! »

Mais dans des situations critiques pour la sécurité (comme les voitures autonomes ou les robots médicaux), marcher sur une bombe est un « Game Over ». Vous ne pouvez pas simplement dire : « Eh bien, j'ai eu une récompense plus tard ». Vous devez vous assurer que le robot ne marche jamais sur la bombe, même si cela signifie prendre un chemin plus long.

La solution : Le « Policier de la Circulation » et le « Moteur de Logique »

Les auteurs ont construit un système qui agit comme un Policier de la Circulation debout à côté du robot étudiant pendant qu'il étudie.

Le Livre de Règles (LTLf) : Au lieu d'instructions vagues comme « sois prudent », les chercheurs utilisent la Logique Temporelle Linéaire. C'est comme un contrat juridique précis.
- Mauvaise instruction : « Essaie de ne pas toucher les bombes. »
- Instruction LTLf : « Tu dois toujours éviter les bombes, et tu dois éventuellement atteindre l'objectif. »
- Cela couvre l'ensemble du voyage, pas seulement l'étape suivante.
Le Policier de la Circulation (le DFA) : L'ordinateur traduit ce contrat juridique en un Automate Fini Déterministe (DFA). Imaginez un organigramme ou une carte de jeu de société.
- Chaque fois que le robot fait un pas dans son entraînement, le Policier de la Circulation vérifie l'organigramme.
- « Tu as marché sur une bombe ? Non ? Bien, passe à la case suivante sur la carte. »
- « Tu as marché sur une bombe ? Oui ? STOP. Tu es maintenant dans la zone d'Échec. »
Le « Coup de Pousse » Doux (Perte Différentiable) : Voici le tour de magie. Habituellement, un organigramme est rigide : soit vous êtes en sécurité, soit vous êtes mort. Mais le robot apprend en effectuant de minuscules ajustements dans son cerveau (mathématiquement parlant). On ne peut pas ajuster un état de « mort ».
- Les auteurs ont rendu le Policier de la Circulation différentiable. Cela signifie que le Policier ne dit pas seulement « Échec » ; il dit : « Tu es sûr à 90 %, mais tu te rapproches de la zone de danger. S'il te plaît, ajuste légèrement ton cerveau pour t'éloigner du danger. »
- Cela crée une Perte de Logique (Logic Loss). C'est comme un professeur donnant une note à un élève non pas seulement sur l'examen final, mais sur chaque étape de ses devoirs, le corrigeant doucement avant qu'il ne commette une erreur fatale.

Comment ils l'ont testé : Le jeu « ColourBomb »

Ils ont testé cela dans un jeu de grille appelé ColourBomb.

Le But : Atteindre une sortie colorée.
Le Danger : Des cellules rouges « Bombe » qui mettent fin au jeu instantanément.
Le Défi : Le robot devait apprendre à atteindre la sortie sans jamais marcher sur une bombe.

Ils ont comparé deux types de modèles d'IA :

Decision Transformer (DT) : Un modèle qui décide du prochain mouvement en se basant sur l'historique.
Trajectory Transformer (TT) : Un modèle qui prédit tout le chemin d'un coup.

Les Résultats : Du « Chaos » au « Champion »

Sans le Policier de la Logique (La référence/Baseline) :
Les robots étaient désastreux. Ils continuaient de marcher sur les bombes car ils essayaient simplement de maximiser les points en fonction des données désordonnées qui leur étaient données. Ils échouaient à atteindre l'objectif en toute sécurité presque 100 % du temps.

Avec le Policier de la Logique (La nouvelle méthode) :
En ajoutant la « Perte de Logique » (les doux coups de pouce du Policier de la Circulation), les résultats ont radicalement changé :

Sécurité : Les robots ont arrêté de heurter les bombes. Ils ont atteint 100 % de sécurité dans les meilleurs réglages.
Succès : Ils ont réussi à atteindre l'objectif.
Performance : Ils ne sont pas seulement devenus sûrs ; ils ont réellement obtenu de meilleurs scores que les robots dangereux car ils ne perdaient pas de temps à mourir et à recommencer.

Le Compromis : Trouver le point d'équilibre

Les chercheurs ont découvert une zone « Goldilocks » (ni trop chaud, ni trop froid).

Si le Policier de la Logique était trop faible (trop peu de « poussée »), le robot ignorait les règles et heurtait les bombes.
Si le Policier de la Logique était trop fort, le robot devenait si effrayé par les règles qu'il se figeait et ne bougeait plus (il était en sécurité, mais n'atteignait jamais l'objectif).
En ajustant la « force » du policier (un paramètre appelé $\alpha$ ), ils ont trouvé l'équilibre parfait où le robot était à la fois sûr et efficace.

Résumé

Ce papier montre que vous pouvez apprendre à une IA à suivre des règles de sécurité strictes et complexes (comme « toujours éviter X, mais éventuellement faire Y »), même lorsque vous ne pouvez pas la laisser s'exercer dans le monde réel. En traduisant ces règles en un « organigramme » mathématique et en l'utilisant pour corriger doucement le processus d'apprentissage de l'IA, ils ont créé des robots bien plus sûrs et plus fiables que ceux entraînés par la seule récompense.

Point clé à retenir : Vous n'avez pas besoin de réécrire tout le cerveau du robot ou les données qu'il étudie. Vous avez juste besoin d'ajouter une « couche de logique » qui agit comme un guide constant et doux, garantissant que le robot acquière les bonnes habitudes dès le départ.

Résumé Technique : Injection Neuro-Symbolique de Contraintes LTL $_f$ dans des Politiques d'Apprentissage par Renforcement Autorégressives

Énoncé du Problème
Dans l'apprentissage par renforcement (RL) hors ligne (offline), les agents apprennent des politiques exclusivement à partir de jeux de données pré-collectés sans interaction en ligne. Bien que des approches récentes de modélisation de séquences, telles que les Trajectory Transformers (TT) et les Decision Transformers (DT), aient réussi à formuler le RL comme un problème de génération de séquences, elles optimisent généralement uniquement la récompense cumulative. Cela crée une lacune critique dans les domaines critiques pour la sécurité (ex. : robotique, navigation autonome) où les politiques doivent respecter des contraintes de haut niveau temporellement étendues. L'optimisation standard basée sur la récompense ne peut garantir qu'une politique satisfasse des exigences de logique temporelle complexes, telles que « atteindre éventuellement l'objectif tout en évitant toujours les dangers », surtout lorsque les violations ne peuvent être corrigées par exploration par essais et erreurs dans un contexte hors ligne.

Méthodologie
Les auteurs proposent un cadre neuro-symbolique qui injecte des contraintes de logique temporelle sur traces finies (LTL $_f$ ) directement dans le processus d'entraînement de politiques basées sur des transformers autorégressifs. La méthodologie centrale comprend trois composantes principales :

Compilation LTL $_f$ vers DFA : Les spécifications temporelles de haut niveau sont compilées en automates à états finis déterministes (DFA). Cette traduction permet de représenter les contraintes logiques sous forme de systèmes de transition d'états capables de traiter des séquences de jetons (tokens).
Perte de Logique Différentiable : Pour intégrer ces automates discrets dans l'optimisation continue des réseaux de neurones, les auteurs emploient une représentation différentiable.
- Signaux de Satisfaction Doux (Soft) : Au lieu d'un échantillonnage rigide, le cadre utilise l'échantillonnage Gumbel-Softmax pour générer des vecteurs de jetons différentiables, proches d'un vecteur unitaire (near-one-hot), durant l'entraînement.
- Intégration DeepDFA : Ces jetons « doux » sont injectés dans un « DeepDFA », une relaxation neuronale du DFA standard. Ce module calcule un signal de satisfaction probabiliste indiquant la probabilité que la trajectoire générée satisfasse la formule LTL $_f$ .
- Régularisation : Une fonction de perte logique ( $L_\phi$ ) est dérivée de la log-probabilité négative de satisfaction. Elle est combinée à la perte standard de modélisation de séquence supervisée ( $L_{\mathcal{D}}$ ) via une somme pondérée : $L = \alpha L_\phi + (1 - \alpha) L_{\mathcal{D}}$ , où $\alpha$ est un paramètre de compromis.
Indépendance de l'Architecture : Le cadre est conçu pour être agnostique au modèle au sein de la classe des modèles de séquences autorégressifs. Il utilise un « adaptateur logique » partagé pour gérer les correspondances jeton-symbole et les déroulements (rollouts) du DFA, ce qui le rend applicable aux architectures TT et DT sans modifier leurs structures sous-jacentes.

Contributions Clés
Le document présente trois contributions principales :

Cadre Neuro-Symbolique Unifié : Une méthode pour injecter des contraintes LTL $_f$ dans des politiques de RL hors ligne basées sur des transformers en utilisant des modules basés sur des automates qui sont agnostiques à l'architecture.
Pile d'Évaluation Canonique : Un pipeline d'évaluation de fin d'épisode cohérent qui aligne la sérialisation des données, la correspondance jeton-symbole et l'évaluation logique, évitant ainsi les décalages sémantiques entre l'entraînement et l'évaluation de la logique temporelle.
Analyse Empirique : Une évaluation systématique dans des domaines de navigation démontrant les compromis entre la performance de la tâche (retour/return) et la satisfaction des contraintes sous différents niveaux de guidage logique.

Résultats Expérimentaux
Le cadre a été évalué sur l'environnement de navigation ColourBomb, testant deux types de spécifications : Sécurité d'Invariant ( $G(\neg \text{bomb})$ ) et Atteindre-tout-en-étant-Sûr ( $G(\neg \text{bomb}) \land F(\text{goal})$ ).

Decision Transformers (DT) :
- Les DT classiques (sans régularisation logique) ont échoué totalement, percutant des cellules contenant des bombes et échouant à atteindre les objectifs.
- L'introduction de la régularisation logique avec un paramètre de compromis élevé ( $\alpha = 0,8$ ) a permis d'atteindre 100 % de satisfaction pour les spécifications de sécurité et de réussite de l'objectif.
- Crucialement, ce réglage à haute contrainte a également amélioré le retour moyen (passant de -1,460 à -0,780) en éliminant les échecs catastrophiques (impacts de bombes), démontrant que la satisfaction des contraintes peut s'aligner sur la performance dans les contextes hors ligne.
Trajectory Transformers (TT) :
- Les TT classiques présentaient une conformité de sécurité partielle mais un faible taux d'atteinte des objectifs.
- La régularisation logique a amélioré les taux de satisfaction et réduit les taux d'impact de bombes. Pour la tâche de sécurité d'invariant, $\alpha = 0,8$ a produit les meilleurs résultats. Pour la tâche plus complexe de « Atteindre-tout-en-étant-Sûr », un poids plus faible ( $\alpha = 0,1$ ) a fourni l'équilibre optimal, améliorant à la fois la satisfaction et le retour par rapport à la référence (baseline).
- Les auteurs notent que bien que des améliorations aient été observées, elles étaient plus modérées dans les TT par rapport aux DT, une divergence laissée à une investigation future.

Signification et Revendications
L'article affirme que l'intégration de connaissances symboliques de fond directement dans l'objectif d'apprentissage — plutôt que de modifier la représentation des données ou de s'appuyer sur le façonnage de récompense (reward shaping) — est une direction prometteuse pour améliorer la fiabilité des politiques de RL hors ligne dans les domaines critiques pour la sécurité.

Les revendications clés concernant la signification de la méthode incluent :

Injection Directe de Contraintes : Contraendo aux approches qui reposent sur le blindage (shielding, nécessitant des modèles d'environnement explicites) ou le façonnage de récompense (difficile à concevoir), cette méthode injecte la connaissance de la logique temporelle directement dans la perte d'entraînement.
Généralité : Le cadre supporte des formules LTL $_f$ arbitraires, s'étendant au-delà du seul « fragment de sécurité » pour inclure la vivacité (liveness) et des combinaisons temporelles complexes.
Préservation de la Performance : Les résultats suggèrent que l'imposition de contraintes logiques strictes n'entraîne pas nécessairement une dégradation de la performance de la tâche ; dans les scénarios testés, cela a même amélioré les retours en prévenant les issues catastrophiques que les modèles classiques rencontraient fréquemment.

Les auteurs maintiennent un ton modeste, reconnaissant que l'approche est actuellement limitée aux contextes hors ligne et que les améliorations observées dans les TT étaient moins prononcées que dans les DT. Ils identifient les travaux futurs comme étant l'extension de l'évaluation à d'autres benchmarks, d'autres architectures de modèles, et la conduite de comparaisons exhaustives de bout en bout avec les cadres de Safe RL établis.