Résumé Technique : PlatoLTL

Énoncé du Problème

Un défi central dans l'apprentissage par renforcement (RL) multi-tâches est l'entraînement de politiques généralistes capables d'exécuter des tâches non rencontrées durant l'entraînement. Bien que la logique temporelle linéaire (LTL) se soit imposée comme un formalisme puissant pour spécifier des tâches structurées et étendues dans le temps, les approches existantes de RL guidées par la LTL font face à une limitation critique : elles ne peuvent pas généraliser à des vocabulaires de propositions (ou de « symboles ») non vus. Les méthodes actuelles exigent la composition de toutes les spécifications LTL valides à partir d'un vocabulaire fixe et discret de propositions atomiques connu a priori. Cela restreint leur applicabilité aux tâches où les propositions sont paramétrées par des variables continues (par exemple, saisir un objet à une coordonnée spécifique $(x, y)$ ou tourner une vanne d'un angle $\theta$). Les solutions existantes soit discrétisent l'espace des paramètres, ce qui s'avère peu évolutif avec la résolution, soit ajoutent les paramètres aux observations, ce qui s'avère peu évolutif dans les contextes multi-tâches et échoue à apprendre une structure partagée entre des propositions apparentées.

Méthodologie : PlatoLTL

Les auteurs proposent PlatoLTL (Architecture logique paramétrée pour les objectifs temporels en LTL), une approche novatrice permettant aux politiques de généraliser à zéro tirage, à la fois de manière compositionnelle à travers les structures LTL et de manière paramétrique à travers les propositions.

Concept Central : Predicats Paramétrés

Au lieu de traiter les propositions atomiques comme des tokens discrets distincts, PlatoLTL les modélise comme des instances de prédicats atomiques avec des valeurs de paramètres spécifiques. Une proposition $p$ est définie comme $p = f(x_f)$, où $f$ est un prédicat atomique (une fonction à valeur booléenne représentant un énoncé de vérité sur l'environnement) et $x_f$ sont des paramètres fixes. Cela permet à la politique d'apprendre une structure partagée entre des propositions apparentées en se conditionnant sur le type de prédicat et ses paramètres.

Architecture

L'approche utilise un cadre de RL conditionné par un objectif où la politique $\pi(a | s, \phi)$ est conditionnée par la spécification LTL $\phi$. L'architecture se compose de trois composants principaux :

1. Encodage des Instances de Prédicats :

   • Une proposition atomique $p = f(x_f)$ est décomposée en son token de prédicat $f$ et ses paramètres $x_f$.
   • Le prédicat $f$ est mappé vers un encodage apprenable $\phi_{prd}(f)$.
   • Les paramètres $x_f$ sont transmis à travers un réseau d'encodage de paramètres spécifique au prédicat $\rho_f(\cdot)$.
   • Ces encodages sont concaténés et fusionnés via un réseau spécifique au prédicat $f_f(\cdot)$ pour produire l'encodage de la proposition $\phi(p)$. Cela agit comme une transformation apprise de l'encodage de base du prédicat modulée par les paramètres.

2. Composition de Séquences :

   • Les spécifications LTL sont converties en Automates de Büchi Déterministes Limités (LDBA).
   • À partir du LDBA, une séquence d'atteinte-évitement de formules booléennes est extraite, représentant un chemin vers un cycle acceptant.
   • Chaque formule booléenne dans la séquence est représentée sous forme d'Arbre de Syntaxe Abstraite (AST).
   • Un Réseau de Convolution Graphique (GCN) traite ces ASTs, utilisant les encodages de propositions pour les nœuds feuilles et des encodages apprenables pour les opérateurs logiques, afin de produire des encodages de formules.
   • Une Unité Récurrente à Portes (GRU) traite la séquence d'encodages de formules (de l'arrière vers l'avant) pour générer un unique encodage de tâche.

3. Exécution de la Politique :

   • Le réseau de politique (Acteur-Critique) prend l'encodage d'état concaténé (issu des observations de l'environnement) et l'encodage de tâche.
   • Pour gérer les transitions $\epsilon$ du LDBA (sauts non observés), l'espace d'action est augmenté d'une action $\epsilon$ spéciale. La politique apprend à prédire quand déclencher ces transitions.
   • À l'évaluation, si l'état du LDBA change, une nouvelle séquence d'atteinte-évitement est extraite, et la politique est re-conditionnée sur cette nouvelle séquence.

Entraînement

PlatoLTL est entraîné de bout en bout en utilisant l'Optimisation de Politique Proximale (PPO) avec un curriculum de séquences d'atteinte-évitement de plus en plus difficiles. Crucialement, les séquences d'entraînement sont échantillonnées à partir d'une distribution de séquences arbitraires plutôt que d'être liées à des spécifications LTL spécifiques, permettant à la politique d'apprendre la structure sous-jacente des instances de prédicats et de généraliser à des spécifications non vues.

Contributions Clés

1. Modélisation Paramétrique : La proposition de modéliser les propositions LTL comme des instances paramétrées de prédicats atomiques, permettant une généralisation à travers des espaces de paramètres continus.
2. Architecture Novatrice : Une architecture de réseau neuronal qui mappe de manière significative les paramètres de prédicat vers des encodages et les compose pour représenter des formules LTL via des ASTs et une modélisation de séquences.
3. Généralisation à Zéro Tirage : La démonstration que PlatoLTL réalise une généralisation à zéro tirage à la fois de manière compositionnelle (à travers les structures LTL) et paramétrique (à travers des propositions non vues).
4. Nouveaux Benchmarks : L'introduction de quatre nouveaux environnements de benchmark basés sur des prédicats (RGBZoneEnv, XYZEnv, XYXYEnv, FalloutWorld) qui supportent des spécifications LTL complexes et paramétrées, étendant la littérature existante.
5. Validation Empirique : Des expériences complètes montrant la performance supérieure et la vitesse de convergence de PlatoLTL par rapport aux bases de référence de l'état de l'art (DeepLTL, LTL-GNN) et aux méthodes basées sur la paramétrisation (Naïve, SIAMS).

Résultats

Des expériences ont été menées sur des ensembles discrets de propositions (ensembles d'entraînement et d'évaluation non vus) et des ensembles continus de propositions.

• Généralisation Discrète : Sur des propositions d'évaluation non vues, PlatoLTL a maintenu une performance à parité avec les propositions d'entraînement (par exemple, ~99 % de taux de succès dans RGBZoneEnv), alors que les bases de référence (DeepLTL, LTL-GNN) ont échoué à généraliser, affichant des taux de succès significativement plus faibles.
• Généralisation Continue : Dans des environnements avec des propositions continues (XYZEnv, XYXYEnv), les bases de référence ont atteint des taux de succès proches de zéro malgré l'accès aux paramètres. PlatoLTL a atteint des taux de succès élevés (par exemple, >95 % dans XYZEnv) et des longueurs d'épisode faibles.
• Convergence : PlatoLTL a convergé significativement plus vite que les bases de référence. À mesure que le nombre de propositions d'entraînement augmentait, le taux de convergence des bases de référence diminuait régulièrement (nécessitant des temps d'entraînement impraticables pour de grands vocabulaires), tandis que PlatoLTL restait robuste et inchangé.
• Structure des Encodages : L'Analyse en Composantes Principales (PCA) a révélé que PlatoLTL a appris un espace d'encodage de faible dimension et structuré où des propositions apparentées (par exemple, différentes couleurs RVB) formaient des géométries cohérentes (par exemple, un cube), tandis que les bases de référence produisaient des encodages dispersés et de haute dimension ressemblant à du bruit.

Signification et Revendications

L'article revendique que PlatoLTL adresse une limitation fondamentale du RL neuro-symbolique : l'incapacité à généraliser à des vocabulaires de propositions non vus. En traitant les propositions comme des instances paramétrées de prédicats, l'approche apprend des associations ancrées entre les paramètres de tâche et l'environnement.

Les auteurs positionnent PlatoLTL comme une étape vers la création d'agents capables d'exécuter des tâches complexes et à long horizon arbitraires sans exiger un vocabulaire fixe et discret. Ils notent que bien que l'approche repose sur des prédicats connus a priori (une limitation partagée avec les travaux antérieurs, bien que strictement plus générale), elle améliore considérablement l'évolutivité et la généralisation dans des contextes paramétrés. Le travail suggère que la combinaison de cette colonne vertébrale avec des méthodes d'efficacité d'exploration et de robustesse pourrait permettre une mise à l'échelle vers des tâches robotiques réelles de haute dimension. Les auteurs déclament modestement que les travaux futurs devraient investiguer ces combinaisons et la découverte automatique de prédicats ancrés.