Résumé Technique : Planification de Trajectoire Déceptive Répétée contre un Observateur Apprenable

Définition du Problème

L'article comble une lacune critique dans la Planification de Trajectoire Déceptive (DPP). La DPP traditionnelle suppose un observateur statique et non apprenant qui tente d'inférer le véritable objectif d'un agent à partir d'une trajectoire. Cependant, dans des scénarios adversariaux réels (par exemple, opérations militaires, transport de marchandises critiques), les adversaires sont apprenables ; ils adaptent leurs modèles d'inférence en analysant les trajectoires historiques au cours d'interactions répétées.

Les auteurs formalisent la Planification de Trajectoire Déceptive Répétée (RDPP), un cadre où un agent doit dissimuler sa véritable destination à un observateur qui met à jour son modèle de reconnaissance après chaque épisode d'interaction. Le défi central identifié est le retard d'adaptation : les stratégies réactives standard, où l'agent met à jour sa politique uniquement après avoir observé l'amélioration des prédictions de l'observateur, finissent inévitablement par prendre du retard sur la progression de l'apprentissage de l'observateur. Avec le temps, ce retard s'accumule, rendant les comportements de déception précédemment efficaces prévisibles et inefficaces.

Méthodologie : Planification Métadéceptive (DeMP)

Pour surmonter les limites de l'adaptation réactive, les auteurs proposent la Planification Métadéceptive (DeMP), un cadre d'optimisation à deux niveaux conçu pour anticiper la dynamique d'apprentissage de l'observateur plutôt que de simplement réagir à celle-ci.

1. Formulation du Problème

La RDPP est modélisée comme un tuple $(M_{DPP}, \Phi, K)$, où $M_{DPP}$ est un processus de décision markovien déceptif, $\Phi$ est l'espace de paramètres de l'observateur apprenable, et $K$ est le nombre d'interactions répétées.

• Protocole d'Interaction : Dans chaque épisode $k$, l'agent génère une trajectoire $\tau^{(k)}$. L'observateur voit un préfixe $\zeta^{(k)}$ et prédit une distribution d'objectifs. Après l'épisode, l'observateur met à jour ses paramètres $\phi$ en utilisant la trajectoire complète et l'objectif réel, tandis que l'agent reçoit la prédiction de l'observateur comme retour d'information.
• Objectif : L'agent vise à maximiser les récompenses cumulées induites par la croyance sur $K$ épisodes, en minimisant la probabilité que l'observateur attribue à l'objectif réel.

2. Le Cadre DeMP

DeMP fonctionne via une structure imbriquée impliquant une Adaptation au Niveau de l'Épisode et des Mises à Jour au Niveau Métadé :

• Adaptation au Niveau de l'Épisode : Après chaque épisode, l'agent met à jour ses paramètres de politique $\theta^{(k)}$ en fonction de la prédiction actuelle de l'observateur. La fonction de perte combine un objectif standard d'apprentissage par renforcement avec une récompense déceptive de substitution qui pénalise la forte confiance de l'observateur en l'objectif réel. De plus, un terme de régularisation de divergence KL encourage la distribution a posteriori de l'observateur à rester proche d'une distribution uniforme (maximisant la confusion).
  $$\theta^{(k+1)} = \theta^{(k)} - \alpha \nabla_{\theta^{(k)}} \mathcal{L}^{(k)}(\theta^{(k)})$$

• Mise à Jour Métadé : Crucialement, DeMP ne s'arrête pas aux mises à jour au niveau de l'épisode. Après un bloc de $M$ épisodes, il effectue une mise à jour métadé sur l'initialisation de la politique $\theta^{(0)}$. Cette mise à jour utilise des informations de gradient d'ordre supérieur (dérivées d'ordre supérieur) pour calculer comment les paramètres initiaux de l'agent influencent les performances finales après $M$ étapes d'adaptation.
  $$\theta^{(0)} \leftarrow \theta^{(0)} - \beta \nabla_{\theta^{(0)}} \mathcal{L}^{(meta)}$$
  En optimisant $\theta^{(0)}$, DeMP apprend une initialisation de politique robuste face à la trajectoire future d'apprentissage de l'observateur. Cela permet à l'agent de "anticiper" la manière dont l'observateur mettra à jour son modèle, atténuant efficacement l'accumulation du retard d'adaptation.

3. Justification Théorique

L'article fournit une analyse théorique soutenant DeMP :

• Cohérence de la Substitution : Sous l'hypothèse d'un observateur rationnel, minimiser la perte de substitution DeMP (basée sur des prédictions explicites) est cohérent avec la maximisation de la véritable récompense induite par la croyance (basée sur des croyances latentes).
• Mécanisme d'Anticipation : Le gradient métadé inclut un terme dépendant du gradient d'apprentissage de l'observateur. Cela réduit théoriquement la sensibilité de la politique de l'agent aux futures mises à jour de l'observateur, permettant une adaptation proactive plutôt que réactive.

Contributions Clés

1. Formalisation de la RDPP : L'article introduit le problème RDPP, étendant la DPP standard à des scénarios avec des observateurs apprenables et adaptatifs, mettant en évidence l'échec des méthodes en un seul tir dans des contextes répétés.
2. Cadre DeMP : Une méthode novatrice d'optimisation à deux niveaux combinant une adaptation rapide au niveau de l'épisode avec des mises à jour métadé. C'est la première approche à modéliser explicitement et à contrer la dynamique d'apprentissage de l'observateur dans la planification de trajectoire.
3. Validation Empirique : Des expériences extensives démontrent que DeMP maintient des performances de déception élevées sur des centaines d'interactions, tandis que les méthodes existantes (y compris la DPP basée sur l'apprentissage par renforcement standard et les approches réactives naïves) se dégradent rapidement à mesure que l'observateur apprend.

Résultats Expérimentaux

Les auteurs ont évalué DeMP dans des environnements de type grille (49x49 et 100x100) et dans un scénario de "Déception Pirate" impliquant une poursuite active.

• Déception Durable : Sur 400 épisodes d'interaction, DeMP a constamment maintenu la probabilité la plus faible que l'objectif réel soit identifié par l'observateur. En revanche, des lignes de base comme le Modèle d'Ambiguïté (AM) et un Agent Naïf ont vu leurs capacités de déception s'effondrer à mesure que l'observateur s'adaptait.
• Diversité des Trajectoires : Les visualisations (cartes thermiques et projections t-SNE) ont révélé que, tandis que les agents de base convergeaient vers des trajectoires statiques ou rigides, DeMP a continuellement fait évoluer ses motifs de trajectoire, empêchant l'observateur d'établir des associations d'inférence stables.
• Compromis Coût : DeMP a engendré des coûts de trajectoire légèrement plus élevés par rapport aux trajectoires optimales, représentant un compromis nécessaire pour une robustesse à long terme.
• Poursuite Active : Dans le cadre de la Déception Pirate, DeMP a considérablement réduit le taux de capture de l'agent par rapport aux lignes de base, prouvant son efficacité même lorsque l'adversaire intercepte activement sur la base de prédictions.
• Sensibilité aux Hyperparamètres : L'étude a révélé qu'un nombre intermédiaire d'épisodes ($M$) avant les mises à jour métadé offre le meilleur équilibre entre l'intégration d'informations historiques et le maintien d'une adaptation opportune.

Importance et Revendications

L'article revendique que DeMP opère un changement fondamental dans la planification déceptive en passant d'une adaptation réactive à une adaptation proactive. En exploitant les principes de l'apprentissage métadé, DeMP aborde la limitation structurelle du retard d'adaptation inhérente aux interactions adversariales séquentielles.

Les auteurs soulignent que leur travail met en lumière l'importance de modéliser les interactions répétées avec des adversaires apprenables. Ils soutiennent que l'ignorance de la nature adaptative des observateurs conduit à une dégradation rapide de la déception dans les scénarios réels. Bien que les expériences actuelles soient menées dans des mondes en grille, le cadre offre de nouvelles perspectives sur la confidentialité et la sécurité dans les systèmes multi-agents où les adversaires apprennent continuellement à partir de données historiques. Les auteurs notent modestement que des travaux futurs sont nécessaires pour explorer l'efficacité du cadre dans des domaines réels plus complexes, de haute dimension et dynamiques.