Résumé Technique : Briser le Piège Épistémique : Perception Active sous Incertitude Composée

1. Définition du Problème : Le Piège Épistémique

L'article identifie une limitation critique dans le déploiement de l'Apprentissage par Renforcement (RL) dans des domaines critiques pour la sécurité (par exemple, véhicules autonomes, aide à la décision médicale). Alors que la littérature existante traite des décalages de dynamique (changements dans la physique du système) et de l'observabilité partielle (informations d'état incomplètes) comme des défis distincts, les auteurs soutiennent que leur survenue simultanée crée un mode de défaillance synergique qualifié de Piège Épistémique.

Dans ce régime, un agent fait face à une dépendance circulaire :

• Il ne peut pas estimer avec précision son état sans connaître la dynamique du système.
• Il ne peut pas apprendre avec précision la dynamique du système sans des informations d'état précises.

Les approches conventionnelles adoptent une stance épistémique passive, supposant que ces incertitudes sont indépendantes ou s'appuyant sur des bornes de pire cas. Les auteurs démontrent que cette hypothèse conduit à des défaillances « super-additives », où la dégradation combinée des performances dépasse largement la somme des dégradations individuelles. Le problème central est que l'agent ne peut pas distinguer si une erreur provient du fait d'être dans un mauvais endroit (incertitude d'état) ou d'avoir une mécanique défectueuse (incertitude de dynamique), ce qui conduit à une paralysie du raisonnement.

2. Méthodologie : L'Architecture de Sécurité Adaptative

Pour résoudre le Piège Épistémique, les auteurs proposent de reformuler la sécurité comme un problème d'information et introduisent une Architecture de Sécurité Adaptative. Ce cadre déplace le paradigme de la robustesse passive vers la perception active, où les agents sondent stratégiquement l'environnement pour résoudre l'incertitude.

2.1 Quantification du Piège : Le Coefficient d'Incertitude Composée ($\kappa$)

Les auteurs introduisent une métrique, $\kappa$, pour quantifier le couplage entre l'incertitude d'état ($s$) et l'incertitude de dynamique ($\theta$).

• Base Théorique : $\kappa$ est défini comme l'information mutuelle conditionnelle $I(s; \theta | b_t)$, mesurant l'intrication informationnelle entre l'état et la dynamique au sein de la croyance conjointe $b_t$.
• Approximation Traitable : Puisque le calcul de la croyance conjointe complète est intraitable, ils dérivent un proxy de borne supérieure : $\kappa \approx \sigma_\theta + \sigma_s$.
  • $\sigma_\theta$ : Une erreur de prédiction normalisée provenant d'un ensemble figé de prédicteurs de dynamique, capturant l'incertitude épistémique de la dynamique.
  • $\sigma_s$ : Une métrique de déficit combinant la perte d'observation partielle (capteurs masqués) et les retards d'action, capturant les déficits d'observabilité de l'état.
• Détection de Régime : $\kappa$ partitionne l'opération en trois régimes :
  1. Faible Déficit ($\kappa < \tau_{low}$) : Les incertitudes sont indépendantes ; les méthodes robustes/POMDP standards suffisent.
  2. Transition : Couplage modéré ; l'agent équilibre la progression de la tâche avec la réduction de l'incertitude.
  3. Déficit Élevé / Piège Épistémique ($\kappa > \tau_{high}$) : L'observation passive échoue ; le système doit basculer vers la recherche active d'information.

2.2 Résolution Active : Recherche d'Information sur la Dynamique (DIS)

Lorsque $\kappa$ indique un piège, l'agent bascule de la maximisation standard de la récompense vers la Recherche d'Information sur la Dynamique (DIS).

• Distinction : Contrairement à la perception active classique (qui cherche des informations sur l'état), la DIS exécute des actions spécifiquement conçues pour isoler et identifier les paramètres de la dynamique décalée ($\theta$).
• Fonction Objectif : Les auteurs proposent l'objectif MaxInfoRL, une politique composite $\pi^*$ qui arbitre entre la récompense de la tâche, le gain d'information et le risque de sécurité :
  $$\pi^* = \arg \max_\pi \mathbb{E}_\pi [R_{task} + \alpha(\kappa) \cdot IG(\theta) - \lambda \cdot R_{risk}]$$
  Ici, le poids $\alpha$ est une fonction croissante de $\kappa$, priorisant le gain d'information ($IG$) à mesure que le couplage augmente.

2.3 Contraintes de Sécurité Adaptatives

Les contraintes de sécurité ne sont pas statiques mais des variables dynamiques modulées par $\kappa$. À mesure que le couplage épistémique augmente, les budgets de sécurité ($\delta(\kappa)$) se resserrent, forçant l'agent à opérer de manière conservatrice tout en rassemblant des informations de diagnostic. Cela crée un système en boucle fermée où le module de Quantification de l'Incertitude (UQ) met à jour continuellement $\kappa$, pilotant le Sélecteur de Régime pour ajuster le comportement de la politique.

3. Résultats Clés

Les auteurs valident leur cadre par des expériences de preuve de concept utilisant un robot bipède simulé (Walker2D-v5) à travers 120 configurations expérimentales.

• Défaillance Super-Additive : Dans un scénario de haute sévérité combinant observabilité partielle (capteurs masqués) et décalages de dynamique (retards d'action), les performances se sont dégradées de 77 %.
  • Effets individuels : L'observabilité partielle a causé une baisse de 19 % ; le décalage de dynamique a causé une baisse de 27 %.
  • Attente additive : ~46 % de dégradation.
  • Résultat réel : 77 % de dégradation (un effondrement super-additif).
• Capacité de Détection : La métrique $\kappa$ a détecté avec succès le début de ces défaillances. Dans le régime d'incertitude composée (C4), $\kappa$ a atteint un pic à 0,496 (comparé à 0,036 dans la ligne de base), dépassant significativement la somme des valeurs des facteurs de stress individuels.
• Sensibilité Temporelle : L'effet super-additif était le plus prononcé sous l'incertitude temporelle (retards d'action), où les taux d'échec ont presque triplé par rapport aux décalages physiques statiques, soulignant la difficulté de valider croisé l'état et la dynamique lorsque les boucles de rétroaction sont retardées.

4. Signification et Revendications

L'article revendique offrir une voie fondée sur des principes vers des systèmes de prise de décision capables d'opérer sous incertitude en reconnaissant leur propre ignorance et en agissant stratégiquement pour la résoudre.

• Changement de Paradigme : Le travail va au-delà de la « robustesse passive » (adhésion aux bornes de pire cas) vers la « perception active », arguant que la sécurité dans des mondes ouverts nécessite une gestion active de l'information.
• Insight Structurel : Il identifie le Piège Épistémique comme un mode de défaillance structurel distinct des défis isolés, expliquant pourquoi les solveurs RL robustes et POMDP conventionnels échouent lorsque les défis de dynamique et d'observabilité coïncident.
• Feuille de Route Future : Les auteurs décrivent une voie vers une mise en œuvre traitable impliquant :
  • Conceptions à double ensemble pour maintenir des priors stables tout en mettant à jour en ligne.
  • Priors structurels causaux pour réduire la dimensionalité de l'espace des paramètres.
  • Modèles de Fondation (FMs) pour fournir une initialisation robuste et une modélisation du monde, réduisant l'entropie initiale de la croyance de l'agent.
  • Nouvelles Étalons : Ils proposent POMDP-Robust-Gym, une suite d'étalons conçue pour tester explicitement l'incertitude composée et les modes de défaillance super-additifs, que les étalons actuels (par exemple, POPGym, Robust-Gymnasium) ne traitent pas adéquatement.

L'article conclut que l'atteinte d'une « sécurité à tout moment » dans les domaines critiques pour la sécurité nécessite l'intégration d'objectifs informationnels, d'abstraction causale et de priors de modèles de fondation pour permettre des agents non seulement robustes, mais intelligemment adaptatifs.