Résumé Technique : WMAttack

Énoncé du Problème

Malgré l'adoption croissante des modèles du monde en tant qu'agents de prise de décision dans l'apprentissage par renforcement (RL), leur robustesse face aux attaques adverses reste sous-explorée. Les méthodes d'évaluation actuelles font face à un compromis critique entre précision et efficacité. Les attaques faibles, ajustées manuellement, surestiment souvent la robustesse, tandis que les recherches exhaustives d'hyperparamètres sont prohibitives en termes de calcul. En effet, évaluer un seul candidat d'attaque dans un contexte de modèle du monde nécessite des déroulements en boucle fermée à travers des dynamiques latentes apprises, ce qui est nettement plus coûteux que les évaluations standard en apprentissage supervisé. De plus, l'efficacité de l'attaque est hautement sensible aux dynamiques de l'environnement, aux espaces d'observation et aux hyperparamètres adverses, rendant le réglage manuel peu fiable. L'article identifie un manque de cadres automatisés dédiés pour exposer et quantifier systématiquement les modes de défaillance des agents basés sur des modèles du monde dans des conditions adverses.

Méthodologie

Les auteurs proposent WMAttack, un cadre automatisé de recherche d'attaques conçu pour évaluer les agents basés sur des modèles du monde dans le cadre d'un budget d'évaluation fini. L'objectif principal est formulé comme un problème de recherche sur les configurations d'attaque (incluant les familles d'attaques, les budgets de perturbation, les étapes d'optimisation, les redémarrages et les règles d'allocation) afin de maximiser une fonction d'utilité scalarisée. Cette utilité équilibre la dégradation de la récompense, l'instabilité de l'action, le temps d'évaluation et la variabilité des déroulements.

WMAttack emploie un processus d'optimisation en deux étapes pour naviguer dans le vaste espace de recherche :

1. Récupération d'Attaques Guidée par la Représentation (RGAR) :
   Pour résoudre le problème du « démarrage à froid » où les évaluateurs manquent de connaissances préalables sur les attaques efficaces pour une nouvelle paire tâche-agent, RGAR récupère des configurations d'attaque historiques à partir de tâches similaires en termes de représentation. Il construit un résumé comportemental latent ($\psi_\tau$) de la nouvelle tâche basé sur des trajectoires propres (états latents, prédictions, actions, récompenses). En projetant des dynamiques diverses dans un espace latent unifié, RGAR identifie les $K$ meilleurs enregistrements historiques similaires et les utilise pour initialiser la distribution de proposition d'attaque ($q_0$). Cela fournit un démarrage à chaud, exploitant l'expérience inter-tâches plutôt qu'une initialisation aléatoire non informée.

2. Recherche d'Attaques Auto-Corrective (SCAS) :
   Suite à l'initialisation, SCAS affine itérativement la stratégie de recherche en utilisant les retours des essais évalués. Il traite le générateur de candidats classés comme une distribution de proposition implicite ($q_t$). Après avoir évalué un lot de candidats via des déroulements en boucle fermée, SCAS utilise des retours multidimensionnels (dégradation de la récompense, instabilité de l'action, temps d'exécution, variabilité) pour mettre à jour la distribution de proposition. Les essais à haute utilité servent d'ancres pour un raffinement local, tandis que les signaux de retour ajustent les directions de recherche (par exemple, en modifiant les budgets de perturbation ou les étapes d'optimisation). Cette boucle auto-corrective concentre le budget d'évaluation sur les régions de l'espace d'attaque plus susceptibles d'exposer les défaillances des modèles du monde.

Fondement Théorique : L'article fournit une explication théorique démontrant que si le raffinement de la proposition (via RGAR ou SCAS) déplace la masse de probabilité vers des configurations d'attaque à haute utilité (l'ensemble $G_\eta$), la probabilité de découvrir une attaque efficace dans un budget fini augmente. Plus précisément, la règle de mise à jour $C_\gamma(q) = (q + \gamma q^*)/(1+\gamma)$, où $q^*$ est une distribution de référence biaisée par l'utilité, garantit une augmentation de la probabilité d'échantillonner une configuration efficace si la référence est plus concentrée sur l'ensemble efficace que la proposition actuelle.

Contributions Clés

1. Formulation du Problème : Les auteurs formulent l'évaluation de la robustesse aux attaques adverses pour les modèles du monde comme un problème de recherche de configuration d'attaque à budget fini, visant à identifier efficacement des attaques à fort impact à travers diverses tâches, modèles et paramètres d'hyperparamètres.
2. Cadre WMAttack : Ils développent un cadre automatisé combinant RGAR et SCAS. RGAR permet le transfert d'expérience inter-tâches via des représentations comportementales latentes, tandis que SCAS utilise un raffinement de proposition piloté par le retour d'information pour concentrer de manière adaptative les efforts de recherche.
3. Insight Théorique : L'article offre une explication théorique de la raison pour laquelle le raffinement de proposition piloté par le retour d'information améliore l'efficacité de la recherche, montrant que le déplacement de la masse de probabilité vers des configurations à haute utilité réduit le temps d'attente attendu pour trouver des attaques efficaces.
4. Évaluation Empirique : Des expériences extensives sont menées sur 46 tâches des suites Atari et DeepMind Control (DMC) en utilisant diverses architectures de modèles du monde (DreamerV2, DreamerV3, TD-MPC2, IRIS).

Résultats

L'évaluation démontre que WMAttack découvre systématiquement des attaques plus puissantes que la recherche aléatoire et une ligne de base de recherche automatique de style Claudini (qui utilise un retour itératif mais manque de récupération inter-tâches).

• Force de l'Attaque : Sur DreamerV3 Atari, WMAttack a obtenu une baisse de récompense normalisée de 1,034, surpassant la ligne de base Claudini (0,497) et la recherche aléatoire (0,446) avec des marges significatives. C'était la seule méthode à produire une utilité scalarisée positive (0,430), indiquant que le coût de la recherche était justifié par la force de l'attaque. Sur DMC, WMAttack a amélioré la baisse de récompense de 0,319 (Claudini) à 0,682.
• Généralisation Inter-Modèles : Le cadre a réussi à exposer les vulnérabilités de DreamerV2, TD-MPC2 et IRIS, réalisant des gains constants en termes de baisse de récompense et d'instabilité de l'action à travers ces différentes architectures.
• Efficacité de la Recherche : WMAttack a atteint 90 % de sa meilleure utilité finale dans 87,5 % des paires tâche-attaque sur Atari, contre environ 53 % pour les lignes de base. Sur DMC, le taux de réussite est passé d'environ 18 % à 49,0 %.
• Études d'Ablation :
  • RGAR vs SCAS : RGAR a considérablement amélioré la qualité des candidats initiaux (utilité du premier tour), tandis que SCAS était essentiel pour affiner ces candidats en attaques finales à haute utilité. Aucun des deux composants seul n'a atteint les performances du système combiné.
  • Architectures LLM : Le choix de l'architecture LLM sous-jacente (par exemple, Qwen2.5-3B vs 7B) a affecté les performances de manière non monotone. Les modèles plus petits (3B) ont parfois surpassé les plus grands (7B) en termes de baisse de récompense et d'utilité, suggérant que l'efficacité dépend du compromis force-coût plutôt que du nombre de paramètres uniquement.

Signification et Revendications

L'article revendique que WMAttack comble le fossé entre les protocoles d'évaluation adverses statiques (comme AutoAttack pour la vision supervisée) et les exigences dynamiques et à haut coût de l'évaluation des modèles du monde. En traitant l'évaluation comme une recherche automatisée à budget fini, WMAttack fournit un moyen systématique d'exposer les modes de défaillance que le réglage manuel ou la recherche aléatoire pourraient manquer.

Les auteurs soulignent que leur objectif n'est pas de certifier la robustesse globale mais de découvrir efficacement des attaques à fort impact. La signification réside dans la démonstration que l'exploitation des similarités intrinsèques entre les modèles du monde (via RGAR) et l'adaptation des stratégies de recherche basées sur un retour d'information en boucle fermée (via SCAS) permettent de découvrir des configurations adverses substantiellement plus puissantes sous des budgets de calcul fixes. Cette approche offre une voie pratique pour l'évaluation axée sur la sécurité d'agents de modèles du monde de plus en plus complexes.