Résumé Technique : PLATO (Pointer Learner for Agent and Task Openness)

Énoncé du Problème

Les Systèmes d'Agents Ouverts (OASYS) sont des environnements multi-agents où les ensembles d'agents et de tâches changent de manière imprévisible au fil du temps. Cette « ouverture » se manifeste par l'Ouverture des Agents (AO - Agent Openness), où les agents rejoignent ou quittent le système, et l'Ouverture des Tâches (TO - Task Openness), où les tâches apparaissent ou disparaissent. Ces dynamiques défient fondamentalement l'apprentissage par renforcement multi-agent (MARL) standard, qui suppose généralement des espaces d'états et d'actions fixes. Les méthodes existantes ne traitent ces problèmes que partiellement : les approches de padding (remplissage) et de masquage introduisent des limites artificielles, tandis que les récentes méthodes basées sur les graphes ou les hypergraphes traitent souvent un seul aspect de l'ouverture ou reposent sur des hypothèses restrictives (par exemple, des ensembles d'agents fixes ou des espaces de tâches bornés). Par conséquent, il manque des cadres capables de gérer conjointement l'AO et la TO sans nécessifier de réentraînement ou d'imposer des limites fixes sur l'espace agent-tâche.

Méthodologie

Le papier présente PLATO (Pointer Learner for Agent and Task Openness), un algorithme de MARL de type Entraînement Centralisé et Exécution Décentralisée (CTDE) conçu pour opérer sur des espaces d'états et d'actions non bornés.

1. Formalisation : TaAgO-MG

Les auteurs formalisent le problème comme un Jeu de Markov avec Ouverture de Tâches et d'Agents (TaAgO-MG). Cela étend les précédents Jeux de Markov avec Ouverture de Tâches (TaO-MG) en traitant à la fois l'ensemble des agents ($N$) et l'ensemble des tâches ($X$) comme des variables dynamiques qui évoluent au fil du temps. Une fonction de génération $\Psi$ adapte les composantes de base du jeu de Markov (état, action, transition et récompense) à chaque pas de temps en fonction de la composition actuelle des agents et des tâches.

2. Architecture

PLATO emploie une architecture acteur-critique avec les composants suivants :

• Acteur à Pointeur (Décentralisé) :

  • Au lieu de classifier des actions à partir d'un vocabulaire fixe, l'acteur utilise un mécanisme de réseau de pointeur (pointer network).
  • Factorisation de l'Observation : L'observation locale de l'agent est factorisée en une matrice de caractéristiques d'agent et une matrice de caractéristiques de tâche.
  • Génération de Requête (Query) : Pour gérer l'AO, l'ensemble des agents est agrégé en un vecteur de requête de longueur fixe à l'aide de statistiques invariantes par permutation (moyenne, variance, min, max) traitées par un MLP. Cela garantit que la politique est invariante à l'ordre des agents.
  • Génération de Clé (Key) : Chaque tâche disponible est encodée en un vecteur de clé via un MLP.
  • Pointage basé sur le Contenu : L'acteur calcule les scores d'attention entre la requête et les clés des tâches en utilisant l'attention additive. La sortie est une distribution de probabilité directement sur les tâches actuellement disponibles (plus une action NO-OP). À mesure que les tâches apparaissent ou disparaissent, le support de cette distribution change automatiquement sans réentraînement.

• Critique GNN (Centralisé) :

  • Le critique estime la valeur de l'état global pendant l'entraînement.
  • Il représente l'état ouvert comme un graphe bipartite où les nœuds sont les agents et les tâches, et les arêtes représentent les interactions potentielles.
  • Un Réseau de Neurones Convolutifs sur Graphes (GCN) propage l'information à travers les arêtes agent-tâche.
  • La structure du graphe change dynamiquement avec le nombre d'agents et de tâches, évitant ainsi une concaténation de taille fixe. Une couche de pooling moyen suivie d'un MLP produit une estimation scalaire de la valeur.

3. Entraînement

PLATO est entraîné à l'aide de l'Optimisation de Politique Proximale Multi-Agent (MAPPO). L'acteur et le critique sont optimisés conjointement en utilisant l'Estimation de l'Avantage Généralisé (GAE). La complexité computationnelle par pas de temps est proportionnelle au nombre d'agents actifs ($|N_t|$) et de tâches ($|X_t|$), spécifiquement $O(|N_t|^2 + |N_t||X_t|)$, plutôt qu'à une borne fixe.

Contributions Clés

1. Architecture PLATO : La première architecture de MARL traitant conjointement l'AO et la TO via le pointage basé sur le contenu, éliminant le besoin de limites fixes, de padding ou de réentraînement lorsque la composition de l'environnement change.
2. Formalisation TaAgO-MG : Une extension rigoureuse des formulations d'ouverture de tâches qui fournit des garanties formelles que PLATO est bien défini et invariant par permutation sur des espaces d'états et d'actions dénombrables et non bornés.
3. Évaluation Empirique : Évaluation complète dans le domaine de la Suppression des Incendies (faisant partie de l'initiative MOASEI), démontrant les performances sur diverses tailles de grilles et configurations d'ouverture (S0–S3).
4. Généralisation Zero-Shot : Preuve que les politiques entraînées sur des tailles de grilles spécifiques se généralisent efficacement à des tailles de grilles plus grandes et non vues sans réentraînement, surpassant les bases de référence de l'état de l'art en termes de cohérence.

Résultats Expérimentaux

Les auteurs ont évalué PLATO contre des bases de référence intelligentes (DICG, DGN, MOHITO) et des bases de référence heuristiques (NOOP, Random, Strongest, Weakest) sur des grilles de 2×3, 3×3 et 4×4 sous quatre configurations allant de fermée (S0) à totalement ouverte (S3, combinant propagation endogène, ignitions exogènes et déplétion des agents).

• Performance : PLATO a obtenu les rendements par épisode les plus élevés dans les configurations les plus exigeantes (S2 et S3) sur les grilles 3×3 et 4×4 avec une signification statistique. Dans la configuration fermée (S0), ses performances sont comparables à celles d'autres méthodes intelligentes.
• Efficacité : PLATO a démontré une efficacité supérieure de récompense-par-combat dans la plupart des configurations ouvertes, indiquant une meilleure allocation des ressources et une meilleure hiérarchisation des tâches.
• Généralisation : Dans les évaluations zero-shot (entraînement sur de petites grilles, test sur de plus grandes), PLATO a montré une généralisation plus cohérente que les bases de référence. Notamment, MOHITO s'est effondré vers des rendements négatifs dans certains scénarios ouverts zero-shot, tandis que PLATO a maintenu des rendements positifs.
• Études d'Ablation : Les auteurs ont étudié les types d'encodeurs (MLP vs LSTM) et le score d'attention (additif vs produit scalaire). Les résultats indiquent que la combinaison LSTM + Attention additive a produit la plus forte généralisation zero-shot dans les contextes hautement ouverts (S3), tandis que MLP + Produit scalaire a été le plus performant dans les contextes simples et fermés (S0).

Signification et Revendications

Le papier affirme que PLATO répond à une limitation fondamentale du MARL actuel : l'incapacité à passer à l'échelle vers des ensembles d'agents et de tâches non bornés et dynamiques sans changements architecturaux ou réentraînement. En exploitant les réseaux de pointeurs et les réseaux de neurones sur graphes, PLATO traite l'espace d'action comme un ensemble dynamique de contenu plutôt que comme un index fixe.

Les auteurs affirment que PLATO fournit une solution bien définie pour les OASYS, prouvant que la politique reste valide quel que soit le nombre d'agents ou de tâches. Les résultats empiriques suggèrent que cette approche permet un déploiement robuste et scalable dans des scénarios réels où la composition du système est imprévisible, offrant une étape significative vers l'application du MARL à des environnements ouverts et dynamiques. Le travail ne prétend pas résoudre toutes les formes d'ouverture (excluant spécifiquement l'Ouverture de Cadre/Frame Openness) mais établit une base solide pour gérer les changements structurels dans les ensembles d'agents et de tâches.