Résumé Technique : MasFACT

Définition du Problème

L'article aborde le défi de l'Apprentissage de Topologie de Système Multi-Agents (SMA) Continu. Bien que les SMA basés sur les Grands Modèles de Langage (LLM) aient prouvé leur efficacité pour le raisonnement complexe, leurs performances dépendent fortement de la topologie de communication sous-jacente (la manière dont les agents coordonnent). Les méthodes existantes optimisent généralement les topologies pour des tâches isolées et statiques. Dans les scénarios réels où les tâches évoluent en flux, ces méthodes souffrent d'oubli de topologie : alors que le système s'adapte à de nouvelles tâches, le générateur de topologie s'éloigne des structures de communication qui étaient efficaces pour les tâches précédentes.

Ce mode de défaillance diffère de l'oubli standard des paramètres. Il résulte d'un désalignement inter-tâches selon deux dimensions :

1. Sémantique fonctionnelle au niveau de l'agent : Les rôles et les outils peuvent changer de sens d'une tâche à l'autre.
2. Structures de communication relationnelles : Les connexions optimales du graphe changent, amenant le générateur à écraser les modèles de collaboration précédemment utiles.

Les approches actuelles (basées sur la recherche ou génératives) soit écrasent les structures passées, soit souffrent d'une dérive de distribution sans mémoire structurelle explicite, conduisant à un compromis où l'adaptation à court terme dégrade les connaissances à long terme.

Méthodologie : MasFACT

Les auteurs proposent MasFACT (Transfert de Topologie de Consensus Aligné Factorisé), un cadre de transfert de posterior conscient de la géométrie conçu pour préserver et réutiliser les connaissances historiques de collaboration. La méthode fonctionne via un pipeline en trois étapes :

1. Construction de Topologie Historique Factorisée

MasFACT maintient une Banque de Priors ($M$) d'"atomes de prior" dérivés de topologies historiques à haute utilité. Chaque atome $H_m$ est factorisé en trois composants pour permettre le transfert entre des tâches ayant différentes identités d'agents et cardinalités de graphes :

• Topologie de Consensus ($S_m$) : Un graphe dirigé codifiant des structures de communication réutilisables.
• Attributs de Prototype ($X_m$) : Attributs d'agents capturant des sémantiques fonctionnelles transférables (rôles, outils).
• Mesure de Nœud ($\nu_m$) : Une mesure sur les nœuds de prototype pour l'alignement par transport optimal.
• Métadonnées : Chaque atome stocke également l'utilité historique ($\bar{U}_m$) et la dispersion structurelle ($\sigma_m$) pour guider la récupération.

2. Récupération de Prior Consciente de la Géométrie

Lorsqu'une nouvelle tâche $T_t$ arrive, MasFACT récupère l'atome de prior le plus transférable. Au lieu d'une simple correspondance d'index, elle formule la récupération comme un problème de Transport Optimal utilisant la distance Fused Gromov-Wasserstein (FGW).

• Alignement : Elle aligne le graphe d'échafaudage de la tâche actuelle (agents et structure provisoire) avec les atomes historiques en minimisant conjointement le coût de l'appariement des attributs d'agents (sémantique) et des relations de graphe (structure).
• Critère de Récupération : Le système sélectionne l'atome $H_{m_t}$ qui équilibre la transférabilité géométrique (coût FGW), la concentration structurelle (dispersion) et l'utilité historique.
• Projection : La topologie de consensus sélectionnée est projetée dans l'espace des agents actuel via la matrice de couplage optimale, créant un prior structurel continu ($C_t$) qui sert de point de référence.

3. Adaptation Conservatrice du Posterior

Pour s'adapter à la nouvelle tâche sans oublier, MasFACT apprend un posterior stochastique ($q_t$) centré autour du prior aligné ($C_t$), plutôt que de rechercher l'ensemble de l'espace des topologies.

• Apprentissage Résiduel : Le posterior est défini comme une perturbation du prior : $q_t(B) \propto \exp(\langle C_t + R_t, B \rangle)$, où $R_t$ est une matrice de scores résiduels parcimonieuse et apprenable. Cela garantit que l'adaptation se limite aux modifications locales nécessaires.
• Contrainte PAC-Bayes : L'objectif d'entraînement est guidé par une borne de transfert PAC-Bayes. La fonction de perte minimise le risque empirique tout en pénalisant la complexité du posterior par rapport au prior (divergence KL) et en imposant la parcimonie sur les modifications résiduelles. Cela borne théoriquement le risque d'oubli de topologie en contrôlant la dérive structurelle.

Contributions Clés

1. Formulation du Problème : Les auteurs identifient et formalisent l'oubli de topologie comme un mode de défaillance distinct dans l'apprentissage continu de SMA, causé par un désalignement à la fois dans l'espace des topologies et les sémantiques des agents.
2. Cadre Novel (MasFACT) : Ils introduisent un cadre conscient de la géométrie qui traite les topologies historiques comme des priors structurels transférables. En combinant le transport optimal FGW pour l'alignement inter-tâches avec une adaptation conservatrice du posterior guidée par PAC-Bayes, MasFACT équilibre la plasticité (adaptation aux nouvelles tâches) et la stabilité (maintien des anciennes topologies).
3. Protocole d'Évaluation : L'article propose un protocole d'évaluation hiérarchique de SMA continu couvrant l'évolution au niveau tâche (familles de raisonnement différentes), au niveau domaine (différents ensembles de données au sein d'une famille) et au niveau classe (sous-compétences fines) à travers quatre domaines de raisonnement et 17 ensembles de données.

Résultats Expérimentaux

Les expériences ont été menées sur 12 scénarios continus utilisant Llama-3.1-8B comme colonne vertébrale. MasFACT a été comparé à des méthodes d'agent unique, à des topologies fixes et à des générateurs de topologie adaptatifs de l'état de l'art (par exemple, GDesigner, MasRouter, ARGDesigner), y compris des variantes basées sur la répétition.

• Performance : MasFACT a systématiquement surpassé toutes les lignes de base. Dans tous les paramètres, il a amélioré la Précision Moyenne (AA) d'environ 9,3 % et réduit l'Oubli Moyen (AF) de 69,4 % par rapport à des lignes de base solides.
• Atténuation de l'Oubli : Contrairement à d'autres méthodes qui exhibent souvent un oubli positif (dégradation des performances sur les anciennes tâches), MasFACT a fréquemment atteint un oubli négatif (transfert rétroactif positif), indiquant que les modèles de collaboration appris ont amélioré les performances sur les tâches précédentes.
• Plug-and-Play : MasFACT a servi de couche continue efficace pour divers générateurs de topologie (basés sur l'élagage, la génération de graphes et le routage), améliorant leurs performances sans modifier leurs architectures centrales.
• Ablation : La suppression du prior historique, de l'alignement FGW ou des contraintes PAC-Bayes a considérablement dégradé les performances, confirmant que l'alignement conjoint de la structure et de la sémantique, combiné à une adaptation conservatrice, est critique.

Signification et Revendications

L'article revendique que l'oubli de topologie est un phénomène structurel distinct de l'oubli des paramètres, nécessitant un passage d'un apprentissage continu centré sur les paramètres à un transfert centré sur la structure.

• Connaissances Structurelles comme Priors : Le travail démontre que les topologies de collaboration efficaces sont des connaissances structurelles réutilisables qui peuvent être factorisées, alignées et transférées, plutôt que d'être redécouvertes à partir de zéro pour chaque tâche.
• Transfert Conscient de la Géométrie : En utilisant FGW, la méthode gère avec succès le désalignement des rôles d'agents et des structures de graphes à travers les tâches, une limitation des méthodes de récupération standard basées sur l'espace euclidien ou l'index.
• Équilibre Stabilité-Plasticité : La formulation PAC-Bayes fournit une garantie théorique permettant au système de s'adapter aux nouvelles tâches tout en bornant strictement la déviation par rapport aux structures historiques prouvées.

Les auteurs concluent que MasFACT offre une solution robuste et agnostique à l'architecture pour mettre à l'échelle des SMA basés sur LLM fiables et adaptatifs dans des environnements dynamiques et évolutifs, dépassant la conception de topologie statique et ponctuelle.