Width, Memory, and Delay: A Resource Accounting for the Limits of Flat Multi-Agent Systems

Résumé technique : Largeur, Mémoire et Délai : Une comptabilité des ressources pour les limites des systèmes multi-agents plats

Énoncé du problème
L'article traite d'un débat fondamental concernant la conception de systèmes multi-agents scalables (allant des essaims de robots aux collectifs de grands modèles de langage) : l'augmentation du nombre d'agents (largeur de population) peut-elle surmonter indéfiniment les limites de performance, ou une organisation hiérarchique qualitativement plus profonde est-elle strictement requise ? Cette interrogation est motivée par un récent préprint [7] affirmant que les systèmes multi-agents homogènes et plats possèdent un « plancher causal » irréductible et indépendant de la population, qui ne peut être abaissé que par une organisation hiérarchique (boucles imbriquées). Les auteurs soutiennent que cette affirmation confond deux concepts distincts : la platitude architecturale (absence de boucles de contrôle imbriquées) et la platitude de la mémoire (absence d'état dynamique interne). L'article cherche à remplacer ce débat binaire « plat vs profond » par un modèle de ressources quantitatif basé sur trois dimensions distinctes : la largeur de population ($N$), la mémoire du modèle interne par agent ($d$) et la prédiction à travers le délai d'observation ($\tau$).

Méthodologie
Les auteurs utilisent un banc d'essai de rejet de perturbations contrôlé, fondé sur la théorie du contrôle stochastique classique (contrôle à variance minimale, principe du modèle interne et contraintes de Bode/eau de table).

• Modèle de système : Un état scalaire unique d'une plante $x[t]$ évolue sous une perturbation structurée commune $d[t]$ (composée de tons à bande étroite et d'un processus AR) et est observé par $N$ agents homogènes. Les agents reçoivent des observations retardées ($\tau$) et bruitées ($v_i$). Leurs actions de contrôle sont moyennées pour former une entrée collective.
• Définitions des ressources :
  • Largeur ($N$) : Le nombre d'agents moyennant un bruit de mesure indépendant.
  • Mémoire ($d$) : La dimension de l'état dynamique interne par agent (ex: intégrateurs, résonateurs) utilisé pour modéliser le générateur de perturbation.
  • Délai ($\tau$) : La latence entre l'observation et l'action de contrôle, fixant un horizon de prédiction.
• Contrôleurs testés :
  • Échelle (Ladder) : Essaims homogènes plats avec une augmentation de la mémoire interne par agent (banques de P, PI et PI+Résonateur).
  • Cascade : Un système hiérarchique à deux boucles conçu (la référence « profonde »).
  • Frontière de Kalman : Un contrôleur centralisé à variance minimale de type oracle, servant d'optimum calculable.
  • Adaptatif : Un contrôleur sans oracle qui apprend les fréquences de perturbation en ligne via une détection de pics par périodogramme et des résonateurs à verrouillage de phase.
• Évaluation : La performance est mesurée par l'erreur quadratique moyenne (MSE) en régime permanent. L'étude comprend des expériences étendues faisant varier $N$, $d$ et $\tau$, ainsi que des tests de robustesse contre le décalage de fréquence, les perturbations non stationnaires (chirps et changements de régime), la non-linéarité légère et les plantes spatialement étendues.

Contributions clés

1. Contre-exemple au théorème fort des systèmes plats : L'article démontre qu'un essaim plat et homogène avec des modèles internes par agent assortis peut atteindre un plancher d'erreur inférieur à une hiérarchie à deux boucles conçue, lorsque les deux possèdent une mémoire par agent égale. Cela réfute l'affirmation selon laquelle la hiérarchie architecturale est nécessaire pour abaisser le plancher d'erreur ; la profondeur temporelle peut être obtenue via la mémoire dynamique (récurrente) plutôt que par l'imbrication architecturale.
2. Carte quantitative Largeur $\times$ Mémoire : Les auteurs établissent que la largeur et la mémoire ne sont pas mutuellement interchangeables.
   • La Largeur réduit la composante de l'erreur due au bruit de mesure indépendant (évoluant en $1/N$) mais ne peut réduire la résiduelle structurée causée par les fréquences de perturbation non modélisées.
   • La Mémoire (spécifiquement les états du modèle interne) est nécessaire pour annuler les perturbations structurées.
   • Une analyse stricte du budget total d'états ($N \cdot d = \text{const}$) révèle un seuil : en dessous d'un certain rapport signal sur bruit, augmenter la largeur est bénéfique ; au-dessus de celui-ci, investir des états dans la mémoire (profondeur) surpasse décisivement l'ajout d'agents.
3. Le Théorème du Délai : L'article quantifie un plancher d'erreur irréductible déterminé par le délai d'observation $\tau$ et l'imprévisibilité de l'environnement sur cet horizon. Ce plancher correspond à la variance de l'erreur de prédiction multi-étapes de la perturbation, plus l'incertitude provenant de la détection bruitée et retardée. Ce limite est vérifiée par rapport au contrôleur prédictif optimal (Proposition 2) à moins de 1 %.
4. Coût de l'adaptation : L'étude quantifie l'écart de performance entre les contrôleurs à connaissance oracle et les contrôleurs adaptatifs en ligne. Bien que les contrôleurs adaptatifs approchent la base de référence oracle dans les contextes stationnaires à bande étroite, ils souffrent de transitoires de ré-identification lors de changements de régime rapides, performant parfois moins bien que des boucles sans mémoire robustes.
5. Règles de conception : Quatre directives pratiques sont distillées pour les praticiens : (1) Comptez d'abord les modes de perturbation (chacun nécessite des états de modèle interne) ; (2) Ajoutez de la largeur uniquement jusqu'au point où la réduction du bruit rencontre le plancher structurel ; (3) Traitez la latence comme un mur infranchissable nécessitant la prédiction ou la réduction de la latence, et non plus d'agents ; (4) Échangez la profondeur de l'encoche contre la robustesse ou adaptez-vous seulement si les régimes survivent aux temps d'identification.

Résultats

• Plat vs Hiérarchie : Dans les expériences E1-E3, un essaim résonateur plat ($d=2$) a atteint un plancher de MSE inférieur (0,058) que la meilleure cascade à deux boucles ajustée (0,107) à mémoire par agent égale, réfutant directement l'affirmation d'impossibilité pour les systèmes plats.
• Non-échangeabilité : L'expérience E4 a montré que l'augmentation de $N$ ne peut réduire l'erreur d'une bande de perturbation non couverte par le modèle interne (la MSE restait indépendante de $N$ pour les bandes non couvertes).
• Analyse de budget : Dans le bloc A, pour un budget total d'états fixe, l'augmentation de la profondeur de mémoire ($d$) dominait l'augmentation de la largeur ($N$) une fois un seuil de SNR minimum franchi. Sous ce seuil, le bruit de mesure dominait, rendant la largeur critique.
• Limites de délai : Le bloc C a confirmé que le plancher de MSE croît avec $\tau$ et correspond au plancher de Riccati semi-analytique de la Proposition 2 à 0,89 % près.
• Robustesse : Les résonateurs tranchants offraient une suppression profonde mais étaient fragiles au décalage de fréquence. Les contrôleurs adaptatifs géraient bien les chirps mais échouaient lors de changements de régime rapides en raison des transitoires d'identification.
• Généralisation : La comptabilité des ressources s'est vérifiée pour des plantes spatialement étendues (anneau de 12 nœuds et grille 6x6) et sous observabilité partielle, confirmant que les conclusions ne sont pas des artefacts du banc d'essai scalaire.

Signification et Revendications
L'article prétend résoudre le paradoxe apparent de la scalabilité multi-agent en recadrant le problème comme une « comptabilité des ressources » plutôt qu'une hiérarchie architecturale. Il soutient que la « profondeur » requise pour surmonter les limites de performance n'est pas nécessairement architecturale (boucles imbriquées) mais peut être dynamique (modèles internes au sein des agents).

• Portée : Les auteurs déclarent explicitement que leurs affirmations sont fondées sur la théorie du contrôle linéaire avec des non-linéarités bornées et ne s'étendent pas aux plantes chaotiques ou à phase non minimale.
• Pertinence pour les LLM : Bien que le banc d'essai soit un système de contrôle physique, les auteurs proposent le triangle des ressources (largeur, mémoire, délai) comme une hypothèse pour les collectifs cognitifs (ex: agents LLM), suggérant que la « mémoire » correspond au contexte/récupération et le « délai » à la latence de raisonnement. Ils postulent que la découverte empirique selon laquelle un agent fort unique peut égaler un flux de travail multi-agent s'explique par un modèle interne adéquat, tandis que le passage à l'échelle aide principalement lorsqu'il ajoute de la diversité (couverture spectrale) plutôt que de la simple réplication.
• Modestie : Les auteurs évitent de prétendre prouver de nouveaux théorèmes d'impossibilité. Ils fournissent plutôt un contre-exemple à une affirmation forte existante et offrent un modèle de ressources plus précis, ancré classiquement et vérifié empiriquement. Ils reconnaissent que leur contrôleur adaptatif est une base heuristique et que l'estimation distribuée (communication inter-agents) est une extension directe encore peu explorée.