Testing the Consent-Friction Functional: Preference-Design Artifacts and the Contention-Bounded Limits of Coordination Friction in Multi-Agent Reinforcement Learning

Résumé Technique : Test du fonctionnel de la friction de consentement

Énoncé du Problème
Le document traite de l'adéquation empirique du « fonctionnel de la friction de consentement », une proposition théorique dérivée d'un axiome unique concernant l'autorisation et les enjeux (stakes). Le fonctionnel postule que la friction de coordination ($F$) dans les systèmes multi-agents est un composite de trois variables noyaux : l'alignement des préférences ($\alpha$), les enjeux ($\sigma$) et l'entropie ($\varepsilon$). La forme proposée est $F = \sigma(1 + \varepsilon)/(1 + \alpha)$. Bien que la théorie prédise que la friction augmente avec les enjeux et l'entropie et diminue avec l'alignement (divergeant lorsque $\alpha \to -1$), la forme fonctionnelle monotone spécifique et la prétention qu'un indice unique prédit la perte de coordination restent non testées. L'objectif du papier est de valider empiriquement ce fonctionnel et, de manière cruciale, d'identifier si les résultats de coordination apparents sont des effets structurels réels ou des artefacts de la conception expérimentale.

Méthodologie
L'étude emploie un design expérimental rigoureux à plusieurs étapes dans un environnement d'apprentissage par renforcement multi-agent (MARL) à quatre agents et ressources partagées.

1. Balayage factoriel initial (aveugle au signe) : Un plan factoriel complet $5 \times 5 \times 5$ ($N=125$ conditions, 30 réplications chacune, totalisant 3 750 exécutions) manipulant l'alignement ($\alpha$), les enjeux ($\sigma$) et l'entropie ($\varepsilon$). Les agents utilisaient le Q-Learning Indépendant (IQL). La conception initiale réalisait l'alignement en interpolant les cibles des agents entre un vecteur de base partagé et une composante idiosyncrasique, une méthode qui a involontairement créé un processus générateur de données (DGP) « aveugle au signe » où la corrélation entre agents dépendait uniquement de $|\alpha|$, ne produisant jamais de véritable opposition.
2. Batterie de contrôle (La Correction) : Pour diagnostiquer et corriger les artefacts, les auteurs ont exécuté une série de nouveaux passages ciblés :
   • Réparation du DGP signé : Réexécution de l'expérience utilisant un échantillonneur d'écorrélation signée authentique (couvrant $\rho \in [-1/3, +0.8]$) et un design de blocs à deux équipes (atteignant $\rho = -1$) pour tester l'alignement signé plutôt que la magnitude.
   • Robustesse de l'apprenant : Réexécution du balayage signé en utilisant des réseaux de décomposition de valeur (VDN), un apprenant additif de type entraînement centralisé/exécution décentralisée (CTDE), pour tester si les résultats étaient des artefacts de la non-stationnarité de l'apprentissage indépendant.
   • Contrôle de ressources séparables : Suppression du pool de ressources partagées, donnant à chaque agent un flux de ressources indépendant, afin d'isoler si les effets étaient dus à la corrélation des préférences ou à la contention de l'état partagé.
   • Réponse à la dose de partage partiel : Variation de la fraction des ressources partagées ($w \in \{0, 1/3, 2/3, 1\}$) pour tester si l'effet varie selon le degré de contention.
   • Opposition pure ($n=2$) : Réduction du nombre d'agents à deux pour obtenir un $\rho = -1$ vérifié sans contraintes de matrice semi-définie positive ou confusions de coopération intra-équipe.
   • Décomposition de la faisabilité et de l'apprentissage : Décomposition de l'écart de récompense en un « plancher de faisabilité » irréductible (l'écart entre l'idéal par agent et l'optimum conjoint réalisable) et un « déficit d'apprentissage » (l'écart entre l'optimum conjoint et la performance réalisée).

Résultats Clés

1. Rejet du fonctionnel à indice unique : Le composite canonique $F = \sigma(1 + \varepsilon)/(1 + \alpha)$ est rejeté en tant que prédicteur à indice unique. Bien que le modèle à effets indépendants (séparant $\sigma$ et $\alpha$) surpasse de manière décisive le composite dans les designs initiaux et signés, la forme monotone spécifique $1/(1+\alpha)$ n'est soutenue directionnellement que sur la plage coopérative ($\rho > 0$). La divergence prédite lorsque $\alpha \to -1$ n'est pas observée ; l'opposition n'augmente pas la friction au-delà de l'indifférence.
2. Trois artefacts identifiés et éliminés :
   • L'artefact de la « dominance des enjeux » : Dans les données brutes, les enjeux semblaient dominants ($\eta^2 \approx 0.74$). Cependant, comme la récompense est homogène de degré 1 en $\sigma$, il s'agit d'un effet d'échelle mécanique. Après normalisation des enjeux, le classement s'inverse, révélant la structure des préférences comme l'axe dominant.
   • L'artefact de la forme en U symétrique : Le « U-shape » initial (où l'alignement neutre était le pire) était un artefact lié à l'absence de signe. Comme le DGP initial ne produisait jamais de corrélation négative, le bras « antagoniste » était en réalité un bras coopératif fort. Une fois le DGP corrigé pour couvrir une corrélation négative, le U-shape a disparu, remplacé par un déclin monotone uniquement dans la plage coopérative.
   • L'artefact de l'« aide par l'opposition » : Aucun design n'a montré que l'opposition ($\rho < 0$) surpassait l'indifférence ($\rho = 0$). Dans les tests propres ($\rho = -1$), l'opposition n'a montré aucun avantage détectable et était directionnellement moins bonne pour l'IQL.
3. Le survivant limité par la contention : Le seul effet structurel survivant est que l'alignement coopératif réduit l'écart de coordination, mais cet effet est strictement limité par la contention.
   • Dans un environnement à pool partagé, l'alignement coopératif réduit l'écart.
   • Dans un environnement à ressources séparables (pas d'état partagé), l'effet disparaît totalement (pente $\approx 0$).
   • Un balayage de partage partiel confirme une réponse à la dose monotone : l'effet s'accentue uniquement lorsqu'une majorité des ressources est partagée.
4. Faisabilité vs Apprentissage : Une décomposition de l'écart de récompense révèle que la réduction de la friction sous coopération est presque entièrement pilotée par l'effondrement du plancher de faisabilité (l'optimum conjoint réalisable augmente à mesure que les cibles s'alignent). Le déficit d'apprentissage (la performance réelle de coordination par rapport à l'optimum conjoint réalisable) ne diminue pas ; en fait, il augmente légèrement. Ainsi, l'alignement coopératif rend le problème plus faisable, mais pas nécessairement plus facile à apprendre.
5. Robustesse : L'effet coopératif est robuste au passage de l'apprentissage Q-indépendant à la décomposition de valeur additive (VDN), avec des corrélations de courbe de 0,976. Cependant, l'effet n'est pas robuste au retrait de la contention de l'état partagé.

Signification et Revendications
Le papier revendique une double contribution : une caractérisation empirique du fonctionnel de la friction de consentement et une démonstration méthodologique de la façon dont les choix de conception peuvent fabriquer des résultats de coordination fallacieux.

• Verdict Empirique : Le papier ne valide pas le fonctionnel comme une loi universelle. Au lieu de cela, il affine la théorie : le signe du dénominateur ($1+\alpha$) est soutenu pour l'alignement coopératif, mais la prédiction de divergence antagoniste est fausse, et la forme multiplicative de ratio simple est insuffisante. L'effet survivant est étroit : l'alignement coopératif réduit les écarts de coordination uniquement dans les environnements à pool commun où les agents contestent physiquement des ressources partagées, et cette réduction est principalement une question de faisabilité (l'optimum est plus facile à atteindre) plutôt que de réduction de la friction d'apprentissage.
• Contribution Méthodologique : Le papier propose une « batterie de contrôle » comme standard pour les expériences MARL à motivations mixtes. Il soutient que les chercheurs doivent vérifier que les designs d'échantillonnage de préférences couvrent réellement des corrélations signées (évitant les pièges de magnitude seule), normaliser pour l'homogénéité de la récompense avant de déclarer des facteurs dominants, et distinguer les effets de préférence de la contention de l'état partagé.
• Modestie : Les auteurs déclarent explicitement que ces résultats sont limités à la famille spécifique d'environnements testés (ressources continues partagées, perte quadratique, $n=4$ agents). Ils ne prétendent pas que ces résultats se généralisent à tous les benchmarks MARL ou aux apprenants non basés sur la valeur (ex: méthodes de gradient de politique), laissant ces questions pour des travaux futurs. Le papier présente ses conclusions comme un « exemple de travail » permettant de détecter et de corriger ses propres artefacts, plutôt que comme un diagnostic définitif de l'ensemble du domaine.