Testing the Consent-Friction Functional: Preference-Design Artifacts and the Contention-Bounded Limits of Coordination Friction in Multi-Agent Reinforcement Learning

Technische Samenvatting: Het testen van de Consent-Friction Functionaal

Probleemstelling
Het artikel behandelt de empirische adequaatheid van de "consent-friction functionaal", een theoretisch voorstel afgeleid van een enkel axioma met betrekking tot autorisatie en belangen (stakes). De functionaal stelt dat coördinatiefrictie ($F$) in multi-agent systemen een composiet is van drie kernvariabelen: voorkeursalignement ($\alpha$), belangen ($\sigma$) en entropie ($\varepsilon$). De voorgestelde vorm is $F = \sigma(1 + \varepsilon)/(1 + \alpha)$. Hoewel de theorie voorspelt dat frictie toeneemt met belangen en entropie en afneemt met alignement (divergerend naarmate $\alpha \to -1$), blijft de specifieke monotone functionele vorm en de claim dat een enkele index coördinatieverlies voorspelt, ongetest. Het artikel beoogt deze functionaal empirisch te valideren en, cruciaal, om te identificeren of ogenschijnlijke coördinatiebevindingen genuante structurele effecten zijn of artefacten van het experimenteel ontwerp.

Methodologie
De studie maakt gebruik van een rigoureus, meerfasig experimenteel ontwerp in een vier-agent, gedeelde-bronnen Multi-Agent Reinforcement Learning (MARL) omgeving.

1. Initiële Factoriële Sweep (Sign-Blind): Een $5 \times 5 \times 5$ volledige factoriële design ($N=125$ condities, 30 replicaties elk, totaal 3.750 runs) manipuleerde alignement ($\alpha$), belangen ($\sigma$) en entropie ($\varepsilon$). Agenten gebruikten Independent Q-Learning (IQL). Het initiële design realiseerde alignement door agent-doelen te interpoleren tussen een gedeelde basisvector en een idiosyncratisch component, een methode die onbedoeld een "sign-blind" data-genererend proces (DGP) creëerde waarbij de cross-agent correlatie alleen afhankelijk was van $|\alpha|$, en nooit echte oppositie produceerde.
2. Controle Batterij (De Correctie): Om artefacten te diagnosticeren en te corrigeren, voerden de auteurs een reeks gerichte herhaalde experimenten uit:
   • Signed DGP Repair: Het experiment opnieuw uitgevoerd met een echt gesigneerde equicorrelatie-sampler (variërend over $\rho \in [-1/3, +0.8]$) en een two-team blokontwerp (bereikend tot $\rho = -1$) om gesigneerd alignement te testen in plaats van louter magnitude.
   • Learner Robustness: De gesigneerde sweep opnieuw uitgevoerd met Value-Decomposition Networks (VDN), een Centralized Training/Decentralized Execution (CTDE) additive learner, om te testen of de bevindingen artefacten waren van non-stationariteit bij onafhankelijk leren.
   • Separable-Resource Control: De gedeelde bronnenpool verwijderd, waardoor elke agent een onafhankelijke bronstroom kreeg, om te isoleren of effecten voortkwamen uit voorkeurscorrelatie of gedeelde-toestand strijd (shared-state contention).
   • Partial-Sharing Dose-Response: De fractie van de gedeelde middelen gevarieerd ($w \in \{1/3, 2/3, 1\}$) om te testen of het effect schaalt met de mate van strijd.
   • Clean Opposition ($n=2$): Het aantal agenten teruggebracht naar twee om een geverifieerde $\rho = -1$ te bereiken zonder positief-semi-definiete matrixrestricties of binnen-team samenwerkingsconfonden.
   • Feasibility-Learning Decompositie: De reward gap gedecomposeerd in een onherleidbare "feasibility floor" (het gat tussen het per-agent ideaal en het haalbare gezamenlijke optimum) en een "learning shortfall" (het gat tussen het gezamenlijke optimum en de gerealiseerde prestatie).

Belangrijkste Resultaten

1. Verwerping van de Single-Index Functionele Vorm: De canonieke composiet $F = \sigma(1 + \varepsilon)/(1 + \alpha)$ wordt verworpen als een single-index voorspeller. Hoewel het onafhankelijke-effectenmodel (dat $\sigma$ en $\alpha$ scheidt) de composiet in zowel de initiële als de gesigneerde designs beslist verslaat, wordt de specifieke monotone vorm $1/(1+\alpha)$ alleen directioneel ondersteund over het coöperatieve bereik ($\rho > 0$). De voorspelde divergentie naarmate $\alpha \to -1$ wordt niet waargenomen; oppositie verhoogt de frictie niet verder dan indifferentie.
2. Drie Artefacten Geïdentificeerd en Verwijderd:
   • Het "Stakes Dominate" Artefact: In de ruwe data leken belangen dominant ($\eta^2 \approx 0.74$). Omdat de reward echter homogeen is van graad 1 in $\sigma$, is dit een mechanisch schalingseffect. Na normalisatie van de belangen keert de rangorde om, wat onthult dat de voorkeursstructuur de dominante as is.
   • Het Symmetrische U-vormige Artefact: Het initiële "U-vormige" patroon (waarbij neutraal alignement het slechtst was) was een sign-blind artefact. Omdat het initiële DGP nooit negatieve correlatie produceerde, was de "adversariële" arm eigenlijk een sterke coöperatieve arm. Nadat de DGP werd gecorrigeerd om een echte negatieve correlatie te spannen, verdween de U-vorm en werd deze vervangen door een monotone daling, uitsluitend in het coöperatieve bereik.
   • Het "Opposition Helps" Artefact: Geen enkel design toonde aan dat oppositie ($\rho < 0$) de indifferentie ($\rho = 0$) overtrof. In zuivere tests ($\rho = -1$) vertoonde oppositie geen detecteerbaar voordeel en was het directioneel slechter voor IQL.
3. De Contention-Bounded Overlever: Het enige overlevende structurele effect is dat coöperatief alignement de coördinatiekloof verkleint, maar dit effect is strikt contention-bounded.
   • In een omgeving met een gedeelde pool vermindert coöperatief alignement de kloof.
   • In een omgeving met scheidbare middelen (geen gedeelde toestand) verdwijnt het effect volledig (helling $\approx 0$).
   • Een partial-sharing sweep bevestigt een monotone dose-response: het effect steiler wordt zodra een meerderheid van de middelen wordt gedeeld.
4. Feasibility vs. Learning: Een decompositie van de reward gap laat zien dat de vermindering van frictie onder coöperatie bijna volledig wordt gedreven door het instorten van de feasibility floor (het haalbare gezamenlijke optimum stijgt naarmate de targets uitlijnen). De learning shortfall (de werkelijke coördinatieprestatie ten opzichte van het haalbare optimum) neemt niet af; sterker nog, deze neemt licht toe. Coöperatief alignement maakt het probleem dus haalbaarder, niet noodzakelijkerwijs makkelijker te leren.
5. Robuustheid: Het effect is robuust voor de verschuiving van Independent Q-Learning naar additive Value Decomposition (VDN), met curvecorrelaties van 0.976. Echter, het effect is niet robuust voor de verwijdering van shared-state contention.

Betekenis en Claims
Het artikel claimt een dubbele bijdrage: een empirische karakterisering van de consent-friction functionaal en een methodologische demonstratie van hoe designkeuzes gespinoeerde coördinatiebevindingen kunnen fabriceren.

• Empirisch Oordeel: Het artikel valideert de functionaal niet als een universele wet. In plaats daarvan verfijnt het de theorie: de teken van de noemer ($1+\alpha$) wordt ondersteund voor coöperatief alignement, maar de voorspelling van adversariële divergentie is onjuist, en de enkelvoudige ratio-multiplicatieve vorm is onvoldoende. Het overgebleven effect is smal: coöperatief alignement verkleint de coördinatiekloof alleen in omgevingen met een common-pool, waar agenten fysiek strijden om gedeelde middelen, en deze vermindering is primair een kwestie van haalbaarheid (het optimum is makkelijker te bereiken) in plaats van verminderde leerfrictie.
• Methodologische Bijdrage: Het artikel biedt een "controle batterij" als standaard voor mixed-motive MARL-experimenten. Het beargumenteert dat onderzoekers moeten verifiëren dat hun preference-sampling designs daadwerkelijk gesigneerde correlaties omvatten (om magnitude-only vallen te vermijden), de belangen moeten normaliseren voor reward homogeniteit voordat ze factoren als dominant verklaren, en tussen voorkuseffecten en shared-state contention moeten onderscheiden.
• Bescheidenheid: De auteurs geven expliciet aan dat deze bevindingen begrensd zijn tot de specifieke familie van omgevingen die getest zijn (continue gedeelde middelen, kwadratische loss, $n=4$ agenten). Zij beweren niet dat deze resultaten generaliseren naar alle MARL-benchmarks of non-value-based learners (bijv. policy-gradient methoden), en laten die open voor toekomstig werk. Het artikel presenteert zijn bevindingen als een "uitgewerkt voorbeeld" van het vangen en corrigeren van eigen artefacten, in plaats van een definitieve diagnose van het gehele veld.