The Contagion Tensor: A Framework for Measuring Output-Distribution Coupling in Multi-Agent LLM Systems -- and Auditing the Claims It Enables

Technische Samenvatting: De Contagion Tensor en de Coupling Amplification Factor

Probleemstelling
Naarmate multi-agent Large Language Model (LLM) systemen prevalenter worden in chatbot-ensembles, retrieval-augmented systemen en sociale simulaties, evolueren hun outputdistributies door herhaaldelijke uitwisseling. Er bestaat een kritieke kloof in het vakgebied: hoewel er wel single-model bias-probes (bijv. BBQ, StereoSet) en kwalitatieve casestudies bestaan, ontbreekt een principieel, herbruikbaar meetkader om te kwantificeren hoe outputdistributies koppelen over modaliteiten, agenten en tijd. Specifiek ontbeert de gemeenschap een metriek om te bepalen of het toevoegen van een tweede modaliteit de koppeling versterkt, of geheugen de temporele persistentie vergroot, of dat kalibratie op een subset van condities validiteit garandeert op andere condities. Zonder een dergelijk kader blijven claims over emergente gedragingen of bias-propagatie kwalitatief beschrijvend en kwantitatief niet-falsifieerbaar.

Methodologie: De Contagion Tensor en de CAF-familie
Het paper introduceert de Contagion Tensor ($T \in \mathbb{R}^{M \times N \times T}$), een meetkader waarbij elke cel $T[m, n, t]$ de Jensen-Shannon Divergentie (JSD) vertegenwoordigt tussen de outputdistributie van een agent ($w_{n,t}^m$) en een uniforme referentiedistributie ($w_0$). Deze tensor legt distributieve drift vast over modaliteiten ($M$), agenten ($N$) en tijdstappen ($T$).

Uit deze tensor leiden de auteurs de Coupling Amplification Factor (CAF) af, een familie van ratio-gebaseerde metrieken gedefinieerd als:
$$CAF = \frac{E[T_{condition}]}{E[T_{baseline}]}$$
waarbij $E[T]$ de verwachtingswaarde van de tensor-entries is. CAF is een eenheidsloze, op een baseline gebaseerde ratio waarbij:

• $CAF > 1$: Duidt op versterkte koppeling (amplified coupling).
• $CAF = 1$: Duidt op onafhankelijke superpositie.
• $CAF < 1$: Duidt op output-convergentie (homogenisering).

Het framework verenigt vier voorheen conflicterende metrieken (aangeduid met $\Gamma$-symbolen in eerdere werken) in een enkele notatie met vier varianten:

1. $CAF_{base}$: Volledige as-referentie (modaliteit $\times$ aantal agenten $\times$ tijd).
2. $CAF_{net}$: Agent-niveau koppeling (vervangt claims over de spectrale radius).
3. $CAF_{cross}$: Cross-modale koppeling.
4. $CAF_{temp}$: Temporele persistentie.

Om rigorositeit te waarborgen, hanteert het paper een modality-ablation protocol: het identificeren van code-modules die effecten door ontwerp zouden kunnen produceren, deze uitschakelen terwijl alle seeds en parameters constant worden gehouden, en vervolgens opnieuw meten. Dit onderscheidt echte koppeling van artefacten door het ontwerp.

Belangrijkste Resultaten
Het framework werd geïnstantieerd in een $2 \times 2 \times 2$ full-factorial simulatieontwerp en gevalideerd tegen echte API-experimenten (DeepSeek-Chat en GPT-4o-mini).

• Detectie van Simulatie-artefacten: Onder standaardparameters leken beeldcondities een super-lineaire koppeling te vertonen ($CAF \approx 1.40$), terwijl tekstcondities sub-lineair waren ($CAF \approx 0.84$). Het uitschakelen van de enkele module die verantwoordelijk is voor de beeld-specifieke ruis en structurele verschuivingen, zorgde ervoor dat alle beeldcondities inklapten naar sub-lineaire waarden ($CAF \approx 0.87$), met een gemiddelde verschuiving van $\Delta = -0.53$. De tekstcondities bleven ongewijzigd. Dit toonde aan dat de schijnbare "modaliteits-bifurcatie" een artefact was van de perturbatie-module van de simulatie, en niet een inherente eigenschap van de agenten.
• Real-API Validatie:
  • Tekstcondities: Onder uniforme persona's produceerde tekst-alleen BOUNDARY SYNC communicatie een $CAF \approx 1.0$ in zowel DeepSeek-Chat als GPT-4o-mini, wat duidt op geen meetbare koppeling ten opzichte van isolatie.
  • Persona Diversiteit: Wanneer agenten diverse persona's kregen toegewezen, convergeerden de tekstcondities ($CAF = 0.88$), wat wijst op output-homogenisering in plaats van divergentie.
  • Echte Visie: Een binnen-model vergelijking op GPT-4o-mini onthulde dat echte visuele inputs (C5) een statistisch significante super-lineaire effect produceerden ($CAF = 1.72$, 95% CI [1.700, 1.733]), in contrast met de tekst-alleen condities ($CAF = 1.02$). Dit valideert de kwalitatieve voorspelling van de simulatie dat beeld-modaliteiten koppeling drijven, hoewel de magnitude verschilt door de kunstmatige injectie in de simulatie.
• Metriek Vergelijking: Het paper toont aan dat eenvoudigere metrieken (entropieratio's, variantieratio's) en paarwise mutual information er niet in slagen om onderscheid te maken tussen tekst- en beeldcondities, terwijl CAF erin slaagt de categorie-niveau structurele verschillen te vangen.

Betekenis en Claims
Het paper levert twee afzonderlijke bijdragen, bescheiden geframed als het bieden van instrumenten voor meting en auditing, in plaats van het claimen van de ontdekking van een specifiek emergent fenomeen:

1. Meetinstrument-niveau: De CAF-familie biedt de eerste kwantitatieve, falsifieerbare metriek voor output-distributie koppeling. Door een op een baseline gebaseerde ratio te gebruiken, stelt het onderzoekers in staat te bepalen of geobserveerde effecten echt zijn of artefacten van het meetinstrument zelf.
2. Methodologisch niveau: Het paper stelt een overdraagbaar ablation protocol voor als standaard kwaliteitscontrole voor multi-agent LLM simulaties. Dit protocol vereist dat onderzoekers specifieke modules identificeren, uitschakelen en opnieuw meten om te verifiëren dat geclaimde emergente gedragingen geen ontwerpartefacten zijn.

De auteurs stellen dat de dringende behoefte in het veld niet een andere metriek is, maar een discipline voor het verifiëren of geobserveerde koppelings-effecten echt zijn. De waarde van het framework wordt aangetoond door het vermogen om te onthullen dat vorige "ontdekkingen" (zoals de modaliteits-bifurcatie) artefacten waren, en door de succesvolle toepassing ervan bij het detecteren van een echt super-lineair koppelings-effect in echte visie-gecapaciteerde modellen. Het paper concludeert dat het wetenschappelijk maken van een fenomeen—en het bieden van de instrumenten om die metingen te auditeren—op zichzelf een wetenschappelijke bijdrage is, zelfs wanneer de initiële metingen meer over de instrumenten dan over het fenomeen onthullen.