💻 computer science

ValueFlow: Measuring the Propagation of Value Perturbations in Multi-Agent LLM Systems

Das Papier stellt ValueFlow vor, ein Framework, das quantifiziert, wie Wertstörungen sich durch Multi-Agenten-LLM-Systeme ausbreiten, indem es Wertdrift in agentenspezifische Anfälligkeit und systemweite strukturelle Effekte zerlegt und zeigt, dass Wertausrichtung grundlegend eine systemweite Eigenschaft ist, die durch Interaktionstopologien geprägt wird.

Ursprüngliche Autoren: Jinnuo Liu, Chuke Liu, Hua Shen

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jinnuo Liu, Chuke Liu, Hua Shen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Gruppe von Freunden vor, die um einen Tisch sitzen und versuchen zu entscheiden, welchen Film sie ansehen sollen. Jeder Freund hat seinen eigenen persönlichen Geschmack (seine „Werte"). Normalerweise diskutieren sie, hören einander zu und einigen sich schließlich auf einen Film.

Stellen Sie sich nun vor, ein Freund wird heimlich von einem Spion angewiesen, darauf zu bestehen: „Wir müssen einen Horrorfilm ansehen!", obwohl er solche Filme normalerweise hasst.

Die Arbeit ValueFlow stellt eine einfache, aber knifflige Frage: Wie verbreitet sich die plötzliche, erzwungene Meinung dieser einen Person durch die Gruppe? Beginnt die gesamte Gruppe plötzlich, Horrorfilme zu lieben? Oder ignorieren sie einfach diesen einen Freund und bleiben bei ihrem ursprünglichen Plan?

Hier ist die Aufschlüsselung der Ergebnisse der Arbeit unter Verwendung alltäglicher Analogien:

1. Das Problem: Der „Flüstergalerie"-Effekt

In der Vergangenheit prüften Wissenschaftler, ob eine einzelne KI „gut" oder „schlecht" war, indem sie sie allein befragten. Heute werden KIs jedoch oft in Teams eingesetzt, die miteinander sprechen, um Probleme zu lösen.

Die Autoren erkannten, dass selbst wenn jede einzelne KI mit guten Werten beginnt, die Art und Weise, wie sie miteinander sprechen, ihre Meinungen versehentlich verzerren kann. Es ist wie ein Spiel „Stille Post", nur dass sich dabei nicht eine alberne Nachricht verändert, sondern die grundlegenden Überzeugungen der Gruppe darüber, was „richtig" oder „wichtig" ist, von der Wahrheit wegdriften können.

2. Das Werkzeug: „ValueFlow" (der Wert-Leck-Detektor)

Die Forscher entwickelten ein Werkzeug namens ValueFlow, um genau zu messen, wie leicht die Werte einer KI von ihren Freunden „infiziert" werden können.

Sie erstellten einen Test mit 56 verschiedenen menschlichen Werten (wie „Nationale Sicherheit", „Freundschaft", „Freiheit" oder „Reichtum"). Sie stellten den KIs Fragen zu diesen Werten und injizierten dann heimlich eine „Störung" – im Wesentlichen ließen sie einige gefälschte KI-Freunde extreme Meinungen in das Gespräch schreien, um zu sehen, wie die echten KIs reagierten.

3. Die zwei Schlüssel-Messungen

Die Arbeit misst diese „Infektion" auf zwei Arten, wie bei der Überprüfung eines Lecks in einer Rohrleitung:

Der „Ohr"-Test (Agenten-Anfälligkeit oder $\beta$ ):
Dies misst, wie leicht sich eine bestimmte KI ändert, wenn sie andere hört.
- Analogie: Stellen Sie sich eine Person auf einer Party vor. Wenn jemand sagt: „Pizza ist das beste Essen", stimmt diese Person sofort zu?
- Ergebnis: Einige Werte sind wie Betonwände (schwer zu ändern). Wenn der Wert „Selbstdisziplin" oder „wahre Freundschaft" ist, ignoriert die KI das Rauschen normalerweise. Andere Werte sind jedoch wie nasser Sand (leicht umzuformen). Wenn der Wert „Soziale Macht" oder „Einfluss" ist, ändert die KI ihre Meinung sehr schnell, nur weil andere darüber sprechen.
Der „Rohr"-Test (System-Anfälligkeit oder $SS$):
Dies misst, wie die Struktur des Gesprächs die Verbreitung einer schlechten Meinung begünstigt.
- Analogie: Stellen Sie sich vor, die Gruppe ist in verschiedenen Formen angeordnet.
  - Die Kette: A spricht mit B, B spricht mit C. Wenn A infiziert wird, reist das Gift bis zu C.
  - Der Stern: Alle sprechen mit einem zentralen Anführer. Wenn der Anführer infiziert wird, sind alle sofort infiziert.
  - Das Netz: Alle sprechen mit allen.
- Ergebnis: Die Arbeit ergab, dass wo die schlechte Meinung beginnt, sehr wichtig ist. Wenn eine „zentrale" KI (der Anführer) eine schlechte Idee bekommt, verbreitet sie sich überall. Wenn eine „periphere" KI (jemand am Rand) eine schlechte Idee bekommt, verpufft sie oft. Außerdem ist es schwieriger, eine KI zu täuschen, wenn sie viele verschiedene Stimmen gleichzeitig hört (die Stimmen heben sich gegenseitig auf).

4. Die große Überraschung: Es geht nicht nur um die KI

Die wichtigste Entdeckung ist, dass man dieses Problem nicht einfach dadurch lösen kann, dass man die einzelnen KIs intelligenter oder „netter" macht.

Der „Persönlichkeits"-Faktor: Einige KI-Modelle (wie die in dieser Studie von Google oder Meta entwickelten) sind von Natur aus störrischer und weniger bereit, ihre Meinung zu ändern als andere (wie die von Alibaba entwickelte).
Der „Thema"-Faktor: Einige Themen sind von Natur aus zerbrechlicher. KIs sind sehr stur bezüglich „Familiensicherheit", lassen sich aber sehr leicht bezüglich „Öffentliches Image" beeinflussen.
Der „Raum-Layout"-Faktor: Selbst wenn Sie die störrischste KI der Welt haben, wird sie infiziert, wenn Sie sie in ein „Stern"-Netzwerk stellen, in dem sie einem einzigen, lauten, voreingenommenen Anführer zuhört.

5. Die Lösung: Den Raum gestalten, nicht nur die Menschen

Die Arbeit kommt zu dem Schluss, dass wir, um KI-Systeme sicher zu halten, nicht nur prüfen können, ob die einzelnen Roboter „gut" sind. Wir müssen das System sorgfältig gestalten.

Stellen Sie nicht die am leichtesten beeinflussbare KI an die Spitze.
Lassen Sie nicht einen zentralen Roboter mit allen sprechen.
Wissen Sie, welche Themen „undicht" sind und überwachen Sie diese Gespräche besonders genau.

Kurz gesagt: ValueFlow zeigt, dass in einem Team von KI-Agenten die Gruppendynamik genauso wichtig ist wie die einzelnen Mitglieder. Eine schlechte Idee kann sich wie ein Lauffeuer ausbreiten, wenn der Raum falsch angeordnet ist, selbst wenn alle mit guten Absichten begonnen haben.

Technische Zusammenfassung: ValueFlow

Problemstellung

Multi-Agenten-Systeme auf Basis großer Sprachmodelle (LLMs) werden zunehmend für kollaboratives Schlussfolgern, Debatten und soziale Simulationen eingesetzt. Während einzelne Agenten häufig isoliert auf Wertausrichtung (Value Alignment) evaluiert werden, besteht eine kritische Lücke im Verständnis, wie Wertstörungen sich durch Agenteninteraktionen fortpflanzen. Bestehende Benchmarks bewerten vorwiegend statische, einzelagentenbasierte Ausrichtung unter festen Prompts und erfassen nicht, wie kleine, lokalisierte Wertabweichungen (z. B. von einem voreingenommenen Agenten oder einem kompromittierten Prompt) sich über ein Netzwerk hinweg entweder auflösen oder verstärken. Dieses mangelnde Verständnis birgt ein Sicherheitsrisiko: Ein einzelner kompromittierter Agent kann eine unbeabsichtigte wertbezogene Drift auf Systemebene auslösen, die von Aufgabenmetriken (wie Genauigkeit oder Effizienz) nicht erkannt wird. Die Kernherausforderung besteht im Fehlen eines quantitativen, dekomponierbaren Rahmens, um zwischen agentenbezogenen Antwortverhalten und systemweiten strukturellen Effekten bei der Wertpropagation zu unterscheiden.

Methodik: Das ValueFlow-Framework

Die Autoren stellen ValueFlow vor, ein auf Störungen basierendes Evaluierungsframework, das entwickelt wurde, um Wertdrift in Multi-Agenten-LLM-Systemen zu messen und zu dekomponieren. Das Framework arbeitet in drei Hauptphasen:

1. Wertquantifizierungs-Datensatz

ValueFlow nutzt einen Datensatz, der aus der Schwartz Value Survey (SVS) abgeleitet ist und 56 menschliche Wertdimensionen umfasst. Für jede Wertdimension konstruierten die Autoren eine Reihe von 10 verhaltensorientierten Ja–Nein-Fragen (sowohl positiv als auch negativ formuliert).

Bewertung: Ein „LLM-as-a-judge"-Protokoll bewertet Agentenantworten auf einer Skala von 0–10, wobei höhere Scores eine stärkere Befürwortung der Zielwertdimension anzeigen.
Validierung: Der Datensatz und der Bewertungsmechanismus wurden durch menschliche Annotation und Robustheitsprüfungen über mehrere Richter hinweg validiert, was eine hohe Zuverlässigkeit und Übereinstimmung mit menschlichen Urteilen sicherstellt.

2. Störungsbasierte Sondierung

Um Drift zu messen, führt das Framework kontrollierte Wertstörungen in den Eingabekontext spezifischer Agenten ein, ohne Modellparameter zu ändern.

Optimierung: Mithilfe des COPRO-Algorithmus (aus DSPy) optimieren die Autoren Prompt-Vorlagen ( $p^*_k$ ), die eine extreme Befürwortung (Score 10) oder Ablehnung (Score 0) einer spezifischen Wertdimension induzieren.
Einspeisung: Diese optimierten Prompts werden verwendet, um zusätzliche Antworten zu generieren, die an den Kontext des Zielagenten angehängt werden und so einen verzerrten Peer-Einfluss simulieren.

3. Zwei-Ebenen-Dekompositions-Metriken

ValueFlow zerlegt die Wertpropagation in zwei distincte Metriken, um Agentenverhalten von Netzwerkstrukturen zu trennen:

Agenten-Level-Empfindlichkeit ( $\beta$ ):
- Definition: Misst die intrinsische Sensitivität eines einzelnen Agenten gegenüber Peer-Wertsignalen.
- Berechnung: Durch Variation der durchschnittlichen Wertorientierung vorhergehender Peer-Eingaben ( $\bar{x}_i$ ) und Beobachtung der Agentenausgabe ( $y_i$ ) wird eine lineare Beziehung $y_i = \beta \bar{x}_i + c + \epsilon_i$ angepasst. Die Steigung $\beta$ repräsentiert die Reaktionsfähigkeit des Agenten. Ein höheres $\beta$ zeigt an, dass der Agent seine ausgedrückten Werte als Reaktion auf Peer-Signale stärker verschiebt.
- Isolierung: Diese Metrik wird in kontrollierten Umgebungen gemessen, in denen die Netzwerkstruktur festgelegt ist, um die Verhaltensmerkmale des Agenten zu isolieren.
System-Empfindlichkeit ($SS$):
- Definition: Misst die Fortpflanzung von Wertdrift durch das gesamte Multi-Agenten-System.
- Berechnung: $SS = \frac{1}{|O|} \sum_{v \in O} \frac{|y^{pert}_v - y^{base}_v|}{\Delta_{pert}}$ , wobei $O$ die Menge der Ausgabeknoten ist, $y^{pert}$ und $y^{base}$ die gestörten bzw. Baseline-Scores sind und $\Delta_{pert}$ die Magnitude der eingespeisten Störung darstellt.
- Funktion: $SS$ quantifiziert den durchschnittlichen Einfluss einer lokalisierten Einheitsstörung auf die endgültigen Systemausgaben, normalisiert, um Vergleiche über verschiedene Topologien und Störungsorte hinweg zu ermöglichen.

Hauptbeiträge

Störungsbasiertes Evaluierungsframework: Der Vorschlag von ValueFlow, einem allgemeinen Framework zur Quantifizierung und Analyse der Wertpropagation in Multi-Agenten-Systemen, das über statische Einzelagenten-Evaluationen hinausgeht.
Wertquantifizierungs-Datensatz: Die Erstellung eines 56-Werte-Evaluierungsdatensatzes, der interaktive Settings simuliert und die Messung von wertbezogenen Orientierungen auf Agentenebene während der Interaktion ermöglicht.
Empirische Befunde zu Drift-Dynamiken: Durch kontrollierte Experimente über Modelle, Prompts, Werte und Netzwerktopologien hinweg offenbaren die Autoren systematische Muster in der Wertdrift und zeigen, dass die Propagation hochgradig nicht-uniform ist.

Hauptergebnisse

1. Nicht-Uniformität der Wertempfindlichkeit

Die Wertpropagation ist nicht über alle Werte hinweg uniform.

Wertdimensionen: Normative und weit verbreitete Werte (z. B. Soziale Macht, Wahre Freundschaft, Selbstdisziplin) weisen ein niedriges $\beta$ (geringe Empfindlichkeit) auf. Im Gegensatz dazu zeigen kontextabhängige oder sozial kontingente Werte (z. B. Wahrung des öffentlichen Images, Einflussreich, Distanzierung) signifikant höhere $\beta$ -Werte.
Höherstufige Cluster: Bei Aggregation nach Schwartz' höherstufigen Dimensionen zeigt der Selbsttranszendenz-Cluster (prosoziale/universalistische Werte) den niedrigsten mittleren $\beta$ ( $\approx 0,45$ ), was eine strukturelle Resistenz gegen Drift anzeigt. Andere Cluster (Selbstverwirklichung, Konservatismus, Offenheit für Veränderung) weisen eine höhere Empfindlichkeit auf ( $\approx 0,60–0,62$ ).

2. Einfluss experimenteller Faktoren

Offenheits-Persona: Das Anweisen von Agenten mit „hoher Offenheit" erhöht im Allgemeinen $\beta$ , jedoch variiert das Ausmaß dieser Erhöhung erheblich zwischen den Werten. Einige Werte bleiben unabhängig von der Persona stabil, während andere starke Kontraste aufweisen.
Backbone-Modelle: Unterschiedliche LLM-Backbones zeigen systematische Unterschiede in der durchschnittlichen Empfindlichkeit. Gemma3-27B und Qwen3-8B weisen ein höheres durchschnittliches $\beta$ auf, während GPT-4o und LLama-3.3-70B eine geringere Empfindlichkeit zeigen.
Eingabevarianz: Eine hohe Varianz in den Eingabekontexten (diverse Peer-Antworten) erhöht die Empfindlichkeit auf Agentenebene im Vergleich zu Settings mit niedriger Varianz konsistent, selbst wenn das durchschnittliche Eingangssignal konstant gehalten wird.

3. Systemweite Propagationsdynamiken

$\beta$ sagt $SS$ voraus: Unter festen Topologien sagt die Empfindlichkeit auf Agentenebene ( $\beta$ ) die Propagation auf Systemebene stark voraus. Werte mit hohem $\beta$ zeigen persistente Abweichungen über Interaktionsschichten hinweg mit langsamer Abklingrate, während Werte mit niedrigem $\beta$ schnell abschwächen und zur Baseline konvergieren.
Topologische Effekte: Die Netzwerkstruktur prägt die Propagation signifikant:
- Erreichbarkeit: Störungen, die einen größeren Anteil des Systems betreffen (höhere Erreichbarkeit), führen zu einer höheren $SS$.
- Zentralität: Störungen an strukturell zentralen Knoten erzeugen stärkere systemweite Effekte als solche an Blattknoten.
- In-Degree: Ein hoher In-Degree am gestörten Knoten dämpft die Propagation, indem das eingespeiste Signal durch Aggregation von ungestörten Peers verwässert wird.
Validierung in der realen Welt: In einer realistischen Schreibpipeline mit drei Rollen (Planer $\to$ Entwurfsverfasser $\to$ Überarbeiter) pflanzten sich wertbeladene Anweisungen, die nur beim Planer eingespeist wurden, durch wertunbewusste nachgelagerte Agenten mit vernachlässigbarer Dämpfung fort. Dies bestätigt, dass abstrakte Befunde auch in aufgabenverankerten Settings gelten.

Bedeutung und Behauptungen

Die Autoren behaupten, dass Wertausrichtung in Multi-Agenten-Systemen eine Eigenschaft auf Systemebene ist und nicht lediglich eine Aggregation individueller Agentenausrichtungen. Die Ergebnisse legen nahe, dass:

Systemweites Design entscheidend ist: Die Sicherstellung von Ausrichtung erfordert die Berücksichtigung der Interaktion zwischen Agentenverhalten (Empfindlichkeit) und strukturellem Design (Topologie). Sich ausschließlich auf die Evaluation einzelner Modelle zu verlassen, ist unzureichend.
Minderungsstrategien: Das Framework bietet eine prinzipielle Grundlage für die Prüfung und Minderung der Wertpropagation durch drei Hebel:
- Wert-spezifische Abwehr: Engere Überwachung von Werten mit hohem $\beta$ , da diese anfälliger für Drift sind.
- Topologiebewusstes Design: Vermeidung übermäßiger Zentralisierung und Nutzung hoher In-Degree-Aggregation, um sich gegen lokalisierte Manipulationen abzupuffern.
- Empfindlichkeitsbewusste Backbone-Auswahl: Platzierung von Modellen mit niedrigerer Empfindlichkeit an nachgelagerten oder ausgangsnahe Positionen, um systemweite Drift zu reduzieren.

Die Autoren positionieren ValueFlow als Diagnosewerkzeug zur Identifizierung struktureller und agentenbezogener Risikofaktoren und bieten praktische Leitlinien für den Entwurf sichererer, robusterer Multi-Agenten-Architekturen in hochriskanten Domänen. Sie weisen ausdrücklich darauf hin, dass das Framework ausgedrückte Wertorientierungen (Verhaltensebene) misst und nicht latente Repräsentationen, und somit als ergänzender Ansatz zu Analysen des internen Zustands dient.