💻 computer science

Attacking and Defending Multi-Agent Collaborative Filtering Systems Through Connectivity

Diese Arbeit untersucht, wie Konnektivitätsfaktoren – insbesondere die Anzahl der Kandidaten und die Katalogkonzentration – die Effektivität von Angriffen und Verteidigungen in Multi-Agenten-Collaborative-Filtering-Systemen beeinflussen, indem sie MAS-inspirierte Strategien innerhalb des AgentCF-Frameworks adaptiert und evaluiert.

Ursprüngliche Autoren: Anjun Hu, Hanting Xie, Saranya Govindan, Jas Kandola, Kurt Cutajar

Veröffentlicht 2026-08-05

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Anjun Hu, Hanting Xie, Saranya Govindan, Jas Kandola, Kurt Cutajar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der Ihre Lieblingsfilmempfehlungen nicht von einem kalten, berechnenden Computer-Algorithmus kommen, sondern aus einem belebten, digitalen Marktplatz. In diesem Platz gibt es zwei Arten von Charakteren: „User Agents“, die wie digitale Versionen von Ihnen selbst mit eigenen Erinnerungen und Geschmäckern sind, und „Item Agents“, die die Filme und Shows selbst sind, die ihre Beschreibungen ständig basierend auf dem aktualisieren, was die Menschen über sie sagen. Diese Charaktere chatten miteinander, tauschen Meinungen aus und verfeinern ihre Geschichten, um Ihnen die perfekte Empfehlung zu geben. Dies ist die Grenze des Multi-Agent Collaborative Filtering, eine schicke Art zu sagen: „Empfehlungssysteme, die durch sprechende KI-Agenten angetrieben werden.“

Aber genau wie jeder Marktplatz hat auch dieser digitale Platz Schwachstellen. Wenn ein Unruhestifter (ein Angreifer) ein falsches Gerücht in das Gespräch einschleust, kann es sich wie ein Lauffeuer verbreiten und die Meinung aller über einen Film ändern oder sogar private Geheimnisse stehlen. Die große Frage, die sich Forscher stellen, lautet: Wie verändert das Layout dieses Marktplatzes die Gefahr? Macht es die Sache sicherer oder chaotischer, wenn mehr Leute gleichzeitig chatten? Führt eine kleinere, vollgestopfte Liste von Filmen dazu, dass sich Gerüchte schneller verbreiten? Das Verständnis dieser „Konnektivität“ ist entscheidend, denn wenn wir nicht wissen, wie die Struktur des Systems seine Sicherheit beeinflusst, bauen wir vielleicht Empfehlungsmaschinen, die unglaublich effizient, aber gefährlich fragil sind.

Der digitale Marktplatz: Eine Studie über Chaos und Kontrolle

In dieser Studie haben die Forscher einen digitalen Spielplatz eingerichtet, um zu testen, wie „verbunden“ diese KI-Agenten sind und wie diese Verbindung ihre Fähigkeit beeinflusst, gehackt oder geschützt zu werden. Sie verwendeten ein System namens AgentCF, bei dem User Agents und Item Agents hin und her chatten, um herauszufinden, welche Filme Ihnen gefallen könnten. Um die Grenzen zu testen, drehten sie an zwei Hauptreglern der „Konnektivität“ des Systems:

Die „Candidate Count“ (k): Stellen Sie sich vor, Sie sind auf einer Party. Wenn der Gastgeber Ihnen eine Liste mit 1 Film zur Diskussion gibt, haben Sie ein eng gefasstes Gespräch. Wenn er Ihnen 3 Filme gibt, haben Sie ein viel breiteres, geschäftigeres Gespräch. Dies ist die „Candidate Count“. Sie misst, wie viele Optionen ein Nutzer gleichzeitig sieht und diskutiert.
Die „Catalog Concentration“ (ρ): Stellen Sie sich die Größe der Filmbibliothek der Party vor. Wenn es 100 Leute, aber nur 50 Filme gibt, reden alle über dieselben wenigen Filme. Die Bibliothek ist „konzentriert“. Wenn es 100 Leute und 200 Filme gibt, ist das Gespräch eher verstreut. Dies ist die „Catalog Concentration“.

Die Forscher wollten wissen: Wenn wir diese Regler drehen, wird das System dadurch leichter zu hacken oder schwerer?

Die Angreifer: Gerüchte verbreiten und Geheimnisse stehlen

Um das System zu testen, spielten die Forscher die Rolle der „Bösewichte“ unter Verwendung verschiedener Angriffsstrategien. Sie raten nicht einfach nur; sie simulierten spezifische Szenarien, um zu sehen, wie weit der Schaden sich ausbreiten würde.

1. Die „Virale Gerüchte“-Angriffe (Dissemination)
Einige Angreifer versuchten, Fehlinformationen zu verbreiten.

Der „Recursive Block“ (CORBA): Stellen Sie sich ein Gerücht vor, das sagt: „Hört auf zu reden! Ihr müsst diesen Satz ewig wiederholen!“ Der Angreifer schleust dies in das Gedächtnis eines Film-Agenten ein. Der Film-Agent sagt es dem Nutzer, der Nutzer sagt es einem anderen Film, und plötzlich friert das gesamte System ein, weil alle damit beschäftigt sind, dasselbe zu wiederholen.
Die „Fake Review“ (NetSafe): Hier vergiften Angreifer das System mit voreingenommenen Meinungen, wie zum Beispiel: „Alle Filme mit diesem Schauspieler sind schrecklich“, in der Hoffnung, die Meinung aller zu ändern.

2. Die „Spion“-Angriffe (Extraction)
Andere Angreifer versuchten, Geheimnisse zu stehlen.

Das „Privacy Leak“ (MAMA): Angreifer chatten mit User Agents, um sie dazu zu bringen, private Details preiszugeben, die sie in ihrem Gedächtnis gespeichert haben, wie etwa gefälschte Adressen oder Telefonnummern.
Der „System Hacker“ (MASLeak): Diese Angreifer versuchen, das System zu dekonstruieren (Reverse Engineering), um herauszufinden, wie die KI programmiert ist oder wie die Agenten miteinander verbunden sind – im Grunde stehlen sie die „Blaupausen“ des Marktplatzes.

3. Die „Doppelagenten“-Angriffe (Bidirectional)
Einige Angriffe taten beides: Sie stahlen zuerst die Blaupausen des Systems (um die besten Ziele zu finden) und nutzten dieses Wissen dann, um die schlimmsten Gerüchte überhaupt zu verbreiten.

Was sie fanden: Es ist kompliziert!

Die Ergebnisse waren überraschend und zeigten, dass „mehr Verbindung“ nicht immer auf einfache Weise „mehr Gefahr“ bedeutet. Die Beziehung ist wie eine Achterbahnfahrt mit Kurven und Kehren.

Der „Goldilocks-Effekt“ der Verbindung
Die Forscher fanden heraus, dass die Änderung der Anzahl der gleichzeitig diskutierten Filme (k) oder der Dichte der Bibliothek (ρ) die Angriffe nicht einfach nur linear schneller oder langsamer machte.

Für die Verbreitung von Gerüchten: Manchmal führte das Vorhandensein von mehr Optionen (höheres k) dazu, dass das Gerücht anfangs schneller verbreitet wurde, aber dann eine Obergrenze erreichte. In anderen Fällen führte eine sehr überfüllte Bibliothek (hohes ρ) dazu, dass die Gerüchte besser an den Filmen „hafteten“, aber nicht unbedingt an den Nutzern.
Für den Diebstahl von Geheimnissen: Interessanterweise machte es es für Spione einfacher, Geheimnisse schnell zu stehlen, wenn sie mehr Optionen zum Chatten hatten (k). Aber sobald der Spion erst einmal Fuß gefasst hatte, half eine super-dichte Bibliothek ihm nicht unbedingt dabei, später mehr Geheimnisse zu stehlen.

Die „Nutzer vs. Film“-Spaltung
Eine der spannendsten Entdeckungen war, dass Nutzer und Filme unterschiedlich reagieren.

Wenn man die Anzahl der diskutierten Filme erhöht, können Film-Agenten sehr schnell „vergiftet“ (kontaminiert) werden, während User-Agenten vielleicht resistenter sind, oder umgekehrt.
Es ist, als ob die „Filme“ gegenüber einer bestimmten Art von Gerücht „leichtgläubiger“ sind, während die „Nutzer“ besser darin sind, es zu ignorieren, oder andersherum, je nach Angriff. Das bedeutet, man kann nicht einfach das gesamte System betrachten; man muss die spezifischen Rollen betrachten.

Die „Schneller Start, langsames Ende“-Überraschung
Die Forscher bemerkten ein Muster, das sie „Decoupled Slope and Plateau“ nannten.

Stellen Sie sich ein Feuer vor. Manchmal bricht ein Feuer blitzschnell aus (eine steile Steigung/Slope), brennt dann aber aus und hinterlässt nur einen kleinen Haufen Asche (ein niedriges Endniveau/Plateau).
Ein anderes Mal beginnt ein Feuer langsam, verschlingt aber schließlich den ganzen Wald (ein hohes Endniveau).
In ihren Simulationen war ein System, das zu Beginn eines Angriffs sehr verwundbar aussah, nicht immer dasjen, das am Ende am stärksten geschädigt war. Dies deutet darauf hin, dass die Betrachtung nur der unmittelbaren Reaktion auf einen Angriff irreführend sein kann.

Die Verteidiger: Bessere Mauern bauen

Das Team testete auch „Verteidigungsmechanismen“, die wie Sicherheitskräfte oder Immunsysteme für den KI-Marktplatz fungieren.

Die „Graph Guards“ (G-Safeguard & BlindGuard): Diese Abwehrsysteme versuchen, die Unruhestifter zu identifizieren, indem sie beobachten, wer mit wem spricht. Sie fanden heraus, dass diese Wächter gut für Nutzer funktionierten, aber etwas Schwierigkeiten mit den Film-Agenten hatten, besonders wenn die Bibliothek dünn besiedelt war.
Die „Spezialisierten Schilde“ (T-Guard & M-Guard): Dies waren maßgeschneiderte Abwehrmechanismen für die spezifischen „Doppelagenten“-Angriffe. Sie waren sehr effektiv darin, die Verbreitung von Gerüchten zu verlangsamen, insbesondere wenn das System über mehr Optionen zur Diskussion verfügte.

Das Fazit: Einheitslösungen passen nicht überall

Die wichtigste Lehre aus dieser Studie ist, dass die Sicherheit in KI-Empfehlungssystemen stark davon abhängt, wie das System vernetzt ist.

Wenn Sie ein System haben, in dem Nutzer viele Artikel gleichzeitig diskutieren, benötigen Sie vielleicht andere Sicherheitsmaßnahmen als bei einem System, in dem sie nur einen diskutieren.
Wenn Ihre Filmbibliothek sehr klein und dicht gedrängt ist, könnten die Risiken anders sein als bei einer riesigen, weit gestreuten Bibliothek.
Man kann „Nutzer“ und „Filme“ nicht als dasselbe behandeln; sie haben unterschiedliche Schwachstellen.

Die Forscher schlagen vor, dass wir vor dem Bau dieser massiven, sprechenden KI-Empfehlungssysteme diese „Konnektivitäts-Regler“ sorgfältig abstimmen müssen. Wir können nicht einfach davon ausgehen, dass die Erhöhung der Konnektivität oder Effizienz ein System automatisch sicher macht. Tatsächlich kann es sein, dass eine höhere Vernetzung das System unbeabsichtigt anfälliger für bestimmte Arten von Angriffen macht.

Durch das Verständnis dieser Dynamiken können Entwickler Empfehlungssysteme bauen, die nicht nur intelligent und hilfreich, sondern auch robust genug sind, um den unvermeidlichen Versuchen standzuhalten, sie zu täuschen oder zu brechen. Es ist eine Erinnerung daran, dass es auf dem digitalen Marktplatz genauso sehr auf das Layout der Straßen ankommt wie auf die Menschen, die darauf gehen.

Technisches Resümee: Angriffe auf und Verteidigung von Multi-Agenten-Collaborative-Filtering-Systemen durch Konnektivität

1. Problemstellung

Multi-Agenten-Collaborative-Filtering-Systeme (CF) nutzen autonome Large Language Model (LLM)-Agenten, um Nutzer und Items zu repräsentieren, die durch natürliche Sprachinteraktionen koordinieren, um Präferenzen zu verfeinern und Empfehlungen zu generieren. Während diese Systeme die Empfehlungsqualität verbessern, erben sie Schwachstellen sowohl aus ihrer datengesteuerten Natur als auch aus ihren Multi-Agenten-Kommunikationsstrukturen.

Das zentrale Problem, das hier adressiert wird, ist das mangelnde Verständnis darüber, wie Konnektivität die Verwundbarkeit in diesen spezifischen Systemen moduliert. Im Gegensatz zu allgemeinen Multi-Agenten-Systemen (MAS) besitzen CF-Systeme einzigartige strukturelle Eigenschaften:

Bipartite Asymmetrie: Sie bestehen aus distinkten Rollen für Nutzer und Items, im Gegensatz zu rollenhomogenen MAS-Netzwerken.
Dual-Source-Konnektivität: Die Konnektivität entsteht sowohl aus Designentscheidungen zur Laufzeit (z. B. Anzahl der präsentierten Kandidaten) als auch aus historischen Interaktionsdaten (z. B. Katalogüberschneidung).
Temporale Dynamik: Agenten pflegen persistente Zustände über lange Interaktionshorizonte hinweg, was komplexe temporale Angriffsdynamiken erzeugt, die in kleineren, aufgabenorientierten MAS bisher nicht beobachtet wurden.

Die Arbeit untersucht, ob sich die Effektivität von Angriff und Verteidigung aus der allgemeinen MAS-Literatur auf den CF-Kontext übertragen lässt und wie entscheidend zwei spezifische Konnektivitätsachsen diese Ergebnisse beeinflussen.

2. Methodik

2.1 Experimenteller Rahmen

Die Autoren entwickelten eine einheitliche Evaluierungsumgebung auf Basis von AgentCF [72] und MACF [61] unter Verwendung des MovieLens-100K Datensatzes. Das System simuliert ein bipartites Mesh, in dem Nutzer- und Item-Agenten direkt interagieren, wobei ein Orchestrator den Fluss moderiert.

2.2 Konnektivitätsachsen

Die Studie variiert systematisch zwei unabhängige Variablen, um die Konnektivität zu charakterisieren:

Kandidatenanzahl ( $k$ ): Die Anzahl der Item-Kandidaten, die einem Nutzer pro Turn präsentiert werden ( $k \in \{1, 2, 3\}$ ). Dies repräsentiert die Entscheidungsbandbreite des Nutzers und die unmittelbare Interaktionsdichte.
Katalogkonzentration ( $\rho$ ): Definiert als das Verhältnis von Nutzern zu Items ( $n_U / n_I$ ). Durch das Resampling des Datensatzes, um die Größe des Item-Katalogs zu variieren ( $n_I \in \{50, 100, 200\}$ ), während die Anzahl der Nutzer fix bleibt ( $n_U=100$ ), erstellt die Studie Szenarien mit geringer, mittlerer und hoher Überschneidung. Ein höheres $\rho$ impliziert einen dichteren Katalog, in dem historische Interaktionen auf weniger Items konzentriert sind.

2.3 Bedrohungsmodell

Die Studie betrachtet Application-Layer-Adversaries, die einen Bruchteil ( $\alpha$ ) der Nutzer- und/oder Item-Agenten kompromittieren durch:

System-Prompt-Override: Ersetzen von Aufgaben-Prompts durch adversarielle Personas.
Profil-/Beschreibungs-Poisoning: Einschleusen von „Canary“-Inhalten in die Agenten-Speicher oder Item-Beschreibungen.

Angriffsziele:

Dissemination (Verbreitung): Verbreitung von Bias, Fehlinformationen oder ressourcenerschöpfenden Payloads (z. B. rekursive Blockierung).
Extraction (Extraktion): Wiederherstellung privater Nutzerinformationen (PII) oder Reverse-Engineering von System-Prompts und Topologie.
Bidirectional (Bidirektional): Kombination von Reverse-Engineering mit anschließender Verbreitung.

2.4 Metriken

Die primäre Metrik ist die Attack Success Rate (ASR), definiert als der Anteil der Nicht-Angreifer-Agenten, deren Speicher kontaminiert wurde oder aus denen Informationen geleakt wurden. Ein LLM-Judge evaluiert die Speicherzustände der Agenten Turn für Turn. Die Analyse unterscheidet zwischen:

Transientem Regime: Die initiale Wachstumsrate des Angriffs.
Steady-State-Regime: Das Sättigungsniveau des Angriffs.
Rollenasymmetrie: Getrenntes Tracking für die Partitionen Nutzer ( $U$ ) und Item ( $I$ ).

3. Kernbeiträge

3.1 Adaption und Reproduktion

Die Autoren haben erfolgreich sechs repräsentative Angriffe und vier Verteidigungsmechanismen aus der allgemeinen MAS-Literatur auf den agentenbasierten CF-Bereich adaptiert. Dies validiert die teilweise Übertragbarkeit von MAS-Sicherheitserkenntnissen auf Empfehlungssysteme, während gleichzeitig die notwendigen Anpassungen für die bipartite, zustandsbehaftete Natur von CF aufgezeigt werden.

3.2 Charakterisierung von Konnektivitätseffekten

Die Arbeit zeigt auf, dass Konnektivität keinen einheitlichen Effekt auf die Sicherheit hat; ihr Einfluss hängt stark vom Angriffsziel, der Agentenrolle und dem temporalen Regime ab. Zentrale Erkenntnisse sind:

Rollenasymmetrie: Nutzer- und Item-Agenten reagieren unterschiedlich auf dieselben Änderungen der Konnektivität. Beispielsweise beschleunigt eine Erhöhung der Kandidatenanzahl ( $k$ ) oft das Angriffswachstum auf beiden Seiten, aber die Sättigungslevel im Steady-State divergieren.
Nicht-monotone Dynamik: Höhere Konnektivität führt nicht immer linear zu höherer Verwundbarkeit. In mehreren Fällen (z. B. NetSafe, MASLeak) führte eine Erhöhung von $k$ oder $\rho$ zu nicht-monotonen Ergebnissen, bei denen mittlere Konnektivitätsstufen anders abschnitten als die Extreme.
Entkopplung von Steigung und Plateau: Eine schnellere initiale Angriffsrate (transienter Slope) garantiert nicht zwangsläufig ein höheres endgültiges Kontaminationsniveau (Steady-State-Plateau).
Dissemination vs. Extraction: Verbreitungsangriffe profitieren generell von höherer Konnektivität, während Extraktionsangriffe sensitiver auf die Kandidatenanzahl ( $k$ ) als auf die Katalogkonzentration ( $\rho$ ) reagieren.

3.3 Verteidigungsevaluierung

Vier Verteidigungsmechanismen wurden evaluiert:

G-Safeguard & BlindGuard: GNN-basierte und unüberwachte Anomalieerkennungsverfahren, die für bipartite Graphen adaptiert wurden. Sie zeigten Effektivität bei der Reduzierung der Kontamination auf der Nutzerseite, hatten jedoch Schwierigkeiten beim Schutz der Item-Seite in spärlichen Konfigurationen.
T-Guard & M-Guard: Spezialisierte Verteidigungen für bidirektionale Angriffe, die auf Topologie-Vertrauensevaluierung und hierarchischer Überwachung basieren. Diese zeigten eine signifikante Unterdrückung der Angriffe, insbesondere bei höheren Konnektivitätsstufen ( $k=3$ ).

3.4 Prädiktive Metriken

Die Autoren untersuchten die Anwendbarkeit von Epidemie-inspirierten statischen Metriken (basierend auf Susceptible-Infected-Susceptible-Dynamiken), um CF-Konfigurationen nach erwartetem Angriffsausgang zu ranken. Während die First-Order-Approximation eine gewisse Korrelation zeigte, waren die Ergebnisse über verschiedene Angriffsarten und Rollen hinweg uneinheitlich, was darauf hindeutet, dass einfache statische Metriken ohne Berücksichtigung höherer Kontakt-Dynamiken und LLM-Alignment-Recovery nicht für eine präzise Risikobewertung ausreichen.

4. Zusammenfassung der Ergebnisse

Dissemination (CORBA, NetSafe): Erhöhte Konnektivität erleichtert generell die Verbreitung. Dennoch zeigt die Kontamination der Nutzerseite oft ein nicht-monotones Verhalten in Bezug auf $k$ , während die Kontamination der Item-Seite dazu neigt, mit $\rho$ zu steigen.
Extraction (MAMA, MASLeak): Diese Angriffe reagieren hochsensibel auf $k$ (Kandidatenanzahl), sind aber weitgehend unempfindlich gegenüber $\rho$ . Ein höheres $k$ beschleunigt das initiale Leaken von PII und System-Prompts, wenngleich das Steady-State-Leaken über hohe $k$ -Werte hinweg oft ähnlich stagniert.
Bidirectional (TOMA, MASTER): Diese Angriffe zeigen divergente Verhaltensweisen. Die Topologie-Rekonstruktion (Extraction) erreicht oft bei mittlerer Konnektivität ( $k=2$ ) ihren Höhepunkt aufgrund eines Trade-offs zwischen Recall und Precision, während die Verbreitung (Dissemination) von einem höheren $k$ profitiert.
Verteidigungsleistung: Verteidigungen wie T-Guard und M-Guard sind effektiv, aber ihr „Sicherheitsgewinn“ (Reduktion der ASR) verhält sich nicht-monoton zur Konnektivität. Beispielsweise zeigt T-Guard eine stärkere Unterdrückung bei $k=3$ im Vergleich zu $k=1$ oder $2$, während G-Safeguard auf Item-Agenten in spärlichen Katalogen schlecht abschneidet.
LLM-Alignment: Systeme, die auf neueren, besser ausgerichteten LLMs basieren (z. B. Claude 4.5), zeigten eine höhere Resilienz, was darauf hindeutet, dass Modell-Alignment als topologie-agnostische Recovery-Kraft wirkt.

5. Bedeutung und Behauptungen

Die Arbeit beansprucht, die erste systematische Charakterisierung der Konnektivitäts-Robustheits-Beziehung in Multi-Agenten-Collaborative-Filtering-Systemen geliefert zu haben. Ihre Bedeutung liegt in:

Brückenbildung zwischen Domänen: Sie etabliert eine Baseline für den Transfer von MAS-Sicherheitswissen auf den spezifischen, asymmetrischen Kontext von CF und identifiziert, wo allgemeine Erkenntnisse gelten und wo CF-spezifische Dynamiken (wie Rollenasymmetrie) die Ergebnisse verändern.
Nuancierte Risikobewertung: Sie stellt die Vorstellung eines einzelnen „Vulnerabilitäts-Scores“ für ein System infrage. Stattdessen argumentiert sie, dass Robustheit über mehrere Dimensionen evaluiert werden muss: Angriffstyp (Dissemination vs. Extraction), Agentenrolle (Nutzer vs. Item) und temporale Phase (Transient vs. Steady-State).
Praktische Orientierung: Die Ergebnisse legen nahe, dass Systemdesigner nicht einfach davon ausgehen können, dass „mehr Konnektivität“ gleichbedeutend mit „mehr Risiko“ oder „weniger Risiko“ ist. Beispielsweise kann eine Erhöhung der Kandidatenanzahl ( $k$ ) die initiale Ausbreitung eines Angriffs beschleunigen, aber auch schnellere Recovery-Mechanismen auslösen oder je nach Paarung von Verteidigung und Angriff zu einem niedrigeren Steady-State-Kontaminationsniveau führen.
Reproduzierbarkeits-Framework: Die Arbeit skizziert acht Schlüsselelemente (einschließlich kontrollierter Variablen, temporaler Regime und Angreiferplatzierung), die Praktiker berücksichtigen sollten, um in der zukünftigen agentenbasierten Empfehlungsforschung vollständige und reproduzierbare Sicherheitsbewertungen zu gewährleisten.

Die Autoren bleiben in ihren Ansprüchen bescheiden und räumen Einschränkungen wie den Umfang auf einen einzelnen Datensatz (MovieLens), die Kopplung von Konnektivitätsvariablen mit Aufgabenstrukturen und die Notwendigkeit einer systematischeren Kalibrierung von LLM-Judges ein. Sie positionieren diese Arbeit als explorative Grundlage für die Entwicklung robusterer, konnektivitätsbewusster Recommendation-Pipelines.