🤖 AI

Power and Limitations of Aggregation in Compound AI Systems

Diese Arbeit untersucht die Leistungsfähigkeit und die Grenzen der Aggregation von Antworten aus mehreren identischen Modellen in zusammengesetzten KI-Systemen, wobei sie nachweist, dass eine solche Aggregation die Menge der abrufbaren Ausgaben nur durch drei spezifische Mechanismen erweitert – die Erweiterung der Durchführbarkeit, die Erweiterung des Unterstützungsbereichs und die Kontraktion des Bindungssatzes – und liefert empirische Validierungen für diese Befunde bei Aufgaben mit großen Sprachmodellen.

Ursprüngliche Autoren: Nivasini Ananthakrishnan, Meena Jagadeesan

Veröffentlicht 2026-07-09

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nivasini Ananthakrishnan, Meena Jagadeesan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboterfreund, der Geschichten schreiben, mathematische Probleme lösen oder Forschungsarbeiten auflisten kann. Sie stellen ihm eine Frage und er gibt Ihnen eine Antwort. Aber was wäre, wenn Sie drei Kopien desselben Roboters dieselbe Frage stellen würden, ihnen jedoch leicht unterschiedliche Anweisungen geben und dann ihre Antworten zusammenmischen würden? Wäre das fertige Mash-up intelligenter als jeder einzelne Roboter für sich allein?

Dies ist die große Frage, mit der sich die Forscher Nivasini Ananthakrishnan und Meena Jagadeesan in ihrem neuen Paper beschäftigen. Sie haben nicht einfach nur geraten; sie haben ein mathematisches „Principal-Agent“-Framework gebaut (denken Sie an ein strenges Regelwerk, wie ein Chef Aufgaben an Arbeiter delegiert), um genau zu bestimmen, wann und warum das Kombinieren von Antworten funktioniert und wann es einfach nur Zeitverschwendung ist.

Die drei magischen Tricks der Aggregation

Die Autoren entdeckten, dass es nicht automatisch den Roboter intelligenter macht, wenn man ihn einfach dreimal dasselbe fragen kann. Tatsächlich haben sie bewiesen, dass eine Gruppe von Robotern eine Antwort produzieren muss, die kein einzelner Roboter allein jemals geben könnte, sofern die Gruppe eines der drei spezifischen „magischen Tricks“ anwendet. Wenn die Gruppe nicht mindestens einen dieser Tricks anwendet, ist die Aggregation nutzlos, egal wie clever Ihre Anweisungen (Prompts) sind.

Hier sind die drei Tricks, erklärt anhand einer Geschichte über einen Paper-Referenz-Generator:

1. Der „Unmögliche Mix“-Trick (Feasibility Expansion)
Stellen Sie sich einen Roboter vor, der einen Fehler hat: Er kann nicht über „Blockchain“ sprechen, ohne versehentlich gleichzeitig auch über „Kryptographie“ zu sprechen. Es ist, als könnte ein Roboter nicht „Apfel“ sagen, ohne auch „Kuchen“ zu sagen.

Der einzelne Roboter: Wenn Sie ihn nach einer Liste über Blockchain fragen, muss er Kryptographie miteinschließen. Er kann nicht anders.
Die Gruppe: Sie fragen Roboter A nach einer Liste über „Blockchain, aber nicht Distributed Systems“ und Roboter B nach „Kryptographie, aber nicht Blockchain“. Roboter A liefert Ihnen eine Liste, die schwer auf Blockchain fokussiert ist; Roboter B liefert eine Liste, die schwer auf Kryptographie fokussiert ist. Wenn Sie deren Listen kombinieren (aggregieren), erhalten Sie am Ende vielleicht eine perfekte Liste, die nur Blockchain enthält und keine Kryptographie.
Die Magie: Die Gruppe erschuf ein Ergebnis (Reine Blockchain), das für keinen einzelnen Roboter allein möglich gewesen wäre, aufgrund seiner internen „Fehler“ (Constraints). Das Paper nennt dies Feasibility Expansion.

2. Der „Zu viele Hobbys“-Trick (Support Expansion)
Stellen Sie sich vor, Sie möchten, dass ein Roboter eine Geschichte schreibt, die gleichermaßen von „Weltraum“ und „Medizin“ handelt.

Der einzelne Roboter: Der Roboter ist schlecht im Multitasking. Wenn Sie ihm sagen, er solle sich auf den Weltraum konzentrieren, ignoriert er die Medizin. Wenn Sie ihm sagen, er solle sich auf die Medizin konzentrieren, ignoriert er den Weltraum. Er kann nicht beide Ziele gleichzeitig perfekt treffen.
Die Gruppe: Sie fragen Roboter A, er solle sich nur auf den Weltraum konzentrieren, und Roboter B, er solle sich nur auf die Medizin konzentrieren. Roboter A liefert eine großartige Weltraum-Geschichte; Roboter B liefert eine großartige Medizin-Geschichte. Wenn Sie diese mischen, erhalten Sie eine Geschichte, die perfekt zwischen beiden Themen ausbalanciert ist.
Die Magie: Die Gruppe erschuf ein Ergebnis, das ein breiteres Spektrum an Themen abdeckt (einen „reicheren Support“) als jeder einzelne Roboter allein bewältigen könnte. Das Paper nennt dies Support Expansion.

3. Der „Lockere Constraint“-Trick (Binding Set Contraction)
Stellen Sie sich vor, ein Roboter wird gezwungen, einer Regel zu folgen: „Wenn du ‚Deep Learning‘ erwähnst, musst du auch ‚Neuronale Netze‘ erwähnen.“

Der einzelne Roboter: Wenn Sie ihn nach einer Liste über Deep Learning fragen, ist der Robbot an die Regel „gebunden“ (bound). Er kann Deep Learning nicht ohne Neuronale Netze liefern.
Die Gruppe: Sie fragen Roboter A nach einer Liste, die zu 90 % aus Deep Learning und zu 10 % aus Neuronalen Netzen besteht. Sie fragen Roboter B nach einer Liste, die zu 90 % aus Neuronalen Netzen und zu 10 % aus Deep Learning besteht. Wenn Sie die Antworten kombinieren, kann die „Muss enthalten“-Regel sich so aufheben, dass Sie eine Liste erhalten, die rein aus Deep Learning besteht oder zumindest viel weniger „Neuronalen Netze“-Füllmaterial enthält, als der einzelne Roboter jemals produzieren könnte.
Die Magie: Die Gruppe fand einen Weg, aus den „engsten“ Constraints auszubrechen, die die einzelnen Roboter zurückhielten. Das Paper nennt dies Binding Set Contraction.

Das große „Nein“ (Was Aggregation nicht leisten kann)

Dies ist der wichtigste Teil: Das Paper schließt explizit die Idee aus, dass allein die Tatsache, dass man mehr Roboter oder komplexere Anweisungen verwendet, eine bessere Lösung garantiert.

Die Autoren haben mathematisch bewiesen, dass, wenn Ihre Aggressionsmethode (wie Sie die Antworten mischen) nicht mindestens einen dieser drei Tricks anwendet, sie null Leistungsfähigkeit bietet. Es spielt keine Rolle, ob Sie ein Genie im Schreiben von Prompts sind oder ob der Roboter sehr fortgeschritten ist. Wenn der Mischprozess nicht den „zulässigen“ Bereich erweitert, den „Support“ (die Themen) erweitert oder die „bindenden“ Constraints verkleinert, ist die Gruppe genauso begrenzt wie ein einzelner Roboter.

Tatsächlich haben sie gezeigt, dass Sie feststecken, wenn Sie versuchen, Antworten auf eine Weise zu mischen, die diese Tricks nicht nutzt. Sie können kein Ergebnis erzielen, das der einzelne Roboter nicht auch hätte geben können, egal wie sehr Sie sich anstrengen.

Wie sicher sind sie sich?

Die Autoren haben dies nicht nur erfunden; sie haben es bewiesen.

Die Theorie: Sie verwendeten rigorose Mathematik, um zu beweisen, dass diese drei Mechanismen notwendig sind. Das bedeutet: Wenn Sie beobachten, dass eine Gruppe von KI-Agenten etwas Erstaunliches tut, das ein einzelner Agent nicht könnte, dann muss es daran liegen, dass sie einen dieser drei Tricks anwenden. Sie haben auch bewiesen, dass eine „gestärkte“ Version dieser Regeln hinreichend ist, was bedeutet: Wenn Sie zeigen können, dass diese Regeln greifen, sind Sie garantiert, ein besseres Ergebnis zu erzielen.
Die Simulation: Um sicherzustellen, dass ihre Mathematik nicht nur eine schöne Theorie war, führten sie eine Simulation (ein Computerexperiment) mit echten Large Language Models (speziell GPT-4o-mini) durch.
- Sie bauten eine „Spielzeugaufgabe“ auf, bei der die KI Listen von Forschungstiteln generieren musste.
- Sie testeten die drei Tricks. Für die Support Expansion fanden sie heraus, dass ein einzelnes Modell „Komplexitätstheorie“ und „Makroökonomie“ nicht perfekt ausbalancieren konnte, die Gruppe hingegen schon.
- Für die Feasibility Expansion zeigten sie, dass die Gruppe eine Liste über „Blockchain“ erstellen konnte, die „Distributed Systems“ vermied, was ein einzelnes Modell nicht schaffte.
- Für die Binding Set Contraction zeigten sie, dass die Gruppe „Deep Learning“ besser isolieren konnte als ein einzelnes Modell.

In diesen Simulationen war der Abstand zwischen dem, was die Gruppe produzierte, und dem, was ein einzelnes Modell produzieren konnte, deutlich sichtbar. Beispielsweise lag der Unterschied (gemessen an der $\ell_1$ -Distanz) im Test zur Support Expansion zwischen 0,63 und 1,02. Im Test zur Feasibility Expansion lag die Lücke zwischen 0,07 und 0,39. Diese Zahlen sind nicht null; sie beweisen, dass die Gruppe etwas getan hat, das ein einzelner Roboter nicht konnte.

Die Erkenntnis für neugierige Köpfe

Fragt man also fünf Roboter zusammenzuarbeiten, erschafft das immer einen Super-Roboter? Nein. Das Paper legt nahe, dass es nur funktioniert, wenn man klug darüber ist, wie man ihre Antworten kombiniert. Man muss die Kombination nutzen, um eine Regel zu brechen, an der der einzelne Roboter feststeckte, oder um mehr abzudecken als ein einzelner Roboter.

Wenn man ihre Antworten einfach nur wahllos zusammenmischt oder sie exakt dasselbe tun lässt, gewinnt man nichts Neues hinzu. Aber wenn man die richtige „Mischstrategie“ anwendt, um die Schwächen der Roboter (wie ihre Unfähigkeit zum Multitasking oder ihre erzwungenen Nebeneffekte) auszunutzen, kann man eine völlig neue Welt von Antworten erschließen, die zuvor unmöglich waren.

Die Autoren kommen zu dem Schluss, dass dies uns einen Fahrplan für den Bau von „Compound AI Systems“ liefert. Anstatt nur zu hoffen, dass mehr Modelle zu besseren Ergebnissen führen, wissen wir nun genau, welche Art von „Mischung“ wir benötigen, um das System tatsächlich intelligenter zu machen. Es ist keine Magie; es ist Mathematik.

Technische Zusammenfassung: Leistungsfähigkeit und Grenzen der Aggregation in Compound-KI-Systemen

Problemstellung

Compound-KI-Systeme, die mehrere KI-Komponenten nutzen, anstatt eines einzelnen Modells isoliert zu verwenden, haben sich als leistungsfähiges Paradigma zur Bewältigung komplexer Aufgaben etabliert. Eine gängige Strategie besteht darin, mehrere Kopien desselben Large Language Models (LLM) mit unterschiedlichen Prompts oder Werkzeugen abzufragen und deren Antworten zu aggregieren. Während empirische Erfolge darauf hindeuten, dass Aggregation die Leistung verbessert, bleiben die theoretischen Bedingungen unklar, unter denen die Aggregation homogener Modelle eine strikt größere Menge an Ausgaben ermöglicht als die Abfrage eines einzelnen Modells.

Diese Arbeit untersucht die Leistungsfähigkeit und die Grenzen einer solchen Aggregation. Konkret wird die Frage gestellt: Wann ermöglicht die Aggregation von Ausgaben mehrerer Kopien desselben Modells einem Systemdesigner, Ausgaben zu evozieren, die von einem einzelnen Modell unter Berücksichtigung von Einschränkungen beim Prompt-Engineering (Reward-Spezifikation) und den Modellkapazitäten unmöglich zu evozieren sind?

Methodik

Die Autoren formalisieren dieses Problem unter Verwendung eines stilisierten Principal-Agent-Frameworks, welches die Arbeit von Kleinberg und Raghavan [2020] erweitert.

Theoretischer Rahmen

Agenten und Ausgaben: Das System besteht aus $K$ Agenten (die identische LLM-Kopien repräsentieren) und einem einzelnen Principal (dem Systemdesigner). Ausgaben werden als $M$ -dimensionale, nicht-negative Vektoren $x \in \mathbb{R}^M_{\ge 0}$ dargestellt.
Modellkapazitäten (konische Einschränkungen): Modellbeschränkungen werden als konische Einschränkungen $C$ auf dem Ausgaberaum modelliert. Die zulässige Menge ist definiert als $B_{feasible}(C) = \{x \in \mathbb{R}^M_{\ge 0} \mid Cx \le 0\}$ . Dies bildet Szenarien ab, in denen ein Modell bestimmte erwünschte Ausgaben nicht erzeugen kann, ohne unerwünschte Nebenwirkungen (z. B. Halluzinationen oder Sicherheitsverletzungen) zu verursachen.
Einschränkungen des Prompt-Engineerings (gröbere Merkmale): Der Systemdesigner kann Belohnungen (Rewards) nicht direkt über den $M$ -dimensionalen Ausgaberaum spezifizieren. Stattdessen operieren Rewards über einen gröberen $N$ -dimensionalen Merkmalsraum, der durch eine Merkmalsgewichtungsmatrix $\alpha$ definiert ist. Die Abbildung der Merkmale $F(x)$ aggregiert die Ausgabendimensionen und fängt die Limitation ein, dass Prompts möglicherweise unterdeterminiert sind oder Modelle feingliedrige Unterscheidungen missverstehen können.
Agenten-Optimierung: Jeder Agent $k$ maximiert eine monotone Reward-Funktion $R^{(k)}$ unter Berücksichtigung seines Budgets $E^{(k)}$ und der konischen Einschränkungen $C$ .
Elicitability-Expansion: Eine Aggregationsoperation $x^{(1)}, \dots, x^{(K)} \to x^{(A)}$ wird als elicitability-expanding bezeichnet, wenn die konstituierenden Ausgaben $x^{(k)}$ durch ein einzelnes Reward/Budget-Paar einzeln evozierbar (elicitable) sind, die aggregierte Ausgabe $x^{(A)}$ jedoch durch kein einzelnes Reward/Budget-Paar evozierbar ist.

Aggregationsregeln

Die Arbeit analysiert allgemeine Aggregationsregeln, konzentriert sich jedoch auf zwei natürliche Typen:

Intersektions-Aggregation: Koordiniertes Minimum ( $x^{(1)} \wedge \dots \wedge x^{(K)}$ ), analog zu Debatten-Protokollen oder Konsens-Filterung.
Additions-Aggregation: Gewichtete Summe ( $\sum w_k x^{(k)}$ ), analog zur Synthese spezialisierter Teilaufgaben.

Zentrale Beiträge

1. Identifizierung von drei natürlichen Mechanismen

Die Autoren identifizieren drei Mechanismen, durch die Aggregation die Menge der evozierbaren Ausgaben erweitern kann:

Feasibility Expansion (Erweiterung der Durchführbarkeit): Aggregation erzeugt eine Ausgabe $x^{(A)}$ , die außerhalb der zulässigen Menge eines einzelnen Agenten liegt ( $Cx^{(A)} \not\le 0$ ), und umgeht damit effektiv die Modellkapazitätsbeschränkungen.
Support Expansion (Erweiterung des Supports): Aggregation kombiniert Ausgaben mit kleineren Supports (weniger nicht-null Dimensionen) zu einer Ausgabe mit einem reichhaltigeren Support, um die Einschränkungen in der Reward-Spezifikation zu überwinden, bei denen spezifische Merkmalskombinationen schwer direkt zu evozieren sind.
Binding Set Contraction (Kontraktion des Bindungs-Sets): Aggregation kombiniert Ausgaben, bei denen Einschränkungen bindend (aktiv) sind, zu einer Ausgabe, bei der diese Einschränkungen nicht mehr bindend (im Inneren) sind, wobei die Geometrie der zulässigen Menge genutzt wird, um neue Richtungen zu erschließen.

2. Notwendige und hinreichende Bedingungen

Die Arbeit liefert eine rigorose Charakterisierung der Frage, wann Aggregation leistungsfähig ist:

Notwendigkeit: Theorem 3.7 beweist, dass eine Aggregation, um elicitability-expanding zu sein, mindestens einen der drei Mechanismen (Feasibility Expansion oder Support/Binding-Set Expansion für jeden Agenten) implementieren muss. Wenn keiner dieser Mechanismen implementiert wird, bietet Aggregation keine Leistungssteigerung, unabhängig von den Einschränkungen des Prompt-Engineerings.
Unzulänglichkeit basaler Mechanismen: Die Autoren zeigen auf, dass die bloße Implementierung dieser Mechanismen nicht ausreicht, um eine elicitability-expansion zu garantieren.
Verstärkte Charakterisierung: Die Theorem 4.3 und 4.4 liefern die notwendigen und hinreichenden Bedingungen für die elicitability-expansion. Diese Bedingungen erfordern eine „verstärkte“ Version der Mechanismen, insbesondere eine auf „leeren, budgetreduzierenden Richtungen“ basierende „power-characterizing condition“. Diese Bedingung stellt sicher, dass die aggregierte Ausgabe robust verschieden von den individuellen Ausgaben ist, sodass keine einzelne Reward-Funktion sie evozieren kann.

3. Empirische Illustration

Die Autoren validieren ihre theoretischen Ergebnisse empirisch mit GPT-4o-mini (und anderen Modellen) in einer Spiel-Referenzgenerierungs-Aufgabe.

Aufgabe: Generierung von Listen von Literaturverweisen, die spezifische Themenbalancen widerspiegeln.
Setup: Der Systemdesigner promptet die Modelle mit High-Level-Themen (gröbere Merkmale) und aggregiert die resultierenden Listen mittels Vereinigung (Addition) oder Schnittmenge (Intersektion).
Ergebnisse: Die Experimente konstruierten erfolgreich Aggregationsoperationen, die jeden der drei Mechanismen implementierten. In jedem Fall war die aggregierte Ausgabe signifikant näher am Ziel als die am nächsten liegende Ausgabe, die durch ein einzelnes Modell evozierbar war, was bestätigt, dass Aggregation sowohl die Einschränkungen des Prompt-Engineerings als auch die Modellkapazitäten in der Praxis überwinden kann.

Ergebnisse und Bedeutung

Die Arbeit kommt zu dem Schluss, dass die Leistungsfähigkeit von Compound-KI-Systemen, die auf Aggregation beruhen, nicht automatisch gegeben ist; sie ist fundamental durch die Geometrie des Ausgaberaums und die Limitationen der Reward-Spezifikation beschränkt.

Theoretische Erkenntnis: Die Arbeit charakterisiert vollständig, wann Aggregation die Menge der evozierbaren Ausgaben erweitert. Sie stellt fest, dass Aggregation nur dann vorteilhaft ist, wenn sie spezifische geometrische Eigenschaften (Feasibility, Support oder Binding Sets) nutzt, die durch Single-Agent-Prompting nicht zugänglich sind.
Praktische Implikation: Systemdesigner können diese Mechanismen nutzen, um zu bestimmen, ob ein Compound-System ein Einzelmodell übertreffen wird. Wenn Modelle beispielsweise keine Kapazitätsbeschränkungen haben (keine konischen Einschränkungen), bietet die Intersektions-Aggregation möglicherweise keine Leistungssteigerung, während die Additions-Aggregation durch Support-Expansion dennoch Vorteile bieten kann.
Robustheit: Die empirischen Ergebnisse legen nahe, dass diese theoretischen Mechanismen auch beim Übergang von den linearen Annahmen der Arbeit (z. B. zu stochastischen LLMs mit nicht-null Temperatur) Bestand haben.

Die Arbeit positioniert sich als Schritt zum Verständnis der fundamentalen Grenzen und Fähigkeiten der Aggregation homogener Modelle und bietet einen konzeptionellen Rahmen für das Design von Compound-KI-Systemen, die sowohl die Einschränkungen des Prompt-Engineerings als auch die der Modellkapazitäten effektiv überwinden.