💬 NLP

From Standalone LLMs to Integrated Intelligence: A Survey of Compound Al Systems

Diese Umfrage definiert Compound-AI-Systeme als ein aufkommendes Paradigma, das große Sprachmodelle mit externen Komponenten wie Retrievern und Agenten integriert, und schlägt eine einheitliche Taxonomie und Analyse grundlegender Paradigmen wie RAG und LLM-Agenten vor, um die aktuelle Fragmentierung zu adressieren und die zukünftige Forschung in der systemischen künstlichen Intelligenz zu leiten.

Ursprüngliche Autoren: Jiayi Chen, Junyi Ye, Guiling Wang

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiayi Chen, Junyi Ye, Guiling Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine brillante, gut informierte Bibliothekarin namens „LLM" (Large Language Model) vor. Diese Bibliothekarin hat fast jedes jemals bis zu einem bestimmten Datum geschriebene Buch gelesen. Sie ist unglaublich schnell beim Schreiben von Geschichten, Beantworten von Fragen und Chatten. Allerdings hat sie drei große Probleme:

Sie vergisst Dinge: Sie kann sich keine Fakten merken, die nach dem Ende ihres Studiums passiert sind (ihr Wissen ist „veraltet").
Sie erfindet Dinge: Manchmal, wenn sie die Antwort nicht kennt, erfindet sie selbstbewusst eine falsche Tatsache (dies wird „Halluzination" genannt).
Sie kann keine Mathematik betreiben oder Werkzeuge nutzen: Sie ist großartig im Reden, kann aber tatsächlich keine komplexe Gleichung berechnen, das Live-Internet durchsuchen oder einen Roboterarm steuern.

Dieser Artikel stellt eine neue Art der KI-Entwicklung vor, die Compound AI Systems (CAIS) genannt wird. Anstatt sich nur auf diese eine Bibliothekarin zu verlassen, baut CAIS ein Team oder ein Orchester um die Bibliothekarin herum auf, um diese Probleme zu beheben.

Hier ist, wie der Artikel dieses „Team" mit einfachen Analogien aufschlüsselt:

1. Die vier wichtigsten Teammitglieder (Die Achsen)

Der Artikel organisiert diese neue KI-Welt in vier Hauptrollen, die zusammenarbeiten:

Der Forscher (RAG – Retrieval-Augmented Generation):
- Das Problem: Die Bibliothekarin kennt die heutigen Nachrichten nicht oder die privaten Dateien Ihres Unternehmens.
- Die Lösung: Bevor die Bibliothekarin antwortet, läuft ein Forscher zu den Bibliotheksregalen (oder ins Internet), um die spezifischen, aktuellen Dokumente zu finden. Sie übergeben diese Notizen der Bibliothekarin, damit sie basierend auf Fakten und nicht auf Vermutungen antworten kann.
- Analogie: Es ist, als würde man der Bibliothekarin gerade vor einer Prüfung eine Spickzettel geben.
Der Projektleiter (LLM-Agenten):
- Das Problem: Die Bibliothekarin ist gut in einer Aufgabe, gerät aber bei einem langen, komplizierten Projekt, das viele Schritte erfordert, in Verwirrung.
- Die Lösung: Ein Agent ist eine Version der Bibliothekarin, die planen kann. Sie zerlegt eine große Aufgabe (wie „Planen Sie einen Urlaub") in kleine Schritte (Flug buchen -> Hotel finden -> Wetter prüfen). Sie kann auch Werkzeuge nutzen, wie das Anrufen einer Reise-API oder das Rechnen, und dann ihre eigene Arbeit überprüfen, um Fehler zu korrigieren.
- Analogie: Es ist wie ein Vorarbeiter, der nicht nur Ziegel verlegt, sondern die Baupläne zeichnet, die Materialien bestellt und die Arbeit inspiziert.
Der multisensorische Experte (MLLMs – Multimodale LLMs):
- Das Problem: Die Bibliothekarin kann nur Text lesen. Wenn Sie ihr ein Bild eines defekten Motors oder ein Video eines Sturms zeigen, ist sie blind.
- Die Lösung: Dies sind Bibliothekarinnen, die Augen und Ohren erhalten haben. Sie können Bilder ansehen, Audio hören und Videos ansehen, dann beschreiben, was sie sehen, oder Fragen dazu beantworten.
- Analogie: Es ist, als würde man der Bibliothekarin eine Brille und Kopfhörer geben, damit sie eine Welt verstehen kann, die nicht nur aus geschriebenen Worten besteht.
Der Dirigent (Orchestrierung):
- Das Problem: Wenn Sie einen Forscher, einen Projektleiter und einen multisensorischen Experten haben, könnten sie alle durcheinander reden oder verwirrt sein, wer was tut.
- Die Lösung: Der Dirigent ist das System, das das gesamte Team verwaltet. Er entscheidet, wann der Forscher gerufen wird, wann der Agent gebeten wird zu planen, und wie ihre Antworten zu einem einzigen Endergebnis kombiniert werden. Er sorgt dafür, dass das Team reibungslos zusammenarbeitet.
- Analogie: Denken Sie an ein Sinfonieorchester. Die Bibliothekarin ist der Geiger, aber der Dirigent sorgt dafür, dass Trommeln, Flöten und Violinen alle zur richtigen Zeit spielen, um Musik und nicht Lärm zu erzeugen.

2. Wie sie zusammenarbeiten (Die Pipeline)

Der Artikel erklärt, dass ein reales Compound AI System nicht nur eines dieser Dinge ist; es sind normalerweise alle gleichzeitig.

Stellen Sie sich vor, Sie fragen das System: „Analysieren Sie dieses Foto einer defekten Maschine und finden Sie das Handbuch, um sie zu reparieren."

Der multisensorische Experte betrachtet das Foto und versteht, was die Maschine ist.
Der Forscher geht raus und findet das spezifische Handbuch für dieses Maschinenmodell.
Der Projektleiter (Agent) ermittelt die Schritte zur Reparatur und entscheidet, ein Werkzeug zu nutzen, um zu prüfen, ob das Teil auf Lager ist.
Der Dirigent (Orchestrierung) steuert den Ablauf, stellt sicher, dass die Fotoanalyse vor der Handbuchsuche stattfindet, und kombiniert alles zu einer klaren Antwort für Sie.

3. Die aktuellen Herausforderungen

Der Artikel räumt ein, dass dieser „Team"-Ansatz zwar mächtig ist, aber derzeit auch chaotisch ist:

Es ist kompliziert: Ein Team aufzubauen ist schwieriger als eine Person einzustellen. Wenn ein Teil kaputtgeht, kann das gesamte System versagen.
Sie sprechen nicht dieselbe Sprache: Verschiedene Werkzeuge und Agenten verwenden oft unterschiedliche Formate, was es schwierig macht, sie zu verbinden (wie wenn man versucht, ein europäisches Ladegerät in eine amerikanische Steckdose zu stecken).
Es ist schwer zu testen: Wir haben noch keine perfekten Tests, um zu sehen, ob das gesamte Team gut funktioniert, besonders wenn sie gleichzeitig Bilder betrachten und mit Werkzeugen interagieren.

4. Die Zukunft: Standardisierung

Der Artikel hebt hervor, dass Menschen beginnen, „universelle Adapter" zu erstellen (wie das Model Context Protocol oder MCP). Diese sind wie universelle Mehrfachsteckdosen, die es jedem KI-Werkzeug ermöglichen, sich einfach mit jedem KI-System zu verbinden. Das Ziel ist es, aufzuhören, für jede einzelne Verbindung maßgeschneiderte Brücken zu bauen, und stattdessen einen Standardweg zu haben, damit all diese KI-Komponenten miteinander sprechen können.

Zusammenfassung

Kurz gesagt sagt dieser Artikel: Hören Sie auf, zu versuchen, ein einziges riesiges Gehirn zu erschaffen, das alles perfekt macht. Bauen Sie stattdessen ein intelligentes System, das ein Gehirn (das LLM) mit einem Gedächtnisspeicher (Retrieval), einem Planer (Agenten), Augen/Ohren (Multimodal) und einem Manager (Orchestrierung) verbindet. Dieses „Compound"-System ist die Zukunft der KI, weil es die Grenzen jedes einzelnen Modells überwindet.

Technische Zusammenfassung: Von eigenständigen LLMs zu integrierter Intelligenz: Eine Übersicht über zusammengesetzte KI-Systeme

1. Problemstellung

Während Large Language Models (LLMs) sich zu einer grundlegenden KI-Infrastruktur entwickelt haben, weisen sie inhärente strukturelle Einschränkungen auf, die ihren Einsatz in dynamischen, realen Umgebungen behindern. Zu diesen Einschränkungen gehören Halluzinationen (fließende, aber faktisch ungenaue Ausgaben), Veraltetheit (Unfähigkeit, auf nach dem Training erworbenes Wissen zuzugreifen) und begrenztes Schlussfolgern (endliche Kontextfenster, die mehrstufiges Schlussfolgern und die Zerlegung von Aufgaben mit langem Horizont einschränken).

Um diese Barrieren zu überwinden, konvergiert die Community auf Zusammengesetzte KI-Systeme (Compound AI Systems, CAIS). CAIS werden definiert als modulare, erweiterbare Architekturen, die LLMs mit spezialisierten externen Komponenten integrieren – wie Retrieval-Systeme, Agenten zur Werkzeugnutzung, symbolische Planer, Speichermodule und multimodale Encoder. Trotz zunehmender Adoption bleibt die CAIS-Landschaft jedoch fragmentiert. Die bestehende Literatur behandelt isolierte Komponenten (z. B. spezifische RAG-Übersichten, Agenten-Frameworks oder Optimierungsmethoden), fehlt aber an einem einheitlichen, systemweiten Rahmen für Analyse, Taxonomie und Evaluation, der die Interaktionen über den gesamten Stack hinweg synthetisiert.

2. Methodik

Die Autoren führten eine systematische Übersicht basierend auf einer strukturierten Literaturrecherche in vier großen wissenschaftlichen Datenbanken (ACM Digital Library, arXiv, IEEE Xplore, Semantic Scholar) sowie einer manuellen Prüfung von Tagungsbeiträgen führender Konferenzen (ACL, NeurIPS, ICML, CVPR usw.) durch.

Suchumfang: Publikationen von 2020 bis Anfang 2026, mit Fokus auf den Zeitraum nach der Einführung von GPT-3 und wegweisenden RAG-Arbeiten.
Auswahlkriterien: Eingeschlossen wurden Arbeiten, die ein LLM als primäre Schlussfolgerungskomponente in Kombination mit mindestens einem externen Modul (Retriever, Werkzeug, Speicher, API, Encoder oder Orchestrierungs-Framework) verwendeten und neue empirische Ergebnisse, Architekturen oder systematische Analysen präsentierten.
Endkorpus: Rund 220 Arbeiten wurden beibehalten und analysiert.
Aufbau der Taxonomie: Die Autoren organisierten die Landschaft entlang vier orthogonaler Achsen: Retrieval-Augmented Generation (RAG), LLM-Agenten, Multimodale LLMs (MLLMs) und Orchestrierung.

3. Hauptbeiträge

A. Mehrdimensionale Taxonomie und einheitlicher Rahmen

Der Artikel schlägt eine formale Darstellung von CAIS als Funktion $f(L, C, D)$ vor, wobei:

$L$ : Die Menge der LLMs (allgemein oder feinabgestimmt).
$C$ : Die Menge der externen Komponenten (Werkzeuge, Retriever, Encoder usw.).
$D$ : Das Systemdesign, das Architektur, Topologie und Koordination definiert.

Die Übersicht integriert vier grundlegende Achsen in einen kohärenten Rahmen:

RAG: Verankerung von LLMs in externem nicht-parametrischem Speicher.
LLM-Agenten: Autonome Entscheidungsfindung, Planung und Werkzeugnutzung in iterativen Schleifen.
MLLMs: Erweiterung von LLMs zur Wahrnehmung und Schlussfolgerung über nicht-textuelle Modalitäten (Bilder, Audio, Video).
Orchestrierung: Das strukturelle und koordinierende Design, das alle Komponenten integriert.

B. Vergleichende Analyse und Zielkonflikte

Der Artikel liefert vier strukturierte Vergleichstabellen, die Zielkonflikte für jede Achse herausarbeiten:

RAG-Retriever-Paradigmen (Tabelle 2): Vergleicht Sparse-, Dense-, Graph-, Hybrid- und LLM-as-Retriever-Ansätze hinsichtlich Latenz, Recall, Skalierbarkeit, Interpretierbarkeit und Domänenspezifität. Es wird hervorgehoben, dass Hybrid-Retriever oft den höchsten Recall erreichen, während LLM-as-Retriever Flexibilität bei hohen Inferenzkosten bietet.
LLM-Agenten-Schlussfolgerungs-Frameworks (Tabelle 3): Analysiert Frameworks wie Chain-of-Thought, ReAct, Tree of Thoughts, Reflexion und Self-RAG. Es wird festgestellt, dass ReAct zwar die am weitesten verbreitete Baseline für Werkzeugnutzung ist, Tree of Thoughts jedoch hohe Rechenkosten für tiefgehende Planung verursacht und Reflexion über Speicher eine starke Fehlerkorrektur bietet.
MLLM-Architekturen (Tabelle 5): Vergleicht Fusionsstrategien (Cross-Attention, Q-Former-Brücke, Lineare Projektion, Native End-to-End). Es wird identifiziert, dass natives End-to-End-Training (z. B. Gemini) zwar starke Schlussfolgerungen bietet, modulare Ansätze (z. B. LLaVA, BLIP-2) jedoch bessere Effizienz und Upgradability bieten.
Orchestrierungs-Frameworks (Tabelle 7): Bewertet Frameworks wie LangChain, AutoGen, DSPy und CrewAI basierend auf Topologie, Koordinationsmechanismen und Werkzeugunterstützung.

C. Standardisierungs- und Interoperabilitätslandschaft

Die Übersicht kartiert die entstehende Standardisierungsschicht als dreischichtige Architektur:

Schemaschicht: Strukturierte Werkzeug-Schnittstellen (z. B. OpenAI Function Calling, JSON Schema).
Tool-Zugriffs-Protokollschicht: Das Model Context Protocol (MCP), das die Kommunikation zwischen KI-Systemen und externen Tool-Servern standardisiert.
Agenten-Interoperabilitätsschicht: Frameworkübergreifende Protokolle einschließlich Agent-to-Agent (A2A), Agent Communication Protocol (ACP), Agent Network Protocol (ANP) und Agent Spec.
Die Autoren argumentieren, dass die Interoperabilität durch „Übersetzung und Schichtung" (Adapter und intermediäre Repräsentationen) konvergiert und nicht durch einen einzigen universellen Standard.

D. Evaluierungsmethodologien

Der Artikel überprüft Benchmarks über die vier Achsen hinweg und stellt eine anhaltende Lücke bei einheitlichen systemweiten Metriken fest.

RAG: Bewertet anhand der Retrieval-Qualität (MRR, nDCG) und der Faktizität der Generierung (EM, F1) unter Verwendung von Datensätzen wie HotpotQA und BEIR.
Agenten: Bewertet hinsichtlich Rollen-Integrität, Genauigkeit der Schlussfolgerungsspuren und Effizienz der Werkzeugnutzung.
MLLMs: Getestet auf visuelle Fragenbeantwortung, Dokumentenverständnis und Sicherheitsausrichtung (z. B. MM-SafetyBench).
Orchestrierung: Gemessen über Infrastrukturleistung (Durchsatz, Latenz) und Systemkoordinationsmetriken.

4. Ergebnisse und Erkenntnisse

Systemkomplexität: CAIS führen zu erheblichem Engineering-Aufwand. Debugging und Optimierung werden superlinear schwieriger, je mehr integrierte Komponenten hinzukommen.
Fehlermodi: Die Übersicht identifiziert spezifische Fehlermodi in MLLMs (visuelle Halluzinationen, inkonsistente Modalitäten), die Fehler durch die gesamte CAIS-Pipeline propagieren.
Design-Zielkonflikte: Es gibt keine einzelne optimale Konfiguration. Beispielsweise erfassen Dense-Retriever zwar semantische Ähnlichkeit, fehlt ihnen jedoch die Interpretierbarkeit von Sparse-Methoden; ebenso liefert End-to-End-MLLM-Training zwar starke Leistung, opfert aber Modularität.
Lücken in der Standardisierung: Während Protokolle wie MCP an Bedeutung gewinnen, bleibt die Sicherheitsgovernance (Authentifizierung, Sandboxing) für standardisierte Schnittstellen unterentwickelt und führt zu neuen Angriffsflächen.

5. Bedeutung und Behauptungen

Der Artikel positioniert sich als die erste umfassende, achsenübergreifende Systemzusammenfassung von zusammengesetzten KI-Systemen. Seine Bedeutung liegt in:

Vereinheitlichung fragmentierter Forschung: Er überbrückt die Lücke zwischen isolierten Übersichten zu RAG, Agenten und multimodalen Modellen und bietet ein gemeinsames Vokabular und ein konzeptionelles Rahmenwerk.
Bereitstellung eines Entwurfsplans: Durch die Formalisierung des $f(L, C, D)$ -Modells und die Analyse von Zielkonflikten bietet er Forschern und Praktikern eine Grundlage für die Gestaltung von KI-Systemen der nächsten Generation, die über „eigenständige Solisten" hinausgehen und zu „Orchestrateuren heterogener KI-Ensembles" werden.
Identifizierung kritischer Herausforderungen: Er skizziert explizit offene Forschungsrichtungen, einschließlich der Notwendigkeit von End-to-End trainierbaren Pipelines, einheitlicher Evaluierungsmetriken für interaktive/multimodale Aufgaben und robuster Governance-Rahmenwerke für Interoperabilität.

Die Autoren schließen, dass mit der Ausweitung von CAIS in reale, multimodale und interaktive Umgebungen eine systemweite Perspektive, die Retrieval, Agency, Wahrnehmung und Orchestrierung synthetisiert, für die Weiterentwicklung des Feldes unerlässlich ist.