Technische Samenvatting: Van Autonome LLM's naar Geïntegreerde Intelligentie: Een Verkenning van Samengestelde AI-systemen

1. Probleemstelling

Hoewel Large Language Models (LLM's) zijn uitgegroeid tot fundamentele AI-infrastructuur, bezitten ze inherente structurele beperkingen die hun inzetbaarheid in dynamische, real-world omgevingen belemmeren. Deze beperkingen omvatten hallucinatie (vloeiende maar feitelijk onjuiste output), veroudering (onvermogen om kennis na het trainingsproces te benaderen) en beperkt redeneren (finite contextvensters die multi-hop redenering en taakdecompositie op lange termijn beperken).

Om deze barrières te overwinnen, convergeert de gemeenschap naar Samengestelde AI-systemen (CAIS). CAIS worden gedefinieerd als modulaire, uitbreidbare architecturen die LLM's integreren met gespecialiseerde externe componenten—zoals retrievers, agents die tools gebruiken, symbolische planners, geheugenmodules en multimodale encoders. Ondanks de groeiende adoptie blijft het CAIS-landschap echter gefragmenteerd. Bestaande literatuur behandelt geïsoleerde componenten (bijvoorbeeld specifieke RAG-verkenningen, agent-frameworks of optimalisatiemethoden), maar mist een unificerend, systeemniveau-raamwerk voor analyse, taxonomie en evaluatie dat de interacties over de volledige stack synthetiseert.

2. Methodologie

De auteurs hebben een systematische verkenning uitgevoerd op basis van een gestructureerde literatuurzoektocht in vier grote academische databases (ACM Digital Library, arXiv, IEEE Xplore, Semantic Scholar) en handmatige inspectie van proceedings van toonaangevende conferenties (ACL, NeurIPS, ICML, CVPR, enz.).

• Zoekscope: Publicaties van 2020 tot begin 2026, gericht op de periode na de introductie van GPT-3 en baanbrekend RAG-werk.
• Selectiecriteria: Papers werden opgenomen indien ze een LLM gebruikten als primaire redeneercomponent, gecombineerd met ten minste één externe module (retriever, tool, geheugen, API, encoder of orkestratieframework), en nieuwe empirische resultaten, architecturen of systematische analyses presenteerden.
• Eindcorpus: Ongeveer 220 papers werden behouden en geanalyseerd.
• Opbouw van de Taxonomie: De auteurs hebben het landschap georganiseerd langs vier orthogonale assen: Retrieval-Augmented Generation (RAG), LLM Agents, Multimodale LLM's (MLLM's) en Orkestratie.

3. Belangrijkste Bijdragen

A. Multidimensionale Taxonomie en Unificerend Raamwerk

Het paper stelt een formele representatie van CAIS voor als een functie $f(L, C, D)$, waarbij:

• $L$: De verzameling LLM's (algemeen of fijn afgestemd).
• $C$: De verzameling externe componenten (tools, retrievers, encoders, enz.).
• $D$: Het systeemontwerp dat architectuur, topologie en coördinatie definieert.

De verkenning integreert vier fundamentele assen in een samenhangend raamwerk:

1. RAG: Het verankeren van LLM's in externe niet-parametrische geheugens.
2. LLM Agents: Autonome besluitvorming, planning en toolgebruik in iteratieve lussen.
3. MLLM's: Het uitbreiden van LLM's om niet-tekstuele modaliteiten (afbeeldingen, audio, video) waar te nemen en over te redeneren.
4. Orkestratie: Het structurele en coördinerende ontwerp dat alle componenten integreert.

B. Comparatieve Analyse en Afwegingen

Het paper biedt vier gestructureerde vergelijkingstabellen die ontwerpafwegingen voor elke as distilleren:

• RAG Retriever Paradigma's (Tabel 2): Vergelijkt Sparse, Dense, Graph, Hybrid en LLM-as-Retriever benaderingen op basis van latentie, recall, schaalbaarheid, interpreteerbaarheid en domeinspecificiteit. Het benadrukt dat Hybrid-retrievers vaak de hoogste recall bereiken, terwijl LLM-as-retriever flexibiliteit biedt tegen hoge inferentiekosten.
• LLM Agent Redeneer Frameworks (Tabel 3): Analyseert frameworks zoals Chain-of-Thought, ReAct, Tree of Thoughts, Reflexion en Self-RAG. Het merkt op dat hoewel ReAct de meest gebruikte baseline is voor toolgebruik, Tree of Thoughts hoge rekentkosten met zich meebrengt voor diepe planning, en Reflexion sterke foutherstel biedt via geheugen.
• MLLM Architecturen (Tabel 5): Vergelijkt fusiestrategieën (Cross-attention, Q-Former bridging, Lineaire projectie, Native end-to-end). Het identificeert dat native end-to-end training (bijvoorbeeld Gemini) sterk redeneren biedt, terwijl modulaire benaderingen (bijvoorbeeld LLaVA, BLIP-2) betere efficiëntie en upgradebaarheid bieden.
• Orkestratie Frameworks (Tabel 7): Evalueert frameworks zoals LangChain, AutoGen, DSPy en CrewAI op basis van topologie, coördinatiemechanismen en toolondersteuning.

C. Standaardisatie en Interoperabiliteitslandschap

De verkenning in kaart het opkomende standaardisatiestack als een drie-laags architectuur:

1. Schema-laag: Gestructureerde toolinterfaces (bijvoorbeeld OpenAI function calling, JSON Schema).
2. Tool-toegang Protocol-laag: Het Model Context Protocol (MCP), dat communicatie standaardiseert tussen AI-systemen en externe toolservers.
3. Agent Interoperabiliteitslaag: Cross-framework protocollen waaronder Agent-to-Agent (A2A), Agent Communication Protocol (ACP), Agent Network Protocol (ANP) en Agent Spec.
   De auteurs betogen dat interoperabiliteit convergeert via "vertaling en laagopbouw" (adapters en intermediaire representaties) in plaats van via één universele standaard.

D. Evaluatiemethodologieën

Het paper bespreekt benchmarks over de vier assen, met aandacht voor een aanhoudende kloof in uniforme systeemniveau-metrics.

• RAG: Geëvalueerd op retriealkwaliteit (MRR, nDCG) en generatiefactualiteit (EM, F1) met datasets zoals HotpotQA en BEIR.
• Agents: Beoordeeld op roltrouw, nauwkeurigheid van redeneersporen en toolgebruiksefficiëntie.
• MLLM's: Getest op visuele QA, documentbegrip en veiligheidsuitlijning (bijvoorbeeld MM-SafetyBench).
• Orkestratie: Gemeten via infrastructuurprestaties (throughput, latentie) en systeemcoördinatiemetrics.

4. Resultaten en Bevindingen

• Systeemcomplexiteit: CAIS introduceren aanzienlijke engineering- overhead. Debuggen en optimaliseren worden superlineair moeilijker naarmate het aantal geïntegreerde componenten toeneemt.
• Foutmodi: De verkenning identificeert specifieke foutmodi in MLLM's (visuele hallucinaties, cross-modale inconsistentie) die fouten door de volledige CAIS-pijplijn propageren.
• Ontwerpafwegingen: Er is geen enkele optimale configuratie. Bijvoorbeeld, terwijl dense retrievers semantische gelijkenis vastleggen, missen ze de interpreteerbaarheid van sparse methoden; evenzo levert end-to-end MLLM-training sterke prestaties op, maar offert modulariteit op.
• Standaardisatiekloven: Hoewel protocollen zoals MCP aan populariteit winnen, blijft beveiligingsgovernance (authenticatie, sandboxing) voor gestandaardiseerde interfaces onderontwikkeld, wat nieuwe aanvalsoppervlakken introduceert.

5. Betekenis en Claims

Het paper positioneert zichzelf als de eerste uitgebreide, cross-as synthese op systeemniveau van Samengestelde AI-systemen. De betekenis hiervan ligt in:

1. Het verenigen van gefragmenteerd onderzoek: Het overbrugt de kloof tussen geïsoleerde verkenningen over RAG, agents en multimodale modellen, en biedt een gedeelde vocabulaire en conceptueel raamwerk.
2. Het bieden van een ontwerpblaauwdruk: Door het $f(L, C, D)$-model te formaliseren en afwegingen te analyseren, biedt het onderzoekers en praktijkmensen een fundament voor het ontwerpen van AI-systemen van de volgende generatie die verder gaan dan "autonome solisten" naar "orkestrators van heterogene AI-ensembles".
3. Het identificeren van kritieke uitdagingen: Het schetst expliciet open onderzoeksrichtingen, waaronder de behoefte aan end-to-end trainbare pijplijnen, uniforme evaluatiemetrics voor interactieve/multimodale taken en robuuste governance-raamwerken voor interoperabiliteit.

De auteurs concluderen dat naarmate CAIS zich uitbreiden naar real-world, multimodale en interactieve omgevingen, een perspectief op systeemniveau dat retriever, agentie, waarneming en orkestratie synthetiseert, essentieel is voor de vooruitgang van het vakgebied.