🤖 AI

Power and Limitations of Aggregation in Compound AI Systems

Dit artikel onderzoekt de kracht en de beperkingen van het aggregeren van responsen van meerdere identieke modellen in samengestelde AI-systemen, waarbij wordt bewezen dat dergelijke aggregatie de verzameling van eliciteerbare outputs uitsluitend uitbreidt via drie specifieke mechanismen—haalbaarheidsuitbreiding, ondersteuningsuitbreiding en contractie van de bindingsverzameling—en biedt empirische validatie voor deze bevindingen in taken met grote taalmodellen.

Oorspronkelijke auteurs: Nivasini Ananthakrishnan, Meena Jagadeesan

Gepubliceerd 2026-07-09

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nivasini Ananthakrishnan, Meena Jagadeesan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robotvriend hebt die verhalen kan schrijven, wiskundige problemen kan oplossen of wetenschappelijke artikelen kan opsommen. Je stelt hem één vraag, en hij geeft je één antwoord. Maar wat als je drie exemplaren van diezelfde robot dezelfde vraag stelt, ze net iets andere instructies geeft, en hun antwoorden vervolgens samenvoegt? Zou de uiteindelijke mash-up slimmer zijn dan een enkele robot op zichzelf zou kunnen zijn?

Dit is de grote vraag waar onderzoekers Nivasini Ananthakrishnan en Meena Jagadeesan zich in hun nieuwe paper mee bezighielden. Ze hebben niet alleen gegokt; ze bouwden een wiskundig "principal-agent"-framework (denk aan een strikt regelboek over hoe een baas taken aan werknemers geeft) om precies uit te zoeken wanneer en waarom het combineren van antwoorden werkt, en wanneer het slechts tijdverspilling is.

De Drie Magische Trucs van Aggregatie

De auteurs ontdekten dat het simpelweg drie keer dezelfde vraag aan een robot stellen, de robot niet automatisch slimmer maakt. Sterker nog, ze bewezen dat voor een groep robots om een antwoord te produceren dat geen enkele individuele robot ooit alleen zou kunnen geven, de groep een van drie specifieke "magische trucs" moet uitvoeren. Als de groep niet ten minste één van deze trucs uitvoert, is de aggregatie nutteloos, ongeacht hoe slim je instructies (prompts) ook zijn.

Hier zijn de drie trucs, uitgelegd met een verhaal over een Paper Reference Generator:

1. De "Onmogelijke Mix" Truc (Feasibility Expansion)
Stel je een robot voor die een foutje heeft: hij kan niet over "Blockchain" praten zonder per ongeluk ook over "Cryptography" te praten. Het is alsof een robot niet over "Appel" kan praten zonder ook "Taart" te zeggen.

De Enkele Robot: Als je hem vraagt om een lijst over Blockchain, moet hij Cryptography toevoegen. Hij kan er niets aan doen.
De Groep: Je vraft Robot A om een lijst over "Blockchain maar niet over Distributed Systems", en Robot B om "Cryptography maar niet over Blockchain". Robot A geeft je een lijst die zwaar leunt op Blockchain; Robot B geeft je een lijst die zwaar leunt op Cryptography. Wanneer je hun lijsten combineert (aggregeert), krijg je misschien een perfecte lijst die alleen over Blockchain gaat en geen Cryptography bevat.
De Magie: De groep creëerde een output (Pure Blockchain) die onmogelijk was voor een enkele robot om alleen te produceren vanwege hun interne "foutjes" (beperkingen). De paper noemt dit Feasibility Expansion.

2. De "Te Veel Hobby's" Truc (Support Expansion)
Stel je voor dat je een robot wilt laten een verhaal schrijven dat evenzeer over "Ruimte" als over "Geneeskunde" gaat.

De Enkele Robot: De robot is slecht in multitasken. Als je hem vertelt om op Ruimte te focussen, negeert hij Geneeskunde. Als je hem vertelt om op Geneeskunde te focussen, negeert hij Ruimte. Hij kan beide doelen niet perfect tegelijkertijd raken.
De Groep: Je vraagt Robot A om zich alleen op Ruimte te richten, en Robot B om zich alleen op Geneeskunde te richten. Robot A levert een geweldig Ruimte-verhaal; Robot B levert een geweldig Geneeskunde-verhaal. Wanneer je ze mengt, krijg je een verhaal dat perfect in balans is tussen beide onderwerpen.
De Magie: De groep creëerde een output die een breder bereik aan onderwerpen beslaat (een "rijkere support") dan een enkele robot alleen zou kunnen beheren. De paper noemt dit Support Expansion.

3. De "Losse Beperking" Truc (Binding Set Contraction)
Stel je een robot voor die gedwongen wordt een regel te volgen: "Als je 'Deep Learning' noemt, moet je ook 'Neural Networks' noemen."

De Enkele Robot: Als je hem vraagt om een lijst over Deep Learning, is de robot "vastgelopen" (bound) aan de regel. Hij kan geen Deep Learning geven zonder Neural Networks.
De Groep: Je vraagt Robot A om een lijst die voor 90% uit Deep Learning bestaat en voor 10% uit Neural Networks. Je vraft Robot B om een lijst die voor 90% uit Neural Networks bestaat en voor 10% uit Deep Learning. Wanneer je ze combineert, kan de "moet ook bevatten"-regel op een manier wegvallen waardoor je een lijst kunt krijgen die puur Deep Learning is, of in ieder geval veel minder Neural Network-bijzaak bevat dan de enkele robot ooit zou kunnen produceren.
De Magie: De groep vond een manier om te ontsnappen aan de "strakste" beperkingen die de individuele robots tegenhielden. De paper noemt dit Binding Set Contraction.

Het Grote "Nee" (Wat Aggregatie Niet Kan Doen)

Dit is het belangrijkste deel: het paper sluit expliciet de gedachte uit dat alleen al het hebben van meer robots of complexere instructies een beter resultaat garandeert.

De auteurs bewezen wiskundig dat als jouw aggregatiemethode (hoe je de antwoorden mengt) niet ten minste een van de drie bovenstaande trucs uitvoert, het nul kracht biedt. Het maakt niet uit of je een genie bent in het schrijven van prompts of dat de robot zeer geavanceerd is. Als het mengproces niet het "haalbare" gebied vergroot, de "support" (onderwerpen) uitbreidt, of de "binding" beperkingen inkrimpt, is de groep net zo beperkt als een enkele robot.

Sterker nog, ze toonden aan dat als je probeert antwoorden te mengen op een manier die deze trucs niet gebruikt, je vastzit. Je kunt geen antwoord krijgen dat de enkele robot niet had kunnen geven, hoe hard je ook je best doet.

Hoe Zeker Zijn Ze?

De auteurs hebben dit niet zoma dan bedacht; ze hebben het bewezen.

De Theorie: Ze gebruikten rigoureuze wiskunde om te bewijzen dat deze drie mechanismen noodzakelijk zijn. Dit betekent dat als je ziet dat een groep AI-agenten iets verbazingwends doet wat een enkele agent niet kon, het moet komen door een van deze drie dingen. Ze bewezen ook dat een "versterkte" versie van deze regels voldoende is, wat betekent dat als je kunt aantonen dat deze regels plaatsvinden, je gegarandeerd een beter resultaat krijgt.
De Simulatie: Om te controleren of hun wiskunde niet slechts een mooie theorie was, voerden ze een simulatie (een computerexperiment) uit met echte Large Language Models (specifiek GPT-4o-mini).
- Ze zetten een "toy task" op waarbij de AI lijsten van wetenschappelijke titels moest genereren.
- Ze testten de drie trucs. Voor Support Expansion vonden ze dat een enkel model de balans tussen "Complexity Theory" en "Macroeconomics" niet perfect kon vinden, maar de groep wel.
- Voor Feasibility Expansion lieten ze zien dat de groep een lijst over "Blockchain" kon maken die "Distributed Systems" vermeed, iets wat een enkel model niet kon.
- Voor Binding Set Contraction lieten ze zien dat de groep "Deep Learning" beter kon isoleren dan een enkel model.

In deze simulaties was de afstand tussen wat de groep produceerde en wat een enkel model kon produceren duidelijk aanwezig. Bijvoorbeeld, in de Support Expansion-test lag het verschil (gemeten in $\ell_1$ -afstand) tussen 0,63 en 1,02. In de Feasibility Expansion-test lag de kloof tussen 0,07 en 0,39. Deze getallen zijn niet nul; ze bewijzen dat de groep iets deed dat de enkele robot niet kon.

De Les voor Nieuwsgierige Geesten

Dus, maakt het vragen aan vijf robots om samen te werken altijd een super-robot? Nee. Het paper suggereert dat het alleen werkt als je slim bent over hoe je hun antwoorden combineert. Je moet de combinatie gebruiken om een regel te doorbreken waar de enkele robot aan vastzat, of om meer terrein te dekken dan één robot kan.

Als je hun antwoorden willekeurig bij elkaar gooit, of als je ze exact hetzelfde laat doen, win je niets nieuws. Maar als je de juiste "mengstrategie" gebruikt om de zwaktes van de robots te benutten (zoals hun onvermogen om te multitasken of hun verplichte bijeffecten), kun je een hele nieuwe wereld aan antwoorden ontsluiten die voorheen onmogelijk waren.

De auteurs concluderen dat dit ons een roadmap geeft voor het bouwen van "Compound AI Systems". In plaats van alleen maar te hopen dat meer modellen gelijk staan aan betere resultaten, weten we nu precies wat voor soort "mengen" we nodig hebben om het systeem daadwerkelijk slimmer te maken. Het is geen magie; het is wiskunde.

Technische Samenvatting: Kracht en Beperkingen van Aggregatie in Compound AI-systemen

Probleemstelling

Compound AI-systemen, die gebruikmaken van meerdere AI-componenten in plaats van een enkel model in isolatie, zijn een krachtig paradigma geworden voor het aanpakken van complexe taken. Een veelgebruikte strategie houdt in dat meerdere kopieën van hetzelfde Large Language Model (LLM) worden bevraagd met verschillende prompts of tools, waarna hun reacties worden geaggregeerd. Hoewel empirisch succes suggereert dat aggregatie de prestaties verbetert, blijven de theoretische condities waaronder het aggregeren van homogene modellen een strikt grotere verzameling outputs ontsluit dan het bevragen van een enkel model, onduidelijk.

Dit artikel onderzoekt de kracht en de beperkingen van dergelijke aggregatie. Specifiek wordt de vraag gesteld: Wanneer stelt het aggregeren van outputs van meerdere kopieën van hetzelfde model een systeemontwerper in staat om outputs op te roepen die onmogelijk op te roepen zijn vanuit een enkel model, gegeven beperkingen op het gebied van prompt engineering (beloningsspecificatie) en modelcapaciteiten?

Methodologie

De auteurs formaliseren dit probleem met behulp van een gestileerd principal-agent-raamwerk, voortbouwend op het werk van Kleinberg en Raghavan [2020].

Theoretisch Raamwerk

Agenten en Outputs: Het systeem bestaat uit $K$ agenten (die identieke LLM-kopieën vertegenwoordigen) en één principal (de systeemontwerper). Outputs worden gerepresenteerd als $M$ -dimensionale niet-negatieve vectoren $x \in \mathbb{R}^M_{\ge 0}$ .
Modelcapaciteiten (Conische Beperkingen): Modelbeperkingen worden gemodelleerd als conische beperkingen $C$ op de outputruimte. De haalbare verzameling wordt gedefinieerd als $B_{feasible}(C) = \{x \in \mathbb{R}^M_{\ge 0} \mid Cx \le 0\}$ . Dit vangt scenario's op waarin een model bepaalde gewenste outputs niet kan produceren zonder ongewenste bijeffecten te veroorzaken (bijv. hallucinaties of veiligheidsinbreuken).
Beperkingen in Prompt Engineering (Grovere Kenmerken): De systeemontwerper kan beloningen niet direct specificeren over de $M$ -dimensionale outputruimte. In plaats daarvan opereren beloningen over een grovere $N$ -dimensionale kenmerkruimte gedefinieerd door een kenmerkgewichtmatrix $\alpha$ . De kenmerkmapping $F(x)$ aggregeert outputdimensies, wat de beperking vangt dat prompts mogelijk ondergespecificeerd zijn of dat modellen fijne onderscheidend vermogens verkeerd kunnen interpreteren.
Agent Optimalisatie: Elke agent $k$ maximaliseert een monotone beloningsfunctie $R^{(k)}$ onder zijn budget $E^{(k)}$ en de conische beperkingen $C$ .
Elicitability-Expansie: Een aggregatie-operatie $x^{(1)}, \dots, x^{(K)} \to x^{(A)}$ wordt gedefinieerd als elicitability-expanding als de constituerende outputs $x^{(k)}$ individueel elicitable zijn door een bepaalde belonings/budget-combinatie, maar de geaggregeerde output $x^{(A)}$ niet elicitable is door een enkele belonings/budget-combinatie.

Aggregatieregels

Het artikel analyseert algemene aggregatieregels, maar richt zich op twee natuurlijke typen:

Intersectie-aggregatie: Coördinatiegewijze minimum ( $x^{(1)} \wedge \dots \wedge x^{(K)}$ ), analoog aan debatprotocollen of consensusfiltering.
Additie-aggregatie: Gewogen som ( $\sum w_k x^{(k)}$ ), analoog aan het synthetiseren van gespecialiseerde subtaken.

Belangrijkste Bijdragen

1. Identificatie van Drie Natuurlijke Mechanismen

De auteurs identificeren drie mechanismen waardoor aggregatie de verzameling elicitable outputs kan uitbreiden:

Feasibility Expansion (Haalbaarheidsuitbreiding): Aggregatie produceert een output $x^{(A)}$ die buiten de haalbare verzameling van elke individuele agent ligt ( $Cx^{(A)} \not\le 0$ ), waardoor modelcapaciteitsbeperkingen effectief worden omzeild.
Support Expansion (Ondersteuningsuitbreiding): Aggregatie combineert outputs met kleinere supports (minder niet-nul dimensies) tot een output met een rijkere support, waarmee de beperkingen in beloningsspecificatie worden overwonnen waarbij specifieke combinaties van kenmerken moeilijk direct op te roepen zijn.
Binding Set Contraction (Contractie van het Begrenzende Gebied): Aggregatie combineert outputs waarbij beperkingen bindend (actief) zijn naar een output waar die beperkingen niet langer bindend zijn (interieur), waarbij de geometrie van de haalbare verzameling wordt benut om nieuwe richtingen te ontsluiten.

2. Noodzakelijke en Voldoende Voorwaarden

Het artikel biedt een rigoureuze karakterisering van wanneer aggregatie krachtig is:

Noodzakelijkheid: Theorem 3.7 bewijst dat voor een aggregatie om elicitability-expanding te zijn, deze minstens één van de drie mechanismen moet implementeren (feasibility expansion, of support/binding-set expansion voor elke agent). Als geen van deze wordt geïmplementeerd, biedt aggregatie geen kracht, ongeacht de beperkingen in prompt engineering.
Onvoldoendeheid van Basismechanismen: De auteurs demonstreren dat het louter implementeren van deze mechanismen niet voldoende is om elicitability expansion te garanderen.
Versterkte Karakterisering: Theorems 4.3 en 4.4 bieden de noodzakelijke en voldoende voorwaarden voor elicitability expansion. Deze voorwaarden vereisen een "versterkte" versie van de mechanismen, specifiek betrokken bij een "power-characterizing condition" gebaseerd op haalbare, budget-reducerende richtingen. Deze conditie zorgt ervoor dat de geaggregeerde output robuust verschillend is van de individuele outputs op een manier die voorkomt dat een enkele beloningsfunctie deze kan oproepen.

3. Empirische Illustratie

De auteurs valideren hun theoretische bevindingen empirisch met behulp van GPT-4o-mini (en andere modellen) in een eenvoudige referentie-generatietaak.

Taak: Het genereren van lijsten met paper-referenties die specifieke onderwerpbalansen reflecteren.
Setup: De systeemontwerper bevraagt modellen met hoog-niveau onderwerpen (grovere kenmerken) en aggregeert de resulterende lijsten via unie (additie) of intersectie.
Resultaten: De experimenten slaagden erin aggregatie-operaties te construeren die elk van de drie mechanismen implementeerden. In elk geval lag de geaggregeerde output aanzienlijk dichter bij het doel dan de dichtstbijzijnde output die door een enkel model elicitable is, wat bevestigt dat aggregatie zowel de beperkingen van prompt engineering als de modelcapaciteiten in de praktijk kan overwinnen.

Resultaten en Betekenis

Het artikel concludeert dat de kracht van compound AI-systemen die vertrouwen op aggregatie niet automatisch is; deze wordt fundamenteel beperkt door de geometrie van de outputruimte en de beperkingen van de beloningsspecificatie.

Theoretisch Inzicht: Het werk karakteriseert volledig wanneer aggregatie de verzameling elicitable outputs uitbreidt. Het stelt vast dat aggregatie alleen nuttig is als het specifieke geometrische eigenschappen (haalbaarheid, support of binding sets) exploiteert die een enkele-agent prompting niet kan bereiken.
Praktische Implicatie: Systeemontwerpers kunnen deze mechanismen gebruiken om te bepalen of een compound systeem een enkel model zal overtreffen. Bijvoorbeeld, als modellen geen capaciteitsbeperkingen hebben (geen conische beperkingen), biedt intersectie-aggregatie mogelijk geen kracht, terwijl additie-aggregatie nog steeds voordelen kan bieden via support expansion.
Robuustheid: De empirische resultaten suggereren dat deze theoretische mechanismen standhouden zelfs bij de overstap van de lineaire aannames van het artikel (bijv. naar stochastische LLM's met een niet-nul temperatuur).

Het artikel positioneert zichzelf als een stap naar het begrijpen van de fundamentele grenzen en mogelijkheden van het aggregeren van homogene modellen, en biedt een conceptueel raamwerk voor het ontwerpen van compound AI-systemen die effectief de dubbele beperkingen van prompt engineering en modelcapaciteiten kunnen overwinnen.