🤖 AI

Efficient LLM Collaboration via Planning

Het artikel stelt COPE voor, een collaboratief raamwerk voor de testfase waarbij kleine en grote taalmodellen afwisselend optreden als planners en uitvoerders in een meerstapscascade, waardoor prestaties worden bereikt die vergelijkbaar zijn met die van grote propriëtaire modellen, terwijl de inferentiekosten drastisch worden verlaagd.

Oorspronkelijke auteurs: Byeongchan Lee, Jonghoon Lee, Dongyoung Kim, Jaehyung Kim, Kyungjoon Park, Dongjun Lee, Jinwoo Shin

Gepubliceerd 2026-05-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Byeongchan Lee, Jonghoon Lee, Dongyoung Kim, Jaehyung Kim, Kyungjoon Park, Dongjun Lee, Jinwoo Shin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een complexe taak moet oplossen, zoals het repareren van een kapotte motor of het oplossen van een lastige wiskundepuzzel. Je hebt twee helpers tot je beschikking:

De lokale klusjesman: Een kleine, gratis en snelle werknemer die direct in je garage woont. Hij is uitstekend in eenvoudige klussen, maar raakt soms vast in ingewikkelde problemen.
De meester-architect: Een enorme, dure expert die woont in een verre, high-tech toren. Hij kan bijna alles oplossen, maar het inhuren kost een fortuin elke keer als je om hulp vraagt.

Het probleem is: als je de meester-architect voor elke enkele klus huurt, ga je failliet. Als je alleen de lokale klusjesman gebruikt, kan hij falen bij de moeilijke dingen.

Dit artikel introduceert een nieuwe manier van werken genaamd COPE (Collaborative Planning and Execution). Het is als een slimme samenwerkingssysteem dat deze twee werknemers laat samenwerken op een efficiënte manier zonder geld te verspillen.

Hoe COPE werkt: De "Eerst plannen"-strategie

In plaats van de klusjesman zomaar te vragen "de motor te repareren" en te hopen op het beste, gebruikt COPE een Plannings-stap. Denk aan een "Plan" als een snelle, hoog-niveau kaart of een reeks instructies die worden geschreven voordat het daadwerkelijke werk begint.

Hier is het stap-voor-stap proces van hoe ze samenwerken:

Fase 1: De klusjesman probeert de leiding te nemen
De lokale klusjesman probeert de hele klus alleen te doen. Eerst schrijft hij een snel "Plan" (een simpel doel of richtlijn) voor zichzelf, en probeert hij vervolgens het probleem op te lossen op basis van dat plan.

De check: Als de klusjesman zeer zeker is dat hij het goed heeft (zoals wanneer hij het drie keer probeerde en hetzelfde antwoord kreeg), is de klus geklaard. Het is gratis en snel!
Het falen: Als hij onzeker is of het antwoord wankel lijkt, geeft hij niet op. Hij gaat naar Fase 2.

Fase 2: De architect tekent een kaart, de klusjesman bouwt
Nu komt de dure meester-architect in beeld, maar slechts voor een moment. De architect doet nog niet het zware tillen. In plaats daarvan schrijft hij een nieuw, beter Plan (een duidelijkere kaart) gebaseerd op het probleem.
Hij geeft dit nieuwe Plan aan de lokale klusjesman. De klusjesman probeert het probleem dan opnieuw op te lossen, maar deze keer volgt hij de expert-kaart van de architect.

De check: Als de klusjesman, geleid door de kaart van de architect, zich zeker voelt, is de klus geklaard. Je hebt alleen een klein beetje van de tijd van de architect betaald om de kaart te tekenen, wat veel geld bespaart.
Het falen: Als de klusjesman zelfs met de kaart nog vastzit, eskaleert hij naar Fase 3.

Fase 3: De architect neemt over
Als de eerste twee stappen niet werken, doet de meester-architect eindelijk de hele klus zelf—zowel plannen als uitvoeren. Dit is de duurste stap, maar dit gebeurt alleen wanneer het absoluut noodzakelijk is.

Waarom dit een groot nieuws is

Het artikel vond enkele verrassende dingen over hoe deze teamwork werkt:

Grote hersenen helpen kleine hersenen: Wanneer de meester-architect het plan schrijft voor de klusjesman, wordt de klusjesman veel slimmer. Het is alsof een student plotseling een wiskundeprobleem begrijpt nadat een professor de strategie (het plan) uitlegt, zelfs als de student de daadwerkelijke berekeningen doet.
Kleine hersenen kunnen grote hersenen verwarren: Interessant genoeg, als de klusjesman probeert het plan voor de meester-architect te schrijven, presteert de architect daardoor juist slechter. De architect is zo slim dat een simpel, laagkwalitatief plan van de klusjesman hem eigenlijk kan afleiden. Daarom is het systeem zo ontworpen dat de architect alleen plannen voor de klusjesman, en niet andersom.
Het bespaart geld zonder kwaliteit te verliezen: In tests met wiskunde, coderen en zelfs complexe agent-taken (zoals een robot die een huis navigeert), behaalde COPE resultaten die net zo goed waren als, of zelfs beter dan, het gebruik van alleen de meester-architect. Het kostte echter 45% tot 75% minder omdat de dure architect alleen werd ingeroepen voor de moeilijkste delen of alleen om de kaart te tekenen.

De conclusie

COPE is als een slimme manager die weet wanneer hij de lokale werknemer de klus laat doen, wanneer hij de expert vraagt om een snelle tip (het plan), en wanneer hij de expert roept om de hele klus te doen. Door "Plannen" te gebruiken als een lichtgewicht brug tussen een klein model en een groot model, laat het ze efficiënt samenwerken, moeilijke problemen oplossen zonder de bank te breken.

Technische Samenvatting: Efficiënte LLM-samenwerking via Planning (COPE)

Probleemstelling

Grote Taalmodellen (LLM's) staan voor een kritieke afweging tussen capaciteit en rekenkosten. Hoewel grote propriëtaire modellen state-of-the-art prestaties behalen op complexe taken, zijn hun inferentiekosten aanzienlijk, waardoor frequent gebruik voor veel toepassingen onpraktisch is. Omgekeerd zijn kleine, open-source modellen kosteneffectief en eenvoudig te implementeren op randapparatuur, maar missen ze vaak het vermogen om complexe problemen zelfstandig op te lossen. Bestaande kostenbewuste inferentiemethoden, zoals multi-stadia cascades (bijv. LLM Cascade, ABC), werken doorgaans via onafhankelijke delegatie: een klein model probeert een taak, en als het een betrouwbaarheidscontrole niet haalt, wordt de volledige taak overgedragen aan een groter model. Deze benaderingen missen gestructureerde, interactieve samenwerking binnen een stadium, wat hun vermogen beperkt om gezamenlijk complexe taken op te lossen.

Methodologie: COPE-raamwerk

De auteurs stellen COPE (Collaborative Planning and Execution) voor, een collaboratief raamwerk voor tijdens de inferentie dat de interactie tussen kleine en grote modellen structureert via planning. In plaats van een taak direct uit te voeren, genereert een model eerst een hoog-niveau abstractie (een "plan"), zoals een doel of een richtlijn, die dient als een lichtgewicht intermediair om een downstream-uitvoerder te sturen.

COPE werkt in een adaptieve cascade van drie stadia:

Stadium 1 (Klein model Planning & Uitvoering): Een klein model fungeert als zowel planner als uitvoerder. Het steekt $n$ doel-type plannen en genereert overeenkomstige oplossingen. Het systeem aggregeert antwoorden via meerderheidsstemming. Als de consensusratio (het fractie van steekproeven die overeenkomen met het meest frequente antwoord) een drempel $\tau_1$ overschrijdt, wordt het antwoord geaccepteerd. Anders wordt het probleem geëscaleerd.
Stadium 2 (Groot model Planning, Klein model Uitvoering): Als Stadium 1 faalt, genereert een groot model een nieuw richtlijn-type plan. Het kleine model probeert vervolgens de uitvoering opnieuw, waarbij het zowel het oorspronkelijke plan uit Stadium 1 als het nieuwe plan van het grote model benut. Het genereert nieuwe oplossingen en meerderheidsstemming wordt opnieuw toegepast. Als de consensusratio een tweede drempel $\tau_2$ overschrijdt, wordt het antwoord geaccepteerd; anders wordt het geëscaleerd.
Stadium 3 (Groot model Planning & Uitvoering): Als Stadium 2 faalt, neemt het grote model volledige controle over en hergebruikt het het in Stadium 2 gegenereerde plan om de taak direct uit te voeren.

Belangrijkste Technische Kenmerken:

Trainingsvrij: COPE vereist geen fine-tuning; het vertrouwt uitsluitend op prompt-engineering tijdens de inferentie.
Adaptieve Rekenkracht: Het raamwerk allocatieert middelen dynamisch, waarbij eenvoudige taken met kleine modellen worden afgehandeld en alleen moeilijke taken worden geëscaleerd naar grotere modellen.
Taakspecifieke Betrouwbaarheid: De betrouwbaarheidsmetriek is aangepast aan het type taak:
- Wiskundig Redeneren: Meerderheidsstemming over geëxtraheerde antwoorden.
- Codegeneratie: Slagingspercentage op verborgen testcases (als enige output slaagt, wordt deze geselecteerd).
- Open-ended Taken: Minimalisatie van perplexiteit (output met de laagste perplexiteit geselecteerd; escalatie als de perplexiteit te hoog is).
- Agent-taken: Meerderheidsstemming over actie-stappen.

Belangrijkste Bijdragen

Raamwerkpresentatie: Introductie van COPE, een raamwerk voor tijdens de inferentie dat planning gebruikt als mediator voor cross-model samenwerking, waardoor kleine en grote modellen elkaars denken kunnen ondersteunen.
Trainingsvrije Efficiëntie: De methode is trainingsvrij en few-shot-vrij, vereist alleen prompts, wat eenvoudige implementatie over diverse taken faciliteert.
Prestatie-Kost Trade-off: Aangetoond vermogen om de prestaties van grote propriëtaire modellen te evenaren of te overtreffen terwijl de monetaire inferentiekosten drastisch worden verlaagd.
Brede Toepasbaarheid: Geverifieerd op wiskundig redeneren, codegeneratie, open-ended generatie en agent-taken, waarbij blijkt dat planning dient als een effectieve prior voor kostenefficiënte inferentie.

Experimentele Resultaten

De auteurs evalueerden COPE op meerdere benchmarks, waarbij ze het vergeleken met baselines waaronder single-model inferentie, standaard cascades (Vote/Verify), ABC en FrugalGPT.

Wiskundig Redeneren (MATH-500): COPE behaalde 75,8% nauwkeurigheid, wat beter is dan GPT-4o (75,2%) terwijl de inferentiekosten met bijna 45% werden verlaagd (van 5025 naar 2766 USD per miljoen problemen). Bij gebruik van GPT-4o-mini als groot model behaalde COPE 74,4% nauwkeurigheid (vs. 73,8% voor het grote model alleen) met een 40% kostenreductie.
Wiskundig Redeneren (AIME-2024): Op dit moeilijkere dataset behaalde COPE 40,0% nauwkeurigheid, het hoogste van alle baselines, met de laagste kosten (478 vs. 502 voor het grote model alleen).
Codegeneratie (MBPP): COPE verbeterde de nauwkeurigheid naar 66,4% vergeleken met 64,0% voor GPT-4o, terwijl de inferentiekosten met bijna 75% werden verlaagd.
Open-ended Taken (MT-Bench): COPE behaalde een 44,8% winpercentage tegenover de baseline van het grote model (vs. 42,5% voor het grote model alleen) met aanzienlijk lagere kosten.
Agent-taken (ALFWorld): COPE verbeterde het slagingspercentage naar 36,9% (vs. 35,0% voor het grote model) terwijl de kosten met ongeveer 29% werden verlaagd.

De auteurs merken op dat de prestatiewinst van COPE ten opzichte van baselines met kleine modellen het meest uitgesproken is op moeilijke problemen (Niveau 5 in MATH-500), waarbij de nauwkeurigheid met 15,0 procentpunten verbeterde.

Betekenis en Claims

Het artikel stelt dat planning fungeert als een effectieve prior voor kostenefficiënte inferentie. Door samenwerking te structureren via planning, stelt COPE modellen in staat hoog-niveau vooruitzicht uit te wisselen zonder de overhead van volledige taakdelegatie. De auteurs benadrukken dat deze benadering natuurlijk aansluit bij edge-cloud en agentische omgevingen, waarbij de meeste stappen goedkoop door kleine modellen kunnen worden afgehandeld, met grotere modellen die selectief ingrijpen voor moeilijkere beslissingen.

Het werk suggereert dat cross-model schaling via planning een haalbaar alternatief is voor het simpelweg verder duwen van een enkel model of het vertrouwen op onafhankelijke cascades. De resultaten wijzen erop dat COPE een breed effectief en schaalbaar raamwerk is dat onnodige rekenkracht kan verminderen, wat bijdraagt aan duurzamere AI-gebruik zonder in te leveren op prestaties.