ACAR: Adaptive Complexity Routing for Multi-Model Ensembles with Auditable Decision Traces

1. Het Probleem

Het effectief inzetten van Large Language Models (LLMs) vereist een afweging tussen kwaliteit en kosten.

• De uitdaging: Een enkel model kan onjuiste of onvolledige antwoorden geven, terwijl het parallel draaien van meerdere modellen (ensembles) de betrouwbaarheid verhoogt maar de inferentiekosten exponentieel doet stijgen.
• De knelpunt: Het is moeilijk om vooraf te weten of een taak "makkelijk" of "moeilijk" is. Naïeve strategieën (altijd één model gebruiken of altijd alle modellen gebruiken) laten veel potentieel onbenut.
• Beperkingen van bestaande oplossingen:
  • Gestudeerde routers: Deze trainen classifiers om het beste model te voorspellen, maar introduceren distributieveranderingen (distribution shift), ontbreken interpretabele beslissingssporen en kunnen overfitten op specifieke benchmarks.
  • Observatieplatforms: Deze bieden post-hoc dashboards maar beïnvloeden geen routingsbeslissingen tijdens de uitvoering.

Er is behoefte aan een mechanisme dat compute adaptief toewijst, kostenbewust is, en volledig reproduceerbare, auditabele beslissingssporen biedt.

2. Methodologie: ACAR en TEAMLLM

De auteurs stellen ACAR (Adaptive Complexity & Attribution Routing) voor, gebaseerd op een heuristische maatstaf in plaats van een geleerde router.

A. De TEAMLLM Substraat

Om rigorieuze experimenten mogelijk te maken, hebben de auteurs TEAMLLM ontwikkeld, een deterministische uitvoeringsomgeving met drie kernprincipes:

1. Deterministische uitvoering: Elke run vangt random seeds, prompt-hashes en model-identifiers op. Identieke inputs leveren identieke outputs op.
2. Immutable artifacts: Alle antwoorden en beslissingssporen zijn "append-only" en kunnen niet worden gewijzigd.
3. Forward-only state machine: Runs doorlopen een strikte statusreeks (Pending → Executing → Verifying → Completed) zonder rollback.

B. Het ACAR Routing Mechanisme

ACAR gebruikt zelfconsistentie-variatie ($\sigma$) berekend uit $N=3$ steekproeven van een snelle "probe"-model (Gemini 2.0 Flash) om de moeilijkheidsgraad van een taak te schatten.

• Berekening van $\sigma$:

  • $\sigma = 0.0$: Alle 3 steekproeven zijn het eens (taak is makkelijk).
  • $\sigma = 0.5$: 2 van de 3 zijn het eens (taak is gemiddeld).
  • $\sigma = 1.0$: Alle 3 zijn het oneens (taak is moeilijk/ambigu).

• Routingslogica:

  1. $\sigma = 0.0$ (Single Agent): Gebruik het antwoord van het probe-model direct. Geen extra kosten.
  2. $\sigma = 0.5$ (Arena Lite): Voer twee modellen uit ter verificatie en kies het meerderheidsantwoord.
  3. $\sigma = 1.0$ (Full Arena): Voer alle drie de modellen (Claude Sonnet 4, GPT-4o, Gemini 2.0 Flash) uit en gebruik een "Judge" om het beste antwoord te selecteren.

3. Belangrijkste Bijdragen

1. ACAR Framework: Een adaptief routingmechanisme dat 55,6% nauwkeurigheid bereikt en op 54,2% van de taken volledige ensembles vermijdt, zonder geleerde componenten.
2. TEAMLLM Substraat: Een openbaar beschikbaar, deterministisch platform met meer dan 7.550 auditabele runs, wat reproduceerbaar onderzoek mogelijk maakt.
3. Negatieve Resultaten: Het paper documenteert systematisch wat niet werkt, wat zeldzaam is maar cruciaal voor de wetenschap:
   • Retrieval-augmentatie met lage kwaliteit verslechterde de prestaties.
   • "Agreement-but-wrong" (alle modellen zijn het eens over een fout antwoord) is onherstelbaar.
   • Proxy-maatstaven voor attributie (bijv. entropie) correleren niet met de waarheid.

4. Resultaten

De evaluatie omvatte 1.510 taken over vier benchmarks (MathArena, Reasoning Gym, LiveCodeBench, SuperGPQA) met drie topmodellen.

• Nauwkeurigheid vs. Kosten:
  • Single Model: 45,4% nauwkeurigheid.
  • Arena-2 (Twee modellen): 54,4% nauwkeurigheid.
  • ACAR-U (Adaptief): 55,6% nauwkeurigheid (beter dan Arena-2) met 1,5% lagere kosten.
  • Arena-3 (Drie modellen, alles): 63,6% nauwkeurigheid (het theoretische plafond).
• Routingsgedrag: ACAR routeerde 32,9% van de taken naar single-agent, 21,3% naar arena-lite en 45,8% naar full-arena. Dit varieert sterk per domein (bijv. 96% escalatie naar full-arena voor LiveCodeBench).
• Retrieval Augmentatie (ACAR-UJ): Het toevoegen van retrieval (met een drempel van 0,0) resulteerde in een daling van 3,4 procentpunten in nauwkeurigheid. De mediane gelijkenis van opgehaalde ervaringen was slechts 0,167, wat betekent dat irrelevante context ruis introduceerde in plaats van nuttige gronding.
• Foutanalyse: De kloof van 8 procentpunten tussen ACAR-U en Arena-3 wordt veroorzaakt door het "agreement-but-wrong" fenomeen. Als het probe-model en de steekproeven allemaal hetzelfde fout antwoord geven, kan het ensemble dit niet corrigeren.

5. Significatie en Conclusie

Dit paper biedt een fundamentele verschuiving in hoe we multi-model orchestration benaderen:

• Van Optimalisatie naar Meting: In plaats van een router te trainen om de beste prestatie te maximaliseren (wat overfitting en onduidelijkheid veroorzaakt), prioriteert ACAR auditability en reproduceerbaarheid.
• Falsifieerbare Baselines: Het biedt concrete bewijzen dat bepaalde aannames in de praktijk falen (bijv. dat meer context altijd helpt, of dat attributie zonder counterfactuals mogelijk is).
• Praktische Implicatie: Voor organisaties die LLMs inzetten, toont ACAR aan dat adaptieve routing (gebaseerd op zelfconsistentie) kosten kan besparen zonder kwaliteit te verliezen, mits men rekening houdt met de inherente limieten van zelfconsistentie bij unanimiteit van fouten.

De auteurs concluderen dat toekomstig onderzoek zich moet richten op semantische uitlijning bij retrieval (drempels >0,7) en dat echte attributie expliciete counterfactual-berekeningen vereist, in plaats van het vertrouwen op proxy-signalen.