Technische Samenvatting: FusionFactory: Het fuseren van LLM-capaciteiten met Multi-LLM Loggegevens

Probleemstelling

De snelle diversificatie van Large Language Models (LLMs) heeft geleid tot een landschap waarin verschillende modellen uitblinken in specifieke taken (bijv. codegeneratie versus feitelijke extractie). Gevolgelijk maken praktijkgebruikers steeds vaker gebruik van meerdere LLM's in workflows, wat waardevolle multi-LLM loggegevens genereert. Deze gegevens bestaan uit gestructureerde serving-records met uitgelijnde query-respons paren van meerdere modellen, samen met metadata zoals modelidentiteit, responsmodus (direct versus redeneringsversterkt), inferentiekosten en kwaliteitsfeedback.

Ondanks de beschikbaarheid van deze gegevens, richten bestaande methoden voor het integreren van meerdere LLM's zich doorgaans slechts op één enkele fase van de pijplijn in isolatie:

1. Query-niveau: Routing-methoden selecteren het beste model voor een specifieke query, maar fuseren capaciteiten niet verder dan selectie.
2. Thought-niveau (Redeneringsniveau): Prompting-strategieën aggregeren redeneringen, maar missen vaak een systematische evaluatie ten opzichte van andere fusiefasen.
3. Model-niveau: Distillatie en model-merging dragen kennis over naar een enkel model, maar negeren vaak de specieke beperkingen van API-gebaseerde serving of de nuances van loggegevens.

Er bestaat een kritieke kloof in het begrip van hoe dezelfde gestructureerde multi-LLM loggegevens kunnen worden ingezet over verschillende interventiepunten (routing, prompting en training) om aan uiteenlopende gebruikersbehoeften te voldoen, met name in scenario's waar modelgewichten ontoegankelijk zijn (API-gebaseerde serving).

Methodologie

De auteurs stellen FusionFactory voor, een systematisch framework voor het fuseren van LLM-capaciteiten, ondersteund door LLMFusionBench, een grootschalige benchmark die ontworig is om fusiestrategieën over drie verschillende fasen te evalueren.

1. Constructie van LLMFusionBench

Om een cross-stage vergelijking mogelijk te maken, hebben de auteurs een benchmark geconstrueerd bestaande uit:

• Scope: 14 taken over 6 domeinen (Wiskunde, Code, Commonsense Reasoning, Wereldkennis, Leesvaardigheid, Populaire Kennis).
• Data: Responsies van 20 open-source LLM's variërend van 8B tot 671B parameters, totaal 103M tokens.
• Structuur: In tegenstelling tot standaard datasets is elke entry een gestructureerde log-tuple $(q, t, m, s, r, c, y, j)$, die de query, taak, modelidentiteit, responsmodus, gegenereerde respons, inferentiekosten, taakspecifieke prestaties en een LLM-judge score vastlegt.
• Dual Modes: Voor elke query genereren modellen zowel directe responsies als redeneringsversterkte (Chain-of-Thought) responsies om diverse redeneerpatronen vast te leggen.

2. Het FusionFactory Framework

FusionFactory opereert op drie niveaus, overeenkomendig met vroege, midden en late fusiefasen in de LLM-pijplijn:

A. Query-Level Fusion (Vroege Fusie)

• Doel: De optimale LLM en responsmodus selecteren voor een specifieke query vóór generatie.
• Mechanisme: Een router leert een beleid $f_\phi$ om $(query, task)$ te mappen naar een actie $a = (model, mode)$.
• Doelstelling: Maximaliseer een beloningsfunctie die prestaties ($P$), kosten ($C$) en LLM-judge kwaliteit ($J$) balanceert:
  $$Reward = \alpha \cdot P - \beta \cdot C + \gamma \cdot J$$
• Implementatie: Geëvalueerd met diverse routing-algoritmen (KNN, SVM, MLP, BERT, GraphRouter) onder verschillende beloningswegingsscenario's (Performance First, Balance, Cost First, LLM Judge).

B. Thought-Level Fusion (Midden Fusie)

• Doel: Generatie verbeteren door herbruikbare redeneerpatronen te injecteren zonder de modelgewichten aan te passen.
• Mechanisme:
  1. Template Extractie: Een LLM-summarizer destilleert abstracte "thought templates" uit de top-$k$ responsies van historische queries (gerangschikt op prestatie of judge score).
  2. Retrieval: Voor een nieuwe query worden vergelijkbare historische queries opgehaald via embedding-gelijkenis.
  3. Prompting: De corresponderende thought templates worden gebruikt als few-shot demonstraties om de doel-LLM te begeleiden.
• Strategie: Geëvalueerd met Performance-gebaseerde, LLM-Judge-gebaseerde en Hybride selectiestrategieën voor de top-$k$ responsies.

C. Model-Level Fusion (Late Fusie)

• Doel: Complementaire capaciteiten consolideren in een enkel basismodel via supervised fine-tuning (SFT).
• Mechanisme: Hoogwaardige responsies uit de multi-LLM logs (geselecteerd door prestatie of judge score) dienen als trainingsdata voor een basismodel.
• Strategie: Vergeleken Top-$K$ SFT (met geselecteerde multi-LLM responsies) tegenover Top-$K$ Label-only SFT (alleen met ground truths) om het voordeel van multi-LLM kennis te isoleren.

Belangrijkste Resultaten

Experimenten werden uitgevoerd op de volledige testset van LLMFusionBench, waarbij de drie fusieniveaus werden vergeleken met de beste individuele LLM en zero-shot baselines.

1. Thought-Level Fusion Behaalt Beste Prestaties:

   • Thought-level fusion (specifiek de Hybrid strategie met full-scale modellen) behaalde de hoogste gemiddelde prestatie (0.615), waarmee het de beste individuele LLM (0.600) en andere fusie-baselines zoals LLM-Blender (0.603) en FuseLLM-adapted (0.557) overtrof.
   • De winst was het meest uitgesproken in redeneringsintensieve taken (Wiskunde en Code), waar de retrieval van diverse redeneerpaden aanzienlijke waarde bood.
   • De prestatiewinsten waren robuust, zelfs bij controle voor near-duplicate retrieval, wat suggereert dat het voordeel voortkomt uit herbruikbare redeneerpatronen in plaats van eenvoudige data-overlap.

2. Query-Level Fusion Biedt Beste Kostenefficiëntie:

   • Query-level fusion (via GraphRouter) bood een gunstige afweging tussen prestaties en kosten.
   • Onder kostenbewuste routing bereikte het prestaties die vergelijkbaar zijn met de beste enkele LLM, maar tegen ongeveer 10x lagere inferentiekosten (0.0184 vs. 0.1850 in genormaliseerde eenheden).
   • Dit bevestigt de bruikbaarheid voor API-gebaseerde serving waar het minimaliseren van tokenverbruik cruciaal is.

3. Model-Level Fusion Toont Beperkte Generalisatie:

   • Model-level fusion (SFT) leverde bescheiden winsten op en presteerde in sommige domeinen (Code en Wereldkennis) slechter dan zero-shot baselines.
   • De auteurs schrijven dit toe aan overfitting op de specifieke responsstijlen van de gelogde data en de moeilijkheid om heterogene taakgedragingen te abstraheren naar een enkele parameterset.
   • Opvallend genoeg presteerde multi-LLM SFT beter dan Label-only SFT, wat bevestigt dat multi-LLM logs waardevolle kennis bevatten buiten de ground truths, maar dat het consolidatieproces generalisatieproblemen introduceert.

4. Domeinspecifieke Variaties:

   • Fusie leverde marginale verbeteringen op in de domeinen Wereldkennis en Wiskunde, die sterk leunen op strikte feitelijke nauwkeurigheid en logische consistentie, wat suggereert dat deze gebieden minder vatbaar zijn voor de huidige fusieheuristieken.
   • Redeneringsintensieve taken (Wiskunde, Code) profiteerden het meest van thought-level fusion, terwijl kennisintensieve taken gemengde resultaten lieten zien.

Betekenis en Claims

Het artikel claimt dat FusionFactory en LLMFusionBench een verenigd, fase-bewust perspectief bieden op LLM-fusie dat voorheen ontbrak.

• Voorbij API-compatibiliteit: Waar eerder werk zich richtte op API-only routing, toont dit werk aan dat dezelfde gestructureerde multi-LLM loggegevens systematisch kunnen worden geëvalueerd over routing-, prompting- en trainingsfasen.
• Beslissingskader: De "fusie-fase matrix" onthult dat er geen enkele optimale fusiestrategie is; de keuze hangt af van de implementatiebeperkingen (bijv. kosten vs. nauwkeurigheid) en taakeisen (bijv. redeneren vs. herinnering).
  • Gebruik Query-level voor kostengevoelige, high-throughput scenario's.
  • Gebruik Thought-level voor het maximaliseren van redeneringscapaciteiten zonder model-retraining.
  • Gebruik Model-level alleen wanneer een enkele deploybare model strikt vereist is en offline training haalbaar is, met erkenning van de beperkingen in generalisatie.
• Praktisch Fundament: Het werk valideert multi-LLM loggegevens als een praktische, schaalbare supervisiebron voor het fuseren van diverse LLM-capaciteiten, wat een blauwdruk biedt voor toekomstige systemen die moeten opereren in heterogene, real-world serving-omgevingen.

De auteurs concluderen dat hoewel thought-level fusion momenteel de sterkste prestatiewinsten biedt, de systematische vergelijking die hun framework mogelijk maakt essentieel is voor het begrijpen van de afwegingen tussen flexibiliteit, kosten en generalisatie in multi-LLM systemen.