Technische Samenvatting: Ensemble Learning voor Large Language Models in Tekst- en Codegeneratie

1. Probleemstelling

Generatieve Pretrained Transformers (GPT's) zijn fundamenteel geworden voor tekst- en codegeneratie. Echter, individuele Large Language Models (LLM's) kampen met significante beperkingen die hun betrouwbaarheid en toepasbaarheid in diverse real-world scenario's hinderen:

• Inconsistentie en Bias: Enkele LLM's produceren vaak inconsistente outputs en vertonen biases door hun trainingsdata en vaste architecturale parameters, wat hun vermogen om diverse taalpatronen te representeren beperkt.
• Prestatieplafond: Recente studies wijzen erop dat zelfs de beste enkele LLM's slechts ongeveer 57% bereiken in chatgeneratiekwaliteit vanwege architecturale beperkingen.
• Beperkingen door Closed-Source: Het propriëtaire karakter van veel krachtige LLM's beperkt industriële adoptie vanwege zorgen over dataprivacy en beperkt de mogelijkheid om diverse modellen te integreren.
• Hallucinaties: De afhankelijkheid van een enkel model kan leiden tot hallucinaties en gedegradeerde tekstkwaliteit, vooral wanneer het model geen toegang heeft tot externe kennis.

Hoewel technieken zoals Mixture-of-Experts (MoE) en verbeterde trainingscriteria bestaan, blijven deze vaak binnen de scope van single-model architecturen. Er is behoefte aan een uitgebreid overzicht van LLM ensemble-technieken die meerdere modellen combineren om de beperkingen van single-model benaderingen te overwinnen, specifiek voor tekst- en codegeneratie.

2. Methodologie

Dit artikel biedt een survey en systematische analyse van opkomende LLM ensemble-benaderingen. De auteurs categoriseren deze technieken in zeven primaire methoden, waarbij onderscheid wordt gemaakt tussen Architectuur-niveau ensembles (het wijzigen van de modelstructuur of parameters) en Model-niveau ensembles (het combineren van outputs of routing-beslissingen zonder noodzakelijkerwijs gewichten te versmelten).

A. Architectuur-niveau Ensembles

1. Gewichtsversmelting (Weight Merging): Combineert parameters van meerdere getrainde LLM's tot één enkel model.
   • Technieken: Simpele middeling, Task Arithmetic (gebruikmakend van taakvectoren gedefinieerd als het verschil tussen gefinetunede en pre-trained gewichten), TIES (Trimming, Interpolation, and Sign-based selection), en DARE (Drop And RE-scale).
   • Doel: Diverse geleerde kennis consolideren zonder extra training.
2. Kennisfusie (Knowledge Fusion): Traint een doel-LLM met behulp van een gefuseerde probabilistische distributie afgeleid van meerdere bron-LLM's.
   • Technieken: Breidt kennisdistillatie uit door fusiefuncties te definiëren over token-niveau voorspellingsdistributies. Het adresseert token-alignment problemen (verschillende tokenizers) met behulp van dynamische programmering of minimum edit distance.
   • Doel: Collectieve kennis overdragen van structureel verschillende modellen naar een doelmodel.
3. Mixture-of-Experts (MoE): Een transformer-architectuur waarbij een gating-netwerk input-tokens naar specifieke expert-subnetwerken routeert.
   • Technieken: Sparse activatie (bijv. het selecteren van top-$n$ experts) maakt het mogelijk om de modelcapaciteit te schalen zonder proportionele toename in computationele kosten.
   • Doel: Multidomein datadistributies efficiënt modelleren.
4. Reward Ensemble: Aggregeert meerdere Reward Models (RM's) binnen Reinforcement Learning from Human Feedback (RLHF).
   • Technieken: Gebruikt mean optimization, worst-case optimization, of uncertainty-weighted optimization om scores van meerdere RM's te combineren.
   • Doel: Reward hacking (over-optimalisatie) mitigeren en alignment met menselijke voorkeuren verbeteren.

B. Model-niveau Ensembles

5. Output Ensemble: Combineert responsen van meerdere LLM's tijdens inferentie zonder hertraining.
   • Technieken: Meerderheidsstemming voor classificatie, of het gebruik van een synthetiserende LLM om meerdere gegenereerde teksten te fuseren (bijv. Mixture-of-Agents).
   • Doel: De sterke punten van verschillende basismodellen benutten om nauwkeurigheid en robuustheid te verhogen.
6. Routing: Stuurt input-queries naar het meest geschikte LLM uit een pool op basis van een scoring-model.
   • Technieken: Gebruikt classifiers (bijv. kNN, transformers) of scoring-functies (bijv. BART score) om het beste model voor een specifieke taak te voorspellen, waarbij een balans wordt gevonden tussen kosten en prestaties.
   • Doel: Deployment-kosten optimaliseren terwijl een hoge prestatie behouden blijft.
7. Cascading: Roept een sequentie van LLM's aan, beginnend met een zwakker/goedkoper model en escalerend naar sterkere modellen alleen indien nodig.
   • Technieken: Een beslisser evalueert de initiële output (bijv. via agreement scores of consistentiechecks) tegen een drempelwaarde. Als de drempelwaarde niet wordt gehaald, wordt een krachtiger model aangeroepen.
   • Doel: Bijna optimale prestaties bereiken tegen een fractie van de kosten.

C. Evaluatiekader

Het artikel evalueert deze methoden met standaard metrieken voor tekst- en codegeneratie:

• Tekst: Nauwkeurigheid, Win Rate, BLEU, Alignment Scores, Menselijke Evaluatie, MMLU, GSM8K, AlpacaEval, MT-Bench.
• Code: Pass@k, CodeBLEU, Executietijd, HumanEval, MBPP.

3. Belangrijkste Bijdragen en Resultaten

Het artikel beoordeelt representatieve werken (2023–2024) voor elke categorie, waarbij specifieke prestatiewinsten worden benadrukt:

• Gewichtsversmelting: Methoden zoals DARE en TIES maken het mogelijk om gespecialiseerde modellen (bijv. wiskunde- en codemodellen) te fuseren zonder training. Resultaten tonen aan dat gefuseerde modellen specifieke taken (bijv. Japans wiskundig redeneren) kunnen overtreffen (bijv. GPT-3.5) en capaciteiten over domeinen heen kunnen balanceren, hoewel ze algemene conversatie nog steeds kunnen achterblijven bij GPT-4.
• Kennisfusie: Modellen zoals FusionChat (7B parameters) benutten succesvol kennis van diverse architecturen (Mixtral, Solar, OpenChat) om de constituerende modellen te overtreffen in redeneren en coderen, waarbij resultaten worden behaald die competitief zijn met de closed-source GPT-3.5.
• Mixture-of-Experts: Architecturen zoals Mixtral 8x7B en OLMOE demonstreren dat sparse activatie de prestaties van grotere dense modellen (bijv. LLaMA 2 70B) kan overtreffen in MMLU en codegeneratie (HumanEval) terwijl er aanzienlijk minder actieve parameters worden gebruikt.
• Reward Ensemble: LoRA-gebaseerde reward ensembles verbeteren de alignment scores (bijv. van <4.16 naar 4.35 op MT-Bench) en de nauwkeurigheid op helpfulness-datasets zonder proportionele toename in computationele kosten.
• Output Ensemble: De Mixture-of-Agents (MoA) benadering, die een gelaagde architectuur van agents gebruikt, behaalde een win rate van 65,1% op AlpacaEval2.0 (vs. 57,5% voor GPT-4o mini) en 92,0% op HumanEval, waarmee sterke commerciële modellen worden overtroffen.
• Routing: Systemen zoals Routoo en MLC Router demonstreren dat routing tussen open-source modellen een nauwkeurigheid van 75,87% op MMLU kan bereiken tegen minder dan de helft van de kosten van GPT-3.5, en de prestaties van GPT-4-Turbo benadert tegen de helft van de kosten wanneer closed-source modellen worden gemengd.
• Cascading: FrugalGPT en Mixture-of-Thought (MoT) cascades reduceren kosten met tot wel 80% terwijl de nauwkeurigheid van GPT-4 op classificatie- en redeneertaken wordt behouden of zelfs licht wordt overtroffen.

4. Betekenis en Claims

Het artikel claimt dat LLM ensemble-technieken een praktisch pad bieden om de beperkingen van single-model benaderingen te overwinnen, door het te bieden van:

• Verbeterde Diversiteit en Kwaliteit: Door meerdere agents te combineren, verbeteren ensembles de representatie van diverse taalpatronen en verminderen ze biases.
• Kostenefficiëntie en Resource-efficiëntie: Technieken zoals routing, cascading en gewichtsversmelting maken hoogwaardige outputs mogelijk zonder de computationele last van het vanaf nul trainen van enorme nieuwe modellen.
• Flexibiliteit: Deze methoden maken de integratie van zowel open-source als closed-source modellen mogelijk, wat privacyzorgen adresseert en een modulaire systeemontwerp toestaat.
• Real-World Toepasbaarheid: De survey biedt een fundament voor het selecteren van passende ensemble-strategieën voor specifieke taken (bijv. redeneren, codegeneratie, instructie-opvolging) in sectoren zoals de medische wereld, financiën en het onderwijs.

De auteurs concluderen dat hoewel er uitdagingen blijven bestaan — met name het aanpassen van deze methoden specifiek voor codegeneratie en het uitbreiden ervan naar multimodale LLM's — ensemble learning een cruciale stap is naar het democratiseren van geavanceerde AI-capaciteiten en het optimaliseren van besluitvormingsprocessen in de industrie.