Ensembling Language Models with Sequential Monte Carlo

Deze paper introduceert een unificerend framework en een byte-level Sequential Monte Carlo-algoritme om meerdere taalmodellen met verschillende vocabulaires te combineren in $f$-ensembles, waardoor er consistent kan worden gesampled uit geaggregeerde verdelingen die superieure prestaties leveren ten opzichte van traditionele gemiddelde waarschijnlijkheidsbenaderingen.

De kern

Stel je voor dat je een moeilijke vraag hebt, zoals "Wat is de beste manier om een taart te bakken?" of "Hoe schrijf ik een goede SQL-query?". Je vraagt dit aan drie verschillende experts: een bakker, een programmeur en een chef-kok. Iedereen geeft een ander antwoord.

• De bakker zegt: "Gebruik veel boter!"
• De programmeur zegt: "Gebruik een exact recept met grammetjes."
• De chef-kok zegt: "Voeg een snufje zeezout toe."

In de wereld van kunstmatige intelligentie (AI) noemen we deze experts Talenmodellen. Vaak proberen mensen hun antwoorden simpelweg te middelen: "Oké, we gebruiken 33% boter, 33% grammetjes en 33% zeezout." Maar dit werkt vaak niet goed. Het resultaat is een raar, onsmakelijk mengsel dat niemand echt lekker vindt.

Dit is precies het probleem dat dit nieuwe onderzoek oplost. De auteurs, een team van slimme wetenschappers, hebben een nieuwe manier bedacht om deze experts samen te laten werken. Ze noemen het "Sequential Monte Carlo", maar laten we het gewoon een "Slimme Jury" noemen.

Hier is hoe het werkt, vertaald naar alledaags taalgebruik:

1. Het Probleem: De "Lokale" Valstrik

Stel je voor dat je een reisroute plakt. De meeste AI-methoden kijken alleen naar de volgende stap.

• Expert A zegt: "Ga naar links."
• Expert B zegt: "Ga naar links."
• De AI denkt: "Oké, links is goed!" en gaat daarheen.

Maar wat als "links" je naar een doodlopende straat leidt? Als je alleen naar de volgende stap kijkt, mis je het grote plaatje. In de paper noemen ze dit lokaal normaliseren. Het is alsof je een film kijkt door alleen naar één frame te staren; je ziet niet hoe de scène eindigt.

2. De Oplossing: De "Slimme Jury" (f-Ensembles)

De auteurs zeggen: "Wacht even, laten we niet alleen naar de volgende stap kijken, maar naar het hele verhaal dat we kunnen bedenken."

Ze gebruiken een techniek die lijkt op het spelen van een spel met veel mogelijke scenario's tegelijk.

• In plaats van één antwoord te kiezen, laten ze 10 of 25 "spook-versions" van zichzelf (deeltjes) een verhaal schrijven.
• Elke versie probeert een antwoord te geven.
• Aan het einde kijken ze: "Welke versie heeft het beste verhaal dat past bij alle experts?"

Dit is de kern van hun f-ensemble. Ze kunnen op verschillende manieren beslissen wat "goed" is:

• De Consensus-Strategie (Product): "Alleen als iedereen het eens is, doen we het." (Dit werkt vaak het beste, want het filtert de gekke ideeën eruit).
• De Dekking-Strategie (Som): "Als iemand een goed idee heeft, doen we het." (Dit is breder, maar kan ook rommel bevatten).

3. De Magische Tool: Byte-level SMC

Een groot probleem bij het samenvoegen van AI-modellen is dat ze vaak verschillende "woordenboeken" gebruiken. De ene AI denkt in "woorden", de andere in "lettergrepen". Het is alsof je een Franse en een Japanse kok probeert te laten samenwerken zonder dat ze elkaars taal spreken.

De auteurs lossen dit op door terug te gaan naar de basis: de letters (bytes).
Stel je voor dat je twee mensen hebt die verschillende talen spreken, maar je laat ze allebei letters op een bord schrijven. Nu kunnen ze samenwerken, letter voor letter, zonder dat ze hun hele woordenboek hoeven te vertalen.

Deze "Slimme Jury" (het SMC-algoritme) bouwt het antwoord letter voor letter op. Ze houden steeds een groepje kandidaten bij:

1. Ze laten hen een letter kiezen.
2. Ze kijken welke kandidaten het beste bij het doel passen.
3. Ze "redden" de goede kandidaten en laten de slechte verdwijnen (dit heet resampling).
4. Uiteindelijk blijft er één sterk, goed onderbouwd antwoord over.

Waarom is dit belangrijk?

In hun experimenten hebben ze getoond dat deze methode veel beter werkt dan het simpele "gemiddelde nemen".

• Voorbeeld: Als je vraagt om een JSON-bestand (een strakke datastructuur) te maken, is het belangrijk dat alles perfect klopt. Een simpele gemiddelde AI maakt vaak kleine foutjes. De "Slimme Jury" die naar het hele plaatje kijkt, maakt veel minder fouten omdat ze samenwerken om de perfecte structuur te vinden.

De Grootte van de Kosten

Er is een kleine prijs voor deze slimheid: het kost meer rekenkracht en tijd. Het is alsof je in plaats van één persoon, twintig mensen een vraag laat beantwoorden en dan hun antwoorden vergelijkt. Het duurt langer, maar het antwoord is vaak veel betrouwbaarder.

Samenvatting in één zin

In plaats van de antwoorden van verschillende AI's simpelweg te middelen (wat vaak tot een rommel leidt), laten de auteurs een groepje AI's samenwerken, letter voor letter, om het allerbeste, meest logische antwoord te vinden dat past bij de visie van iedereen.

Het is het verschil tussen een luidruchtige vergadering waar iedereen roept, en een slimme jury die samenwerkt om de waarheid te vinden.

Technische samenvatting

Probleemstelling

Hoewel er een overvloed aan taalmodellen (LLMs) en prompt-strategieën beschikbaar is, is de prestatie van deze modellen zeer gevoelig voor de keuze van het model en de prompt. Klassieke ensemble-methoden uit het machine learning-veld, waarbij voorspellingen van meerdere bronnen worden geaggregeerd, bieden een principieel antwoord om betere prestaties te behalen dan met een enkel model.

Echter, het toepassen van ensembling op taalmodellen tijdens het decoderen (generatie) is problematisch:

1. Lokale vs. Globale Benadering: De meeste bestaande methoden aggregeren de kansen van het volgende token (lokaal genormaliseerd) op elk generatiestapje. Dit leidt tot steekproeven uit een vooringenomen benadering van de werkelijke ensemble-verdeling over volledige strings.
2. Tokenisatie-mismatch: Het combineren van modellen met verschillende vocabulaires (tokenizers) vereist vaak heuristieken zoals het samenvoegen van vocabulaires, wat complexiteit introduceert.
3. Suboptimale Strategieën: Traditionele middeling van kansen (probability averaging) is beperkt; de verwachte nauwkeurigheid van een gemiddeld ensemble kan de prestaties van het beste basismodel niet overtreffen.

Het artikel stelt dat het noodzakelijk is om te kunnen steekproeven uit de globale ensemble-verdeling over strings, in plaats van alleen lokale benaderingen, en dat er meer strategieën nodig zijn dan alleen gemiddelde kansen.

Methodologie

De auteurs introduceren een unificerend kader genaamd f-ensembles en een algoritme voor Sequential Monte Carlo (SMC) om dit te realiseren.

1. f-Ensembles

In plaats van alleen kansen te middelen, definiëren de auteurs een ensemble $\Phi$ als een functie $f$ die $K$ potentiaalfuncties (de output van de taalmodellen) combineert:
$$\Phi(x) \propto f(p_1(x), \dots, p_K(x))$$
Hierbij is $x$ een volledige string. De auteurs focussen op de familie van veralgemeende gemiddelden (generalized means), parameteriseerd door $\tau$:

• $\tau \to -\infty$ (Minimum): Zoekt naar consensus (alle modellen moeten het eens zijn).
• $\tau = 0$ (Product): Product of Experts (concentreert massa op gebieden waar alle modellen hoge kansen geven).
• $\tau = 1$ (Som): Mix van Experts (standaard gewogen gemiddelde).
• $\tau \to +\infty$ (Maximum): Zoekt naar dekking (cover-seeking).

Deze functies corresponderen met het minimaliseren van gewogen sommen van $\alpha$-divergenties tussen de ensemble en de individuele experts.

2. Byte-level Sequential Monte Carlo (SMC)

Omdat de normalisatieconstante $Z$ van de ensemble-verdeling onberekenbaar is (intractable), kunnen we niet direct steekproeven trekken. De auteurs gebruiken Sequential Monte Carlo (een variant van Importance Sampling) om te approximeren:

• Byte-niveau: Om het probleem van mismatchende tokenizers volledig te omzeilen, worden alle modellen gemapped naar een gedeelde byte-ruimte (karakter-niveau). Dit elimineert de noodzaak voor token-uitlijning.
• Deeltjes (Particles): Het algoritme onderhoudt een set van deeltjes (partiele strings) die iteratief worden uitgebreid.
• Resampling: Op basis van gewichten worden minder veelbelovende deeltjes verwijderd en veelbelovende deeltjes gekopieerd, waardoor de berekening zich richt op regio's met hoge waarschijnlijkheid in de globale ensemble-verdeling.
• Shaping Function: Om de gewichten te berekenen, gebruiken ze een "shaping function" $\psi$ (vaak de aggregatie van prefix-kansen) als een tractabele proxy voor de onberekenbare target.

Belangrijkste Bijdragen

1. Unificerend Kader (f-ensembles): Een theoretisch onderbouwd raamwerk dat diverse aggregatiestrategieën (product, som, min, max) onder één noemer brengt, gekoppeld aan variatieprincipes en divergenties.
2. Byte-level SMC Algoritme: Een nieuw algoritme dat consistent steekproeven trekt uit de globale ensemble-verdeling over strings, zelfs bij modellen met verschillende tokenizers, door te werken op byte-niveau.
3. Empirisch Bewijs voor Consensus: Het aantonen dat "consensus-seeking" strategieën (zoals het product van experts) superieur zijn aan traditionele probability averaging voor gestructureerde tekstgeneratie.
4. Kwaliteit van Benadering: Het aantonen dat een betere benadering van de posterior (via meer deeltjes in SMC) direct leidt tot betere taakprestaties, vooral bij consensus-strategieën.

Resultaten

De auteurs evalueerden hun methode op drie gestructureerde taken: JSON-schema validatie, woordsortering (Big-Bench Hard) en Text-to-SQL (SPIDER), gebruikmakend van modellen uit de Llama, Qwen en Phi families.

• Synergie: Ensembles kunnen beter presteren dan individuele modellen, vooral wanneer de prompts of modellen complementair zijn (beide presteren matig, maar niet perfect).
• Consensus vs. Dekking:
  • Consensus-strategieën (Product, Minimum): Overtreffen consistent de lokale probability averaging en het beste basismodel. Ze concentreren waarschijnlijkheid op strings die door alle experts als goed worden beschouwd.
  • Dekkings-strategieën (Som, Maximum): Presteren vaak slechter dan of gelijk aan probability averaging. De verwachte nauwkeurigheid van een som-ensemble is theoretisch begrensd door het gewogen gemiddelde van de basismodellen.
• Impact van Benaderingskwaliteit: Er is een sterke positieve correlatie gevonden tussen de kwaliteit van de SMC-benadering (gemeten via de geschatte log-marginaal likelihood) en de verwachte nauwkeurigheid voor consensus-strategieën. Voor dekking-strategieën is deze correlatie zwak of negatief.
• Cross-Model Ensembles: Het combineren van verschillende model-families (bijv. Qwen + Llama) met dezelfde prompt leverde significante verbeteringen op, wat aantoont dat architecturale diversiteit waardevol is.

Significantie

Dit werk verschuift het paradigma van taalmodel-ensembling:

1. Van Lokaal naar Globaal: Het benadrukt dat het aggregeren van volledige strings (globaal) fundamenteel anders en vaak superieur is aan het aggregeren van volgende tokens (lokaal), vooral omdat lokale methoden de lange-termijn coherentie van de tekst kunnen verstoren.
2. Beyond Averaging: Het toont aan dat het simpelweg middelen van kansen niet de enige of beste optie is; het kiezen van de juiste aggregatiefunctie ($f$) is cruciaal voor de gewenste gedragseigenschappen (bijv. robustheid vs. creativiteit).
3. Praktische Toepasbaarheid: Door te werken op byte-niveau, biedt de methode een praktische oplossing voor het combineren van willekeurige bestaande modellen zonder dat deze opnieuw getraind hoeven te worden of dat complexe token-uitlijning nodig is.

Samenvattend biedt dit artikel een robuuste theoretische en praktische basis voor het creëren van krachtigere taalmodellen door slimme, globale combinaties van bestaande modellen, waarbij Sequential Monte Carlo de sleutel is tot het overbruggen van de kloof tussen theorie en uitvoering.