💻 computer science

Divergence Decoding: Training-Free Capability Fusion

Divergence Decoding is een training-vrij framework dat de domeinexpertise van gespecialiseerde modellen dynamisch fuseert met het logische redeneren van generalistische modellen door Jensen-Shannon divergentie te gebruiken om de tokengeneratie adaptief te routeren, waardoor het single-model baselines op wetenschappelijke benchmarks overtreft.

Oorspronkelijke auteurs: Yimi Wang, Hao Li, Shuo Yang, He Cao, Dechen Zhang, Ziang Wu, Zhiyuan Yan, Fanyang Mo, Li Yuan

Gepubliceerd 2026-07-31

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yimi Wang, Hao Li, Shuo Yang, He Cao, Dechen Zhang, Ziang Wu, Zhiyuan Yan, Fanyang Mo, Li Yuan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je twee briljante vrienden hebt die op het punt staan een enorm, lastig examen af te leggen. De ene vriend, laten we haar "De Specialist" noemen, heeft elke feit uit het scheikundeboek uit haar hoofd geleerd. Ze kent de namen van elk molecuul en de exacte formule voor een reactie. Echter, soms raakt ze zo gefocust op de details dat ze vergeet logisch na te denken, waardoor ze struikelt over de stappen die nodig zijn om een complexe puzzel op te lossen. Haar andere vriend, "De Generalist", is een meester in logica en redeneren. Hij kan de stappen bedenken om bijna elk probleem op te lossen, maar hij kent de specifieke chemische namen of feiten niet; hij zou het verkeerde ingrediënt kunnen raden omdat hij nog nooit eerder zoiets heeft gezien.

Lama tijd hebben wetenschappers geprobeerd te kiezen tussen deze twee vrienden. Als je het antwoord op een chemische vraag nodig hebt, moet je meestal de één of de ander kiezen. Maar wat als je ze in realtime samen zou kunnen laten werken? Wat als je de Specialist de het antwoord zou kunnen laten schrijven, terwijl de Generalist direct naast haar staat en fluistert: "Wacht, die stap is niet logisch," en ingrijpt om het te herstellen, maar alleen wanneer dat nodig is? Dit is de kern van een nieuwe methode genaamd Divergence Decoding. Het is een manier om de diepe kennis van een specialist te versmelten met de scherpe logica van een generalist, zonder dat je ze iets nieuws hoeft te leren of samen hoeft te trainen.

Het Probleem: Het Dilemma van "Slim maar Onhandig" vs. "Logisch maar Onwetend"

In de wereld van Kunstmatige Intelligentie hebben we twee hoofdtypen "hersenen". Ten eerste zijn er de Generalist Large Language Models (LLMs). Deze zijn als de alwetende encyclopedieën van het internet. Ze zijn ongelooflijk goed in redeneren, het volgen van lange ketens van logica en het herstellen van fouten. Ze kunnen over bijna alles praten. Aan de andere kant hebben we de Domein-Specialistische Modellen. Dit zijn de experts. Ze zijn specifiek getraind op wetenschap, zoals scheikunde of biologie. Ze kennen het jargon en de feiten beter dan wie dan ook.

Het probleem is dat geen van beide op zichzelf perfect is. De Generalist kan perfect redeneren, maar de wetenschap fout doen omdat hij specifieke feiten mist. De Specialist kent de feiten, maar verliest vaak zijn logische draad van zaken, waardoor hij stomme fouten maakt in het midden van een complexe uitleg. Wetenschappers wilden weten: Kunnen we deze twee sterktes combineren op het exacte moment dat de computer denkt, om het beste van beide werelden te krijgen?

De Oplossing: De "JS Gate" en de "Draft-and-Verify" Dans

De auteurs van dit artikel, van de Universiteit van Peking en andere instellingen, kwamen met een slimme, training-vrije truc genaamd Divergence Decoding. Denk aan het als een razendsnel spelletje "Telefoontje" gespeeld door twee mensen, maar dan met een twist.

Normaal gesproken, wanneer een computer tekst schrijft, raadt hij het volgende woord één voor één. In deze nieuwe methode neemt de Specialist (de chemie-expert) de leiding. Het "ontwerpt" (drafts) een paar woorden vooruit, zoals een schrijver die snel een zinje aantikt. Maar voordat die woorden officieel worden opgeschreven, controleert de Generalist (de logica-expert) ze.

Hier komt de magie: Het systeem vraagt niet alleen: "Is de Generalist het eens met het woord?" In plaats daarvan vraagt het: "Hoe verschillend zijn hun gedachten?" Het gebruikt een wiskundig hulpmiddel genaamd Jensen-Shannon (JS) divergentie. Je kunt dit zien als een "disagreement meter" (een meter voor onenigheid).

Lage Onenigheid (Het Groene Licht): Als de Specialist en de Generalist bijna hetzelfde denken over het volgende woord, gaat het systeem ervan uit dat de Specialist gelijk heeft. Het accepteert het woord en gaat verder. Dit houdt de wetenschappelijke feiten accuraat.
Hoge Onenigheid (Het Rode Licht): Als de twee modellen totaal verschillende voorspellingen doen, ziet het systeem dit als een waarschuwingssignaal. Dit betekent dat de Specialist misschien op het punt staat een logische fout te maken. In dit geval neemt het systeem onmiddellijk de controle over van de Generalist, die een beter woord kiest om de logica op koers te houden.

Dit gebeurt op het niveau van individuele woorden (tokens), duizenden keren per seconde, wat een naadloos gesprek creëert waarbij de Specialist de feiten levert en de Generalist het vangnet vormt.

Wat Ze Hebben Gevonden: Het "A + B > A" Effect

De onderzoekers testten dit idee op enkele zeer moeilijke chemie- en wetenschappelijke puzzels, inclusief benchmarks zoals ChemBench, ChemCoTBench en GPQA. Ze koppelden verschillende modellen, zoals de Qwen- en Llama-series, om te zien of deze "fusie" werkte.

De resultaten waren opwindend. Het gecombineerde systeem (Divergence Decoding) presteerde consequent beter dan zowel de Specialist alleen als de Generalist alleen.

In chemische taken die het begrijpen van moleculen en het bewerken ervan omvatten, scoorde het gefuseerde model hoger dan elk van de modellen afzonderlijk.
Bijvoorbeeld, bij een taak genaamd "Ring System Scaffold" (het identificeren van complexe ringstructuren in moleculen), behaalde het gefuseerde model een score van 0,70, waarmee het de Specialist (0,58) en de Generalist (0,67) versloeg.
Op de uitdagende GPQA (Graduate-Level Google-Proof Q&A) chemievragen bereikte het gefuseerde model een nauwkeurigheid van 37,50%, terwijl de Specialist slechts 15,28% haalde en de Generalist 23,61%.

Dit suggereert dat door de twee modellen te laten samenwerken, ze een "superbrein" creëren dat slimmer is dan de som der delen.

Het "Wanneer" en "Waar" van de Magie

Het paper keek ook nauwgezet naar wanneer dit schakelen gebeurt. Ze ontdekten dat het systeem vooral ingrijpt aan het begin van het antwoord (de eerste 0% tot 25% van de tekst). Dit is het moment waarop het redeneerpad wordt vastgesteld. Als de Specialist vroegtijdig een verkeerd logisch pad inslaat, grijpt de Generalist in om de richting te corrigeren voordat de fout zich verspreidt.

Interessant genoeg zijn de woorden die worden vervangen vaak niet de moeilijke wetenschappelijke termen (zoals "benzeen" of "katalysator"), maar eerder de verbindingswoorden en logische zinnen (zoals "daarom", "echter", of "zodra deze kenmerken worden herkend"). Dit vertelt ons dat de belangrijkste taak van de Generalist is om de logica van het verhaal recht te houden, terwijl de Specialist de feiten invult.

Wat Het Niet Is (en Wat Het Niet Is)

Het is belangrijk om te vermelden wat deze methode niet is. Het is geen "Speculative Decoding", een veelgebruikte techniek om AI sneller te maken. Speculative Decoding probeert het volgende woord te raden om de snelheid te verhogen terwijl het doet alsof het één enkel model is. Divergence Decoding geeft niet om snelheid; het geeft om kwaliteit. Het verandert het antwoord actief om het beter te maken, zelfs als dat betekent dat de computer iets harder moet nadenken.

Ook suggereert het paper dat dit werkt omdat de twee modellen verschillende soorten fouten maken. Wanneer ze van mening verschillen, is dat meestal een teken dat de Specialist moeite heeft met de logica, en niet dat de Generalist in de war is. Het systeem gebruikt deze onenigheid als een signaal om van koers te veranderen.

De Kernboodschap

Divergence Decoding is een nieuwe manier om slimmere AI te bouwen zonder dat je maandenlang een nieuwe, gigantische model hoeft te trainen. Het neemt simpelweg een expert en een logicus, laat hen met elkaar praten, en gebruikt een "disagreement meter" om te beslissen wie er als volgende spreekt. De resultaten suggereren dat deze eenvoudige, training-vrije truc een systeem kan creëren dat betrouwbaarder en nauwkeuriger is dan welk model dan ook op zichzelf, wat een veelbelovend pad biedt voor het bouwen van betere AI-tools voor wetenschap en ontdekking.

Technische Samenvatting: Divergence Decoding

Probleemstelling

Large Language Models (LLMs) kampen momenteel met een dichotomie in wetenschappelijk redeneren. Algemene modellen blinken uit in meerstapslogica en robuustheid, maar missen vaak diepe, fijnmazige domeinkennis. Daarentegen beschikken domeinspecifieke modellen (bijv. in chemie of biologie) over expertkennis, maar lijden ze vaak aan verzwakte logische redenering, verminderde robuustheid en een slechte generalisatie buiten hun domein. Bestaande paradigma's voor samenwerking tussen meerdere modellen, zoals speculative decoding, zijn primair ontworpen voor versnelling en worden strikt beperkt door distributionele invariantie, waardoor ze niet in staat zijn om complementaire sterktes op tokenniveau dynamisch te fuseren. De kernuitdaging is het combineren van deze uiteenlopende capaciteiten tijdens de inferentie zonder dat aanvullende training, gezamenlijke fine-tuning of een dedicated router vereist is.

Methodologie: Divergence Decoding

De auteurs stellen Divergence Decoding voor, een training-vrij framework dat een domeinspecialiseerd "specialist"-model en een algemeen redenerend "generalist"-model fuseert via een adaptief, toestand-afhankelijk routeringsmechanisme.

Kernmechanisme

De methode reconstrueert de "draft-and-verify"-structuur van speculative decoding tot een systeem voor capaciteitsfusie:

Drafting: Het specialist-model (Model A) stelt een blok van $n$ kandidaat-tokens op op basis van de huidige prefix.
Verification: Het generalist-model (Model B) evalueert dezelfde draft-prefixes om zijn eigen voorspellende distributies voor dezelfde sequentie te genereren.
Divergence Monitoring: Op elke tokenpositie binnen het blok berekent het systeem de Jensen-Shannon (JS) divergentie tussen de next-token distributies van de specialist en de generalist.
Adaptive Routing:
- Lage Divergentie ( $s_j \le \tau$ ): De modellen zijn lokaal eens. Het systeem accepteert het token van de specialist, waardoor de domeinspecifieke expertise behouden blijft.
- Hoge Divergentie ( $s_j > \tau$ ): De modellen zijn aanzienlijk van mening verschillen, wat duidt op een potentieel risico voor de redenering. Het systeem verwerpt het token van de specialist, valt terug op het generalist-model om een vervangend token te samplen, en beëindigt de verificatie van het huidige blok.

Theoretische Rechtvaardiging

Het artikel betoogt dat deze aanpak fundamenteel verschilt van standaard speculative decoding. Waar speculative decoding streeft naar het efficiënt reproduceren van een doel-distributie, beoogt Divergence Decoding een nieuw beleidsdistributie (policy distribution) te construeren dat een adaptieve compositie is van twee modellen. Theoretische analyse sugggeert dat, onder een structureel perspectief van complementaire fouten, JS-divergentie fungeert als een betrouwbaar signaal: regimes met lage divergentie komen overeen met situaties waarin de domeinspecifieke correcties van de specialist superieur zijn, terwijl hoge divergentie regimes identificeren waar de robuustheid van de generalist het risico vermindert. Bijgevolg kan het gerouteerde beleid theoretisch beter presteren dan elk van de constituerende modellen afzonderlijk.

Implementatiedetails

Training-Free: Geen router-training, gezamenlijke fine-tuning of extra supervisie vereist.
Blockwise Processing: Om de efficiëntie te behouden, gebruikt de methode een block-drafting benadering waarbij de generalist een blok tokens in één enkele forward pass (teacher-forced) verifieert, in plaats van token voor token.
Hyperparameters: Het systeem vertrouwt op een divergentiedrempel ( $\tau$ ) en standaard sampling-configuraties (temperatuur, top-p) die door beide modellen worden gedeeld.

Belangrijkste Bijdragen

Training-Free Token-Level Fusion: Introductie van een mechanisme dat een wetenschap-gespecialiseerde LLM en een algemene redenerende LLM tijdens het decoderen dynamisch integreert met behulp van JS-gebaseerde gating, waardoor de noodzaak voor extra router-training of gezamenlijke optimalisatie wordt geëlimineerd.
Theoretische Herformulering van Samenwerking: Een theoretische analyse die aantoont dat JS-gated routing niet louter speculatieve sampling is, maar een toestand-afhankelijke beleidscompositie. De analyse biedt voorwaarden waaronder het gecombineerde beleid de individuele modellen strikt overtreft door lage-divergentie toestanden te benutten voor domeinwinsten en hoge-divergentie toestanden als veilige fallbacks te gebruiken.
Empirische Validatie: Een uitgebreide evaluatie over diverse modelfamilies (Qwen en Llama-series) en wetenschappelijke benchmarks, die het "A + B > A of B"-effect bevestigt.

Experimentele Resultaten

Het framework werd geëvalueerd op drie gezaghebbende benchmarks: ChemCoTBench, ChemBench en GPQA (dekking van chemie, biologie en natuurkunde).

Prestaties: Divergence Decoding presteerde consistent beter dan zowel de standalone specialist als de generalist over de meeste taken. Zo behaalde de gefuseerde aanpak op GPQA een significant hogere nauwkeurigheid (bijv. 37,50% vs. 15,28% voor de specialist en 23,61% voor de generalist in Chemie).
Ablatie-studies:
- Divergentie-metriek: JS-divergentie (specifiek top-10 vocabulaire JS) bleek superieur aan universele cross-vocabulaire divergentie en enkelvoudige token log-waarschijnlijkheidsverschillen, en bood de beste balans tussen effectiviteit en computationele kosten.
- Resampling-patronen: Analyse toonde aan dat resampling-gebeurtenissen sterk geconcentreerd zijn in de eerste 0–25% van de token-trajectorie. De geïnjecteerde fallback-tokens waren voornamelijk natuurlijke taalverbindingen in plaats van domeinspecifieke entiteiten, wat suggereert dat de rol van de generalist is om het redeneerframework te stabiliseren en de logische richting vroegtijdig te corrigeren.
Efficiëntie: Hoewel de methode een minimale overhead introduceert, behoudt het een vergelijkbare inferentie-efficiëntie. Bij taken voor molecuulbewerking werd een snellere inferentie bereikt door de hoge mate van overeenstemming tussen de modellen, terwijl taken voor molecuulbegrip een lichte toename in latentie vertoonden door frequentere fallbacks.

Betekenis en Claims

Het artikel claimt dat Divergence Decoding een algemeen, training-vrij paradigma biedt voor het fuseren van diverse LLM-capaciteiten. De betekenis ligt in:

Oplossen van het Specialist-Generalist Dilemma: Het overbrugt effectief de kloof tussen diepe domeinkennis en rigoureuze logische redenering zonder de kosten van hertraining.
Risico-adaptieve Beleidscompositie: Het herkadert de samenwerking tussen meerdere modellen van een mechanisme voor versnelling naar een methode voor risico-adaptieve beleidscompositie, waarbij de controle dynamisch verschuift op basis van de onenigheid tussen modellen.
Praktisch Nut: Door gebruik te maken van bestaande heterogene LLM's, biedt het een schaalbaar pad voor het construeren van hoogwaardige wetenschappelijke AI-systemen, waarbij wordt aangetoond dat adaptieve samenwerking tijdens de inferentie synergetische resultaten kan opleveren die superieur zijn aan die van elk enkelvoudig model.