Technische Samenvatting: Darwin-familie – MRI-vertrouwensgewogen evolutionaire samenvoeging

1. Probleemstelling

Het artikel behandelt de hoge rekenkosten en uitdagingen op het gebied van reproduceerbaarheid die gepaard gaan met het verbeteren van redeneervermogens in Large Language Models (LLM's) via traditionele post-trainingpijplijnen (zoals instructietuning, versterkingsleren en distillatie). Hoewel deze methoden de taaknauwkeurigheid verbeteren, kunnen ze de redeneertrouw, robuustheid en overdraagbaarheid verslechteren.

Recente diagnostische studies suggereren dat kernredeneermechanismen grotendeels worden gevestigd tijdens het pretraining en ongelijkmatig zijn verdeeld over modellagen, waarbij redeneringskritische berekening is gelokaliseerd tot specifieke subsets van lagen. Deze observatie roept een fundamentele vraag op: Kan redeneerprestatie worden verbeterd zonder extra training door latent vermogens die al zijn gecodeerd in bestaande checkpoints, te herorganiseren?

Het artikel stelt dat modelsamenvoeging een trainingsvrij alternatief biedt. Echter, bestaande samenvoegingsmethoden lijden onder beperkingen:

• Statische heuristieken: Methoden zoals gewichtsgemiddelde of vaste lineaire combinaties falen vaak door taakinterferentie bij het samenvoegen van heterogene specialisten.
• Diagnostische blindheid: Huidige evolutionaire samenvoegingsbenaderingen missen diagnostische begeleiding, behandelen alle parameters als uniform samenvoegbaar en houden geen rekening met de structurele beperkingen van redeneringscircuits.

2. Methodologie: Het Darwin-kader

Het Darwin-kader introduceert een trainingsvrij, gradiëntvrij evolutionair samenvoegingsproces dat volledig in de gewichtenruimte opereert. Het ontkoppelt diagnostische begeleiding van evolutionaire exploratie en verzoent deze via een expliciet fusiemechanisme.

Kerncomponenten

1. Model-laag Response Belang (MRI):

   • Een diagnostische prior die de functionele relevantie van individuele parametertensors voor redeneergedrag schat.
   • Het combineert statische tensorstatistieken (genormaliseerde entropie, variantie, afgekapt $\ell_2$-norm) en op proef gebaseerde functionele responsen (cosineafstand tussen redeneringsgeconditioneerde en generieke activeringen).
   • MRI produceert een zachte priorverhouding ($r_{MRI}$) die de relatieve belangrijkheid van de parameters van oudermodellen voor specifieke tensors aangeeft.

2. 14-dimensionaal Adaptief Samenvoegingsgenoom:

   • Darwin codeert samenvoegingsstrategieën als een 14-dimensionale vector ($g$) die controleert over:
     • Globale samenvoegingsbalans ($\gamma$).
     • Componentniveau-mixverhoudingen voor attention ($\alpha_{attn}$), feed-forward netwerken ($\alpha_{ffn}$) en embeddings ($\alpha_{emb}$).
     • Versnipperingsdichtheden voor ouderdelta's ($\rho_A, \rho_B$).
     • Blokniveau-specialisatiecoëfficiënten ($r_0 \dots r_5$).
     • MRI-vertrouwensparameter ($\tau$) en het interpolatiegedrag van het samenvoegingskern ($\lambda$).
   • Dit maakt fijnmazige, component- en blokniveau-recombinatie mogelijk in plaats van uniform middelen.

3. MRI-Vertrouwensfusie:

   • Een belangrijke innovatie die diagnostische signalen adaptief in evenwicht brengt met evolutionair zoeken.
   • De uiteindelijke samenvoegingsverhouding ($r_{final}$) wordt gedefinieerd als:
     $$r_{final}(T) = \tau \cdot r_{MRI}(T) + (1 - \tau) \cdot r_{genome}(T)$$
   • De vertrouwensparameter $\tau \in [0, 1]$ wordt geleerd via evolutie, waardoor het systeem diagnostische ruis kan corrigeren terwijl het gestructureerde priors behoudt.

4. Architectuurmapper:

   • Maakt kruisingskweek tussen heterogene modelfamilies mogelijk (bijv. Transformer en Mamba).
   • Berekent een compatibiliteitsscore op basis van functionele rol, dimensionale consistentie en parameter-vormgelijkenis om tensorniveau-correspondenties vast te stellen voordat numerieke recombinatie plaatsvindt.

5. Evolutionaire Optimalisatie (Twee-fasen):

   • Fase 1: Structurele screening met behulp van een lichtgewicht proxy-fitheidsscore om onwaarschijnlijke genen te filteren.
   • Fase 2: Empirische evaluatie van hoogwaardige kandidaten op redeneerbenchmarks om het uiteindelijke model te selecteren.
   • Het kader maakt gebruik van DARE-TIES (Drop-And-Rescale with Task-Interval Elimination) als primaire samenvoegingskern om destructieve interferentie te mitigeren, en presteert beter dan lineaire interpolatie en SLERP.

3. Belangrijkste Bijdragen

• Diagnostisch Geleide Evolutionaire Samenvoeging: Het eerste kader dat functionele belang-diagnostiek (MRI) direct integreert in een evolutionair zoeken naar modelsamenvoeging, en zo voorbijgaat aan "blinde" optimalisatie.
• MRI-Vertrouwensfusie: Een leerbaar mechanisme dat dynamisch het vertrouwen in diagnostische priors versus evolutionaire exploratie in evenwicht brengt, en zo over-reliance op potentieel ruisende signalen voorkomt.
• Kruisingskweek tussen Architecturen: Een Architectuurmapper die de recombinatie van heterogene componenten mogelijk maakt (bijv. Transformer-attention met Mamba-toestandsruimte feed-forward lagen) zonder hertraining.
• Schaal-invariante Principes: Ontdekking van stabiele structurele patronen in geëvolueerde genen, specifiek de asymmetrische behoud van attention-lagen van het basismodel en agressieve recombinatie van feed-forward lagen van gespecialiseerde modellen.

4. Experimentele Resultaten

Het kader werd gevalideerd over modellen variërend van 4B tot 35B parameters.

• Vlaggeschipprestatie (Darwin-27B-Opus):

  • Bereikte 86,9% op de GPQA Diamond benchmark.
  • Rangschikte op #6 onder 1.252 geëvalueerde modellen (per april 2026).
  • Presteerde beter dan zijn volledig getrainde fundamentele model (Qwen3.5-27B) en zijn redenerings-gedistilleerde ouder zonder enige gradiëntgebaseerde training.
  • Toonde consistente verbeteringen ten opzichte van statische baselines (Simple Avg, SLERP) en evolutionaire baselines zonder diagnostische begeleiding.

• Generalisatie:

  • Schaal: Modellen van 4B tot 35B presteerden consistent beter dan hun ouders.
  • Generaties: Het kader ondersteunt recursieve meer-generatie evolutie (bijv. Darwin-4B-David geëvolueerd uit Darwin-4B-Opus).
  • Architectuur: Darwin-4B-Genesis slaagde erin Transformer- en Mamba-componenten te samenvoegen en presteerde beter dan beide ouders op gerichte benchmarks.

• Ablatiestudies:

  • Het verwijderen van MRI-begeleiding ($\tau=0$) resulteerde in een significante prestatiedaling (84,4% versus 86,9% op GPQA).
  • Uitsluitend vertrouwen op statische MRI ($\tau=1$) presteerde eveneens onder het adaptieve variant, wat de noodzaak bevestigt van het in evenwicht brengen van diagnostiek met evolutionair zoeken.
  • DARE-TIES werd geïdentificeerd als de superieure samenvoegingskern in vergelijking met lineaire interpolatie en SLERP.

5. Betekenis en Beweringen

Het artikel beweert dat de Darwin-familie aantoont dat diagnostisch geleide evolutionaire samenvoeging een praktische en reproduceerbare alternatief is voor kostbare post-trainingpijplijnen voor redeneringsgerichte taalmodellen.

• Kostenefficiëntie: De benadering bereikt redeneerprestaties op de voorgrond met drie tot zes ordes van grootte lagere rekenkosten dan conventioneel pretraining of fine-tuning.
• Herorganisatie versus Creatie: Het kader creëert geen nieuwe vermogens ex nihilo; in plaats daarvan organiseert het latent vermogens die al zijn gecodeerd in getrainde checkpoints opnieuw. Het is het meest effectief wanneer ouders complementaire redeneringsstructuren bezitten.
• Open Wetenschap: Alle modellen, de V6-codebase en MRI-tooling worden vrijgegeven onder de Apache 2.0-licentie om onafhankelijke verificatie mogelijk te maken en onderzoek te stimuleren naar principes, diagnostisch geleide optimalisatie in de gewichtenruimte.

De auteurs erkennen beperkingen, waaronder afhankelijkheid van oudervermogens (kan ontbrekende vaardigheden niet herstellen), architecturale afstemmingsbeperkingen (vereist een gemeenschappelijke basis voor optimale prestaties) en de niet-nul kosten van evolutionair zoeken. Ze positioneren Darwin echter als een belangrijke stap richting efficiënte, trainingsvrije schaling van redeneervermogens.