💻 computer science

Darwin Family: MRI-Trust-Weighted Evolutionary Merging for Training-Free Scaling of Language-Model Reasoning

Das Darwin-Familien-Framework führt einen trainingsfreien evolutionären Merging-Ansatz ein, der gradientenfreie Rekombination im Gewichtsraum, adaptive vertrauensbasierte Fusion und züchtungsähnliche Kreuzung über Architekturen hinweg nutzt, um die Schlussfolgerungsfähigkeiten großer Sprachmodelle erheblich zu verbessern, ohne zusätzliche gradientenbasierte Trainingsdurchläufe.

Ursprüngliche Autoren: Taebong Kim, Youngsik Hong, Minsik Kim, Sunyoung Choi, Jaewon Jang, Junghoon Shin, Minseo Kim

Veröffentlicht 2026-05-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Taebong Kim, Youngsik Hong, Minsik Kim, Sunyoung Choi, Jaewon Jang, Junghoon Shin, Minseo Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben zwei Meisterköche. Der eine ist ein Experte für italienische Küche (nennen wir ihn „Vater"), und der andere ist ein Experte für französische Süßwaren (nennen wir wir sie „Mutter"). Beide Köche haben ihre grundlegenden Messerfertigkeiten und die Anordnung ihrer Küche von derselben berühmten Kochschule gelernt (die „vortrainierte Basis").

Jetzt möchten Sie den ultimativen „Superkoch" erschaffen, der sowohl perfekte Pasta als auch perfekte Croissants zubereiten kann, aber Sie haben keine Zeit, sie in eine neue Kochschule zu schicken, um Neues zu lernen. Sie möchten auch kein neues Team einstellen, um sie auszubilden. Sie wollen einfach nur ihre bestehenden Fähigkeiten sofort miteinander kombinieren.

Genau das macht das Papier der Darwin-Familie, nur dass es statt Köchen Large Language Models (LLMs) (KI-Gehirne) mischt, um sie besser im Schlussfolgern (das Lösen komplexer logischer Rätsel) zu machen, ohne dass eine neue Ausbildung stattfindet.

Hier ist, wie sie es taten, unter Verwendung einfacher Analogien:

1. Das Problem: Warum einfaches „Mischen" normalerweise scheitert

Normalerweise ist es, wenn man versucht, zwei KI-Modelle zu mischen, wie das Mixen eines Smoothies mit einem Steak und einer Banane. Es wird chaotisch. Die KI gerät in Verwirrung, weil die beiden Modelle unterschiedliche Dinge auf unterschiedliche Weise gelernt haben.

Alte Methoden waren wie das einfache Mitteln der Zutaten (50 % Steak, 50 % Banane). Dies führt oft zu einem schlechten Geschmack (schlechte Leistung), weil sich die Modelle gegenseitig stören.
Die Darwin-Lösung ist wie ein intelligenter Sous-Chef, der genau weiß, welches Messer er von Koch A und welchen Schneebesen er von Koch B nimmt, und sie dann perfekt kombiniert.

2. Die drei geheimen Zutaten von Darwin

Das Papier stellt drei Hauptwerkzeuge vor, um dieses Mischen zum Funktionieren zu bringen:

A. Das „14-dimensionale Genom" (Das Rezeptbuch)

Stellen Sie sich ein KI-Modell als ein riesiges Gebäude mit vielen Räumen (Schichten) vor. Das Darwin-Team hat ein „Rezeptbuch" (ein Genom) mit 14 verschiedenen Reglern erstellt.

Anstatt das ganze Gebäude auf einmal zu mischen, können sie die Regler drehen, um zu entscheiden: „Nimm 80 % der Denk-Räume von Koch A, aber 20 % der Kreativitäts-Räume von Koch B."
Sie verwenden ein Computerprogramm (evolutionäre Suche), um automatisch Tausende dieser Rezepte zu testen, diejenigen beizubehalten, die am besten schmecken, und die schlechten zu verwerfen.

B. „MRI-Trust Fusion" (Der intelligente Führer)

Dies ist die größte Innovation des Papiers. Stellen Sie sich vor, der intelligente Sous-Chef hat einen speziellen Scanner (ein MRI), der in das Gehirn der KI schaut, um zu sehen, welche Teile tatsächlich die schwere Arbeit für das Schlussfolgern leisten.

Das Problem: Manchmal ist der Scanner etwas unscharf oder verrauscht. Manchmal rät der Computer, der das Rezept erstellt, auch falsch.
Die Lösung: Das System hat einen „Vertrauens-Drehknopf" (genannt $\tau$ ). Es fragt: „Wie sehr sollten wir dem MRI-Scanner vertrauen versus wie sehr sollten wir dem zufälligen Raten des Computers vertrauen?"
Das System lernt, dieses Gleichgewicht zu halten. Wenn der Scanner sagt: „Dieser Raum ist kritisch für die Logik", hört das System zu. Wenn der Scanner verwirrt ist, verlässt sich das System mehr auf das Ausprobieren des Computers. Dieses Gleichgewicht ist es, was das Endergebnis so stark macht.

C. Der „Architektur-Mapper" (Der Übersetzer)

Manchmal möchten Sie ein Modell mischen, das wie ein Transformer aufgebaut ist (eine Standard-KI-Struktur), mit einem Modell, das wie ein Mamba aufgebaut ist (eine neuere, andere Struktur). Sie sprechen unterschiedliche „Sprachen".

Der Architektur-Mapper fungiert wie ein Übersetzer. Er betrachtet die beiden Modelle und sagt: „Okay, auch wenn sie unterschiedlich aussehen, ist dieser spezifische Teil von Modell A derselbe wie dieser Teil von Modell B."
Dies ermöglicht es ihnen, Teile von völlig verschiedenen Arten von KI-Familien zu mischen, was normalerweise ohne Neuausbildung nicht möglich war.

3. Die Ergebnisse: Der „Superkoch" entsteht

Das Team testete dies an einem Flaggschiff-Modell namens Darwin-27B-Opus.

Der Test: Sie unterzogen es GPQA Diamond, einem sehr schwierigen Test mit naturwissenschaftlichen und logischen Fragen auf Graduiertenniveau (wie eine Zulassungsprüfung für Promovierende).
Die Punktzahl: Es erreichte 86,9 %.
Die Rangliste: Dies platzierte es auf Platz #6 von 1.252 bewerteten Modellen.
Die Magie: Es schlug sein eigenes „Vater"-Modell (das ursprüngliche Basismodell) und schlug sogar einige viel größere Modelle, die monatelang trainiert worden waren.
Die Kosten: Sie taten dies ohne jegliches neues Training. Sie fütterten es nicht mit neuen Daten oder passten seine Gewichte mit teurer Mathematik (Gradienten) an. Sie ordneten einfach die vorhandenen Gewichte, die sie bereits hatten, neu an.

4. Was sie fanden (Die „Aha!"-Momente)

Bewahrung des „Fokus": Als sie sich die Gewinnrezepte ansahen, bemerkten sie ein Muster. Das System behielt fast immer die „Attention"-Teile (die Teile, die der KI helfen, sich auf die richtigen Wörter zu konzentrieren) vom ursprünglichen Basismodell bei, tauschte aber die „Feed-Forward"-Teile (die Teile, die die eigentliche Berechnung durchführen) gegen das spezialisierte Modell aus. Es ist, als würde man die ruhige Hand des Kochs behalten, aber ein neues Rezeptbuch austauschen.
Es funktioniert überall: Sie testeten dies an Modellen, die von klein (4 Milliarden Parameter) bis groß (35 Milliarden Parameter) reichten. Dieselben „Mischregeln" funktionierten für alle, was darauf hindeutet, dass sie einen universellen Weg gefunden haben, das KI-Schlussfolgern zu verbessern.

Zusammenfassung

Das Papier der Darwin-Familie beweist, dass man nicht immer Millionen von Dollar und Monate Zeit investieren muss, um eine intelligentere KI zu trainieren. Stattdessen kann man bestehende KI-Modelle nehmen, einen intelligenten „Scanner" verwenden, um zu sehen, was sie wissen, und einen Computer verwenden, um sie wie Pflanzen zu „züchten", wodurch ein neues, intelligenteres Modell entsteht, das im Schlussfolgern besser ist als seine Eltern – alles ohne das Schreiben eines einzigen Zeilen neuen Trainingscodes.

Wichtigste Erkenntnis: Sie erfanden kein neues Wissen; sie organisierten einfach das Wissen neu, das bereits in den Modellen verborgen war, um es besser funktionieren zu lassen.

Technische Zusammenfassung: Darwin-Familie – MRI-vertrauensgewichtete evolutionäre Verschmelzung

1. Problemstellung

Die Arbeit adressiert die hohen Rechenkosten und die Herausforderungen der Reproduzierbarkeit, die mit der Verbesserung der reasoning-Fähigkeiten in Large Language Models (LLMs) durch traditionelle Post-Training-Pipelines (z. B. Instruction Tuning, Reinforcement Learning und Distillation) verbunden sind. Während diese Methoden die Aufgabenaccuracy verbessern, können sie die reasoning-Verlässlichkeit, Robustheit und Transferfähigkeit beeinträchtigen.

Neue diagnostische Studien deuten darauf hin, dass die Kernmechanismen des Reasonings weitgehend während des Pretrainings etabliert werden und ungleichmäßig über die Modellschichten verteilt sind, wobei reasoning-kritische Berechnungen auf spezifische Teilmengen von Schichten lokalisiert sind. Diese Beobachtung wirft eine fundamentale Frage auf: Kann die Reasoning-Leistung ohne zusätzliches Training verbessert werden, indem latente Fähigkeiten, die bereits in bestehenden Checkpoints kodiert sind, neu organisiert werden?

Die Arbeit postuliert, dass Model Merging eine trainingsfreie Alternative bietet. Bestehende Merging-Methoden leiden jedoch unter Einschränkungen:

Statische Heuristiken: Methoden wie Gewichtsaveraging oder feste lineare Kombinationen scheitern häufig aufgrund von Task-Interferenz beim Mergen heterogener Spezialisten.
Diagnostische Blindheit: Aktuelle evolutionäre Merging-Ansätze fehlen diagnostische Leitlinien; sie behandeln alle Parameter als gleichmäßig verschmelzbar und berücksichtigen nicht die strukturellen Einschränkungen von Reasoning-Schaltkreisen.

2. Methodik: Das Darwin-Framework

Das Darwin-Framework führt einen trainingsfreien, gradientenfreien evolutionären Merging-Prozess ein, der vollständig im Weight-Space operiert. Es entkoppelt diagnostische Leitlinien von der evolutionären Exploration und versöhnt diese durch einen expliziten Fusionsmechanismus.

Kernkomponenten

Model-layer Response Importance (MRI):
- Ein diagnostischer Prior, der die funktionale Relevanz einzelner Parameter-Tensoren für Reasoning-Verhalten schätzt.
- Er kombiniert statische Tensor-Statistiken (normalisierte Entropie, Varianz, gekappte $\ell_2$ -Norm) und probe-basierte funktionale Antworten (Kosinusdistanz zwischen reasoning-konditionierten und generischen Aktivierungen).
- MRI erzeugt ein weiches Prior-Verhältnis ( $r_{MRI}$ ), das die relative Bedeutung der Parameter der Elternmodelle für spezifische Tensoren angibt.
14-dimensionales adaptives Merge-Genom:
- Darwin kodiert Merging-Strategien als 14-dimensionalen Vektor ( $g$ $g$ ), der steuert:
  - Globales Merging-Gleichgewicht ( $\gamma$ ).
  - Komponenten-level Mischverhältnisse für Attention ( $\alpha_{attn}$ ), Feed-Forward-Netzwerke ( $\alpha_{ffn}$ ) und Embeddings ( $\alpha_{emb}$ ).
  - Verdünnungsdichten für Eltern-Deltas ( $\rho_A, \rho_B$ ).
  - Block-level Spezialisierungskoeffizienten ( $r_0 \dots r_5$ ).
  - MRI-Vertrauensparameter ( $\tau$ ) und Interpolationsverhalten des Merge-Kernels ( $\lambda$ ).
- Dies ermöglicht eine feingranulare, komponenten- und blocklevel Rekombination statt eines uniformen Averagings.
MRI-Trust-Fusion:
- Eine Schlüsselinnovation, die diagnostische Signale adaptiv mit der evolutionären Suche ausbalanciert.
- Das finale Merging-Verhältnis ( $r_{final}$ ) ist definiert als:
  $r_{final}(T) = \tau \cdot r_{MRI}(T) + (1 - \tau) \cdot r_{genome}(T)$
- Der Vertrauensparameter $\tau \in [0, 1]$ wird via Evolution gelernt, wodurch das System diagnostisches Rauschen korrigieren kann, während strukturierte Priors erhalten bleiben.
Architecture Mapper:
- Ermöglicht kreuzarchitektonische Züchtung zwischen heterogenen Modellfamilien (z. B. Transformer und Mamba).
- Berechnet einen Kompatibilitätswert basierend auf funktioneller Rolle, dimensionsmäßiger Konsistenz und Parameterform-Ähnlichkeit, um Tensor-Level-Korrespondenzen vor der numerischen Rekombination herzustellen.
Evolutionäre Optimierung (Zwei-Phasen):
- Phase 1: Strukturelle Screening mittels eines leichtgewichtigen Proxy-Fitness-Scores zur Filterung unplausibler Genome.
- Phase 2: Empirische Evaluierung hochwertiger Kandidaten auf Reasoning-Benchmarks zur Auswahl des finalen Modells.
- Das Framework nutzt DARE-TIES (Drop-And-Rescale with Task-Interval Elimination) als primären Merge-Kernel, um destruktive Interferenz zu mildern und dabei lineare Interpolation sowie SLERP zu übertreffen.

3. Hauptbeiträge

Diagnostisch geführte evolutionäre Verschmelzung: Das erste Framework, das funktionale Wichtigkeitsdiagnostik (MRI) direkt in eine evolutionäre Suche für Model Merging integriert und damit über „blinde" Optimierung hinausgeht.
MRI-Trust-Fusion: Ein lernbarer Mechanismus, der die Abhängigkeit von diagnostischen Priors gegenüber der evolutionären Exploration dynamisch ausbalanciert und eine Übervertrauensstellung in potenziell verrauschte Signale verhindert.
Kreuzarchitektonische Züchtung: Ein Architecture Mapper, der die Rekombination heterogener Komponenten (z. B. Transformer-Attention mit Mamba-State-Space-Feed-Forward-Schichten) ohne Nachtraining ermöglicht.
Skaleninvariante Prinzipien: Entdeckung stabiler struktureller Muster in evolvierten Genomen, insbesondere die asymmetrische Bewahrung von Attention-Schichten aus dem Basismodell und die aggressive Rekombination von Feed-Forward-Schichten aus spezialisierten Modellen.

4. Experimentelle Ergebnisse

Das Framework wurde über Modelle im Bereich von 4B bis 35B Parametern validiert.

Flaggschiff-Leistung (Darwin-27B-Opus):
- Erreichte 86,9 % auf dem GPQA Diamond-Benchmark.
- Rang #6 unter 1.252 bewerteten Modellen (Stand April 2026).
- Übertraf sein vollständig trainiertes Basismodell (Qwen3.5-27B) und sein reasoning-distilled Elternmodell ohne jegliches gradientenbasiertes Training.
- Zeigte konsistente Verbesserungen gegenüber statischen Baselines (Simple Avg, SLERP) und evolutionären Baselines ohne diagnostische Leitlinien.
Generalisierung:
- Skala: Modelle von 4B bis 35B verbesserten sich konsistent gegenüber ihren Eltern.
- Generationen: Das Framework unterstützt rekursive mehrstufige evolutionäre Entwicklung (z. B. Darwin-4B-David, das aus Darwin-4B-Opus evolvierte).
- Architektur: Darwin-4B-Genesis fusionierte erfolgreich Transformer- und Mamba-Komponenten und übertraf beide Eltern auf gezielten Benchmarks.
Ablationsstudien:
- Das Entfernen der MRI-Leitlinien ( $\tau=0$ ) führte zu einem signifikanten Leistungsabfall (84,4 % vs. 86,9 % auf GPQA).
- Das ausschließliche Verlassen auf statisches MRI ( $\tau=1$ ) schnitt ebenfalls schlechter ab als die adaptive Variante, was die Notwendigkeit bestätigt, Diagnostik mit evolutionärer Suche auszubalancieren.
- DARE-TIES wurde als überlegener Merge-Kernel im Vergleich zu linearer Interpolation und SLERP identifiziert.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Darwin-Familie zeigt, dass diagnostisch geführte evolutionäre Verschmelzung eine praktische und reproduzierbare Alternative zu kostspieligen Post-Training-Pipelines für reasoning-zentrierte Sprachmodelle ist.

Kosteneffizienz: Der Ansatz erreicht Reasoning-Leistungen auf Frontier-Niveau bei drei- bis sechsmal niedrigeren Rechenkosten (um Größenordnungen) als konventionelles Pretraining oder Fine-Tuning.
Neuorganisation vs. Schaffung: Das Framework schafft keine neuen Fähigkeiten ex nihilo; vielmehr organisiert es latente Fähigkeiten neu, die bereits in vortrainierten Checkpoints kodiert sind. Es ist am effektivsten, wenn Eltern komplementäre Reasoning-Strukturen besitzen.
Open Science: Alle Modelle, die V6-Codebasis und die MRI-Tools werden unter der Apache-2.0-Lizenz veröffentlicht, um unabhängige Verifizierung zu ermöglichen und die Forschung zu prinzipiengeleiteter, diagnostisch geführter Weight-Space-Optimierung zu katalysieren.

Die Autoren räumen Einschränkungen ein, darunter die Abhängigkeit von den Fähigkeiten der Eltern (fehlende Fähigkeiten können nicht wiederhergestellt werden), architektonische Ausrichtungsbeschränkungen (erfordert eine gemeinsame Basis für optimale Leistung) und die nicht-null Kosten der evolutionären Suche. Dennoch positionieren sie Darwin als einen bedeutenden Schritt hin zu einer effizienten, trainingsfreien Skalierung von Reasoning-Fähigkeiten.