💬 NLP

Always Learning, Always Mixing: Efficient and Simple Data Mixing All The Time

Das Papier stellt OP-Mix vor, einen einheitlichen und effizienten Datenmischalgorithmus, der die Interpolation von Low-Rank-Adaptern nutzt, um Kandidatenmischungen über den gesamten Lebenszyklus des Trainings von Sprachmodellen hinweg zu simulieren und dabei mit deutlich reduziertem Rechenaufwand im Vergleich zu bestehenden phasenspezifischen Methoden nahezu optimale Leistung erzielt.

Ursprüngliche Autoren: Michael Y. Hu, Apurva Gandhi, Kyunghyun Cho, Tal Linzen, Pratyusha Sharma

Veröffentlicht 2026-05-18

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Michael Y. Hu, Apurva Gandhi, Kyunghyun Cho, Tal Linzen, Pratyusha Sharma

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Koch, der versucht, die perfekte Suppe zu kreieren. Sie haben einen Vorratsschrank voller verschiedener Zutaten: einige sind scharf, einige süß, einige erdig und einige sauer. Das Ziel ist es, herauszufinden, genau wie viel von jeder Zutat gemischt werden muss, um die am besten schmeckende Suppe herzustellen.

In der Welt der Künstlichen Intelligenz (speziell bei Large Language Models) sind diese „Zutaten" verschiedene Datentypen (wie Matheaufgaben, Reddit-Beiträge oder medizinische Artikel). Die „Suppe" ist das KI-Modell. Der Prozess der Entscheidung, wie viel von jedem Datentyp verwendet werden soll, heißt Data Mixing.

Das Problem: Der alte Weg ist langsam und starr

Traditionell war das Herausfinden der richtigen Mischung wie der Versuch, eine Million verschiedene Versionen der Suppe in einer winzigen Testküche zu kochen, bevor man sich für den großen Topf entscheidet.

Das Proxy-Problem: Forscher würden winzige, günstige „Testmodelle" (Proxies) auf verschiedenen Mischungen trainieren, um zu erraten, welche am besten für das riesige, teure Modell funktionieren würde. Doch diese winzigen Modelle verhielten sich oft anders als das große, was zu schlechten Vorhersagen führte.
Das „Einmal"-Problem: Die meisten Methoden funktionierten nur für die erste Trainingsphase (Pretraining). Sobald das Modell die Grundlagen gelernt hatte und neue Fähigkeiten erlernen musste (wie das Beantworten von Fragen), funktionierten die alten Mischrezepte nicht mehr. Wenn neue Daten eintrafen (wie ein neuer Datensatz medizinischer Aufzeichnungen), konnte man sie nicht einfach zur Mischung hinzufügen, ohne von vorne zu beginnen oder das bereits Gelernte zu vergessen.

Die Lösung: OP-MIX (On-Policy Mix)

Die Autoren stellen OP-MIX vor, eine neue Methode, die wie ein „intelligenter Probierer" funktioniert, der während des gesamten Lebens der KI arbeitet, vom ersten Lerntag bis zur finalen Verfeinerung.

So funktioniert OP-MIX, unter Verwendung einer kreativen Analogie:

1. Die „LoRA"-Probierer (Die Mini-Köche)

Anstatt für jede neue Zutat eine ganze neue Testküche (ein separates Proxy-Modell) zu bauen, verwendet OP-MIX etwas namens LoRA (Low-Rank Adaptation).

Die Analogie: Stellen Sie sich vor, Sie haben einen Küchenchef (das Haupt-KI-Modell). Wenn Sie eine neue Zutat testen möchten (einen neuen Datensatz), stellen Sie nicht ein ganz neues Restaurant ein. Stattdessen geben Sie dem Küchenchef eine kleine, leichte Schürze (den LoRA-Adapter), die ihm genau beibringt, wie man mit dieser spezifischen neuen Zutat umgeht.
Der Vorteil: Diese Schürzen sind unglaublich günstig und schnell herzustellen. Sie bleiben „on-policy", was bedeutet, dass sie direkt an den aktuellen Stil des Küchenchefs gebunden sind, sodass sie eine viel genauere Vorhersage darüber liefern, wie die finale Suppe schmecken wird.

2. Der „Mischungs"-Trick (Interpolation)

Sobald der Koch diese kleinen Schürzen für verschiedene Zutaten hat, muss OP-MIX die Suppe nicht tatsächlich kochen, um zu sehen, was passiert.

Die Analogie: Stellen Sie sich vor, Sie haben einen magischen Mixer. Sie können das „Geschmacksprofil" der Schürze für „Mathematik" und das „Geschmacksprofil" der Schürze für „Geschichte" mathematisch in verschiedenen Verhältnissen miteinander vermischen (z. B. 30 % Mathematik, 70 % Geschichte).
Die Magie: Aufgrund eines Phänomens namens Linear Mode Connectivity (eine ausgefallene Art zu sagen, dass diese Modelle sich nahtlos vermischen, ohne zu brechen), kann die KI die Leistung einer 50/50-Mischung vorhersagen, indem sie einfach die beiden Schürzen mathematisch mittelt. Es ist wie die Vorhersage des Geschmacks eines neuen Cocktails durch das mathematische Mischen der Geschmacksprofile der beiden Spirituosen, ohne tatsächlich ein Getränk einzuschenken.

3. Die „kontinuierliche" Küche (Immer lernend)

Der größte Durchbruch ist, dass OP-MIX die ganze Zeit funktioniert.

Der alte Weg: Wenn eine neue Zutat eintraf (sagen wir, eine neue Art von Codierungsdaten), sagten die alten Methoden: „Wir können das nicht einmischen; unser Rezept ist festgelegt" oder „Wir müssen eine ganz neue Testküche starten."
Der OP-MIX-Weg: Wenn neue Daten eintreffen, stellen Sie einfach eine neue Schürze dafür her. Dann verwenden Sie den magischen Mixer, um herauszufinden, wie diese neue Schürze mit all den alten Schürzen, die Sie bereits haben, gemischt werden soll. Sie werfen das alte Wissen nie weg; Sie passen nur die Verhältnisse an.

Warum das wichtig ist (Die Ergebnisse)

Die Arbeit behauptet, OP-MIX sei aus drei Gründen ein Wendepunkt:

Es ist universell: Es funktioniert für das initiale Training (Pretraining), die mittlere Phase (Midtraining) und das finale Fine-Tuning (Instruction Tuning). Sie benötigen keine verschiedenen Werkzeuge für verschiedene Phasen; ein Werkzeug erledigt alles.
Es ist effizient: Es benötigt 95 % weniger Rechenleistung als einige bestehende Methoden für kontinuierliches Lernen. Anstatt das gesamte Modell neu zu trainieren oder teure Testküchen zu betreiben, werden einfach die leichten Schürzen gemischt.
Es verhindert „Vergessen": In der Welt der KI führt das Lernen neuer Dinge oft dazu, dass das Modell alte Dinge vergisst (katastrophales Vergessen). OP-MIX ist hervorragend darin, die alten Geschmäcker in der Suppe zu behalten, während neue hinzugefügt werden, und erreicht nahezu die gleiche Leistung, als hätte man das gesamte Modell von Grund auf neu trainiert, jedoch zu einem winzigen Bruchteil der Kosten.

Das Fazit

OP-MIX verändert die Sicht auf das KI-Training von einer Reihe unverbundener Phasen (Start, Stop, Neustart) in einen einzelnen, kontinuierlichen Prozess. Es behandelt Data Mixing nicht als einmalige Entscheidung, sondern als ein laufendes Gespräch zwischen dem Modell und den Daten, wobei leichte, intelligente Abkürzungen genutzt werden, um jedes Mal das perfekte Rezept zu finden, wenn eine neue Zutat zum Vorratsschrank hinzugefügt wird.

Technische Zusammenfassung: OP-MIX (On-Policy Mix)

1. Problemstellung

Datenmischung – der Prozess zur Bestimmung der optimalen Wahrscheinlichkeitsverteilung über verschiedene Datenbereiche während des Trainings von Sprachmodellen (LM) – ist ein kritischer Faktor für die Modellqualität. Allerdings stoßen bestehende Methoden der Datenmischung im Kontext des gesamten LM-Lebenszyklus auf erhebliche Einschränkungen:

Statische Domänenannahmen: Die meisten Methoden gehen von einer festen Menge an Datenbereichen aus und berücksichtigen nicht die Realität des kontinuierlichen Lernens, bei dem neue Datensätze (z. B. Korpora für Instruction Tuning) dynamisch hinzukommen.
Abhängigkeit von Off-Policy-Proxy-Modellen: Aktuelle Ansätze trainieren oft separate, kleinere „Proxy"-Modelle auf Kandidatenmischungen, um die Leistung zu extrapolieren. Dies ist rechenintensiv, skaliert schlecht mit der Anzahl der Domänen und leidet unter Verteilungsverschiebungen, da die Lern-Dynamik des Proxy-Modells von der des Zielmodells abweicht, insbesondere in späteren Trainingsphasen (Midtraining, Instruction Tuning).
Fragmentierung des Lebenszyklus: Es gibt keinen einheitlichen Algorithmus, der effektiv über Pretraining, kontinuierliches Midtraining und kontinuierliches Instruction Tuning hinweg funktioniert.

Die Arbeit geht davon aus, dass Datenmischung grundsätzlich ein Online-Entscheidungsproblem ist, das eine einzelne, einheitliche Lösung erfordert, die sich an sich entwickelnde Daten anpassen kann, ohne auf separate Proxy-Modelle angewiesen zu sein.

2. Methodik: OP-MIX

Die Autoren schlagen OP-MIX (On-Policy Mix) vor, einen Algorithmus, der optimale Datenmischungsverhältnisse schätzt, indem er zwei Kernkenntnisse nutzt, um die kombinatorische Explosion von Trainingsläufen und die Divergenz von Off-Policy-Proxy-Modellen zu vermeiden.

Kernmechanismen

On-Policy-Proxy-Modelle via LoRA: Anstatt separate kleine Modelle zu trainieren, trainiert OP-MIX einen einzelnen Low-Rank Adaptation (LoRA)-Adapter pro Datenbereich direkt vom aktuellen Basismodell. Dies stellt sicher, dass der Proxy „on-policy" bleibt und die tatsächliche Lern-Dynamik sowie den Parameterzustand des trainierten Modells widerspiegelt.
Lineare Interpolation zur Mischungs-Simulation: Um verschiedene Datenmischungen ohne Neutrainieren zu simulieren, interpoliert OP-MIX die Gewichte der trainierten LoRA-Adapter linear. Basierend auf neueren Erkenntnissen zur linearen Modenkonnektivität geht die Methode davon aus, dass die Verlustoberfläche beim Mischen vollständiger Modelle durch die Interpolation der LoRA-Adapter angenähert werden kann. Dies ermöglicht es dem Algorithmus, Kandidatenmischungen über kostengünstige Forward-Passes statt über vollständige Trainingsläufe zu bewerten.

Algorithmus-Ablauf

In einem Schritt des kontinuierlichen Lernens, bei dem $K$ neue Domänen eintreffen:

Adapter-Training: Trainieren eines LoRA-Adapters für jede neue Domäne ( $D_{m+k}$ ) und eines „alten" Adapters ( $D_{old}$ ), der die Mischung aller vorherigen Domänen repräsentiert; alle werden vom aktuellen Basismodell $\theta_{base}$ initialisiert.
Interpolation & Bewertung: Stichprobenziehung von Interpolationspunkten $\alpha$ im $K$ -Simplex. Bilden von fusionierten Adaptern durch lineare Kombination der LoRA-Gewichte: $\theta_{\alpha} = \alpha_{old}\theta_{old} + \sum \alpha_{k}\theta_{D_{m+k}}$ . Bewertung des pro-Domänen-Verlusts dieser fusionierten Adapter.
Regression & Optimierung: Anpassen eines log-linearen Regressionsmodells an die bewerteten Verluste, um eine glatte Verlustoberfläche über den Interpolationspfad zu schätzen. Lösen eines regularisierten Optimierungsproblems, um die optimalen Mischgewichte $\alpha^*$ zu finden, die den geschätzten Verlust minimieren (plus einen KL-Divergenz-Regularisierungsterm gegenüber einem Prior).
Abschließendes Training: Anwenden der berechneten optimalen Mischgewichte auf das Basismodell für den vollständigen Trainingslauf.

3. Hauptbeiträge

Die Arbeit beansprucht drei primäre Beiträge:

Erster universeller Datenmischungs-Algorithmus: OP-MIX ist die erste Methode, die in der Lage ist, Datenmischungen auf neue Domänen zu erweitern und gleichzeitig separate Proxy-Modelle zu vermeiden. Dies ermöglicht kontinuierliches Mischen, während sich Daten entwickeln, und beseitigt die Notwendigkeit phasenspezifischer Algorithmen.
State-of-the-Art über den gesamten Lebenszyklus: Eine einzelne Instanz von OP-MIX erzielt State-of-the-Art-Leistung beim Pretraining, beim kontinuierlichen Midtraining und beim kontinuierlichen Instruction Tuning und zeigt, dass unterschiedliche Phasen keine unterschiedlichen Mischstrategien erfordern.
Effizienz im kontinuierlichen Lernen: Beim kontinuierlichen Instruction Tuning erreicht OP-MIX eine Leistung, die der On-Policy-Selbstdistillation (einer ausgefeilten Technik des kontinuierlichen Lernens) entspricht, bei 95 % weniger Rechenleistung. Es zeigt zudem, dass Datenmischung und Trainingsziele (wie Selbstdistillation) orthogonale Verbesserungsachsen sind, die kombiniert werden können, um weitere Gewinne zu erzielen.

4. Experimentelle Ergebnisse

Die Autoren bewerten OP-MIX über drei Phasen hinweg unter Verwendung von Modellen mit 150 Millionen bis 7 Milliarden Parametern.

Pretraining: OP-MIX verbessert die durchschnittliche Perplexität um 6,3 % im Vergleich zum Training ohne Mischung (Empirical Risk Minimization). Es erreicht die Leistung des besten Baselines (MergeMix) bei 14 % weniger Rechenleistung und übertrifft OLMix in allen Skalierungen um 5–6 %.
Kontinuierliches Midtraining: OP-MIX erreicht nahezu die Leistung des vollständigen Neutrainings (der „Skyline"-Baseline) bei bis zu 66 % weniger Rechenleistung. Es mildert katastrophales Vergessen im Vergleich zu Standard-Continual-SFT und Baselines mit festem Daten-Replay erheblich.
Kontinuierliches Instruction Tuning: Bei Anwendung auf Qwen2.5-7B-Instruct erreicht OP-MIX eine Leistung, die der Self-Distillation Finetuning (SDFT) entspricht, bei 95 % weniger Rechenleistung. Die Kombination von OP-MIX mit SDFT ergibt die besten Gesamtergebnisse (61,9 % Genauigkeit), was ihren synergistischen Effekt bestätigt.
Effizienzgrenze: In allen Settings dominiert OP-MIX bestehende Baselines im Pareto-Sinne und erzielt bessere oder gleiche Leistung bei strikt niedrigeren Rechenkosten (FLOPs).

5. Bedeutung und Behauptungen

Die Arbeit argumentiert, dass die traditionelle Aufteilung des Trainings von Sprachmodellen in unterschiedliche Phasen (Pretraining, Midtraining, Finetuning) künstlich ist. OP-MIX schlägt eine einheitliche Sichtweise vor, bei der Training ein einheitlicher kontinuierlicher Prozess des Lernens aus Daten ist.

Durch die Ausnutzung von LoRA und linearer Modenkonnektivität verwandelt OP-MIX die adaptive Datenmischung von einer rechnerisch prohibitiven, Offline-Suche in eine leichte, wiederholbare Operation, die ausgeführt werden kann, wann immer neue Daten eintreffen. Die Autoren schließen daraus, dass dieser Ansatz die beiden Hauptgrenzen vorheriger Arbeiten überwindet: die Unfähigkeit, neue Datensätze einzubeziehen, und die Abhängigkeit von Off-Policy-Proxy-Modellen, die von der Dynamik des Zielmodells abweichen.

Hinweis: Die Arbeit erkennt Einschränkungen an, insbesondere dass die Experimente beim Pretraining/Midtraining auf 530 Millionen Parameter und beim Instruction Tuning auf 7 Milliarden Parameter begrenzt sind, sodass das Verhalten bei Frontier-Skalen (70 Milliarden+) unbestätigt bleibt. Es wird zudem angemerkt, dass das Verhalten der Methode bei einer sehr großen Anzahl von Domänen (10–100) noch nicht charakterisiert ist.