🤖 machine learning

Epiplexity Guided Data Selection and Generation for Out-of-Distribution Generalization

Dieses Paper schlägt ein Framework zur Verbesserung der Out-of-Distribution-Generalisierung vor, indem es Epiplexität – ein Maß für extrahierbare strukturelle Information – als adaptives Signal sowohl für die Auswahl natürlicher Datendomänen als auch für die Steuerung der synthetischen Datengenerierung operationalisiert, um die Transferierbarkeit gelernter Repräsentationen zu maximieren.

Ursprüngliche Autoren: Ellen Su, Andres Potapczynski, Shikai Qiu, Edward Hughes, Andrew Gordon Wilson

Veröffentlicht 2026-08-13

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ellen Su, Andres Potapczynski, Shikai Qiu, Edward Hughes, Andrew Gordon Wilson

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, die Welt zu verstehen. Lange Zeit glaubten Wissenschaftler, der beste Weg bestünde darin, dem Roboter so viele Daten wie möglich zuzuführen, in der Hoffnung, dass er irgendwann von selbst begreift, worum es geht. Doch nun gehen uns die „echten“ Daten zur Fütterung dieser Maschinen aus. Wir stoßen an eine Wand, an der der Roboter fast alles im Internet gelesen hat, aber dennoch Schwierigkeiten hat, wenn er gebeten wird, etwas zu tun, das er noch nie gesehen hat – wie etwa ein neues Rätsel zu lösen oder einen seltsamen Witz zu verstehen. Dies ist das Problem der „Out-of-Distribution“-Generalisierung: Wie erschaffen wir ein intelligentes System, das auch in neuen, unvorhersehbaren Situationen funktioniert?

Um dies zu lösen, müssen wir überdenken, was wir dem Roboter füttern. Es geht nicht nur um die Quantität; es geht um den „Geschmack“ der Informationen. Betrachten Sie Daten wie Nahrung. Wenn Sie einen Roboter nur mit weißem Reis füttern (einfache, repetitive Daten), wird er zwar satt, lernt aber nichts Neues. Wenn Sie ihn nur mit reinem Rauschen füttern (Rauschen im Radio), wird er verwirrt und lernt ebenfalls nichts. Aber wenn Sie ihn mit einem komplexen, köstlichen Eintopf füttern, der Schichten von Aromen besitzt, die er erst kauen und verdauen muss, lernt er, wie man Zutaten verarbeitet. In der Welt der künstlichen Intelligenz wird diese „verdauliche Komplexität“ als Epiplexität bezeichnet. Es ist ein schicker Begriff für die Menge an nützlichen, strukturellen Informationen, die ein Computer tatsächlich aus einem Stück Daten lernen kann. Die große Frage, die sich Forscher stellen, lautet: Können wir diese Idee der „verdaullichen Komplexität“ nutzen, um die besten Daten auszuwählen, um unsere Roboter zu lehren, oder sogar um neue Daten zu erfinden, die sie intelligenter machen?

Dieses Paper mit dem Titel „Epiplexity Guided Data Selection and Generation for Out-of-Distribution Generalization“ sagt: Ja. Die Autoren, ein Team von der New York University und Inherent, schlagen einen neuen Weg vor, KI-Modelle zu trainieren, indem sie sich auf diese „Epiplexität“ konzentrieren. Sie schlagen vor, dass wir nicht einfach wahllos Textstücke aus dem Internet schnappen sollten, sondern aktiv Daten auswählen sollten, die das Modell gerade so weit herausfordern, dass es hart arbeiten muss, aber nicht so sehr, dass es aufgibt. Sie haben zwei Hauptideen getestet: Erstens eine Methode, um die besten existierenden Daten zu selektieren, und zweitens eine Methode, um brandneue, synthetische Daten zu generieren, die perfekt darauf ausgelegt sind, das Modell zu lehren.

So funktioniert ihr „Epiplexität“-System, erklärt anhand einiger einfacher Geschichten:

Der „Stresstest“ für die Datenselektion (EpiSelect)

Stellen Sie sich vor, Sie sind ein Lehrer, der einen Lernguide für einen Schüler vorbereitet, der eine sehr schwierige, unbekannte Prüfung bestehen muss. Sie haben eine Bibliothek voller Bücher: Einige sind einfache Bilderbücher, manche sind langweilige Zahlenlisten und manche sind komplexe Romane voller tiefer Ideen.

Die Autoren fanden heraus, dass der Schüler sich langweilt oder überfordert ist, wenn man einfach wahllos Bücher auswählt. Aber was wäre, wenn man genau messen könnte, wie sehr das Gehirn des Schülers nach dem Lesen einer bestimmten Seite wächst? Sie nennen dieses Wachstum „Epiplexität“. Eine Seite mit repetitivem Text (wie „die Katze saß auf der Katze saß“) hat eine niedrige Epiplexität, weil der Schüler sie sofort versteht und weitermacht. Eine Seite mit reinem Kauderwelsch hat ebenfalls eine niedrige Epiplexität, weil der Schüler daraus nichts lernen kann. Aber eine komplexe Geschichte, die den Schüler innehalten, nachdenken und langsam die Handlung verstehen lässt, hat eine hohe Epiplexität.

Das Team entwickelte ein Werkzeug namens EpiSelect, das wie ein superintelligenter Bibliothekar fungiert. Während der Schüler (das KI-Modell) liest, beobachtet EpiSelect, wie schnell der „Loss“ (ein Maß für die Verwirrung) des Schülers sinkt. Wenn der Schüler verwirrt ist, aber es langsam versteht, ist das der „Sweet Spot“! EpiSelect sagt dann: „Hey, lass uns mehr Bücher wie dieses hier lesen!“ Es nutzt ein mathematisches „Scaling Law“ (eine schicke Art, die Zukunft basierend auf der Vergangenheit vorherzusagen), um zu erraten, welche Arten von Büchern als Nächstes den größten Gehirnschub geben werden.

Als sie dies testeten, fanden sie etwas Überraschendes: Bei einem populären Datensatz namens „The Pile“ war die beste Strategie tatsächlich, einfach das größte Datenpaket (genannt PileCC) immer wieder zu lesen, was alle anderen ausgefeilten Methoden schlug. Dies deutet darauf hin, dass „The Pile“ kein guter Test war, da eine bestimmte Art von Daten so dominant war, dass sie das Experiment verfälschte. Also wechselten sie zu einem neuen Datensatz namens „Common Pile“, der eine ausgewogenere Mischung aus 30 verschiedenen Textarten enthält. Auf diesem neuen Test glänzte EpiSelect. Es wählte eine Mischung aus Daten, die das KI-Modell bei 10 verschiedenen schwierigen Aufgaben besser performen ließ als jede andere Methode, einschließlich des aktuellen Standes der Technik. Das Paper legt nahe, dass das Modell durch die Konzentration auf Daten, die die meiste „Epiplexität“ erzeugen, Muster lernt, die ihm helfen, mit neuen, ungesehenen Situationen viel besser umzugehen.

Der „Roboter-Koch“, der neue Rezepte kreiert (EpiGen)

Nun stellen Sie sich vor, Sie wollen nicht nur die besten Bücher aus der Bibliothek auswählen, sondern Sie wollen neue Bücher schreiben, die perfekt darauf ausgelegt sind, den Schüler zu lehren. Hier kommt der zweite Teil des Papers ins Spiel: EpiGen.

Die Autoren bauten einen „Roboter-Koch“ (ein Generatormodell), dessen Aufgabe es ist, neuen, synthetischen Text zu kochen. Aber wie weiß der Koch, was er kochen soll? Normalerweise versuchen Köche vielleicht einfach, Essen zu kochen, das gut schmeckt (niedriger Fehler) oder Essen, das sehr anders ist als das, was sie bisher gemacht haben. Aber die Autoren erkannten, dass das beste Essen zum Lernen die Art von Essen ist, die herausfordernd, aber noch essbar ist.

Sie gaben dem Roboter-Koch ein spezielles Belohnungssystem. Jedes Mal, wenn der Koch eine Charge neuen Text kochte, fütterten sie diesen dem Schüler (dem Lernmodell). Wenn der Schüler ein wenig kämpfte, aber dann etwas Neues lernte und sein Verständnis verbesserte, erhielt der Koch eine große Belohnung. Wenn der Text zu einfach war (der Schüler kannte ihn bereits) oder zu schwer (der Schüler konnte ihn überhaupt nicht verstehen), erhielt der Koch keine Belohnung.

Unter Verwendung einer Technik namens REINFORCE (was so ist, als würde ein Trainer einem Athleten Feedback geben), lernte der Koch, „Goldilocks“-Daten zu kochen – nicht zu heiß, nicht zu kalt, sondern genau richtig. Die Ergebnisse waren aufregend. Als sie ein Modell mit diesen speziell generierten synthetischen Daten trainierten, wurde das Modell besser im Verständnis von Sprachaufgaben (wie dem GLUE-Benchmark) als ein Modell, das mit den ursprünglichen Daten trainiert wurde, mit denen es begann. Noch besser: Wenn sie diese neuen synthetischen Daten mit echten Daten mischten, performte das Modell sogar besser, als wenn sie nur eines von beiden verwendet hätten.

Was dies für die Zukunft bedeutet

Das Paper behauptet nicht, alle Probleme der KI gelöst zu haben. Die Autoren merken vorsichtig an, dass sie dies an relativ kleinen Modellen getestet haben und dass ihre Methode auf einem „Proxy“ (einer guten Vermutung) für die Epiplexität beruht und nicht auf der Messung des perfekten, theoretischen Wertes. Sie fanden auch heraus, dass diese Methode am besten funktioniert, wenn die KI bereits überesistentes Wissen verfügt (wie ein vortrainiertes Modell), anstatt mit zufälligen Gewichten bei Null anzufangen.

Dennoch ist der Kern der Idee ein kraftvoller Perspektivwechsel. Anstatt Daten als einen riesigen Haufen Brennstoff zu betrachten, der einfach verbrannt wird, schlagen die Autoren vor, Daten als einen Lehrplan zu behandeln. Indem wir die Epiplexität messen und maximieren – also die Menge an struktureller Information, die ein Modell tatsächlich extrahieren kann –, können wir KIs bauen, die nicht nur groß, sondern wirklich anpassungsfähig sind. Ob wir nun die besten existierenden Daten auswählen oder neue synthetische Daten erfinden: Das Ziel ist dasselbe: das Modell mit Herausforderungen zu füttern, die es dazu bringen, zu denken, zu lernen und zu wachsen – auf eine Weise, die ihm hilft, in einer Welt zu bestehen, die wir uns heute noch gar nicht vorstellen können.

Technisches Resümee: Epiplexitätsgestützte Datenselektion und -generierung für Out-of-Distribution-Generalisierung

Problemstellung

Moderne maschinelle Lernsysteme stehen unter zunehmendem Druck, auf Aufgaben und Domänen zu generalisieren, die während des Trainings nicht spezifiziert wurden (Out-of-Distribution oder OOD-Generalisierung). Da sich das Feld in ein datenlimitierteres Regime bewegt, in dem Multi-Epoch-Training notwendig ist, ist die Identifizierung der Daten, die diesen Transfer erleichtern, entscheidend. Bestehende Methoden zur Datenselektion und zum Curriculum-Learning stützen sich oft auf vage definierte Begriffe wie Quantität, Diversität und Qualität. Zudem haben aktuelle Ansätze Schwierigkeiten, über voraussichtliche Downstream-Szenarien hinaus über wünschenswerte Dateneigenschaften zu argumentieren.

Es besteht eine zentrale theoretische Lücke hinsichtlich der Frage, wie man Epiplexität – ein Maß für die strukturelle Information, die ein rechenbeschränkter Lerner aus Daten extrahieren kann – als praktisches Trainingssignal operationalisieren kann. Während Finzi et al. [20] die Epiplexität als ein Maß vorschlugen, bei dem hohe Werte für Daten stehen, die lernbar, aber nicht trivial sind (anhaltende Verlustreduktion), bleibt unklar, wie man diese Metrik online schätzt, für eine adaptive Datenselektion nutzt oder für rein synthetische Datengenerierung einsetzt.

Methodik

Das Paper schlägt zwei unterschiedliche Frameworks vor, um Epiplexität zu operationalisieren: EpiSelect für die Datenselektion und EpiGen für die synthetische Datengenerierung. Beide basieren auf einem handhabbaren, Online-Schätzer der Epiplexität, der aus der Fläche unter der Trainingsverlustkurve (Prequential Coding) abgeleitet wird.

1. Schätzung der Epiplexität

Die Autoren verwenden einen Prequential-Schätzer, bei dem die Epiplexität $S(t)$ durch die kumulative Differenz zwischen dem beim Training eines Tokens entstandenen Verlust und dem durch das finale Modell erzielten Verlust desselben Tokens approximiert wird. In der Praxis wird dies für die Online-Optimierung durch die Differenz zwischen dem aktuellen Trainingsverlust und dem finalen (oder aktuellen) Verlust-Floor approximiert:
$\hat{S}(t) \approx \sum_{s=1}^{t} (L(s) - L(t))$
Daten mit hoher Epiplexität liefern anhaltende, substanzielle Verringerungen des Verlusts, während triviale Daten (schnelle Konvergenz) oder Rauschen (keine Konvergenz) eine niedrige Epiplexität aufweisen.

2. EpiSelect: Adaptive Datenselektion

EpiSelect zielt darauf ab, Batches adaptiv aus mehreren Datendomänen zu sampeln, um den erwarteten Epiplexitätsgewinn zu maximieren.

Cross-Domain Scaling Laws: Die Methode passt Scaling Laws an die pro-Domäne-Verlustkurven an, um den zukünftigen Verlust als Funktion der Token-Anzahlen aus allen Domänen vorherzusagen. Die vorgeschlagene Form lautet:
$\hat{L}_m(n_1, \dots, n_K) = \epsilon_m + \beta_m \left( \sum_{k=1}^K \gamma_{m,k} n_k \right)^{-\alpha_m}$
wobei $\gamma_{m,k}$ den Einfluss von Domäne $k$ auf den Verlust von Domäne $m$ erfasst.
Gradientenbasierte Gewichtung: Der Algorithmus berechnet den marginalen Gewinn an Epiplexität in Bezug auf Tokens aus einer spezifischen Domäne $j$ :
$\frac{\partial \hat{S}}{\partial n_k} = \sum_{m=1}^K \frac{n_m \alpha_m \gamma_{m,k}}{\sum_{i=1}^K \gamma_{m,i} n_i} (\hat{L}_m - \epsilon_m)$
Sampling-Strategie: Die Sampling-Gewichte $\pi_k$ für den nächsten Batch werden durch eine Softmax-Funktion über diese marginalen Gewinne bestimmt, was es dem Modell ermöglicht, gierig die Domänen auszuwählen, die den höchsten strukturellen Informationsgewinn vorhersagen.

3. EpiGen: Synthetische Datengenerierung

EpiGen trainiert ein Generator-Modell ( $P_{\theta_g}$ ), um synthetische Daten zu produzieren, die die Epiplexität eines separaten Lerner-Modells ( $P_{\theta}$ ) maximieren.

Definition der Belohnung (Reward): Die Belohnung $r_t$ ist definiert als die Änderung der Epiplexität des Lerners (approximiert durch die Reduktion des Verlusts) nach dem Training auf einem neuen Batch $X_t$ , evaluiert über einen Generierungs-Buffer $B$ , der vergangene Daten enthält:
$r_t = \sum_{x \in B} (\log(1/P_{\theta_{t-1}}(x)) - \log(1/P_{\theta_t}(x)))$
Optimierung: Der Generator wird mittels REINFORCE-Policy-Gradienten optimiert, um die erwartete Belohnung zu maximieren. Der Buffer $B$ dient als Referenzverteilung, um zu verhindern, dass der Generator in adversarielle oder nieder-entropische Outputs kollabiert, die der Lerner zwar auswendig lernt, ohne dabei allgemeingültige Strukturen zu gewinnen.

Zentrale Beiträge

Operationalisierung der Epiplexität: Das Paper liefert die ersten praktischen Methoden, um Epiplexität als Online-Trainingssignal sowohl für die Datenselektion als auch für die synthetische Datengenerierung zu schätzen und zu optimieren.
EpiSelect-Algorithmus: Eine neuartige Datenselektionsmethode, die Cross-Domain Scaling Laws nutzt, um Epiplexitätsgewinne vorherzusagen und die Sampling-Gewichtung der Domänen adaptiv anzupassen.
EpiGen-Algorithmus: Ein Self-Play-Framework, in dem ein Generator via REINFORCE trainiert wird, um synthetische Daten zu erzeugen, die einen Lerner herausfordern und so den strukturellen Informationsgewinn maximieren, ohne externe Verifizierer zu benötigen.
Benchmark-Kritik und Vorschlag: Die Autoren identifizieren ein Sättigungsproblem im „The Pile“-Datensatz bei der Evaluierung von Datenselektionsmethoden und stellen fest, dass das Training ausschließlich auf der größten Domäne (PileCC) hochentwickelte Selektionsmethoden übertrifft. Sie schlagen den Common Pile (ein 30-Domänen, 8TB Datensatz) als strengeren Benchmark für die zukünftige Curriculum-Learning-Forschung vor.
Empirische Validierung: Demonstration, dass höhere Epiplexität mit besserer OOD-Generalisierung korreliert und dass Epiplexitäts-maximierende Strategien State-of-the-Art-Baselines übertreffen.

Ergebnisse

Datenselektion (EpiSelect)

Korrelation: Auf „The Pile“ korreliert Epiplexität stark mit der Downstream Zero-Shot-Performance (Pearson $r=0,88$ ), während Gewichtsnormen dies nicht tun.
Benchmark-Limitierung: Das ausschließliche Training auf der Domäne PileCC übertraf den State-of-the-Art (ADO) Selektor auf „The Pile“, was die Imbalanz des Datensatzes verdeutlicht.
Performance auf Common Pile: Bei der Evaluierung auf dem Common Pile erreichte EpiSelect die höchste durchschnittliche Zero-Shot-Genauigkeit über 10 Aufgaben (LM Evaluation Harness) hinweg, sowohl für 124M- als auch für 1.3B-Parameter-Modelle, und übertraf damit sowohl die natürliche (uniforme) Baseline als auch ADO.
Cross-Domain Dynamik: Die angepassten Scaling Laws zeigten, dass Cross-Domain-Effekte spärlich und gerichtet sind, wobei die Diagonalelemente (Selbst-Einfluss) dominieren.

Synthetische Datengenerierung (EpiGen)

Fine-Tuning Performance: Lerner, die auf EpiGen-generierten synthetischen Daten trainiert wurden, erzielten eine durchschnittliche Verbesserung von 2,7 Punkten bei GLUE Fine-Tuning-Aufgaben im Vergleich zur vortrainierten GPT-2 Baseline.
Abhängigkeit von der Initialisierung: Die Methode erfordert eine vortrainierte Initialisierung; eine zufällige Initialisierung lieferte keinen Performance-Gewinn, was darauf hindeutet, dass das Lernsignal aus den vortrainierten Gewichten hervorgeht.
Datenmischung: Die Mischung von 25-50% epiplexitätsgesteuerten synthetischen Daten mit echten OpenWebText (OWT) Daten lieferte die beste Downstream-Performance und übertraf das Training auf nur einem der beiden Datentypen.
Stabilität: Die Methode behielt eine niedrige Perplexität auf In-Distribution-Daten bei und verbesserte gleichzeitig die OOD-Generalisierung, wodurch der Mode Collapse vermieden wurde, der oft bei belohnungsbasierten Generierungen auftritt.

Bedeutung und Ansprüche

Das Paper behauptet, dass Epiplexität eine fundierte, informationstheoretische Basis für Datenselektion und -generierung bietet, die direkt auf OOD-Generalisierung abzielt. Durch die Verschiebung des Fokus von der „einfachsten Erklärung“ (Occam’s Razor) hin zur „inkompressibelsten Information“ (Maximierung des strukturellen Informationsgehalts) argumentieren die Autoren, dass Modelle Repräsentationen lernen können, die über unerwartete Domänen hinweg transferierbarer sind.

Die Autoren merken bescheiden an, dass ihre Experimente auf kleinen Modellen (124M–1.3B Parameter) durchgeführt wurden und auf einem handhabbaren Proxy für die Epiplexität beruhen, statt auf der theoretischen Größe selbst. Sie postulieren, dass zukünftige Arbeiten die Skalierbarkeit, theoretische Garantien für den Proxy und die Entdeckung universeller Dateneigenschaften über die Epiplexität hinaus adressieren müssen. Dennoch etabliert die Arbeit die Epiplexität als ein lebensfähiges, anwendbares Signal zur Verbesserung der Modell-Generalisierung sowohl in natürlichen als auch in synthetischen Datenszenarien.