🤖 AI

Saturating Scaling Laws for Equational Discovery: A Phenomenology of Growth Dynamics in Three Toy Substrates with Two Real-World Replications

Diese Arbeit untersucht die Wachstumsdynamik der Gleichungsentdeckung in Toy- und Realwelt-Domänen und stellt fest, dass das kurzfristige Wachstum zwar einem Potenzgesetz folgt, langfristige Verläufe jedoch substratabhängige Sättigungsmuster aufweisen, die am besten durch eine sättigende Potenzgesetz-Funktion modelliert werden, wobei die spezifische Dynamik zwischen verschiedenen Rechenumgebungen erheblich variiert.

Ursprüngliche Autoren: Fabio Rovai

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Fabio Rovai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreiben eine Fabrik, die neue Regeln für ein Spiel entwickelt. Jeden Tag versucht Ihre Fabrik, eine neue Regel zu erfinden, prüft, ob sie sinnvoll ist, und fügt sie, falls ja, dem „Regelbuch" hinzu.

Diese Arbeit ist eine Studie darüber, wie schnell dieses Regelbuch im Laufe der Zeit wächst. Der Autor, Fabio Rovai, führte dieses Experiment in drei verschiedenen „Spielwelten" (Mathematik, Logik und Listen) durch und untersuchte reale Beispiele dafür, wie Mathematik-Bibliotheken im Internet wachsen.

Hier ist die Geschichte dessen, was sie fanden, einfach erklärt.

1. Die zwei Arten des Wachstums

Die Forscher suchten nach einem Muster im Wachstum. Sie fanden zwei Hauptmöglichkeiten:

Die „ewige Exponentialfunktion" (reine Potenzgesetz-Form): Stellen Sie sich einen Schneeball vor, der einen Hang hinunterrollt. Er wird größer, und weil er größer ist, nimmt er immer schneller noch mehr Schnee auf. Er beschleunigt sich nie. Das passiert, wenn Sie gerade erst anfangen.
Die „sättigende" Kurve: Stellen Sie sich vor, Sie füllen einen Eimer mit einem Schlauch. Zunächst steigt der Wasserstand schnell. Doch wenn der Eimer voll wird, hat das Wasser keinen Platz mehr. Das Niveau verlangsamt sich und hört schließlich auf zu steigen, selbst wenn Sie den Schlauch weiterlaufen lassen. Der Eimer hat seine Grenze erreicht.

2. Das Rätsel von Kurzfristigkeit versus Langfristigkeit

Als die Forscher das kurzfristige Wachstum (die ersten Tage des Experiments) betrachteten, sah alles aus wie die „ewige Exponentialfunktion". Das Regelbuch wuchs schnell und passte perfekt zu einer einfachen mathematischen Kurve.

Die Forscher hatten jedoch eine Theorie: Irgendwann muss das Wachstum sich verlangsamen. Warum? Weil es nur so viele mögliche Regeln gibt, die man erfinden kann, bevor die neuen Ideen ausgehen. Sobald man alle einfachen Regeln gefunden hat, wird es immer schwieriger, neue zu finden.

Sie schlugen ein neues Modell vor: Die „sättigende Potenzgesetz-Form". Dieses Modell besagt: „Starten Sie schnell wie ein Schneeball, aber irgendwann stoßen Sie an eine Decke und verlangsamen sich."

3. Die Falle des „Ein-Modell-für-alles"-Ansatzes

Hier wird es knifflig. Die Forscher versuchten, eine „Glaskugel" zu bauen, um vorherzusagen, wie schnell das Regelbuch wachsen würde, basierend auf den Fabrikeinstellungen (wie streng die Qualitätskontrolle ist oder wie viele Arbeiter am Band sind).

Innerhalb einer Fabrik: Sie konnten die Wachstumsgeschwindigkeit sehr gut vorhersagen. Wenn sie die Einstellungen kannten, kannten sie die Geschwindigkeit.
Über verschiedene Fabriken hinweg: Als sie versuchten, die Einstellungen der „Mathematik-Fabrik" zu verwenden, um die Geschwindigkeit der „Listen-Fabrik" vorherzusagen, zerbrach die Glaskugel völlig. Sie sagte die Geschwindigkeit so schlecht voraus, dass es schlimmer war als bloßes Raten des Durchschnitts.

Die Lehre: Die Regeln für das Wachstum hängen vollständig von der Art des Spiels ab, das Sie spielen. Sie können dieselbe Karte nicht für jedes Territorium verwenden.

4. Der Realitätscheck: Haben die Spielzeuge gelogen?

Die Forscher testeten ihre „Sättigungs"-Theorie an ihren Spielzeugfabriken.

Das Ergebnis: Die Spielzeugfabriken wuchsen nicht lange genug, um die „Decke" zu erreichen. Sie befanden sich noch in der „Schneeball"-Phase.
Das Problem: Als sie versuchten, die Zukunft mit dem „sättigenden" Modell vorherzusagen, scheiterte es. Es sagte voraus, dass das Wachstum zu früh aufhören würde. Das einfache „ewige Exponential"-Modell sagte die Zukunft tatsächlich besser voraus, weil die Spielzeuge ihr Limit noch nicht erreicht hatten.

Die Analogie: Stellen Sie sich vor, Sie beobachten ein Baby beim Wachsen. Wenn Sie nur den ersten Monat beobachten, könnten Sie denken, das Baby werde für immer mit dieser Geschwindigkeit wachsen. Wenn Sie versuchen, seine Größe mit 20 Jahren basierend auf diesem ersten Monat vorherzusagen, liegen Sie falsch. Sie müssen sehen, wie es einen Wachstumsschub erlebt und dann langsamer wird, um das Muster zu erkennen. Die Spielzeugfabriken waren nur „Babys".

5. Der Realitätsbeweis: Mathematik-Bibliotheken

Um zu sehen, ob die „Decken"-Theorie real war, betrachteten sie zwei massive, reale Mathematik-Bibliotheken im Internet: Mathlib (für die Sprache Lean) und Mathcomp (für die Sprache Coq).

Mathlib (der rapide Wüchsige): Diese Bibliothek ist explosionsartig gewachsen. Die Daten zeigten, dass sie endlich anfängt, sich zu biegen. Das Wachstum verlangsamt sich, genau wie das „sättigende" Modell vorhersagte. Es sieht so aus, als würde es an seine Decke stoßen.
Mathcomp (der stetige Wüchsige): Diese Bibliothek gibt es seit Jahrzehnten. Sie wächst stetig, hat aber noch keine Decke erreicht. Für diese funktioniert das „ewige Exponential"-Modell immer noch am besten.

Das Fazit: Das „sättigende" Modell ist real, aber man kann es nur sehen, wenn das Projekt alt genug ist, um die einfachen Ideen aufgebraucht zu haben.

6. Das Paradoxon des „Neuheitsfilters"**

Die Forscher entdeckten auch eine lustige Eigenart bezüglich der Art und Weise, wie sie schlechte Regeln aussortierten.

Bei einfachen Spielen (wie grundlegender Mathematik) hilft es dem Wachstum der Fabrik, „neu" zu sein (eine neue Regel zu finden).
Bei komplexen Spielen (wie hochrangigen Listen) tötet „Neuheit" tatsächlich das Wachstum. Die Fabrik wird so wählerisch, was als „neu" zählt, dass sie fast alles ablehnt, und das Regelbuch hört auf zu wachsen.

Zusammenfassung

Diese Arbeit ist eine Warnung für jeden, der versucht vorherzusagen, wie schnell sich KI- oder Mathematik-Systeme entwickeln:

Kurzfristiges Wachstum sieht so aus, als würde es ewig weitergehen.
Langfristiges Wachstum stößt irgendwann an eine Wand (Sättigung).
Sie können die Geschwindigkeit eines Systems nicht basierend auf einem anderen vorhersagen; sie haben unterschiedliche „Physik".
Der „Sättigungs"-Effekt ist real, aber man sieht ihn nur in ausgereiften Systemen (wie der Mathlib-Bibliothek), nicht in jungen, Spielzeug-Systemen.

Die Autoren sagen im Wesentlichen: „Wir haben ein neues Wachstumsgesetz für Entdeckungssysteme gefunden, aber es zeigt sich nur, wenn das System alt genug ist, um die einfachen Ideen aufgebraucht zu haben."

Technische Zusammenfassung: Saturierende Skalierungsgesetze für die Gleichungsentdeckung

Problemstellung

Die Arbeit untersucht, ob deterministische symbolische Entdeckungssysteme – insbesondere solche, die durch Hinzufügen von Gleichungs-Umschreibungsregeln wachsen – empirische Skalierungsgesetze befolgen, die den bei großen Sprachmodellen (LLMs) gefundenen analog sind. Während Skalierungsgesetze für neuronale Modelle (Kaplan et al., 2020; Hoffmann et al., 2022) gut etabliert sind, bleibt die Frage offen, ob deterministische Substrate, wie sie in der induktiven Logikprogrammierung, der Gleichungssättigung und der Programmsynthese verwendet werden, vergleichbare Wachstumsdynamiken aufweisen. Die Autoren zielen darauf ab, die Phänomenologie des Wachstums in diesen Systemen zu charakterisieren und zu testen, ob ein einfaches Potenzgesetz oder eine komplexere saturierende Funktion die Akkumulation entdeckter Regeln über die Zeit besser beschreibt.

Methodik

Die Studie verwendet einen kontrollierten experimentellen Rahmen, der drei „Toy"-deterministische Substrate mit zunehmender Typkomplexität umfasst:

Arithmetik (arith): Gleichungsgleichungen über einer getypten Grammatik mit Addition, Multiplikation und freien Variablen.
Boolesche Logik (bool): Identitäten über logischen Operatoren (and, or, not).
Höherstufige Listen (list): Ein von DreamCoder inspirierter Bereich mit Primitiven wie map, fold und cons.

Der Entdeckungszyklus:
Das System lässt ein Substrat $S$ (eine Menge von Umschreibungsregeln) über diskrete Schritte $t$ wachsen. In jedem Schritt:

Ein Generator schlägt Kandidatengleichungen basierend auf dem aktuellen Zustand von $S$ vor (unter Verwendung von Strategien wie zufällig, kompositionell, frequenzgewichtet oder MDL-gierig).
Kandidaten werden mittels zufälliger Instantiierung auf semantische Korrektheit getestet.
Akzeptierte Paare werden generalisiert (Ersetzung freier Variablen durch Muster-Variablen).
Ein konfigurierbarer Akzeptanzfilter („any" oder „novelty") bestimmt, ob die Regel in $S$ übernommen wird.

Datenerhebung:
Die Autoren generierten 592 unabhängige Entdeckungstrajektorien über diese Substrate, wobei sie fünf architektonische Merkmale variierten: Generator-Typ, Filterstrenge, Rekursionstiefe, Batch-Größe und Zufallssamen. Sie maßen die Gesamtzahl der Regeln $|S(t)|$ über die Zeit.

Modellierungsansatz:
Die Autoren schlagen ein heuristisches Mean-Field-Abschlussmodell vor, das von Annahmen einer gleichmäßigen Abdeckung und approximativen Unabhängigkeit abgeleitet ist. Dies ergibt eine Differentialgleichung für das Wachstum:
$\frac{dN}{dt} = K \cdot N^k \cdot e^{-\mu N}$
wobei $N$ die Substratgröße ist, $k$ die Rekombinationstiefe des Generators widerspiegelt und $\mu$ den Abdeckungsanteil des Kandidatenraums darstellt.

Kurzstrecke ( $\mu N \ll 1$ ): Die Gleichung approximiert ein reines Potenzgesetz $N(t) \propto t^b$ , wobei $b = 1/(1-k)$ .
Langstrecke ( $\mu N \gtrsim 1$ ): Der exponentielle Term induziert eine Sättigung, modelliert durch eine logistisch-potenzgesetzförmige Funktion.

Die Studie passt drei Kandidatenmodelle (reines Potenzgesetz, gestreckte Exponentialfunktion, saturierendes Potenzgesetz) an die Daten an, wobei AIC zur Modellauswahl und gradientenverstärkte Regression verwendet werden, um den Exponenten $b$ aus architektonischen Merkmalen vorherzusagen.

Hauptbeiträge und Ergebnisse

1. Kurzstrecken-Potenzgesetz-Dynamik

Über 592 Trajektorien hinweg passt das Wachstum der Substratgröße $|S(t)|$ auf kurzen Strecken (bis zu 30 Epochen) konsistent an eine Potenzgesetz-Form $t^b$ . Der Exponent $b$ variiert kontinuierlich zwischen 0 und 1,15, abhängig vom Bereich und der Architektur.

Architektursensitivität: Innerhalb eines einzelnen Substrats ist der Exponent $b$ hochsensitiv gegenüber architektonischen Entscheidungen. Ein gradientenverstärkter Regressor, der fünf architektonische Merkmale verwendet, sagt $b$ mit einem cross-validierten $R^2 \approx 0,82$ sowohl für arithmetische/boolesche als auch für Listenbereiche vorher.
Versagen der Substrat-übergreifenden Übertragung: Ein Modell, das auf arithmetischen und booleschen Daten trainiert wurde, um $b$ vorherzusagen, versagt vollständig, wenn es auf den Listenbereich angewendet wird ( $R^2 \approx -0,84$ ). Die optimale Architektur für komponentenartiges Wachstum in flach-getypten Substraten (z. B. Novelty-Filter) unterdrückt das Wachstum in höherstufig getypten Substraten. Dies zeigt, dass Wachstumsdynamiken substratabhängig und nicht universell sind.

2. Langstrecken-Sättigungshypothese

Die Autoren testeten, ob das Wachstum schließlich saturiert, wie von ihrem Abschlussmodell vorhergesagt.

Toy-Daten (Listenbereich): Bei der Erweiterung von fünf Listenbereichstrajektorien auf 500 Epochen gewinnt das saturierende Potenzgesetz-Modell bei in-sample AIC-Vergleichen für Trajektorien länger als 200 Epochen. Allerdings wird die out-of-sample-Prognose (Anpassung an die ersten 100 Epochen und Vorhersage der nächsten 400) in allen 5 Fällen vom reinen Potenzgesetz gewonnen. Die Autoren schließen daraus, dass die Toy-Trajektorien innerhalb von 500 Epochen tatsächlich nicht das Sättigungsregime erreichen; die Präferenz des saturierenden Modells in-sample ist wahrscheinlich ein Anpassungsartefakt, das schlecht extrapoliert.
Realwelt-Daten (Mathlib4): Die Analyse der monatlichen neuen .lean-Dateihinzufügungen in der Mathlib4-Bibliothek (60 Monate, 9.701 Dateien) unterstützt die saturierende Form. Das saturierende Modell übertrifft das reine Potenzgesetz bei der out-of-sample-Prognose um einen Faktor von $\sim 7\times$ (RMSE 3.279 vs. 23.896), was darauf hindeutet, dass Mathlib4 ein Sättigungsregime erreicht hat.
Realwelt-Daten (Coq Mathcomp): Die Analyse der monatlichen Commits in der Coq Mathcomp-Bibliothek (129 Monate) begünstigt das reine Potenzgesetz. Der Sättigungsparameter $\mu$ kollabiert auf null, und das reine Potenzgesetz übertrifft das saturierende Modell bei der out-of-sample-Prognose um $\sim 67\times$ . Dies deutet darauf hin, dass Mathcomp das Sättigungsregime noch nicht erreicht hat.

3. Phänomenologische Rahmung

Die Arbeit schlägt eine funktionierende Rahmung vor: „Saturierendes Potenzgesetz-Wachstum mit substratabhängigen $(k, \mu)$ , beobachtbar, wenn das Substrat sein Sättigungsregime erreicht hat." Die Dynamik ist auf zwei Ebenen konditional:

Architektonische Parameter, die den Wachstumsexponenten vorhersagen, übertragen sich nicht über verschiedene Substrattypen hinweg.
Die Funktionsfamilie, die das Wachstum beschreibt (reines vs. saturierendes Potenzgesetz), hängt vom spezifischen Lebenszyklusstadium des Substrats ab.

Bedeutung und Behauptungen

Die Arbeit positioniert sich als erste empirische und theoretische Untersuchung der Skalierungsgesetze deterministischer Gleichungsentdeckung und bietet eine Phänomenologie statt einer definitiven Theorie.

Bescheidener Umfang: Die Autoren stellen explizit fest, dass die Evidenz auf drei Toy-Substrate und zwei Realwelt-Proxy-Daten beschränkt ist (die grob sind und sich auf Commit-/Dateizählungen stützen). Sie räumen ein, dass die Langstrecken-Ergebnisse bei Toy-Daten „konsistent mit, aber nicht bestätigt" sind, aufgrund des Versagens der out-of-sample-Prognose auf den Toy-Daten.
Kern-Erkenntnis: Das primäre Ergebnis ist, dass symbolische Entdeckungsdynamiken substratabhängig sind. Im Gegensatz zu neuronalen Skalierungsgesetzen, die oft Universalität über Architekturen hinweg annehmen, hängt das Wachstumsverhalten hier stark von der spezifischen „Abschlussgeometrie" (Abdeckungsparameter $\mu$ ) des Typsystems des Substrats ab.
Zukünftige Richtungen: Die Autoren identifizieren drei konkrete Upgrades, die erforderlich sind, um diese Arbeit von einer „Toy-Phänomenologie" zu einem „echten Phänomen" zu erheben:
1. Replikation auf einem nicht-Toy-Substrat mit Trajektorien-Level-Granularität (nicht nur Commit-Zählungen).
2. Erfolgreiche out-of-sample-prädiktive Prognose für das saturierende Modell.
3. Eine theoretische Herleitung des Sättigungsparameters $\mu$ aus der Substrat-Kombinatorik (z. B. Typ-Entropie), um die substratübergreifende Übertragung falsifizierbar zu machen.

Die Arbeit schließt, dass das Rahmenwerk des saturierenden Potenzgesetzes zwar mit den beobachteten Daten in Regimen konsistent ist, in denen Sättigung plausibel ist, es jedoch kein universelles Gesetz für alle symbolischen Entdeckungssysteme darstellt. Die Arbeit dient als Ausgangspunkt für eine potenzielle „Statistische Mechanik der symbolischen Entdeckung".