🤖 AI

Library Reachability in LSR-Synth: How Anti-Memorization Design Changes the Measurement of Symbolic Discovery

Diese Arbeit bewertet die Fähigkeit des LSR-Synth-Benchmarks, zwischen wissenschaftlichem Vorwissen und konventioneller Operatoren-Suche zu unterscheiden, indem sie aufzeigt, dass seine Anti-Memorierungs-Kontrollen zwar effektiv sind, die aktuellen Aufgaben jedoch primär die Rekombination ungesehener Ausdrücke innerhalb eines festen Vokabulars messen, anstatt die einzigartigen Beiträge von Sprachmodell-Priors, sofern dieses Vokabular nicht gezielt eingeschränkt wird.

Ursprüngliche Autoren: Zhan'ao Yao, Liang Yin, Zhihao Gao, Boxuan Zhang, Xiaoyu Wu, Linjing Li, Rongyan Wang, Tingwei Chen, Youwei Wang, Xiaolin Zhao, Jiahui Shi, Jianjun Liu

Veröffentlicht 2026-08-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhan'ao Yao, Liang Yin, Zhihao Gao, Boxuan Zhang, Xiaoyu Wu, Linjing Li, Rongyan Wang, Tingwei Chen, Youwei Wang, Xiaolin Zhao, Jiahui Shi, Jianjun Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen: Nutzt ein brillanter neuer Detektiv tatsächlich seine scharfe Intuition, um einen Fall zu lösen, oder rezitiert er nur eine Lösung, die er aus einem berühmten Buch auswendig gelernt hat? Dies ist die große Frage, vor der Wissenschaftler stehen, die Künstliche Intelligenz (KI) nutzen, um neue mathematische Gesetze zu entdecken. Lange Zeit haben Forscher KIs darauf trainiert, Daten zu betrachten – wie die Geschwindigkeit eines fallenden Apfels oder das Wachstum von Bakterien – und die verborgene Formel zu erraten, die sie erklärt. Dieses Feld wird „Symbolic Regression“ genannt. Das Problem ist, dass KI-Modelle wie riesige Bibliotheken sind, die fast alles gelesen haben, was jemals geschrieben wurde. Wenn man sie nach der Formel für die Schwerkraft fragt, könnten sie die einfach nur aus einem Lehrbuch wiedergeben, das sie während des Trainings gelesen haben, anstatt sie tatsächlich aus den Daten abzuleiten. Um dies zu beheben, entwickelten Wissenschaftler einen speziellen Test namens LSR-Synth. Sie erfanden brandneue, künstliche wissenschaftliche Probleme, indem sie bekannte Regeln mit seltsamen, neuen Zutaten mischten. Die Hoffnung war, dass diese Probleme völlig neu wären und die KI die Antwort nicht einfach nur „erinnern“ konnte; sie müsste sie stattdessen wirklich entdecken.

Aber hier kommt die Wendung: Selbst wenn die endgültige Antwort neu ist, könnten die Werkzeuge, die die KI zur Lösung verwendet, alt sein. Stellen Sie sich einen Koch vor, der versucht, ein neues Gericht zu erfinden. Wenn die Küche mit jedem erdenklichen Gewürz und jeder denkbaren Zutat bestückt ist (eine „feste Bibliothek“), muss der Koch kein Genie sein, um eine großartige Mahlzeit zuzubereiten; er muss nur die richtigen vorhandenen Zutaten mischen. Diese Arbeit stellt eine sehr spezifische, etwas langweilige, aber entscheidende Frage: Beweisen diese neuen KI-Tests tatsächlich, dass die KI ihr „Gehirn“ (wissenschaftliches Wissen) nutzt, oder ist sie nur ein sehr guter Mixer von Zutaten, die bereits in der Küche vorhanden waren? Die Autoren bauten eine „blinde“ Küche, in der die KI weder die Namen der Zutaten noch die Art der Speisen sehen konnte, sondern nur die Rohdaten. Sie verglichen einen klugen KI-Koch mit einem einfachen, regelbefolgenden Roboter, der einfach alle möglichen Kombinationen von Standardzutaten ausprobiert.

Die Ergebnisse sind ein wenig ein Realitätscheck für den Hype. Die Autoren fanden heraus, dass der einfache Roboter mit den Standard-Küchenwerkzeugen die meisten dieser „neuen“ wissenschaftlichen Rätsel genauso gut lösen konnte wie der kluge KI-Koch. Tatsächlich löste die KI nicht viel mehr Rätsel als der Roboter, wenn man ihr eine voll ausgestattete Küche gab. Die KI zeigte nur dann einen echten Vorteil, wenn die Küche auf das Wesentliche reduziert wurde und wichtige Zutaten wie „Exponentialfunktionen“ oder „trigonometrische Funktionen“ fehlten. Erst dann half die Fähigkeit der KI, neue, seltsame Zutaten vorzuschlagen, bei der Lösung des Problems.

Was bedeutet das also? Es bedeutet nicht, dass die KI nutzlos ist oder dass sie nur eine auswendig gelernte Lösung verwendet. Es bedeutet, dass für die aktuelle Auswahl an Tests die „Standardküche“ so gut bestückt ist, dass die spezielle „wissenschaftliche Intuition“ der KI nicht zwingend erforderlich ist, um eine hohe Punktzahl zu erreichen. Die Arbeit legt nahe, dass wir, um wirklich zu beweisen, dass eine KI neue Wissenschaft entdeckt und nicht nur alte Werkzeuge neu arrangiert, Tests entwerfen müssen, bei denen die Standardwerkzeuge zuerst versagen. Bis dahin könnte eine hohe Punktzahl in diesen Tests lediglich bedeuten, dass die KI gut darin ist, einen Standard-Werkzeugkasten zu benutzen, und nicht, dass sie eine neue Art von wissenschaftlichem Genie freigeschaltet hat. Die Autoren kommen zu dem Schluss, dass diese Tests zwar gut darin sind, die KI daran zu hindere, einfach alte Formeln zu kopieren, aber noch nicht ganz ausreichen, um zu beweisen, dass die KI etwas wirklich Neues aus ihrem eigenen Geist hinzufügt.

Technisches Resümee: Erreichbarkeit von Bibliotheken in LSR-Synth

1. Problemstellung

Bestehende Benchmarks für die Entdeckung wissenschaftlicher Gleichungen, wie etwa LSR-Synth, sind darauf ausgelegt, „Formel-Memorierung“ zu verhindern, indem sie Zielgleichungen konstruieren, die etablierte wissenschaftliche Mechanismen mit neuartigen synthetischen Termen kombinieren. Dies stellt sicher, dass der vollständige Zielausdruck höchstwahrscheinlich nicht wortwörtlich im Trainingskorpus eines Sprachmodells (LLM) existiert.

Es bleibt jedoch eine kritische Lücke bei der Bewertung der Frage, ob der Erfolg eines LLM auf echten wissenschaftlichen Priors beruht oder lediglich auf der Fähigkeit, vertraute mathematische Bausteine neu zu kombinieren. Eine Zielgleichung kann als Ganzes zwar neuartig sein, doch ihre konstituierenden Operatoren (z. B. Potenzen, Exponentialfunktionen, trigonometrische Funktionen) und strukturellen Muster können vollständig in einem festen, semantikfreien Suchraum enthalten sein. Wenn ein konventioneller Suchalgorithmus unter Verwendung eines dokumentierten Vokabulars die Zielgleichung ohne Zugriff auf die Bedeutung der Variablen oder den Domänenkontext wiederherstellen kann, ist der Beitrag des LLM nicht von einer Standard-Operator-Suche zu unterscheiden. Die Arbeit adressiert die Frage: Können aktuelle LSR-Synth-Aufgaben effektiv zwischen den vom LLM gelieferten wissenschaftlichen Priors und einer konventionellen Suche innerhalb eines festen Vokabulars unterscheiden?

2. Methodik

Die Autoren führen ein Diagnoserahmenwerk ein, das auf dem Konzept der Bibliotheks-Erreichbarkeit (Library Reachability) basiert: der Eigenschaft, dass ein Ziel durch eine semantikfreie Suche unter einem vorgegebenen Vokabular und einem festgelegten Rechenbudget wiederhergestellt werden kann.

Experimentelles Setup:

Datensatz: 129 Aufgaben aus dem LSR-Synth-Benchmark (Abdeckung von Populationswachstum, physikalischen Oszillationen, chemischen Reaktionen und Materialbeziehungen).
Kandidatenquellen:
- BANK: Eine feste Kandidatenbibliothek, die ohne Zugriff auf die Semantik der Aufgabe (Variablennamen oder Domänenbeschreibungen) erstellt wurde. Es werden zwei Varianten verwendet: BANK-LaSR (basierend auf dem PySR-Operator-Set) und BANK-SRBench-PySR.
- LLM: Von einem Sprachmodell vorgeschlagene Kandidaten unter zwei Bedingungen:
  - L1: Voller Kontext (Variablennamen, Domänenbeschreibung, Datenbereiche).
  - L2: Semantische Blindheit (anonyme Variablen, keine Domänenbeschreibung).
- UNION: Die Vereinigung der BANK- und der LLM-Kandidatensätze.
Suchverfahren: Eine paarweise Greedy-Suche wird auf jedem Kandidatenpool (BANK, LLM, UNION) unter Verwendung identischer Trainings-Subsamples, Fitting-Verfahren (nichtlineare kleinste Quadrate mit gemeinsamer Parameterschätzung) und Abbruchkriterien durchgeführt. Dies isoliert die Kandidatenquelle als einzige Variable.
Interventionen:
- Semantische Blindheit: Vergleich von L1 mit L2, um den Wert des Domänenkontexts zu bewerten.
- Schwächung der Bibliothek: Ersetzen der vollständigen Bibliothek durch eine BANK-Poly (nur Polynome) Bibliothek, um explizite Abdeckungslücken zu erzeugen.
- Matched Knockouts: Entfernen von erforderlichen Operator-Familien gegenüber dem Entfernen einer gleichen Anzahl irrelevanter Operatoren, um die Sensitivität der Abdeckung zu testen.

Evaluationsmetriken:

In-Distribution Genauigkeit: Relative Fehlerschwellen ( $\tau=0,01, 0,001$ ).
Strikte gemeinsame Wiederherstellung (Strict Joint Recovery): Erfolg sowohl auf In-Distribution (ID) als auch auf Out-of-Distribution (OOD) Daten mit $NMSE < 10^{-8}$ .
Symbolische Genauigkeit (SA): Eine strikte Einstimmigkeitsregel (10/10 „Ja“-Stimmen von GPT-OSS-120B), die bestimmt, ob das vorhergesagte Skelett strukturell äquivalent zur Grundwahrheit (Ground Truth) ist.

3. Kernergebnisse

Hohe Abdeckung durch feste Bibliotheken: Unter dem vollen LaSR-Vokabular erreicht die feste BANK-LaSR-Bibliothek eine hohe Performance (77,71 % Acc0.01, 19,77 % SA) und übertrifft damit viele in der Literatur berichtete LLM-basierte Methoden.
Marginaler Beitrag von LLMs: Wenn die feste Bibliothek vollständig ist, führt das Hinzufügen von LLM-Kandidaten (UNION) zu vernachlässigbaren oder nicht-monotonen Verbesserungen gegenüber BANK allein. Das LLM entdeckt selten Lösungen, die die feste Bibliothek nicht finden kann.
Auswirkung der Bibliotheks-Schwächung: Wenn die feste Bibliothek auf Polynome beschränkt ist (BANK-Poly), sinkt die Performance signifikant. In diesem Szenario führt das Hinzufügen von LLM-Kandidaten (UNION-Poly) zu erheblichen Gewinnen über alle Metriken hinweg, was zeigt, dass LLMs effektiv darin sind, echte strukturelle Lücken (z. B. exponentielle oder trigonometrische Terme) zu füllen, die im eingeschränkten Vokabular fehlen.
Semantischer Kontext: Die LLM-Performance ist mit vollem Kontext (L1) höher als mit blindem Kontext (L2), aber dieser Vorteil führt nur dann zu End-to-End-Gewinnen, wenn die feste Bibliothek Abdeckungslücken aufweist.
Dekomposition des Erfolgs: Die Analyse gepaarter Ergebnisse zeigt eine extensive Überschneidung zwischen BANK- und LLM-Erfolgen. Unter strikten Kriterien (SA, OOD) ist die Anzahl der Aufgaben, die nur vom LLM gelöst wurden, gering im Vergleich zu denen, die nur von BANK gelöst wurden.

4. Zentrale Beiträge

Konzept der Bibliotheks-Erreichbarkeit: Die Arbeit definiert und operationalisiert „Bibliotheks-Erreichbarkeit“ als Diagnosewerkzeug, um die Neuartigkeit einer vollständigen Gleichung von der Neuartigkeit ihres Suchraums zu trennen.
Diagnostisches Benchmarking-Protokoll: Sie schlägt ein rigoroses Evaluierungsprotokoll vor, das paarweise BANK, LLM und UNION Durchläufe mit festen Seeds und Budgets nutzt, um den Beitrag von LLM-Priors von der Kandidaten-Abdeckung zu isolieren.
Empirische Evidenz für LSR-Synth: Die Studie zeigt, dass die aktuellen aggregierten Scores von LSR-Synth nicht ausreichen, um zu behaupten, dass LLMs unverzichtbare wissenschaftliche Priors jense_it eines festen Suchraums liefern, da die meisten Aufgaben durch semantikfreie Bibliotheken erreichbar sind.

5. Bedeutung und Behauptungen

Die Arbeit behauptet nicht, dass LLMs für die symbolische Regression nutzlos oder Anti-Memorization-Benchmarks ungültig sind. Stattdessen zieht sie einen begrenzten, aber präzisen Schluss:

„Der aktuelle aggregierte Benchmark-Score allein reicht nicht aus, um zu demonstrieren, dass ein Sprachmodell wissenschaftliches Wissen beisteuert, das über das hinausgeht, was bereits in einer festen Bibliothek kodiert ist.“

Die Autoren argumentieren, dass LSR-Synth zwar erfolgreich die Rekonstruktion vollständiger Formeln verhindert, aber derzeit nicht die Erreichbarkeit des Suchraums kontrolliert. Folglich kann eine hohe Genauigkeit in diesen Benchmarks eher die Fähigkeit des Modells widerspiegeln, vertraute Operatoren neu zu kombinieren, als die Anwendung neuartiger wissenschaftlicher Priors.

Implikationen für zukünftige Arbeiten:

Benchmarks sollten generierte Aufgaben vor der Veröffentlichung gegen dokumentierte feste Bibliotheken testen.
Evaluierungen sollten BANK, LLM und UNION Ergebnisse gemeinsam berichten, um zwischen Kandidaten-Recall und der Erweiterung der effektiven Suchgrenzen zu unterscheiden.
Behauptungen über wissenschaftliche Entdeckungen sollten durch Belege gestützt werden, dass das LLM die Suchgrenze über das hinaus erweitert, was ein festes, semantikfreies Vokabular unter demselben Rechenbudget erreichen kann.