Library Reachability in LSR-Synth: How Anti-Memorization Design Changes the Measurement of Symbolic Discovery

Technische Samenvatting: Library Reachability in LSR-Synth

1. Probleemstelling

Bestaande benchmarks voor de ontdekking van wetenschappelijke vergelijkingen, zoals LSR-Synth, zijn ontworpen om "formule-memorisatie" te beperken door doelvergelijkingen te construeren die gevestigde wetenschappelijke mechanismen combineren met nieuwe synthetische termen. Dit zorgt ervoor dat de volledige doelexpressie onwaarschijnlijk letterlijk voorkomt in de trainingscorpus van een taalmodel (LLM).

Er blijft echter een kritieke kloof bestaan in de vraag of het succes van een LLM voortkomt uit echte wetenschappelijke priors of louter uit het vermogen om bekende wiskundige bouwstenen te recombineren. Een doelvergelijking kan als geheel nieuw zijn, maar de constituerende operatoren (bijv. machten, exponenten, trigonometrische functies) en structurele patronen kunnen volledig aanwezig zijn binnen een vaste, semantiek-vrije zoekruimte. Als een conventioneel zoekalgoritme met een gedocumenteerde vocabulaire de doelvergelijking kan terugvinden zonder toegang te hebben tot de betekenis van variabelen of de domeinkontext, is de bijdrage van de LLM niet te onderscheiden van standaard operator-zoekopdrachten. Het artikel adresseert de vraag: Kunnen huidige LSR-Synth-taken effectief onderscheid maken tussen door LLM geleverde wetenschappelijke priors en conventionele zoekopdrachten binnen een vaste vocabulaire?

2. Methodologie

De auteurs introduceren een diagnostisch kader gecentreerd rond het concept library reachability (bibliotheek-bereikbaarheid): de eigenschap dat een doel bereikbaar is via een semantiek-vrije zoekopdracht onder een voorgeschreven vocabulaire en computationeel budget.

Experimentele opzet:

• Dataset: 129 taken uit de LSR-Synth benchmark (bestaande uit populatiegroei, fysieke oscillaties, chemische reacties en materiaalsamenhangen).
• Kandidaat-bronnen:
  • BANK: Een vaste kandidaat-bibliotheek geconstrueerd zonder toegang tot taak-semantiek (variabelenamen of domeinbeschrijvingen). Twee varianten worden gebruikt: BANK-LaSR (gebaseerd op de PySR-operator-set) en BANK-SRBench-PySR.
  • LLM: Kandidaten voorgesteld door een taalmodel onder twee condities:
    • L1: Volledige context (variabelenamen, domeinbeschrijving, databereiken).
    • L2: Semantische blindering (anonieme variabelen, geen domeinbeschrijving).
  • UNION: De unie van de BANK- en de LLM-kandidaatensets.
• Zoekprocedure: Een gepaard greedy search wordt uitgevoerd op elke kandidaat-pool (BANK, LLM, UNION) met identieke trainingssubsamples, passende procedures (niet-lineaire kleinste kwadraten met gezamenlijke parameterradiatie) en stopcriteria. Dit isoleert de kandidaat-bron als de enige variabele.
• Interventies:
  • Semantische Blindering: Het vergelijken van L1 met L2 om de waarde van domeinkontext te beochten.
  • Verzwakking van de Bibliotheek: Het vervangen van de volledige bibliotheek door een BANK-Poly (alleen polynomen) bibliotheek om expliciete dekkingshiaten te creëren.
  • Gelijke Knockouts: Het verwijderen van de vereiste operatorfamilies versus het verwijderen van een gelijk aantal irrelevante operatoren om de gevoeligheid voor dekking te testen.

Evaluatiemetrieken:

• In-distributie Nauwkeurigheid: Relatieve foutendrempels ($\tau=0.01, 0.001$).
• Strikte Gezamenlijke Herwinning: Succes op zowel in-distributie (ID) als out-of-distribution (OOD) data met $NMSE < 10^{-8}$.
• Symbolische Nauwkeurigheid (SA): Een strikte unanimiteitsregel (10/10 "Ja"-stemmen van GPT-OSS-120B) die bepaalt of het voorspelde skelet structureel equivalent is aan de grondwaarheid.

3. Belangrijkste Resultaten

• Hoge Dekking door Vaste Bibliotheken: Onder de volledige LaSR-vocabulaire bereikt de vaste BANK-LaSR bibliotheek een hoge prestatie (77.71% Acc0.01, 19.77% SA), waarmee zij veel bestaande LLM-gebaseerde methoden uit de literatuur overtreft.
• Marginale Bijdrage van LLM's: Wanneer de vaste bibliotheek compleet is, levert het toevoegen van LLM-kandidaten (UNION) verwaarloosbare of niet-monotone verbeteringen op ten opzichte van BANK alleen. De LLM ontdekt zelden oplossingen die de vaste bibliotheek niet kan vinden.
• Impact van Bibliotheekverzwakking: Wanneer de vaste bibliotheek wordt beperkt tot polynomen (BANK-Poly), daalt de prestatie aanzienlijk. In deze setting produceert het toevoegen van LLM-kandidaten (UNION-Poly) substantiële winst over alle metrieken, wat aantoont dat LLM's effectief zijn in het vullen van echte structurele hiaten (bijv. exponentiële of trigonometrische termen) die ontbreken in de beperkte vocabulaire.
• Semantische Context: De prestaties van de LLM zijn hoger met volledige context (L1) dan met geblindeerde context (L2), maar dit voordeel vertaalt zich alleen naar eind-tot-eind winst wanneer de vaste bibliotheek dekkingshiaten heeft.
• Decompositie van Succes: Analyse van gepaarde uitkomsten onthult een uitgebreide overlap tussen BANK en LLM successen. Onder strikte criteria (SA, OOD) is het aantal taken dat alleen door de LLM is opgelost klein vergeleken met de taken die alleen door BANK zijn opgelost.

4. Belangrijkste Bijdragen

• Concept van Library Reachability: Het artikel definieert en operationaliseert "library reachability" als een diagnostisch instrument om het onderscheid te maken tussen de nieuwheid van een volledige vergelijking en de nieuwheid van de zoekruimte.
• Diagnostisch Benchmarking Protocol: Het stelt een rigoureus evaluatieprotocol voor met gepaarde BANK, LLM en UNION runs met vaste seeds en budgetten om de bijdrage van LLM-priors te isoleren van de dekking van kandidaten.
• Empirisch Bewijs voor LSR-Synth: De studie toont aan dat de huidige geaggregeerde scores van LSR-Synth onvoldoende zijn om te claimen dat LLM's onmisbare wetenschappelijke priors bieden die verder gaan dan een vaste zoekruimte, aangezien de meeste taken bereikbaar zijn door semantiek-vrije bibliotheken.

5. Betekenis en Claims

Het artikel beweert niet dat LLM's nutteloos zijn voor symbolische regressie of dat anti-memorisatie benchmarks ongeldig zijn. In plaats daarvan biedt het een beperkte maar precieze conclusie:

"De huidige geaggregeerde benchmarkscore is op zichzelf onvoldoende om aan te tonen dat een taalmodel wetenschappelijke kennis bijdraagt die verder gaat dan wat al is gecodeerd in een vaste bibliotheek."

De auteurs stellen dat hoewel LSR-Synth erin slaagt om de herinnering van volledige formules te voorkomen, het momenteel niet controleert voor de bereikbaarheid van de zoekruimte. Bijgevolg kan een hoge nauwkeurigheid op deze benchmarks de reflectie zijn van het vermogen van het model om bekende operatoren te combineren, in plaats van de toepassing van nieuwe wetenschappelijke priors.

Implicaties voor Toekomstig Werk:

• Benchmarks zouden gegenereerde taken streng moeten testen tegen gedocumenteerde vaste bibliotheken voordat ze worden vrijgegeven.
• Evaluaties zouden BANK, LLM en UNION resultaten gezamenlijk moeten rapporteren om onderscheid te maken tussen kandidaat-herwinning en de effectieve uitbreiding van de zoekgrens.
• Claims van wetenschappelijke ontdekking moeten worden ondersteund door bewijs dat de LLM de zoekgrens uitbreidt voorbij wat een vaste, semantiek-vrije vocabulaire kan bereiken onder hetzelfde computationele budget.