The Novelty Horizon H_N: Why Large Language Models Fail to Generate Scientific Data beyond Their Training Distribution

Technische Samenvatting: De Nieuwigheidshorizon en de Limieten van LLM's in Wetenschappelijke Datageneratie

Probleemstelling
De integratie van Large Language Models (LLM's) in wetenschappelijke workflows heeft kritische vragen opgeroepen over hun vermogen tot werkelijke empirische ontdekking. Hoewel LLM's uitblinken in het genereren van taalkundig plausibele tekst door middel van statistische patroonherkenning, missen zij een gegrond model van de fysieke realiteit. Dit artikel behandelt de specifieke epistemologische kloof tussen "linguistische plausibiliteit" en "wetenschappelijke rigueur." Het centrale probleem is of autoregressieve LLM's, die opereren door het volgende token te voorspellen op basis van trainingsdistributies, wetenschappelijk geldige, empirisch getrouwe data kunnen genereren voor taken die extrapolatie buiten hun trainingsdata vereisen. De auteurs stellen dat de verwarring tussen statistische ononderscheidbaarheid en empirische validiteit een bedreiging vormt voor de integriteit van het onderzoek, aangezien modellen fysiek onmogelijke "hallucinaties" kunnen produceren die weliswaar voldoen aan tekstuele patronen, maar de causale natuurwetten schenden.

Methodologie
Om de hypothese te testen dat autoregressieve LLM's geen geldige data kunnen genereren buiten hun trainingsdistributie, hanteerden de auteurs een forensisch, op fysica gebaseerd analytisch kader. De studie maakte gebruik van een drieledig comparatief ontwerp gecentreerd rond een diode-clamped kortsluitingsexperiment, een systeem dat is gekozen omdat de niet-lineaire fysica en specifieke ruiskenmerken buiten de typische convexe omhullende van standaard trainingscorpora liggen.

De methodologie omvatte het genereren van drie parallelle datasets:

1. Geval 1 (Ongeleid): Een LLM (van de klasse GPT-5.2) genereerde een simulatiescript en data uitsluitend op basis van basis circuitparameters (2.5V/0.25A, 5.0V/0.5A) zonder procedurele context.
2. Geval 2 (Geleid): Dezelfde LLM genereerde een script en data nadat deze werd voorzien van de volledige experimentele procedure, inclusclusief circuitschema's, componentspecificaties (1N5408 diodes, ACS712T sensor) en protocollen voor datamiddeling.
3. Geval 3 (Ground Truth): Experimentele data van een fysieke meting van hetzelfde systeem, dienend als de onveranderlijke benchmark.

Een parallel direct-prompt framework werd eveneens uitgevoerd (gedetailleerd in de aanvullende informatie), waarbij de LLM numerieke data genereerde zonder de tussenstap van codegeneratie, om te bepalen of fouten artefacten waren van het coderingsparadigma of fundamenteel zijn aan de modelarchitectuur.

De datasets werden onderworpen aan een meerlaagse forensische analyse:

• Temporele en Spectrale Analyse: Onderzoek naar autocorrelatiefuncties (ACF) en vermogensspectrale dichtheden (PSD) om realistische sensornuis-signaturen (bijv. $1/f^\alpha$ ruis) te detecteren versus algoritmische artefacten.
• Validatie van Fysische Constraints: Testen van de naleving van de Wet van Ohm en energiebehoud. Cruciaal was de analyse van de Ohmische residuen (het verschil tussen de gemeten spanning en de uit de stroom afgeleide weerstand) om de onafhankelijkheid van meetruis te verifiëren.
• Fitting met First-Principles Model: Het fitten van de data aan een Gemodificeerde Wet van Ohm afgeleid uit de halfgeleiderfysica ($v_s(t) = i(t)R_{sc} + nV_T \ln(i(t)/I_s)$) om de plausibiliteit van parameters en de kwaliteit van de fit te beoordelen.
• Regime-analyse: Het scheiden van data in lineaire ($|v_s| < 0.3V$) en niet-lineaire ($|v_s| \ge 0.3V$) regimes om de prestaties op de grens van de trainingsdistributie te testen.
• Generatieve Fidelity Score (GFS): Een samengestelde metriek die fysieke constraints, statistische eigenschappen en de kwaliteit van de model-fit synthetiseert.

Belangrijkste Bijdragen

1. Conceptuele Constructen: Het artikel definieert formeel de Past Information Boundary ($B_P$) als de geordende tripel $(t_p, \Omega_{train}, C_{train})$, wat de temporele grens, de ondersteuning van de trainingsdistributie en de verzameling geleerde conditionele waarschijnlijkheden vertegenwoordigt. Verder wordt de Novelty Horizon ($H_N$) gedefinieerd als de grens waarbinnen een model niet langer betrouwbaar taken kan uitvoeren die vereisen: (i) extrapolatie buiten de convexe omhullende van $\Omega_{train}$, (ii) causaal redeneren dat niet is gecodeerd in $C_{train}$, of (iii) informatie die de datum $t_p$ overstijgt.
2. Fysica-gebaseerde Authenticatie: De auteurs introduceren een forensische methodologie om "perfecte algebraïsche artefacten" te detecteren, waarbij LLM's natuurwetten behandelen als deterministische tautologieën in plaats van relaties tussen onafhankelijke, ruisgevoelige metingen.
3. Kwantitatieve Validatie: De ontwikkeling van de Generative Fidelity Score (GFS) biedt een gestandaardiseerde metriek om de afwijking van synthetische data van de fysieke realiteit te kwantificeren.

Resultaten
De studie toont een fundamenteel falen aan van zowel ongeleide als geleide LLM's bij het genereren van wetenschelijk geldige data voor taken die de Novelty Horizon overschrijden:

• Catastrofale Fysieke Inconsistenties: Zowel de door LLM gegenereerde gevallen vertoonden perfecte algebraïsche afsluiting, met Ohmische residuen in de orde van grootte van $10^{-17} \Omega$ (machinaprecisie), vergeleken met de experimentele ground truth van $5.78 \times 10^{-3} \Omega$. Dit geeft aan dat de modellen afhankelijke variabelen deterministisch genereerden in plaats van onafhankelijke meetprocessen te simuleren.
• Statistische Pathologieën: Geleide generatie (Geval 2) produceerde data met extreme statistische anomalieën, waaronder kurtosis-waarden van 65.4 voor de 2.5V configuratie en 84.3 voor de 5.0V configuratie (script-gebaseerd), en meer dan 200 (direct-prompt), naast incorrecte spectrale signaturen die de karakteristieke $1/f$ ruis van fysieke sensoren misten.
• Regime Misplaatsing: De modellen faalden in het correct navigeren van het niet-lineaire clamping-regime. Geval 1 genereerde data met foutieve hoge spanningen, terwijl Geval 2 alle data onjuist beperkte tot het lineaire regime ($|v_s| < 0.3V$), waardoor de diode-clamping dynamiek ondanks expliciete procedurele begeleiding niet werd gesimuleerd.
• Model Fit Falen: De door LLM gegenereerde data leverde zinloze parameters op wanneer deze werden gefit aan de Gemodificeerde Wet van Ohm (bijv. negatieve $R^2$-waarden, parameters die de algoritmische grenzen bereikten), terwijl de experimentele data fysiek plausibele weerstand en diode-parameters opleverde.
• Direct-Prompt Bevestiging: Het parallelle direct-prompt framework bevestigde dat deze fouten geen artefacten zijn van codegeneratie, maar inherent zijn aan de autoregressieve architectuur, wat zelfs nog ernstigere distributionele pathologieën onthulde wanneer de structurele code-beperkingen werden verwijderd.

Betekenis en Claims
Het artikel claimt een definitieve grens vast te stellen voor de toepassing van LLM's in de empirische wetenschap. Er wordt gesteld dat de Novelty Horizon ($H_N$) een structurele limiet is die inherent is aan autoregressieve modellen die getraind zijn op statische corpora. De auteurs beweren dat:

• LLM's in staat zijn tot interpolatie binnen de convexe omhullende van hun trainingsdata, maar catastrofaal falen wanneer zij worden gevraagd tot extrapolatie naar nieuwe experimentele configuraties of causale structuren die niet in hun training zijn gecodeerd.
• Het bieden van procedurele context (prompt engineering) de numerieke schaling kan verbeteren, maar geen causaal begrip of begrip van meetonafhankelijkheid kan imparten die nodig is voor geldige wetenschappelijke datageneratie.
• Het "perfecte algebraïsche artefact" dient als een betrouwbare diagnose om te detecteren wanneer een LLM buiten zijn Novelty Horizon heeft opereerd.
• De rol van LLM's in de wetenschap moet worden geherdefinieerd als Augmented Intelligence: instrumenten voor literatuursynthese, code-aanvulling en hypothesegeneratie, maar niet als autonome agenten voor experimenteel ontwerp of datageneratie.
• Toekomstige vooruitgang vereist hybride, neuro-symbolische systemen die statistische patroonherkenning integreren met formele, causale wereldmodellen en fysieke simulators om de Novelty Horizon te overschrijden.

Het artikel concludeert dat de onmisbare rol van menselijke wetenschappers in causaal redeneren en experimenteel ontwerp onbetwist blijft, aangezien huidige LLM's gebonden zijn aan hun Past Information Boundary en niet alleen de frontlinie van echte wetenschappelijke ontdekking kunnen navigeren.