Experiments or Outcomes? Probing Scientific Feasibility in Large Language Models

Titel: Experimenten of Uitkomsten? Het Onderzoeken van Wetenschappelijke Haalbaarheid in Grote Taalmodellen (LLMs)

Auteurs: Seyedali Mohammadi, Manas Gaur, Francis Ferraro (University of Maryland, Baltimore County)

---

1. Probleemstelling

Hoewel Large Language Models (LLMs) steeds vaker worden ingezet in wetenschappelijke workflows (zoals literatuuronderzoek en hypothese-generatie), is hun vermogen om een fundamentele wetenschappelijke taak uit te voeren – wetenschappelijke haalbaarheidsbeoordeling – slecht begrepen.

Haalbaarheidsbeoordeling vraagt of een claim consistent is met gevestigde kennis en of er concrete experimenten bestaan die deze claim kunnen ondersteunen of weerleggen. Dit vereist diagnostisch redeneren over:

• Experimentele ontwerpen.
• Verwachte uitkomsten.
• De alignatie van bewijs.

Bestaand onderzoek focust vaak op hypothese-generatie of combineert interne kennis met zoekopdrachten zonder te isoleren wanneer welke bron voldoende is. De auteurs stellen drie kritieke vragen (RQ's):

1. Kunnen LLMs haalbaarheid beoordelen op basis van alleen parametrische kennis (interne training)?
2. Hoe beïnvloedt het toevoegen van expliciete context (experimenten, uitkomsten, of beide) de beoordeling in vergelijking met interne kennis?
3. Hoe robuust zijn deze oordelen wanneer de experimentele informatie incompleet is?

2. Methodologie

De auteurs stellen een gecontroleerd kennisframework voor om de impact van bewijs op haalbaarheidsoordelen te meten.

Probleemformulering:
De taak wordt gemodelleerd als een gestructureerd voorspellingsprobleem. Gegeven een hypothese $h$, moet het model een label voorspellen ($\hat{y} \in \{FEASIBLE, INFEASIBLE\}$) en een korte rechtvaardiging geven.

Gecontroleerde Kenniscondities:
Het model wordt getest onder vier verschillende contextcondities, waarbij de hypothese constant blijft:

1. H (Hypothesis-only): Geen externe context. Het model vertrouwt uitsluitend op interne kennis.
2. H+E (Hypothesis + Experiments): Het model krijgt beschrijvingen van experimenten, maar geen resultaten.
3. H+O (Hypothesis + Outcomes): Het model krijgt samenvattingen van uitkomsten, maar niet de experimentele procedures.
4. H+E+O (Hypothesis + Experiments + Outcomes): Volledige context (ontwerp + resultaten).

Stabiliteitsanalyse (Robuustheid):
Om te testen hoe modellen reageren op onvolledig bewijs, introduceren de auteurs een protocol waarbij experimenten ($k_1$) en uitkomsten ($k_2$) progressief worden verwijderd.

• Parameters: $k_1, k_2 \in \{0, 0.5, 1.0\}$ (respectievelijk 0%, 50%, 100% van de data zichtbaar).
• Doel: Meten of prestaties lineair verslechteren (monotoon) of abrupt instorten (niet-monotoon/brittle) bij gedeeltelijke informatie.

Datasets en Modellen:

• Datasets: MATTER-OF-FACT (claims met bronpapers die de hypothese kunnen ondersteunen of tegenspreken) en REASONS (claims expliciet ondersteund door literatuur).
• Modellen: Verschillende proprietary LLMs (GPT-5.1, GPT-4o, Gemini-2.5 Pro/Flash, Grok-4.1) om schaal- en leveranciersverschillen te testen.
• Data Leakage Control: Er wordt gefilterd op publicatiedata om te voorkomen dat modellen de testdata uit hun trainingscorpus kennen.

3. Belangrijkste Bijdragen

1. Gecontroleerd Kennisframework: Een nieuwe methode om systematisch te meten hoe experimenten versus uitkomsten de oordelen van LLMs verschuiven.
2. Stabiliteitsanalyse: Een kwantitatieve analyse van de robuustheid van modellen onder onvolledige informatie, wat blootlegt of modellen "graceful degradation" vertonen of juist kwetsbaar zijn.
3. Inzicht in Falen: Het identificeren van specifieke foutpatronen, zoals het overschatten van oppervlakkige tekstuele alignatie in plaats van diepgaande evidentiële validiteit.

4. Resultaten en Analyse

De resultaten tonen enkele verrassende en kritieke patronen:

Vindt 1: Uitkomsten zijn stabieler dan experimentbeschrijvingen.

• Het verstrekken van uitkomsten (H+O) verbetert of behoudt de prestaties betrouwbaarder dan het verstrekken van alleen experimenten (H+E).
• In veel gevallen verslechtert de prestatie bij H+E ten opzichte van de baseline (alleen hypothese). Dit suggereert dat experimentbeschrijvingen zonder resultaten ambiguïteit introduceren die LLMs niet kunnen oplossen.

Vindt 2: Meer bewijs is niet per se beter.

• De combinatie H+E+O presteert niet altijd beter dan H+O alleen. Soms presteert het zelfs slechter.
• Dit wijst erop dat LLMs context niet consistent combineren; extra context kan de besluitvorming verstoren in plaats van versterken.

Vindt 3: Niet-monotone degradatie (Brittleness).

• Bij gedeeltelijke informatie (bijv. 50% van de data) presteren modellen vaak slechter dan bij volledige informatie én soms zelfs slechter dan bij geen informatie (H-only).
• Dit betekent dat gedeeltelijk wetenschappelijk bewijs het model actief kan misleiden, in plaats van dat het simpelweg minder informatie biedt.

Oorzaken van falen:

• Oppervlakkige alignatie: Modellen geven te veel gewicht aan lexicale overeenkomsten tussen hypothese en experiment, zelfs als cruciale variabelen (zoals dosering of eindpunten) niet matchen.
• Gebrek aan relevantiegating: Modellen vragen zich zelden af of het aangeboden bewijs de hypothese daadwerkelijk test; ze proberen elke context te reconciliëren.
• Ankeren: Bij onvolledige informatie "ankeren" modellen zich op het beschikbare fragment en committeren ze zich te vroeg, in plaats van onzekerheid te tonen.

5. Betekenis en Conclusie

De studie concludeert dat huidige LLMs haalbaarheid behandelen als een oppervlakkige classificatietaken in plaats van een oordeel gebaseerd op evidentiële validiteit.

• Implicaties voor Wetenschap: Het simpelweg toevoegen van meer context (zoals experimentbeschrijvingen) aan een LLM-prompt kan de prestaties verslechteren. Uitkomsten (results) zijn waardevoller dan methodologie-tekst voor haalbaarheidsbeoordeling.
• Voor Toekomstige Systemen: Verbetering vereist mechanismen die expliciet evidentiële relevantie, onzekerheid en variabele-alignatie modelleren, in plaats van te vertrouwen op Retrieval-Augmented Generation (RAG) zonder kritische filtering.
• Evaluatie: Standaard evaluaties met volledige context maskeren deze kwetsbaarheden. Diagnostische evaluaties met gecontroleerde, gedeeltelijke informatie zijn essentieel om de betrouwbaarheid van LLMs in wetenschappelijke workflows te garanderen.

De auteurs benadrukken dat hun framework blootlegt dat LLMs "fragiel" zijn bij onvolledig bewijs en dat ze vaak zelfverzekerd maar ongegronde redeneringen produceren, wat een risico vormt voor geautomatiseerde wetenschappelijke besluitvorming.