Technische Samenvatting: Science Edge Evaluation (SEE)

Probleemstelling

Huidige Large Language Models (LLMs) en Multimodale Large Language Models (MLLMs) worden steeds vaker geïntegreerd in wetenschappelijke workflows, maar hun vermogen om complexe, real-world laboratoriumwetenschap te ondersteunen is nog niet geverifieerd. Bestaande evaluatieparadigma's lijden aan drie primaire beperkingen:

1. Oppervlakkigheid: Ze geven prioriteit aan breedte boven diepgang en vertrouwen op gesaneerde, op examens gebaseerde problemen die patronen herkennen en memorisatie belonen in plaats van dynamische, op bewijs gebaseerde redenering.
2. Unimodale Bias: Ze negeren vaak het multimodale karakter van wetenschappelijk redeneren, wat de gezamenlijke interpretatie van figuren, spectra, microscopiebeelden, numerieke gegevens en tekst vereist.
3. Disciplinaire Silo's: Ze behandelen wetenschappelijke domeinen (chemie, biologie, materiaalkunde) als geïsoleerde entiteiten, waardoor ze er niet in slagen de interdisciplinaire integratie te vatten die vereist is voor modern onderzoek.

Als gevolg hiervan meten huidige benchmarks niet nauwkeurig of modellen kunnen redeneren vanuit incomplete, heterogene en interdisciplinaire experimentele bewijslast — een kerneis voor authentieke wetenschappelijke ontdekking.

Methodologie: Science Edge Evaluation (SEE)

Om deze hiaten aan te pakken, introduceren de auteurs Science Edge Evaluation (SEE), een multimodale benchmark die geworteld is in peer-reviewed literatuur en expert experimentele praktijk.

Dataconstructie

• Bronnen: Vragen zijn afgeleid van echte wetenschappelijke onderzoeksomgevingen, inclusclusief figuren en gegevens uit peer-reviewed artikelen en eerstehands experimentele gegevens bijgedragen door actieve experts uit de frontlinie (houders van een PhD of promovendi) in chemie, biologie en materiaalkunde.
• Omvang: De benchmark bestaat uit 1.116 vragen (waarvan 1.049 publiekelijk vrijgegeven) verspreid over 17 fijnmazige subgebieden binnen de drie hoofddisciplines. Het bevat zowel binnen-discipline als cross-discipline vragen.
• Modaliteit: Taken zijn multimodal, waarbij interpretatie van diverse visuele bewijzen vereist is zoals Cryo-EM structuren, Western blots, NMR/MS spectra, SEM/TEM/AFM beelden, röntgendiffractiepatronen en thermische analysecurves.
• Kwaliteitscontrole: Een rigoureuze pipeline waarborgt de dataintegriteit:
  1. Standaardisatie: Uniforme formulering, terminologie en beeldresolutie.
  2. AI-ondersteunde controles: Geautomatiseerde verificatie van formaat en uniciteit van antwoorden.
  3. Expert Review: Domeinexperts verifiëren de wetenschappelijke nauwkeurigheid en de correctheid van de labels.
  4. Image-Ablation Checking: Vragen die enkel op basis van tekst opgelost kunnen worden, worden verwijderd om te garanderen dat visueel bewijs onmisbaar is.

Evaluatieprotocol

• Geteste Modellen: 19 representatieve MLLMs werden geëvalueerd, waaronder 15 algemene modellen (bijv. GPT-5.6-Sol, Gemini 3.1 Pro, Qwen3.8-Max) en 4 wetenschaps-gespecialiseerde modellen (bijv. Intern-S2 Preview, S1-VL).
• Scoring: Er wordt een strikt binair scoringsprotocol gebruikt. Bij meerkeuzevragen moeten antwoorden exact overeenkomen met de grondwaarheid. Numerieke antwoorden worden geëvalueerd met door experts gedefinieerde toleranties. Weigeringen en niet-antwoorden worden als onjuist geteld.
• Judge Model: Een "LLM-as-a-judge" pipeline (gebruikmakend van Gemini 3.1 Pro) extraheert en verifieert antwoorden, waarbij de robuustheid is bevestigd via alternatieve judges.

Experimentele Variaties

1. Modality Ablation: Afbeeldingen werden verwijderd om te testen of modellen ontbrekende informatie herkennen of antwoorden hallucineren op basis van tekstuele priors.
2. Tool-Augmented Visual-Agent: De best presterende modellen werden getest met toegang tot webzoekopdrachten en code-interpreters om te evalueren of het gebruik van tools de redeneerkloof kan overbruggen.

Belangrijkste Resultaten

1. Algemene Prestaties zijn Laag

Zelfs het best presterende model, GPT-5.6-Sol (Max), behaalde slechts 48,7% nauwkeurigheid op de volledige dataset. Geen enkel model kwam boven de 50%. De gemiddelde nauwkeurigheid over alle 19 modellen was significant lager, waarbij algemene modellen gemiddeld 34,9% scoorden en wetenschaps-gespecialiseerde modellen gemiddeld 22,2%.

2. Algemene Modellen Presteren Beter dan Gespecialiseerde Modellen

In tegen tegenstelling tot de verwachting dat domeinspecifieke training betere resultaten oplevert, presteerden algemene modellen gemiddeld beter dan wetenschaps-gespecialiseerde modellen. Dit suggereert dat gespecialiseerde training de bekendheid met terminologie verbetert, maar niet noodzakelijkerwijs het vermogen versterkt om visueel experimenteel bewijs te integreren met specifieke contexten.

3. Interdisciplinair Redeneren is een Bottleneck

De prestaties nemen af naarmate de complexiteit van interdisciplinaire integratie toeneemt:

• Single-discipline vragen: 35,1% gemiddelde nauwkeurigheid.
• Cross-discipline vragen: 28,7% gemiddelde nauwkeurigheid.
• Complexiteitsgradiënt: De nauwkeurigheid daalt van 36,2% (1 sub-discipline label) naar 28,2% (4 sub-discipline labels), wat aangeeft dat modellen moeite hebben met het coördineren van kennis over meerdere wetenschappelijke concepten en bewijstypen.

4. Evidence Grounding en Hallucinatie

In de modality ablation studie (alleen tekstuele input) identificeerden modellen ontbrekende visuele informatie in slechts 4,6% van de gevallen. In plaats van zich te onthouden van een antwoord, genereerden ze vaak antwoorden op basis van linguïstische priors of patronen uit de trainingsdata, wat een gebrek aan bewustzijn over de grenzen van bewijsvoering aantoont.

5. Tool-Augmented Agents

Het introduceren van webzoekopdrachten en code-interpreters verbeterde de nauwkeurigheid van het beste model van 48,7% naar 52,7%. Hoewel tools de toegang tot informatie vergrootten en code-ondersteunde beeldanalyse mogelijk maakten, introduceerden ze ook nieuwe foutmodi:

• Nuttig: Feitenretrieval (47,7%), code-ondersteunde beeldanalyse (41,6%).
• Nadelig: Fouten in de integratie van bewijslast (40,0%), verkeerde selectie van acties (26,9%) en eindeloos overdenken (11,7%).
  De resultaten wijzen erop dat toegang tot tools alleen geen gegarandeerd betrouwbaar redeneren oplevert; het vermogen om tool-afgeleide informatie te beheren binnen de grenzen van het oorspronkelijke bewijs is de kritieke uitdaging.

Foutanalyse

Het paper identificeert specifieke foutmodi die betrouwbare wetenschappelijke ontdekking in de weg staan:

• Perceptie: Modellen missen kwantitatieve precisie bij het lezen van visuele data (bijv. het extraheren van exacte waarden uit spectra) en onderdrukken vaak conflicterende visuele input ten gunste van hoogfrequente trainingspatronen.
• Inferentie:
  • Gebrek aan Globale Coherentie: Modellen falen in het integreren van beperkingen over meerdere subfiguren of het detecteren van logische tegenstrijdigheden binnen opties.
  • Overextrapolatie: Modellen behandelen voorlopige of geïsoleerde resultaten als conclusief en verzinnen bewijs om claims te rechtvaardigen.
  • Coördinatie Bottlenecks: Taken die gelijktijdige visuele perceptie, domeinkennis en logisch redeneren vereisen (bijv. NMR-interpretatie) leiden tot een multiplicatieve stapeling van fouten.

Betekenis en Claims

Het paper claimt dat SEE een fundamentele beperking in huidige MLLMs blootlegt: ze kunnen niet betrouwbaar rechtvaardige, op bewijs gebonden inferenties maken uit experimentele resultaten.

• De Kloof: De primaire barrière voor wetenschappelijk nuttige AI is niet een gebrek aan kennis, domeinspecialisatie of toegang tot tools, maar het onvermogen om multimodale bewijslast te beheren en strikt te redeneren binnen de grenzen van de beschikbare data.
• De Verschuiving: Wetenschappelijke evaluatie moet evolueren van het testen van kennisreproductie naar het beoordelen van bewijs-gegronde, multimodale, interdisciplinaire en onzekerheidsbewuste redenering.
• Toekomstige Richting: De auteurs betogen dat toekomstige benchmarks voor wetenschappelijke agenten de interactietrajectorie moeten evalueren — beoordelen of acties gerechtvaardigd worden door bewijs, of onzekerheid wordt erkend, en of conclusies worden herzien wanneer nieuwe observaties aannames tegenspreken.

Het paper concludeert dat het overbruggen van de kloof tussen huidige AI-capaciteiten en echte wetenschappelijke ontdekking vereist dat modellen transformeren van het verklaren van gevestigde concepten naar het afleiden van nieuwe, op bewijs gebaseerde inzichten uit experimentele data.