Technische Samenvatting: SciMIF

Probleemstelling

De toepassing van Multimodale Grote Taalmodellen (MLLM's) in wetenschappelijke domeinen is geëvolueerd van basisvragenbeantwoording naar complexe paradigma's zoals autonome wetenschappelijke agenten. De huidige evaluatiemethoden richten zich echter primair op wetenschappelijke juistheid (of het uiteindelijke antwoord feitelijk accuraat is) in plaats van op instructie-opvolging (of het model expliciete operationele beperkingen respecteert).

Bestaande algemene benchmarks voor instructie-opvolging (bijv. IF-Eval, FollowBench) beoordelen beperkingen met betrekking tot formaat, lengte en stijl, maar missen domeinspecifieke wetenschappelijke beperkingen. Omgekeerd evalueren bestaande wetenschappelijke benchmarks (bijv. SciBench, MMMU) redenering en kennis, maar testen zij niet systematisch het vermogen van een model om complexe, meerstaps operationele instructies op te volgen. Dit gat verhult twee afzonderlijke capaciteiten: een model kan een wetenschappelijk correct antwoord produceren dat de gevraagde eenheden of formaten schendt, of het kan een formaat strikt opvolgen terwijl het steunt op ongeldige wetenschappelijke redenering. Bovendien is wetenschappelijke instructie-opvolging uniek uitdagend vanwege de afhankelijkheid van domeinspecifieke kennis, interdisciplinaire variaties in semantiek en de frequente afhankelijkheid van multimodale inputs (bijv. moleculaire structuren, microscopiebeelden).

Methodologie

1. Taxonomie van Wetenschappelijke Beperkingen

De auteurs introduceren SciMIF (Scientific Multimodal Instruction Following), een benchmark ontworpen om MLLM's te evalueren over vijf wetenschappelijke disciplines: Chemie, Geografie, Biologie, Materiaalkunde en Natuurkunde.

Op basis van een analyse van 22 verschillende taken binnen deze disciplines hebben de auteurs een hiërarchische taxonomie geconstrueerd die bestaat uit:

• 10 Functionele Beperkingsgroepen: Deze vatten gedeelde vereisten over domeinen heen samen, inclusen Procedure, Getal, Methode, Eenheid, Formaat, Terminologie, Precisie, Letter, Structuur en Selectie.
• Disciplinespecifieke Instantiaties: Hoewel de functionele groepen gedeeld worden, variëren hun concrete betekenissen. Zo vereist een "Terminologie"-beperking geldende moleculaire nomenclatuur in de Chemie, hiërarchische adressering in de Geografie en karakteriseringstechnieken in de Materiaalkunde.
• Beperkingsinventaris: De uiteindelijke benchmark bevat 42 afzonderlijke beperkingen afgeleid van de 10 groepen, aangepast aan de conventies van elk discipline.

2. Dataconstructie-pipeline

SciMIF wordt systematisch geconstrueerd door 13 bestaande wetenschappelijke datasets (totaal 2.527 monsters) te augmenteren via een vierstaps-pipeline:

1. Seed-voorbereiding: Het selecteren van monsters met een vraag ($q$), optionele visuele input ($I$), referentieantwoord ($a$) en taaktype ($t$).
2. Beperkingsherkenning: Het identificeren van beperkingen die al impliciet in de oorspronkelijke query aanwezig zijn om redundantie te voorkomen.
3. Beperkingsinjectie:
   • Wetenschappelijke Beperkingen: Het injecteren van domeinspecifieke beperkingen die compatibel zijn met het taaktype.
   • Algemene Beperkingen: Het injecteren van algemene operationele beperkingen (bijv. uitvoerformaat, hoofdlettergebruik) zonder de wetenschappelijke juistheid van het referentieantwoord te wijzigen.
   • Validatie: Een automatische dubbelcheck waarborgt dat de geïnjecteerde beperking aanwezig is in de query en dat het grondwaarheidsantwoord geldig blijft.
4. Menselijke Verificatie: Twee annotatoren beoordelen de monsters op logische coherentie, vloeiendheid en beperkingsgetrouwheid. Problematische monsters worden herzien of verwijderd.

3. Evaluatiemetrieken

De benchmark gebruikt drie metrieken om prestaties te beoordelen:

• Constraint Satisfaction Rate (CSR): Het gemiddelde aandeel voldane beperkingen over alle instructies.
• Instruction Satisfaction Rate (ISR): Het aandeel instructies waarbij alle bijbehorende beperkingen volledig zijn voldaan.
• Decomposed Requirements Following Ratio (DRFR): Meet naleving op het niveau van individuele gedecomposeerde vereisten over het totaal aantal beperkingen.

Verificatie maakt gebruik van scriptgebaseerde methoden (voor deterministische controles zoals formaat en eenheden) en LLM-as-a-Judge protocollen (voor semantische controles zoals redeneringsstappen).

Belangrijkste Resultaten

1. Prestatieverschillen tussen Disciplines

Evaluatie van state-of-the-art closed-source (bijv. GPT-5.2, Claude-Sonnet-4.6) en open-source modellen (bijv. Qwen3.5, InternVL3.5) onthult significante variatie:

• Chemie vormt de grootste uitdaging, waarbij het best presterende model (GPT-5.2) een ISR van slechts 46,33% bereikt.
• Biologie en Materiaalkunde vertonen een hogere prestatie (ISR ~72–78%).
• Geografie presenteert ook aanzienlijke moeilijkheden vanwege ruimtelijke hiërarchieën.
• Natuurkunde levert over het algemeen de hoogste DRFR-scores op (92,2% gemiddeld).

2. Modelomvang en Architectuur

• Scaling Paradox: Het vergroten van het aantal modelparameters leidt niet tot lineaire verbeteringen in instructie-opvolging. Bijvoorbeeld, in de Qwen3.5-serie presteerde het 122B-model (50,41% ISR) iets slechter dan het 27B-model (51,37% ISR).
• Closed vs. Open Source: Closed-source modellen presteren consistent beter dan hun open-source tegenhangers over alle disciplines, wat wijst op voordelen in datakwaliteit en alignment-strategieën.

3. Analyse van Beperkingsdomeinen

• Algemene vs. Wetenschappelijke Beperkingen: Modellen presteren aanzienlijk beter op wetenschappelijke beperkingen (semantisch gekoppeld aan de taak) dan op algemene beperkingen (formattering/structuur). Voor GPT-5.2 was de DRFR op wetenschappelijke beperkingen 88,74% versus 74,65% op algemene beperkingen.
• Verfijnde Uitdagingen: Modellen worstelen het meest met Letter- en Getal-beperkingen, die precieze symbolische verwerking en domeinspecifieke entiteitsherkenning vereisen (bijv. het tellen van chemische bindingen versus het tellen van karakters).

4. Juistheid vs. Opvolging

Een cruciale bevinding is de zwakke koppeling tussen wetenschappelijke juistheid en instructie-opvolging:

• Slechts ~30% van de monsters behaalde zowel wetenschappelijke juistheid als volledige instructie-opvolging (Correct en Vervuld).
• Ongeveer 20% van de monsters was wetenschappelijk correct maar schond de beperkingen (Correct maar Geschonden).
• Meer dan 30% van de monsters volgde de instructies maar produceerde onjuiste wetenschappelijke antwoorden (Onjuist maar Vervuld).
• Statistische analyse (Pearson $\chi^2$-test) bevestigt dat hoewel juistheid en opvolging positief geassocieerd zijn, de sterkte van deze associatie bescheiden is ($\phi$-coëfficiënten variërend van 0,06 tot 0,20), wat aangeeft dat het afzonderlijke capaciteiten zijn.

Betekenis en Bijdragen

Het artikel claimt drie primaire bijdragen:

1. Door Experts Afgeleide Taxonomie: De vestiging van een uitgebreide taxonomie van wetenschappelijke beperkingen verspreid over vijf disciplines en tien functionele groepen, waarbij zowel gedeelde capaciteiten als domeinspecifieke vereisten worden vastgelegd.
2. Schaalbaar Framework: Een methodologie om bestaande wetenschappelijke taken te transformeren naar instructie-opvolgingsevaluaties door impliciete beperkingen te herkennen en compatibele beperkingen te injecteren zonder het referentieantwoord te wijzigen.
3. Benchmark en Evaluatie: De constructie van SciMIF en de evaluatie van representatieve MLLM's, die onthult:
   • Significante disciplinaire variatie in prestaties.
   • Ernstige moeilijkheden met fijnmazige beperkingen.
   • Een duidelijke kloof tussen wetenschappelijke juistheid en instructie-opvolging.

De auteurs concluderen dat huidige MLLM's nog niet betrouwbaar zijn voor rigoureuze wetenschappelijke toepassingen die strikte operationele beperkingen vereisen. Zij suggereren dat toekomstig onderzoek zich moet richten op domeinbewuste instructie-alignment, de integratie van externe tools (bijv. symbolische engines) voor fijnmazige beperkingen, en optimalisatie voor de gezamenlijke bereiking van juistheid en opvolging in plaats van deze als geïsoleerde zaken te behandelen.