💻 computer science

Sci-Rho: A Multilingual Visually-Grounded Symbolic Benchmark for STEM Problems

Dit artikel introduceert Sci-Rho, een meertalige, visueel gegronde symbolische benchmark bestaande uit 4.242 uitvoerbare STEM-probleemtemplates over vijf vakgebieden en zeven talen, die aanzienlijke robuustheidskloven onthult in state-of-the-art Vision-Language Models wanneer deze worden geëvalueerd tegenover worst-case variaties in plaats van statische gemiddelden.

Oorspronkelijke auteurs: Muhammad Falensi Azmi, Ikhlasul Akmal Hanif, Vallerie Alexandra Putra, Adi Yeltay, Abdullah Mubarak, Fajri Koto

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Muhammad Falensi Azmi, Ikhlasul Akmal Hanif, Vallerie Alexandra Putra, Adi Yeltay, Abdullah Mubarak, Fajri Koto

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je het vermogen van een nieuwe student om wetenschappelijke problemen op te lossen test. In het verleden gaven onderzoekers de student een enkel, statisch werkblad met één afbeelding en één vraag. Als de student het goed had, slaagde hij. Maar dit artikel betoogt dat dat is alsoals een bestuurder testen op slechts één lege, rechte weg. Het vertelt je niet of ze een plotselinge kuil, een omleiding of een andere weersomstandigheid kunnen afhandelen.

De auteurs van dit artikel, Sci-ρ, besloten een veel moeilijkere, meer dynamische rijtest te bouwen voor AI-"studenten" (specifiek Vision-Language Models of VLM's).

Hier is een eenvoudige uitsplitsing van wat ze hebben gedaan en wat ze hebben gevonden:

1. De "Vormveranderende" Test (De Dataset)

In plaats van de AI 606 statische wetenschappelijke vragen te geven, bouwden de onderzoekers een digitale fabriek.

Het Blauwdruk: Ze creëerden 606 "templates" voor problemen in Wiskunde, Natuurkunde, Scheikunde, Biologie en Informatica. Denk aan deze als meesterblauwprints.
De Fabriek: Ze schreven computercode (Python) die deze blauwdrukken neemt en onmiddellijk 10 licht verschillende versies van elk probleem uitprint.
- Voorbeeld: Als een wiskundeprobleem vraat naar de oppervlakte van een vierkant, print de fabriek één versie met een zijde van 5, een andere met 7, een andere met een andere kleur, of zelfs een andere vorm volledig.
De Meertalige Twist: Ze deden dit niet alleen in het Engels. Ze vertaalden de instructies naar 7 talen (inclusief Swahili, Hindi en Arabisch), terwijl de afbeeldingen hetzelfde bleven.
Het Resultaat: Ze kwamen uit op 42.420 unieke problemen. Het is alsof je de AI een enorme bibliotheek geeft waar elk boek 10 verschillende edities heeft, die allemaal dezelfde kernlogische vraag stellen maar er net iets anders uitzien.

2. De "Gemiddelde" vs. "Worst-Case" Valstrik

De onderzoekers testten 17 verschillende AI-modellen op deze enorme bibliotheek. Ze keken naar twee scores:

Gemiddelde Nauwkeurigheid: Hoe vaak de AI het antwoord goed had over alle 10 de versies van een probleem.
Worst-Case Nauwkeurigheid: Hoe vaak de AI elke enkele een van de 10 versies goed had.

De Grote Ontdekking:
De AI-modellen zagen er geweldig uit op de "Gemiddelde" score. Maar toen de onderzoekers naar de "Worst-Case" score keken, stortten de modellen in.

De Analogie: Stel je een student voor die 9 van de 10 wiskundeproblemen goed heeft. Hij lijkt slim. Maar als je hem dezelfde 10 problemen opnieuw vraagt met licht verschillende getallen, en hij heeft deze keer 4 van hen fout, dan is hij niet echt aan het "redeneren" door de wangkunde. Hij is waarschijnlijk gewoon patronen aan het herkennen of aan het gokken op basis van hoe de getallen eruitzien.
De Bevinding: Zelfs de slimste, duurste AI-modellen (zoals GPT-5.4) vertoonden een enorme kloof. Ze konden een probleem gemakkelijk oplossen, maar als ze de kleur van een grafiek of de getallen licht veranderden, faalden ze vaak. Kleinere, goedkopere modellen faalden nog harder.

3. De Taalbarrière

De onderzoekers controleerden of de AI meer moeite had wanneer de instructies in een andere taal dan het Engels waren.

De Grote Modellen: De gigantische, dure modellen waren als polyglotten; ze gingen bijna even goed om met Engels, Chinees en Swahili.
De Kleine Modellen: De kleinere, open-source modellen waren als toeristen die alleen Engels spreken. Wanneer de instructies overgingen naar een minder algemene taal (zo zoals Swahili), daalde hun prestatie aanzienlijk. Ze leken verward door de taalverandering, ook al was het wetenschappelijke probleem hetzelfde.

4. Het "Ogen vs. Brein" Probleem

De onderzoekers keken in één van de AI-modellen om te zien hoe het "dacht". Ze maten hoeveel aandacht het model besteedde aan de afbeelding versus de tekst.

De Bevinding: De aandacht van het model verschoof afhankelijk van de taal.
- Wanneer de tekst in het Chinees was, vertrouwde het model minder op de afbeelding en meer op de tekst.
- Wanneer de tekst in het Kazachs of Hindi was, vertrouwde het model zwaar op de afbeelding.
De Metafoor: Het is alsof de AI denkt: "Ik begrijp deze taal niet goed, dus ik gok maar op basis van de tekening." Wanneer het de taal perfect begrijpt, vertrouwt het de woorden meer. Dit suggereft dat de AI de afbeelding niet echt op een menselijke manier "ziet"; het gebruikt de afbeelding slechts als kruk wanneer de tekst verwarrend is.

5. Waar de AI Vastliep

Wanneer de AI faalde, categoriseerden de onderzoekers de fouten:

De Afbeelding Verkeerd Lezen (63%): De AI kon de stippen in een diagram niet goed tellen of de getallen op een grafiek niet correct aflezen.
Slechte Logica (29%): De AI kende de juiste formule maar paste deze toe op het verkeerde ding, of verzon feiten die er niet waren.
Rekenfouten (8%): De AI had de logica goed, maar maakte fouten in de eenvoudige rekenkunde.

De Kernboodschap

Het artikel concludeert dat statische tests ons voorliegen. Alleen omdat een AI een specifieke wetenschappelijke vraag één keer kan oplossen, betekent niet dat hij de wetenschap begrijpt. Hij is mogelijk alleen patronen aan het herkennen die hij tijdens zijn training heeft gezien.

Om echt te weten of een AI slim is, moeten we de tafel schudden, de getallen veranderen, de talen wisselen en kijken of hij nog steeds het probleem kan oplossen. Als dat niet zo is, is het geen redeneren; het is gewoon gokken. Sci-ρ is het instrument dat ontworpen is om die tafel te schudden.

Technische Samenvatting: Sci-ρ: Een Multilinguale Visueel-Gegronde Symbolische Benchmark voor STEM-problemen

Probleemstelling

Huidige benchmarks voor het evalueren van Large Vision-Language Models (VLMs) in STEM-domeinen lijden aan drie primaire beperkingen:

Gebrek aan Evaluatie van Robuustheid: De meeste bestaande benchmarks vertrouwen op statische, eenmalige afbeeldingen. Ze slagen er niet in om onderscheid te maken tussen modellen die werkelijk redeneren over visuele inhoud en modellen die succesvol zijn door oppervlaktekenmerken te matchen die tijdens de training zijn gezien. De visuele presentatie van een probleem (bijv. specifieke coördinaten of kleuren) is vaak incidenteel aan de onderliggende logica, maar huidige evaluaties testen niet of modellen logisch equivalente varianten met verschillende visuele parameters kunnen oplossen.
Beperkte Domeinomvang: Bestaande inspanningen zijn zwaar geconcentreerd op Wiskunde en Natuurkunde, waardoor Biologie, Chemie en Informatica grotendeels onontgonnen blijven in de context van visueel-gegronde redenering, ondanks hun afzonderlijke visuele eisen (bijv. moleculaire structuren, biologische diagrammen).
Monolinguale Bias: Evaluaties worden bijna uitsluitend in het Engels uitgevoerd, waardoor het onduidelijk blijft of de capaciteiten van VLMs overdraagbaar zijn naar de meertalige omgevingen waarin de meeste leerlingen en professionals de STEM-inhoud daadwerkelijk tegenkomen.

Methodologie: De Sci-ρ Benchmark

Om deze hiaten aan te pakken, introduceren de auteurs Sci-ρ (Science Rhobustness), een dynamische, symbolische en meertalige benchmark voor visueel-gegronde STEM-problemen.

Dataconstructie

De dataset werd in twee fasen geconstrueerd met betrokkenheid van domeinexperts, waaronder winnaars van wetenschapsolympiades en gevorderde bachelorstudenten:

Template Creatie: 606 hoogwaardige probleemtemplates werden gemaakt over vijf vakken (Wiskunde, Natuurkunde, Chemie, Biologie en Informatica) gebaseerd op de Cambridge IGCSE en A-Level curricula. Elk probleem is geïmplementeerd als een uitvoerbare Python-klasse. Deze klassen genereren dynamisch probleeminstanties door te variëren in:
- Numerieke waarden: Het veranderen van getallen in tekst of afbeeldingen.
- Visuele patronen: Het veranderen van arrangementen (bijv. objectposities).
- Geometrische vormen: Het wijzigen van dimensies of vormen.
- Kleurenschema's: Het veranderen van oplossingskleuren of objecttinten.
- Functietypes: Het wisselen tussen lineair, kwadratisch, etc.
  Elk template garandeert ten minste 10 verschillende varianten.
Vertaling: De probleembeschrijvingen werden vertaald naar zes aanvullende talen (Indonesisch, Chinees, Arabisch, Hindi, Kazach en Swahili) met behulp van machinevertaling, gevolgd door rigoureuze verificatie door moedertaalsprekers. De kwaliteitscontrole omvatte "honey-pot" fouten om de nauwkeurigheid van de vertalers te waarborgen.

De uiteindelijke dataset bestaat uit 42.420 unieke probleeminstanties (606 templates × 10 varianten × 7 talen), elk gepaard met grondwaarheid-oplossingen en stapsgewijze redeneerstappen in LaTeX.

Evaluatiekader

De auteurs evalueerden 17 state-of-the-art VLMs (inclusief GPT-5.4, Gemini 2.5, Qwen3.5, Llama 4, InternVL, en anderen) aan de hand van zes metrieken:

Gemiddelde nauwkeurigheid ( $A_{avg}$ ): De gemiddelde nauwkeurigheid over alle gegenereerde varianten.
Worst-case nauwkeurigheid ( $A_{wst}$ ): Het aandeel probleemtemplates waarbij het model elke variant correct beantwoordde. Dit meet consistentie.
Stap-niveau Metrieken: Recall ( $R$ ), Precisie ( $P$ ) en F1-scores ( $F$ ) voor redeneerstappen, berekend door modeloutputs te vergelijken met de grondwaarheid met behulp van een LLM-judge (GPT-5.4).
Worst-case Stap F1 ( $F_{wst}$ ): De minimale F1-score over alle varianten voor een gegeven template.
Image Attention Ratio (IAR): Een mechanistische analyse die meet hoeveel relatieve aandacht VLMs besteden aan beeld-tokens versus tekst-tokens tijdens generatie.

Belangrijkste Resultaten

1. De Robuustheidskloof

Er bestaat een aanzienlijk prestatieverschil tussen de gemiddelde en de worst-case nauwkeurigheid bij alle modellen.

Frontier Modellen: Zelfs topmodellen zoals GPT-5.4 en Gemini 2.5 vertonen dalingen van 10–28% in worst-case nauwkeurigheid vergeleken met hun gemiddelde nauwkeurigheid. Zo daalt de nauwkeurigheid van GPT-5.4 in Biologie van 72,2% (gemiddeld) naar 47,8% (worst-case).
Kleinere Modellen: Kleinere open-weight modellen lijden onder ernstige degradatie. In Biologie bezwijken modellen zoals InternVL3.5-4B en Molmo2-4B effectief onder worst-case condities, waarbij de nauwkeurigheid voor bepaalde varianten naar bijna 0% daalt.
Architecturale Gevoeligheid: Het Qwen3.5-122B-A10B model (MoE-architectuur) vertoonde een significant lagere worst-case nauwkeurigheid vergeleken met zijn 27B dense tegenhanger, wat suggereert dat het aantal parameters alleen de robuustheid niet garandeert.

2. Meertalige Prestaties

Propriëtaire/Grote Modellen: Grote propriëtaire modellen (GPT-5.4, Gemini 2.5) en grote open-weight modellen vertonen bijna nul prestatiedegradatie over talen heen, en behouden hun robuustheid in niet-Engelse settings.
Kleinere Modellen: Kleinere open-weight modellen vertonen opmerkelijke prestatiedalingen in niet-Engelse talen, met name in minder gefaciliteerde talen zoals Swahili. Dit suggereert dat de representatie van de pretraining-corpus de meertalige robuustheid sterk beïnvloedt.

3. Analyse van Redeneerstappen

Evaluatie op stap-niveau onthult dat redeneerfragiliteit een algemeen fenomeen is, niet beperkt tot kleinere modellen.

Consistentie: Er is een consistente kloof tussen gemiddelde F1 en worst-case F1 scores. Zelfs GPT-5.4 daalt met 13–20 punten in F1-score onder worst-case condities.
Onderwerpmoeilijkheid: Biologie blijft het meest uitdagende onderwerp voor alle modellen, gevolgd door Wiskunde en Informatica, die de grootste dalingen laten zien in stap-niveau consistentie.

4. Mechanistische Inzichten (Attention Heads)

Analyse van de attention heads van het Qwen3-VL-8B-Instruct model onthult aanzienlijke cross-linguale variatie in de Image Attention Ratio (IAR):

Taalafhankelijkheid: Het model leunt minder op visuele context wanneer het in het Chinees wordt aangeroepen (laagste IAR) en aanzienlijk meer wanneer het in het Kazachs en Hindi wordt aangeroepen (hoogste IAR).
Hypothese: De auteurs hypothetiseren dat een hogere taalbekendheid ervoor zorgt dat het model meer kan vertrouwen op tekstuele inputs, terwijl een lagere bekendheid het model dwingt tot een compenserende afhankelijkheid van visuele inputs.

5. Foutmodi

Handmatige inspectie van GPT-5.4 falen identificeerde drie primaire fouttypen:

Figuur-leesfouten (63,5%): Falen in het extraheren van accurate numerieke waarden of het verkeerd tellen van objecten.
Kennisfouten (28,8%): Gebrekkige logische redenering, het hallucineren van niet-bestaande informatie, of het toepassen van onjuiste stellingen.
Berekeningsfouten (7,7%): Rekenfouten ondanks correcte logica.

Betekenis en Claims

Het artikel claimt dat Sci-ρ de eerste symbolische, meertalige robuustheidsbenchmark is voor visueel-gegronde STEM-redenering. De primaire betekenis ligt in de verschuiving van het evaluatieparadigma van statische, enkelvoudige instantie-testen naar dynamische, variant-gebaseerde beoordeling.

De auteurs stellen dat:

Statische benchmarks onvoldoende zijn: Ze slagen er niet in om echt redeneren te onderscheiden van oppervlakkige patroonherkenning. De grote kloof tussen gemiddelde en worst-case nauwkeurigheid legt de fragiliteit van huidige VLMs bloot.
Robuustheid een cruciale metriek is: Ware bekwaamheid in STEM vereist consistente prestaties over visuele en numerieke perturbaties, een capaciteit die momenteel ontbreekt, zelfs bij frontier modellen.
Meertalige robuustheid modelafhankelijk is: Terwijl grote modellen goed generaliseren over talen, worstelen kleinere modellen, wat wijst op de noodzaak van betere meertalige pretraining of architecturale aanpassingen.
Visuele gronding inconsistent is: De variatie in aandachtstoewijzing over talen heen suggereert dat VLMs visuele en tekstuele informatie niet uniform integreren, maar mogelijk meer op tekst vertrouwen bij bekendheid en op afbeeldingen bij onbekendheid.

Het werk concludeert dat het evalueren van VLMs voorbij statische benchmarks essentieel is voor het meten van hun werkelijke kwaliteit en gereedheid voor rigoureuze STEM-toepassingen.