Technische Samenvatting: GSM-SEM

Probleemstelling

Huidige benchmarks voor het evalueren van wiskundig redeneren bij Large Language Models (LLM's), zoals GSM8K, staan voor aanzienlijke beperkingen wat betreft robuustheid en generalisatie. Hoge leaderboard-scores weerspiegelen vaak het memoriseren van statische testsets of het uitbuiten van dataset-specifieke artefacten in plaats van echte redeneervermogens. Bestaande robuustheidsvarianten (zoals parafraseren, hernoemen van entiteiten en numerieke substituties) passen voornamelijk oppervlakkige perturbaties toe die de onderliggende feitelijke ruggengraat en relationele structuur van problemen behouden. Bijgevolg testen deze varianten vaak invariantie ten opzichte van oppervlaktevorm in plaats van aanpasbaarheid aan betekenisvol verschillende semantische voorwaarden. Bovendien worden statische benchmarkreleases na verloop van tijd doelwitten voor memorisatie, en vereist het genereren van nieuwe, vergelijkbare perturbaties vaak kostbare herannotatie van grondwaarheidsantwoorden.

Methodologie: Het GSM-SEM Kader

De auteurs introduceren GSM-SEM, een herbruikbaar, stochastisch kader dat is ontworpen om semantisch diverse benchmarkvarianten te genereren terwijl de oorspronkelijke grondwaarheidsantwoorden en berekeningslogica behouden blijven. Het kader werkt via een dubbele curatie- en validatiepijplijn:

1. Generatie van Semantische Variant: Het kader maakt gebruik van twee complementaire augmentatiestrategieën om nieuwe vraagvarianten ($\tilde{q}$) te genereren vanuit een origineel voorbeeld $(q, a)$:

   • Antwoord-geconditioneerde Generatie: LLM's worden geprompt om een nieuwe vraag te reverse-engineeren die de numerieke berekening die door het antwoord $a$ wordt geïmpliceerd, behoudt, maar de oppervlaktevorm en contextuele feiten aanzienlijk verandert (bijvoorbeeld het veranderen van "bacteriën infecteren" in "virus verspreidt").
   • Vraag-geconditioneerde Generatie: LLM's worden geprompt om alle numerieke waarden vast te houden terwijl het scenario of thema wordt gewijzigd (bijvoorbeeld het veranderen van "pest infecteert" in "gerucht verspreidt"), waardoor de semantische diversiteit toeneemt zonder de vereiste rekenkunde te veranderen.
   • Een op regels gebaseerde verificateur zorgt ervoor dat alle numerieke waarden in de gegenereerde vraag overeenkomen met het origineel.

2. Geautomatiseerde Kwaliteitsvalidatie: Een judge-LLM, afgestemd via menselijke beoordeling van 70 geteste varianten, evalueert logische coherentie en kwaliteit.

3. Op Similariteit Gebaseerde Redundantie-Pruning: Variant worden gefilterd met behulp van cosinus-similariteit op basis van termfrequentievectoren. Kandidaten met een similariteit $s(x, \tilde{x}) > 0,85$ ten opzichte van het basisvoorbeeld of bestaande behouden varianten worden verworpen om semantische divergentie te waarborgen.

4. Strictheidsfiltering: Om de moeilijkheidsgraad te controleren en triviale varianten te vermijden, evalueert een strictheidsfilter kandidaten met behulp van een apart gehouden set referentiemodellen ($M_{hold}$). Variant waarbij modellen unaniem correct zijn, worden als potentieel te makkelijk of onvoldoende geperturbeerd beschouwd. Deze worden verder geschrapt op basis van een acceptatieruimte voor semantische similariteit $[\alpha, \beta]$. Dit maakt het mogelijk om subsets te creëren met verschillende niveaus van uitdaging (bijvoorbeeld filtert "max" strictheid alle unaniem correcte voorbeelden uit).

5. Menselijke Validatie: De uiteindelijke datasets ondergaan een rigoureus tweestaps menselijk beoordelingsproces om logische coherentie en uitlijning van antwoorden te waarborgen, wat resulteert in volledig door mensen gevalideerde datasets.

Belangrijkste Bijdragen

• GSM-SEM Kader: Een stochastische, herbruikbare pijplijn voor het genereren van semantisch diverse benchmarkvarianten die de oorspronkelijke berekeningen en antwoorden behouden, waardoor herhaalbare evaluatie mogelijk is zonder herannotatie.
• Door Mensen Gevalideerde Datasets: Publieke release van drie volledig gevalideerde datasets: GSM8K-SEM, GSM-Symbolic-SEM en GSM-Plus-SEM. Deze datasets vertonen een hogere semantische variantie dan eerdere benaderingen (GSM-Symbolic, GSM-Plus en geparafraseerde versies).
• Uitgebreide Evaluatie: Evaluatie van 14 State-of-the-Art (SOTA) LLM's over modelfamilies heen, waarbij consistente prestatiedalingen in SEM-varianten in vergelijking met originele benchmarks aan het licht kwamen.
• Toepasbaarheid over Domeinen: Demonstratie van de bruikbaarheid van het kader op niet-GSM-datasets, waaronder BigBench-Hard, LogicBench en NLR-BIRD.

Resultaten

• Prestatiedaling: Bij 14 SOTA-modellen presteren GSM-SEM-varianten consistent minder goed dan hun basismodellen. In de "med" strictheidsconfiguratie was het gemiddelde prestatiedalingpercentage (PDR) ongeveer 28% voor GSM-Plus-SEM, de meest uitdagende configuratie.
• Gecombineerde Perturbaties: Het combineren van semantische perturbaties (GSM-SEM) met bestaande symbolische of "plus"-variaties (GSM-Symbolic-SEM, GSM-Plus-SEM) versterkt prestatiedalingen. Bijvoorbeeld, GSM-Plus-SEM toonde een gemiddelde nauwkeurigheidsdaling van 13,53% over modellen heen, aanzienlijk hoger dan GSM-Plus alleen.
• Semantische Gevoeligheid: Analyse toont aan dat de modelnauwkeurigheid over het algemeen verbetert bij een hogere semantische similariteit met de originele dataset. Zelfs wanneer berekeningen ongewijzigd blijven, leiden aanzienlijke semantische verschuivingen tot grotere prestatiedalingen, wat aangeeft dat huidige modellen gevoelig zijn voor semantische context in plaats van alleen voor symbolische manipulatie.
• Foutpatronen: Handmatige analyse identificeerde belangrijke foutpatronen in SEM-varianten, waaronder:
  • Verhoogde cognitieve belasting door toegevoegde indirectie.
  • Eenheid/munteenheid-signalen die schaalfouten triggeren (bijvoorbeeld het verkeerd interpreteren van centen versus dollars).
  • Gedestabiliseerde status-tracking bij herschrijvingen in referentiestijl.
  • Verkeerde template-oproep bij kleine semantische verschuivingen.
• Transitie over Domeinen: Het kader slaagde erin varianten te genereren voor niet-wiskundige datasets. Prestatiedalingen werden waargenomen in oudere datasets (BigBench-Hard, 2022), waarschijnlijk door memorisatie, terwijl nieuwere datasets (NLR-BIRD, 2025) minimale dalingen vertoonden, wat suggereert dat het kader redeneervermogens effectief isoleert van memorisatie.

Betekenis en Beweringen

Het artikel stelt dat GSM-SEM de kritieke kloof tussen robuustheidstesten op oppervlakkig niveau en echte semantische aanpasbaarheid aanpakt. Door bij elke uitvoering nieuwe, semantisch diverse varianten te genereren terwijl de grondwaarheidsantwoorden behouden blijven, vermindert het kader de afhankelijkheid van statische publieke benchmarks en verlaagt het evaluatiebias veroorzaakt door memorisatie.

De auteurs beweren dat huidige SOTA-modellen, ondanks hun geavanceerde redeneervermogens, gevoelig blijven voor semantische verschuivingen die de narratieve context van een probleem veranderen, zelfs wanneer de onderliggende wiskunde identiek is. Dit suggereert dat hoge benchmarkscores niet volledig robuuste generalisatie vastleggen. Het kader biedt een mechanisme voor strengere, herhaalbare evaluatie dat kan worden aangepast aan verschillende datasets buiten GSM-achtige wiskundeproblemen, en biedt een weg naar betrouwbaardere beoordeling van LLM-redeneren.