Same Meaning, Different Scores: Lexical and Syntactic Sensitivity in LLM Evaluation

Titel: Zelfde Betekenis, Verschillende Scores: Lexicale en Syntactische Gevoeligheid in de Evaluatie van LLM's

1. Het Probleem

De snelle vooruitgang van Large Language Models (LLM's) heeft gestandaardiseerde evaluatiebenchmarks (zoals MMLU, SQuAD) tot het primaire instrument voor modelvergelijking gemaakt. Er is echter groeiende ongerustheid over de betrouwbaarheid van deze benchmarks. De prestaties van modellen blijken vaak gevoelig te zijn voor oppervlakkige variaties in de input-prompt, zoals irrelevante context, herschikking van zinsdelen of kleine wijzigingen in de woordkeuze, zelfs als de feitelijke betekenis (waarheidswaarde) ongewijzigd blijft.

De kernvraag die dit artikel beantwoordt, is of deze prestatievariatie voornamelijk wordt gedreven door lexicale verschuivingen (synoniemen, woordkeuze) of door wijzigingen in de syntactische structuur (zinsbouw). Bestaand onderzoek onderscheidt deze vaak niet voldoende, wat leidt tot een onvolledig beeld van de werkelijke generalisatiecapaciteit en stabiliteit van LLM's.

2. Methodologie

De auteurs hebben een robuust experimenteel kader opgezet om de stabiliteit van 23 state-of-the-art LLM's te testen tegenover betekenisbehoudende perturbaties.

• Datasets: Drie diverse benchmarks werden geselecteerd:
  • MMLU: Meerkeuzevragen over wereldkennis (humanities, STEM, etc.).
  • SQuAD: Extractieve vraag-antwoordtaken op Wikipedia-teksten.
  • AMEGA: Een klinische benchmark voor het volgen van medische richtlijnen met vrije tekstantwoorden.
• Modellen: Een cohort van 23 modellen met variërende grootte (van ~0,3B tot ~235B parameters), architecturen en providers (open-weight en proprietair). Alle modellen werden getest in een zero-shot setting.
• Perturbatie-pipelines: Er werden twee linguïstisch onderbouwde pipelines ontwikkeld om betekenisbehoudende variaties te genereren:
  1. Lexicale Variatie: Een LLM (Llama-3.3-70B) werd gebruikt voor geleide synoniemsubstitutie. De pipeline zorgde ervoor dat de betekenis en domeinspecifieke terminologie behouden bleven, terwijl woorden werden vervangen door contextueel geschikte synoniemen. Bij SQuAD werd strikt gecontroleerd dat het antwoordsegment in de tekst ongewijzigd bleef.
  2. Syntactische Variatie: Een twee-staps proces waarbij eerst dependency parsing (met spaCy) werd gebruikt om zinsdelen (onderwerp, object, etc.) te identificeren. Vervolgens werden grammaticale transformaties toegepast (zoals actieve naar passieve zinnen, extrapositie, wh-beweging) die de woordkeuze behouden maar de zinsstructuur wijzigen.
• Evaluatiemetrics:
  • Voor MMLU: Nauwkeurigheid (Accuracy).
  • Voor SQuAD: Exact Match (EM), F1-score en Semantic Answer Similarity (SAS).
  • Voor AMEGA: Score voor richtlijnconformiteit (0-50 punten).
  • Statistische tests (McNemar's test, Wilcoxon signed-rank test, Kendall's τ) werden gebruikt om significantie en rangschikkingstabiliteit te beoordelen.

3. Belangrijkste Bijdragen

1. Lexicale gevoeligheid overheerst syntactische: De studie toont aan dat LLM's aanzienlijk gevoeliger zijn voor oppervlakkige woordveranderingen dan voor herschikking van de zinsstructuur.
2. Benchmarks zijn breekbaar (Brittle): Kleine, betekenisbehoudende wijzigingen zijn voldoende om de rangschikking van modellen significant te veranderen, wat de betrouwbaarheid van statische leaderboards voor modelselectie in twijfel trekt.
3. Schaal garandeert geen robuustheid: De aanname dat grotere modellen automatisch robuuster zijn, wordt weerlegd. De relatie tussen modelgrootte en stabiliteit is niet monotoon en sterk afhankelijk van de taak.

4. Resultaten

• Lexicale vs. Syntactische Impact: Lexicale perturbaties leidden consistent tot statistisch significante prestatiedalingen bij bijna alle modellen en taken. Syntactische perturbaties hadden een heterogener effect; soms leidden ze tot dalingen, maar soms zelfs tot lichte verbeteringen.
  • Voorbeeld MMLU: Gemiddelde daling van 7,72% door lexicale wijzigingen versus slechts 1,64% door syntactische wijzigingen.
• Instabiliteit van Leaderboards: Hoewel de rangschikking op MMLU redelijk stabiel bleef (Kendall's τ = 0,98), was deze veel minder stabiel op SQuAD en AMEGA. Bij SQuAD veranderden de rangordes aanzienlijk; modellen die hoog scoorden op de originele dataset, konden na perturbatie aanzienlijk dalen (of stijgen).
• Modelgrootte en Robuustheid: Er is geen universeel positief verband tussen modelgrootte en robuustheid.
  • Op MMLU correleerde een grotere modelgrootte positief met een grotere prestatiedaling (grotere modellen waren minder robuust).
  • Op SQuAD en AMEGA correleerde een grotere modelgrootte negatief met de prestatiedaling (grotere modellen waren robuuster).
  • Dit suggereert dat "groter is beter" voor stabiliteit een misvatting is; het effect is taakafhankelijk.

5. Betekenis en Conclusie

De bevindingen suggereren dat LLM's meer vertrouwen op oppervlakkige lexische patronen dan op een abstract linguïstisch competentie of diepgaand redeneren. Dit onderstreept de noodzaak om robuustheidstesten als een standaardcomponent op te nemen in de evaluatie van LLM's.

De huidige praktijk van het selecteren van modellen op basis van statische leaderboard-scores is riskant, vooral voor complexe taken. Een topmodel zou simpelweg het beste kunnen zijn in het "overfitten" op de specifieke taalgebruik van de benchmark, in plaats van echte generalisatie te tonen. De auteurs pleiten voor een verschuiving naar een "veridical data science"-benadering, waarbij stabiliteit tegen redelijke variaties een kernpilaar is voor het vertrouwen in data-gedreven modellen. De code en de verstoorde datasets zijn openbaar gemaakt op GitHub om reproduceerbaarheid en vervolgonderzoek te faciliteren.