MERGE: Minimal Expression-Replacement GEneralization Test for Natural Language Inference

Technisch Overzicht: MERGE – Minimal Expression-Replacement GEneralization

Probleemstelling
Huidige Natural Language Inference (NLI) modellen behalen vaak een hoge prestatie op standaard testsets door het exploiteren van heuristieken die uit de trainingsdata zijn geleerd, zoals woordoverlap of hypothesen-specifieke artefacten, in plaats van werkelijke redeneercapaciteiten. Hoewel Out-of-Distribution (OOD) datasets zijn gebruikt om deze zwakheden bloot te leggen, vertrouwen bestaande benaderingen vaak op adversariële voorbeelden die doelbewust heuristieken breken of niet-syntactisch behoudende modificaties gebruiken die onwaarschijnlijkheid introduceren. Bovendien is het handmatig construeren van hoogwaardige redeneerdatasets kostbaar en moeilijk schaalbaar, terwijl automatische generatiemethoden historisch gezien leden onder bias of de creatie van ongrammaticale varianten. Er is behoefte aan een robuuste, geautomatiseerde methode om de generalisatie van modellen te evalueren tegenover niet-adversariële, minimale wijzigingen die de onderliggende logische redenering en syntactische structuur van de oorspronkelijke problemen behouden.

Methodologie: MERE en MERGE
De auteurs stellen MERGE (Minimal Expression-Replacement GEneralization) voor, een framework voor het evalueren van modelrobuustheid, gebouwd op MERE (Minimal Expression REplacement), een automatische generatietechniek.

1. MERE Generatieproces:

   • Seed Selectie: Het proces begint met een origineel NLI "seed"-probleem bestaande uit een premisse ($p$) en een hypothese ($h$) met een label $l$.
   • Target Identificatie: Het systeem identificeert open-klasse woorden (zelfstandige naamwoorden, werkwoorden, bijvoeglijke naamwoorden, bijwoorden) die gedeeld worden tussen $p$ en $h$.
   • Vervanging via MLMs: Masked Language Models (MLMs) worden gebruikt om contextueel waarschijnlijke vervangingen voor deze gedeelde woorden voor te stellen.
   • Constraints: Om validiteit te garanderen, moeten vervangingen ($r$) aan drie voorwaarden voldoen:
     1. $r$ heeft een hogere waarschijnlijkheid dan het originele woord ($o$) in de gemaskeerde context onder de MLM.
     2. $r$ komt niet al voor in de zin.
     3. $r$ behoort tot dezelfde woordklasse (part-of-speech) als $o$.
   • Cross-Validatie: Vervangingen worden gevalideerd over zowel $p$ als $h$ om te waarborgen dat ze door hetzelfde model worden voorgesteld voor meerdere voorkomens binnen een zin en consistent zijn over het paar.
   • Kwaliteitsfiltering: Een meerfasig filterproces verwijdert subwoorden, leesttekens en kandidaten met een lage waarschijnlijkheid. Handmatige validatie bevestigt de vloeiendheid en het behoud van de oorspronkelijke inferentie-relatie.
   • Dataset Constructie: Voor elke seed worden meerdere varianten gegenereerd door gedeelde woorden te vervangen. De uiteindelijke dataset (Var) wordt geconstrueerd door varianten willekeurig te samplen om oververtegenwoordiging van zeer productieve seeds te voorkomen.

2. MERGE Evaluatiemetriek:

   • In tegen tegenstelling tot standaard sample-gebaseerde accuratesse, introduceert MERGE Seed-Variant (SV) accuratesse.
   • Een seed-probleem wordt alleen als correct geclassificeerd als een minimale Correctness Threshold (CT) van de gegenereerde varianten ook correct is geclassificeerd.
   • De Matching Correctness (MC) drempelwaarde wordt gedefinieerd als de CT waarbij de SV-score van een model het dichtst bij de standaard seed-accuratesse ligt. Een lagere MC duidt op een slechtere generalisatie.

Belangrijkste Bijdragen

1. Geautomatiseerde Methodologie: Een volledig geautomatiseerde pipeline (MERE) om "vriendelijke" generalisatie-testsets te creëren die redenering, syntaxis en woordoverlap behouden terwijl ze minimale lexicale diversiteit introduceren.
2. Empirische Bevindingen over Generalisatie: Bewijs dat zowel gefinetunede NLI-modellen als Large Language Models (LLMs) slecht generaliseren naar minimale varianten. Modellen worstelen om consistent te blijven wanneer varianten slechts licht verschillen in vorm.
3. Linguïstische Analyse: Identificatie dat werkwoorden over het algemeen de moeilijkste woordklasse zijn om naar te generaliseren, gevolgd door zelfstandige naamwoorden en bijvoeglijke naamwoorden.
4. Brononafhankelijkheid: Bevindingen die aangeven dat de specifieke bron-MLM die wordt gebruikt om de varianten te genereren, de prestaties van de geëvalueerde NLI-modellen niet significant beïnvloedt.

Resultaten

• Generalisatiekloof: Terwijl modellen goed presteren op individuele varianten (standaard accuratesse), daalt hun prestatie aanzienlijk wanneer ze worden geëvalueerd op de consistentie van varianten per seed (SV accuratesse). De meeste modellen behouden hun oorspronkelijke prestaties alleen wanneer de correctness threshold rond de 50% of lager wordt ingesteld. Voorbij deze drempel neemt de prestatie scherp af, met name voor LLMs.
• Dataset Vergelijking: Modellen vertoonden iets betere generalisatie op MNLI-varianten vergeleken met SNLI-varianten.
• Woordklasse Gevoeligheid:
  • Werkwoorden: Consistent de moeilijkste klasse om naar te generaliseren, vooral bij hogere correctness thresholds.
  • Zelfstandige Naamwoorden: Over het algemeen moeilijker dan bijvoeglijke naamwoorden, maar gemakkelijker dan werkwoorden in MNLI; moeilijker dan werkwoorden in SNLI bij hoge thresholds.
  • Bijvoeglijke Naamwoorden: Over het algemeen de gemakkelijkste klasse.
• MLM Bron Impact: De oorsprong van de vervangingswoorden (bijv. het gebruik van BERT om varianten te genereren voor een BERT-gebaseerd NLI-model) leidde niet tot systematisch hogere of lagere scores, wat suggereert dat de generatiemethode de evaluatie niet inherent bevoordeelt ten opzichte van specifieke modelarchitecturen.
• Seed Moeilijkheidsgraad: Modellen presteerden significant slechter op seed-problemen die ze aanvankelijk foutief classificeerden, waarbij slechts ~80% van hun varianten correct waren, vergeleken met ~97% voor correct geclassificeerde seeds.

Betekenis en Claims
Het artikel claimt dat MERGE een rigoureuze, niet-adversariële test biedt voor generalisatie die zwakheden in huidige state-of-the-art modellen onthult die standaard metrieken maskeren. Door consistentie af te dwingen over minimale, label-behoudende varianten, toont de studie aan dat modellen zwaar leunen op specifieke lexicale cues in plaats van robuuste redenering. De auteurs positioneren MERGE als een instrument om "nieuwe soorten zwakheden" in redeneermodellen te onthullen zonder de noodzaak van kostbare handmatige datasetconstructie of de introductie van adversariële ruis. Hoewel momenteel toegepast op NLI, merken de auteurs op dat de methodologie toepasbaar is op andere redeneertaken.

Beperkingen
De auteurs erkennen de volgende beperkingen:

• De methode vervangt geen woorden die zijn getokeniseerd in subwoorden om artefacten door probabiliteitsaggregatie te vermijden.
• Wanneer een woord meerdere malen voorkomt, wordt er slechts één instantie tegelijk gemaskeerd, wat bias kan introduceren (hoewel dergelijke gevallen zeldzaam zijn in de seed-datasets).
• Morfologische afleidingen worden niet vervangen om fouten in nominale samestellingen te voorkomen, wat incidenteel kan leiden tot varianten met een lage vloeiendheid.
• De analyse omvatte geen grotere LLMs buiten de geteste modellen.