MERGE: Minimal Expression-Replacement GEneralization Test for Natural Language Inference

Sintesi Tecnica: MERGE – Minimal Expression-Replacement GEneralization

Definizione del Problema
I modelli attuali di Natural Language Inference (NLI) spesso ottengono prestazioni elevate sui set di test standard sfruttando euristiche apprese dai dati di addestramento, come la sovrapposizione di parole o artefatti basati solo sull'ipotesi, piuttosto che una reale capacità di ragionamento. Sebbene siano stati utilizzati dataset Out-of-Distribution (OOD) per esporre queste debolezze, gli approcci esistenti si affidano spesso a esempi avversari che rompono deliberatamente le euristiche comuni o utilizzano modifiche che non preservano la sintassi introducendo implausibilità. Inoltre, la costruzione manuale di dataset di ragionamento di alta qualità è costosa e difficile da scalare, mentre i metodi di generazione automatica hanno storicamente sofferto di bias o della creazione di varianti agrammaticali. È necessario un metodo robusto e automatizzato per valutare la generalizzazione dei modelli rispetto a cambiamenti minimi, non avversari, che preservino il ragionamento logico sottostante e la struttura sintattica dei problemi originali.

Metodologia: MERE e MERGE
Gli autori propongono MERGE (Minimal Expression-Replacement GEneralization), un framework per valutare la robustezza dei modelli, costruito su MERE (Minimal Expression REplacement), una tecnica di generazione automatizzata.

1. Processo di Generazione MERE:

   • Selezione del Seed: Il processo parte da un problema "seed" NLI originale composto da una premessa ($p$) e un'ipotesi ($h$) con un'etichetta $l$.
   • Identificazione del Target: Il sistema identifica le parole di classe aperta (nomi, verbi, aggettivi, avverbi) condivise tra $p$ e $h$.
   • Sostituzione tramite MLM: Modelli di linguaggio mascherati (MLM) vengono utilizzati per suggerire sostituzioni contestualmente probabili per queste parole condivise.
   • Vincoli: Per garantire la validità, le sostituzioni ($r$) devono soddisfare tre condizioni:
     1. $r$ ha una probabilità maggiore rispetto alla parola originale ($o$) nel contesto mascherato sotto l'MLM.
     2. $r$ non compare già nella frase.
     3. $r$ appartiene alla stessa categoria grammaticale (classe di parole) di $o$.
   • Validazione Incrociata: Le sostituzioni sono validate attraverso sia $p$ che $h$ per garantire che siano suggerite dallo stesso modello per molteplici occorrenze all'interno di una frase e siano coerenti tra la coppia.
   • Filtraggio della Qualità: Un processo di filtraggio multistadio rimuove subword, punteggiatura e candidati a bassa probabilità. La validazione manuale conferma la fluidità e la preservazione della relazione di inferenza originale.
   • Costruzione del Dataset: Per ogni seed, vengono generate molteplici varianti sostituendo le parole condivise. Il dataset finale (Var) è costruito campionando casualmente le varianti per evitare la sovrarappresentazione di seed altamente produttivi.

2. Metrica di Valutazione MERGE:

   • A differenza della standard accuratezza basata su campioni, MERGE introduce l'accuratezza Seed-Variant (SV).
   • Un problema seed è considerato correttamente classificato solo se un numero minimo di una Soglia di Correttezza (CT) delle sue varianti generate è anch'esso classificato correttamente.
   • La soglia di Correttezza Corrispondente (MC) è definita come la CT alla quale il punteggio SV di un modello corrisponde più strettamente alla sua accuratezza standard sul seed. Un MC più basso indica una scarsa generalizzazione.

Contributi Chiave

1. Metodologia Automatizzata: Una pipeline completamente automatizzata (MERE) per creare set di test di generalizzazione "amichevoli" che preservano il ragionamento, la sintassi e la sovrapposizione di parole pur introducendo una diversità lessicale minima.
2. Risultati Empirici sulla Generalizzazione: Evidenza che dimostra come sia i modelli NLI fine-tuned che i Large Language Models (LLM) generalizzino scarsamente alle varianti minime. I modelli faticano a mantenere la coerenza quando le varianti differiscono solo leggermente nella forma.
3. Analisi Linguistica: Identificazione del fatto che i verbi sono generalmente la classe di parole più difficile da generalizzare, seguiti da nomi e aggettivi.
4. Indipendenza dalla Fonte: Risultati che indicano che la specifica fonte MLM utilizzata per generare le varianti non introduce un bias significativo nelle prestazioni dei modelli NLI valutati.

Risultati

• Gap di Generalizzazione: Mentre i modelli performano bene sulle singole varianti (accuratezza standard), le loro prestazioni calano significativamente quando valutate sulla coerenza delle varianti per ogni seed (accuratezza SV). La maggior parte dei modelli mantiene la propria prestazione originale solo quando la soglia di correttezza è impostata a circa il 50% o inferiore. Oltre questa soglia, le prestazioni declinano drasticamente, in particolare per gli LLM.
• Confronto tra Dataset: I modelli hanno mostrato una generalizzazione leggermente migliore sulle varianti MNLI rispetto a quelle SNLI.
• Sensibilità della Classe di Parole:
  • Verbi: Costantemente la classe più difficile da generalizzare, specialmente ad alte soglie di correttezza.
  • Nomi: Generalmente più difficili degli aggettivi ma più facili dei verbi in MNLI; più difficili dei verbi in SNLI ad alte soglie.
  • Aggettivi: Generalmente la classe più facile da generalizzare.
• Impatto della Fonte MLM: L'origine delle parole di sostituzione (ad esempio, usare BERT per generare varianti per un modello NLI basato su BERT) non ha portato a punteggi sistematicamente più alti o più bassi, suggerendo che il metodo di generazione non influenza intrinsecamente il bias verso specifiche architetture di modelli.
• Difficoltà del Seed: I modelli hanno performato significativamente peggio sui problemi seed che inizialmente avevano classificato erroneamente, con solo l'~80% delle loro varianti corrette, rispetto al ~97% per i seed classificati correttamente.

Significatività e Rivendicazioni
L'articolo sostiene che MERGE fornisca un test di generalizzazione rigoroso e non avversario che rivela le debolezze degli attuali modelli allo stato dell'arte che le metriche standard occultano. Imponendo la coerenza tra varianti minime che preservano l'etichetta, lo studio dimostra che i modelli si affidano pesantemente a specifici indizi lessicali piuttosto che a un ragionamento robusto. Gli autori posizionano MERGE come uno strumento per rivelare "nuovi tipi di debolezze" nei modelli di ragionamento senza la necessità di costosa costruzione manuale di dataset o l'introduzione di rumore avversario. Sebbene attualmente applicato alla NLI, gli autori notano che la metodologia è applicabile ad altri compiti di ragionamento.

Limitazioni
Gli autori riconoscono alcune limitazioni:

• Il metodo non sostituisce parole tokenizzate in subword per evitare artefatti di aggregazione della probabilità.
• Quando una parola appare più volte, viene mascherata una sola istanza alla volta, il che potrebbe introdurre bias (sebbene tali casi siano rari nei dataset seed).
• Le derivazioni morfologiche non vengono sostituite per evitare errori nei composti nominali, il che può occasionalmente portare a varianti a bassa fluidità.
• L'analisi non ha incluso LLM più grandi di quelli testati.