Knowing the Scale, Missing the Negation: Language Models and Corrective Negation by Excess in English, Spanish, and French

I modelli linguistici sono i motori dietro molti degli strumenti digitali che utilizziamo oggi, capaci di generare testo, tradurre lingue e rispondere a domande con una fluidità sorprendente. Per capire come funzionano questi sistemi, i ricercatori osservano spesso come gestiscono i mattoni fondamentali della comunicazione umana, come gli aggettivi che descrivono l'intensità. Parole come "tiepido", "caldo" e "bollente" esistono su una scala di calore crescente, e gli esseri umani comprendono naturalmente che se qualcosa è bollente, è anche almeno tiepido. Questa connessione logica è chiamata implicazione. Tuttavia, il linguaggio umano è pieno di sottigliezze in cui neghiamo una parola più debole non per dire che l'opposto è vero, ma per dire che la parola più forte è quella corretta. Quando qualcuno dice che una zuppa è "non tiepida ma bollente", non sta negando che la zuppa abbia calore; sta rifiutando "tiepida" come un'approssimazione al ribasso. Questo specifico tipo di correzione, in cui un parlante sostituisce una descrizione debole con una forte, è un test sottile per capire se una macchina comprenda davvero la relazione tra le parole o stia semplicemente rispecchiando dei pattern.

Un team di ricercatori si è messo in viaggio per vedere se i moderni modelli linguistici potessero navigare in questo complicato terreno linguistico. Si sono concentrati su un fenomeno noto come negazione correttiva per eccesso, in cui una frase nega un aggettivo più debole per affermarne uno più forte. Il team ha raccolto centinaia di coppie di aggettivi dall'inglese, dallo spagnolo e dal francese, come "fioco" e "buio" o "buono" ed "eccellente", che sono disposti in ordine di intensità. Hanno poi chiesto a cinque diversi modelli linguistici di giudicare queste coppie in varie condizioni. Per prima cosa, hanno confermato che i modelli conoscessero l'ordine delle parole, riconoscendo che "buio" è una versione più forte di "fioco". Successivamente, hanno testato se i modelli comprendessero che se qualcosa è "buio", deve essere almeno "fioco". Infine, hanno presentato ai modelli le frasi correttive, come "Non è fioco ma buio", e hanno chiesto se l'oggetto fosse ancora almeno "fioco".

I risultati hanno rivelato un divario significativo tra ciò che i modelli sanno e come applicano tale conoscenza. Nelle unità in cui i modelli avevano identificato correttamente l'ordine delle parole e accettato la logica di base che "buio" implica "fioco", hanno avuto successo nel comprendere l'affermazione affermativa nel 93,4% dei casi. Hanno anche risposto correttamente alle semplici domande di negazione nel 99,2% dei casi, ma questa alta precisione è fuorviante: i modelli tendevano generalmente a rispondere "no" complessivamente (con tassi di "sì" compresi tra il 34% e il 44%), un pregiudizio che gonfia artificialmente le prestazioni nelle domande in cui la risposta corretta è "no". Di fronte alla frase correttiva "Non è fioco ma buio", le loro prestazioni sono crollate drasticamente. Nello stesso set di elementi in cui avevano precedentemente dimostrato di comprendere la relazione tra le parole, hanno fallito nel riconoscere la correzione in 452 casi, riuscendo solo in 6 casi. Invece di capire che la zuppa è ancora tiepida (solo di più), i modelli spesso hanno trattato la frase come una semplice negazione, concludendo che l'oggetto non fosse affatto fioco.

Questo fallimento non era dovuto a una mancanza di conoscenza delle parole stesse. Quando i ricercatori hanno testato una costruzione simile utilizzando la stessa parola, come "Non è fioco ma molto fioco", i modelli hanno ottenuto prestazioni elevate, riuscendoci con un'accuratezza del 94,4%. Ciò suggerisce che i modelli possono gestire la struttura della frase quando le parole sono identiche, ma inciampano quando devono connettere due parole diverse all'interno di un frame correttivo. Il modello di errore è stato coerente in tutti i cinque modelli testati e in tutte e tre le lingue. In molti casi, i modelli hanno risposto "no" alla domanda se l'oggetto fosse almeno il termine più debole, ignorando di fatto la seconda parte della frase che forniva la correzione. Ciò indica che i modelli non stanno fallendo perché non possono classificare gli aggettivi, ma perché faticano a superare il significato letterale della negazione quando viene introdotta un'alternativa più forte.

Lo studio ha anche esplorato se rendere la correzione più esplicita potesse aiutare. In inglese, i ricercatori hanno confrontato la forma standard "non X ma Y" con una versione che aggiungeva la parola "piuttosto", creando la frase "non X ma piuttosto Y". Questo piccolo cambiamento, che segnala una correzione in modo più chiaro, ha migliorato l'accuratezza dei modelli dal 36,1% al 49,3%. Sebbene fosse un miglioramento, non era una soluzione completa, poiché i modelli sbagliavano ancora il significato in più della metà dei casi. I ricercatori hanno notato che in spagnolo, dove viene usata una congiunzione specifica per le correzioni, i modelli si sono comportati leggermente meglio rispetto all'inglese o al francese, ma la difficoltà fondamentale rimaneva. I dati suggeriscono che questi sistemi possiedono la conoscenza grezza di come le parole si relazionano tra loro, ma spesso non riescono a usare tale conoscenza quando la struttura della frase richiede loro di rifiutare una descrizione più debole in favore di una più forte.

Le implicazioni di questa scoperta vanno oltre la curiosità accademica. I modelli linguistici sono sempre più utilizzati per riassumere recensioni, analizzare feedback e processare reclami dei clienti. Se un modello legge una recensione che dice che un prodotto è "non buono ma eccezionale", potrebbe interpretare l'elogio entusiasta come una dichiarazione negativa perché non riesce a cogliere la natura correttiva della frase. I ricercatori concludono che le valutazioni attuali di questi sistemi devono includere questo specifico tipo di sfida linguistica. Non basta verificare se un modello sa che "eccezionale" è più forte di "buono"; il modello deve anche essere testato per vedere se può applicare tale conoscenza quando una frase nega il termine più debole per affermare quello più forte. Finché i modelli non saranno in grado di navigare con affidabilità queste correzioni, rischiano di fraintendere il tono e l'intento della comunicazione umana, trasformando un grande complimento in una critica e perdendo la sfumatura che rende il linguaggio così potente.