Knowing the Scale, Missing the Negation: Language Models and Corrective Negation by Excess in English, Spanish, and French

Taalmodellen zijn de motoren achter veel van de digitale hulpmiddelen die we vandaag de dag gebruiken, in staat om tekst te genereren, talen te vertalen en vragen te beantwoorden met een verbazingwekkende vloeiendheid. Om te begrijpen hoe deze systemen werken, kijken onderzoekers vaak naar hoe ze omgaan met de bouwstenen van menselijke communicatie, zoals bijvoeglijke naamwoorden die intensiteit beschrijven. Woorden als "warm", "heet" en "kokend" bestaan op een schaal van toenemende hitte, en mensen begrijpen van nature dat als iets "kokend" is, het ook minstens "warm" is. Deze logische verbinding wordt een implicatie genoemd. Echter, de menselijke taal zit vol met wendingen waarbij we een zwakker woord ontkennen, niet om te zeggen dat het tegenovergestelde waar is, maar om te zeggen dat het sterkere woord het juiste is. Wanneer iemand zegt dat de soep "niet warm maar kokend" is, ontkennen ze niet dat de soep hitte bevat; ze verwerpen "warm" als een onderstatement. Dit specifieke type correctie, waarbij een spreker een zwakke beschrijving vervangt door een sterke, is een subtiele test voor de vraag of een machine de relatie tussen woorden werkelijk begrijpt of slechts patronen matcht.

Een team van onderzoekers zette zich af om te zien of moderne taalmodellen dit lastige taalkundige terrein konden navigeren. Ze concentreerden zich op een fenomeen dat bekend staat als "correctieve negatie door overmaat" (corrective negation by excess), waarbij een zin een zwakker bijvoeglijk naamwoord ontkent om een sterker woord te bevestigen. Het team verzamelde honderden paren bijvoeglijke naamwoorden uit het Engels, Spaans en Frans, zoals "gedimd" en "donker" of "goed" en "uitstekend", die gerangschikt zijn in volgorde van intensiteit. Vervolgens vroegen ze aan vijf verschillende taalmodellen om deze paren te beoordelen onder verschillende omstandigheden. Eerst bevestigden ze dat de modellen de volgorde van de woorden kenden, waarbij ze erkenden dat "donker" een sterkere versie van "gedimd" is. Vervolgens testten ze of de modellen begrepen dat als iets "donker" is, het ook minstens "gedimd" moet zijn. Ten slotte presenteerden ze de modellen met de correctieve zinnen, zoals "Het is niet gedimd maar donker", en vroegen ze of het object nog steeds minstens "gedimd" was.

De resultaten onthulden een aanzienlijke kloof tussen wat de modellen weten en hoe ze die kennis toepassen. In de gevallen waarin de modellen correct de volgorde van de woorden identificeerden en de basislogica accepteerden dat "donker" "gedimd" impliceert, slaagden ze er 93,4% van de tijd in om de bevestigende uitspraak te begrijpen. Ze beantwoordden ook eenvoudige ontkenningsvragen correct in 99,2% van de gevallen, maar deze hoge nauwkeurigheid is misleidend: de modellen neigden over het algemeen naar het antwoorden met "nee" (met "ja"-percentages variërend van 34% tot 44%), een bias die de prestaties op vragen waar het juiste antwoord "nee" is, kunstmatig opblaast. Wanneer ze geconfronteerd werden met de correctieve zin "Het is niet gedimd maar donker", daalde hun prestatie scherp. Op dezelfde set items waar ze eerder hadden aangetoond de relatie tussen de woorden te begrijpen, faalden ze in het herkennen van de correctie in 452 gevallen, terwijl ze slechts in 6 gevallen slaagden. In plaats van te begrijpen dat de soep nog steeds warm is (slechts meer zo), behandelden de modellen de zin vaak als een eenvoudige ontkenning, waarbij ze concludeerden dat het object helemaal niet "gedimd" was.

Dit falen was niet te wijten aan een gebrek aan kennis over de woorden zelf. Wanneer de onderzoekers een vergelijkbare constructie gebruikten met hetzelfde woord, zoals "Het is niet gedimd maar zeer gedimd", presteerden de modellen met hoge nauwkeurigheid en kregen ze het in 94,4% van de gevallen goed. Dit suggereert dat de modellen de structuur van de zin kunnen afhandelen wanneer de woorden identiek zijn, maar dat ze struikelen wanneer ze twee verschillende woorden binnen een correctief kader moeten verbinden. Het foutenpatroon was consistent over alle vijf de geteste modellen en in alle drie de talen. In veel gevallen antwoordden de modellen "nee" op de vraag of het object minstens de zwakkere term was, waardoor ze de tweede helft van de zin die de correctie bood, effectief negeerden. Dit geeft aan dat de modellen niet falen omdat ze niet in staat zijn de bijvoeglijke naamwoorden te rangschikken, maar omdat ze moeite hebben om de letterlijke betekenis van de ontkenning te overstijlen wanneer een sterker alternatief wordt geïntroduceerd.

De studie onderzocht ook of het explicieter maken van de correctie zou helpen. In het Engels vergeleken de onderzoekers de standaard "niet X maar Y" met een versie waarin het woord "eerder" (rather) werd toegevoegd, wat de frase "niet X maar eerder Y" creëerde. Deze kleine verandering, die een correctie duidelijker signaleert, verbeterde de nauwkeurigheid van de modellen van 36,1% naar 49,3%. Hoewel dit een verbetering was, was het geen volledige oplossing, aangezien de modellen de betekenis in meer dan de helft van de gevallen nog steeds misten. De onderzoekers merkten op dat de modellen in het Spaans, waar een specifieke conjunctie voor correcties wordt gebruikt, iets beter presteerden dan in het Engels of Frans, maar de fundamentele moeilijkheid bleef bestaan. De gegevens suggereren dat deze systemen weliswaar over de ruwe kennis beschikken van hoe woorden zich tot elkaar verhouden, maar dat ze die kennis vaak niet kunnen gebruiken wanneer de zinsstructuur vereist dat ze een zwakkere beschrijving verwerpen ten gunste van een sterkere.

De implicaties van deze bevinding reiken verder dan academische nieuwsgierigheid. Taalmodellen worden steeds vaker gebruikt om recensies samen te vatten, feedback te analyseren en klantklachten te verwerken. Als een model een recensie leest die zegt dat een product "niet goed maar uitstekend" is, kan het de sterke lof verkeerd interpreteren als een negatieve bewering omdat het de corrigerende aard van de zin niet begrijpt. De onderzoekers concluderen dat huidige evaluaties van deze systemen deze specifieke taalkundige uitdaging moeten bevatten. Het is niet voldoende om te controleren of een model weet dat "uitstekend" sterker is dan "goed"; het model moet ook getest worden op de vraag of het die kennis kan toepassen wanneer een zin de zwakkere term ontkent om de sterkere te bevestigen. Totdat modellen deze correcties betrouwbaar kunnen navigeren, lopen ze het risico de toon en de intentie van menselijke communicatie verkeerd te begrijpen, waarbij ze hoge lof in kritiek veranderen en de nuance missen die taal zo krachtig maakt.