LLMs Struggle with Abstract Meaning Comprehension More Than Expected

Hoewel grote taalmodellen moeite hebben met het begrijpen van abstracte betekenissen, verbetert een voorgestelde bidirectionele attentie-classificator, die is geïnspireerd op menselijke cognitieve strategieën, de prestaties van fijngetuneerde modellen aanzienlijk op de SemEval-2021 ReCAM-taken.

De kern

Samenvatting: Waarom AI nog steeds worstelt met "onzichtbare" woorden

Stel je voor dat je een grote, slimme robot hebt die miljoenen boeken heeft gelezen. Hij kan perfect vertellen wat er in een verhaal gebeurt, wie wie is en wat er gebeurt. Maar als je hem vraagt om het gevoel van "vrijheid" te begrijpen, of het verschil tussen "dier" en "zoogdier" te zien, raakt hij in de war. Dat is precies wat deze studie ontdekt.

Hier is het verhaal van de studie, verteld in gewone taal met een paar creatieve vergelijkingen.

1. Het Probleem: De "Geestelijke" Woorden

Woorden zijn van twee soorten:

• Concreet: Een "appel" of een "hond". Je kunt ze zien, ruiken en aanraken. Een robot kan dit makkelijk begrijpen.
• Abstract: Woorden als "rechtvaardigheid", "economie" of "veiligheid". Je kunt deze niet aanraken. Ze bestaan alleen in ons hoofd.

De onderzoekers wilden weten: Kunnen de nieuwste, superkrachtige AI-modellen (zoals GPT-4) deze abstracte woorden net zo goed begrijpen als mensen?

Het verrassende antwoord: Nee, niet echt.
Zelfs de slimste robots (zoals GPT-4o) scoorden maar ongeveer 70% goed op een test met abstracte vragen. Dat klinkt hoog, maar voor een "super-intelligente" machine is dat eigenlijk een flinke mislukking. Ze blijven steken in de letterlijke tekst en missen de diepere, onzichtbare betekenis.

2. De Oude Methode vs. De Nieuwe Methode

De onderzoekers dachten: "Misschien moeten we de robot niet dwingen om te 'praten' (zoals een chatbot), maar hem trainen als een slimme lezer die een meerkezentest moet invullen."

Ze gebruikten een bestaande, sterke lezer genaamd ELECTRA (een soort slimme motor die al veel tekst heeft gelezen). Maar zelfs deze motor had moeite met abstracte puzzels.

De Creatieve Oplossing: De Twee-Weg Spiegels
Om dit op te lossen, bedachten de onderzoekers een nieuwe techniek die ze een "Bi-directionele Aandacht Classifier" noemen.

Stel je voor dat je een moeilijke vraag moet beantwoorden op een examen:

1. Stap 1 (De Menselijke Strategie): Je leest het verhaal, kijkt naar de vraag, en zegt: "Welk antwoord past hier?"
2. Stap 2 (De Omgekeerde Strategie): Je kijkt naar de antwoorden en zegt: "Welk verhaal past bij dit antwoord?"

Mensen doen dit onbewust allebei tegelijk. De oude AI-modellen deden dit meestal maar in één richting (van verhaal naar antwoord).

De onderzoekers bouwden een twee-weg spiegel in de AI:

• De AI kijkt van het verhaal naar de antwoorden.
• Tegelijkertijd kijkt de AI van de antwoorden terug naar het verhaal.
• Dan mixt de AI deze twee blikken tot één perfect inzicht.

Het is alsof je een gesprek voert met jezelf: "Wat zegt de tekst?" en "Wat zegt het antwoord?" en dan de twee samenvoegt tot een helder beeld.

3. Het Resultaat: Een Grote Sprong Voorwaarts

Toen ze deze "twee-weg spiegel" toevoegden aan de slimme motor (ELECTRA), gebeurde er iets moois:

• De score steeg met ongeveer 4%.
• Dat lijkt weinig, maar in de wereld van AI is dat als een marathonloper die plotseling 2 minuten sneller loopt. Het betekende dat hun systeem nu in de top 3 van de wereld zat voor dit soort moeilijke testen.

4. De Conclusie in Eén Zin

Hoewel de nieuwste chatbots (zoals GPT-4) geweldig zijn in het genereren van tekst, zijn ze nog niet zo goed in het diep begrijpen van abstracte concepten als een goed getrainde, gespecialiseerde lezer die gebruikmaakt van slimme, tweerichtings-reflectie.

Kortom: AI is een briljant bibliothecaris die alles kan opzoeken, maar om de geest van een boek te vatten, heeft het soms een menselijke aanpak nodig: niet alleen lezen, maar ook teruggaan en nadenken over wat er precies bedoeld wordt.

Technische samenvatting

Probleemstelling

Het begrijpen van abstracte betekenissen is een fundamentele maar uitdagende taak in de Natural Language Processing (NLP). Abstracte woorden (zoals "vrijheid" of "gerechtigheid") missen directe zintuiglijke referenties en behoren vaak tot hoge hiërarchische categorieën, in tegenstelling tot concrete termen. Ondanks de successen van diep leermodellen in diverse NLP-toepassingen, blijft hun vermogen om abstracte betekenissen nauwkeurig te interpreteren beperkt.

Het paper richt zich op SemEval-2021 Task 4 (ReCAM), een taak die modellen test op hun vermogen om abstracte concepten te begrijpen door vragen te beantwoorden waarbij een @Placeholder in een tekst moet worden vervangen door het juiste abstracte concept uit vijf opties. De taak bestaat uit drie subtaken:

1. Onwaarneembaarheid (Imperceptibility): Woorden die niet direct fysiek waarneembaar zijn (bijv. "economie").
2. Nonspecificiteit (Nonspecificity): Woorden die hoog in een hyperoniem-hiërarchie staan (bijv. "gewerveld" vs. "aap").
3. Overdraagbaarheid (Transferability): Het vermogen om kennis over abstractie tussen de subtaken te generaliseren.

De auteurs stellen de vraag: Hoe goed presteren grote taalmodellen (LLMs) op deze abstracte meerkeuzevragen?

Methodologie

De studie volgt een tweeledige aanpak: het evalueren van bestaande LLMs en het ontwikkelen van een verbeterde fine-tuning-strategie voor pre-getrainde taalmodellen (PLMs).

1. Evaluatie van Large Language Models (LLMs)

De auteurs testten diverse open-source (bijv. Llama-3.1, Gemma-2, Qwen-2.5) en gesloten-source modellen (GPT-3.5, GPT-4o) op de ReCAM-taak.

• Prompting Strategie: Omdat LLMs primair generatief zijn, werden ze aangepast voor selectieve taken via Multi-Choice Prompting. Hierbij worden alle antwoordopties in één prompt gepresenteerd, en moet het model een enkele token (0-4) genereren.
• Learning Settings: Er werd getest in zero-shot, one-shot en few-shot (met 2 voorbeelden) configuraties.
• Resultaat: Zelfs de krachtigste modellen (zoals GPT-4o-Mini en Gemma-2) bleven significant achter bij de state-of-the-art resultaten van gespecialiseerde modellen, met een maximale nauwkeurigheid van slechts ~73,6% (vergeleken met 95,1% voor de beste fine-tuned modellen).

2. Ontwikkeling van een Bi-directionele Aandachtsclassificator

Om de beperkingen van PLMs (zoals BERT en RoBERTa) bij het generaliseren van abstracte betekenissen te overwinnen, introduceerden de auteurs een nieuw architecturaal component: de Bi-directional Attention Classifier.

• Inspiratie: Het model nabootst de menselijke cognitieve strategie van twee stappen:
  1. De passage opnieuw bekijken in het licht van de vraag en opties.
  2. De vraag en opties opnieuw bekijken met de context van de passage om foutieve opties te elimineren.
• Architectuur:
  • Encoder: Gebruik van pre-getrainde encoders (RoBERTa en ELECTRA). De passage ($P$), vraag ($Q$) en opties ($O$) worden samengevoegd tot één sequentie.
  • Bi-directionele Aandachtsmechanisme: Er worden twee parallelle Multi-Head Attention (MHA) lagen gebruikt:
    1. $MHA_1$: De passage fungeert als Query en Key, de vraag+opties als Value.
    2. $MHA_2$: De vraag+opties fungeert als Query en Key, de passage als Value.
  • Fusie: De output van beide attention-lagen wordt gemiddeld (mean-pooled) en samengevoegd.
  • Decoder: Een lineaire laag met Softmax berekent de waarschijnlijkheidsverdeling over de 5 opties.
• Training: De modellen ondergingen Task-Adaptive Pretraining (op CNN/Daily Mail data) om de domeinverdeling aan te passen, gevolgd door Fine-tuning op de ReCAM-dataset.

Kernresultaten

• LLM-prestaties: LLMs presteren slecht op abstracte betekenisbegrip, zelfs met few-shot learning. GPT-4o-Mini bereikte 72,28% en Gemma-2-9B 73,60% (two-shot), wat aanzienlijk lager is dan de benchmark.
• Fine-tuned Modellen: Fine-tuned modellen presteren aanzienlijk beter dan generatieve LLMs. ELECTRA-large bleek de beste basisencoder te zijn, met een nauwkeurigheid van 85,89% op Taak 1 en 89,06% op Taak 3.
• Impact van Bi-directionele Aandacht:
  • Het toevoegen van de Bi-Directional Attention leidde tot een verbetering van +4,06% op Taak 1 en +3,41% op Taak 2 ten opzichte van de baseline ELECTRA-large.
  • De Uni-Directional Attention leverde een kleinere verbetering op (+0,86% gemiddeld).
  • Het beste model (ELECTRA + Bi-Attn) behaalde een nauwkeurigheid van 89,95% op Taak 1 en 91,41% op Taak 2, wat resulteerde in een ranking in de top 3 van de SemEval-2021 benchmark.

Belangrijkste Bijdragen

1. Empirisch Bewijs: Het paper demonstreert dat de meeste bestaande open- en closed-source LLMs nog steeds worstelen met het begrijpen van abstracte betekenissen, ondanks hun over het algemeen sterke prestaties in andere domeinen.
2. Nieuwe Architectuur: Introductie van een Bi-directional Attention Classifier die dynamisch aandacht schenkt aan zowel de passage als de vraag-optie paren, geïnspireerd op menselijke cognitieve processen.
3. Prestatieverbetering: Aantonen dat deze aanpak de nauwkeurigheid van fine-tuned modellen significant verhoogt, met name bij het onderscheiden van subtiele abstracte nuances.
4. Benchmark Resultaten: Het combineren van ELECTRA met de Bi-directional Attention leidde tot state-of-the-art resultaten binnen de top 3 van de SemEval-2021 Task 4.

Betekenis en Conclusie

De studie benadrukt dat abstracte taalbegrip een specifieke uitdaging blijft voor generatieve LLMs, die vaak gebaseerd zijn op statistische patronen in grote corpora zonder diep semantisch inzicht in hiërarchische of niet-concrete concepten. De voorgestelde oplossing toont aan dat gespecialiseerde architecturale aanpassingen (zoals bi-directionele aandacht) in combinatie met pre-getrainde encoders (zoals ELECTRA) effectiever zijn dan het simpelweg afvragen van grote generatieve modellen. Dit heeft implicaties voor de ontwikkeling van robuustere systemen voor machine reading comprehension, sentimentanalyse en woordbetekenis-disambiguatie, waar abstracte nuance cruciaal is.