Augmenting Lateral Thinking in Language Models with Humor and Riddle Data for the BRAINTEASER Task

Probleemstelling

De SemEval 2024 BRAINTEASER-taak richt zich op het evalueren van lateraal denken in taalkundige modellen (LLMs). In tegenstelling tot verticaal denken (logisch, stap-voor-stap redeneren), vereist lateraal denken creatief, niet-lineair redeneren waarbij conventionele gemeenschappelijke aannames worden doorbroken. De taak bestaat uit twee subtaken:

1. Sentence Puzzle: Het interpreteren van zinnen die de intuïtie tart (bijv. "Een man scheert zich elke dag, maar houdt zijn baard lang").
2. Word Puzzle: Het redeneren over orthografische of fonetische eigenschappen van woorden (bijv. "Welk deel van 'Londen' zit in 'Frankrijk'?").

Het uitdaging ligt voor taalkundige modellen omdat deze vaak zijn getraind op lineair logisch redeneren en moeite hebben met het herkennen van niet-voor de hand liggende interpretaties of woordspelingen.

Methodologie

De auteurs presenteren een systeem dat gebaseerd is op fine-tuning van voorgeprogrammeerde modellen, specifiek DeBERTaV3 en BERT, via de HuggingFace-architectuur.

1. Architectuurkeuze:

• Er werd een vergelijking gemaakt tussen AutoModelForSequenceClassification (sequence classification) en AutoModelForMultipleChoice (meervoudige keuze).
• De conclusie was dat de Multiple Choice-architectuur aanzienlijk beter presteert voor deze specifieke taak, omdat deze beter in staat is om de relaties tussen een vraag en meerdere mogelijke antwoorden te modelleren.

2. Dataverrijking (Data Augmentation):
Om de beperkte trainingsdata van de BRAINTEASER-taak (405 zinnenpuzzels en 316 woordpuzzels) te overwinnen, werd de dataset uitgebreid met twee bronnen die structureel vergelijkbaar zijn met lateraal denken:

• Humor-dataset: gegenereerd via prompt-engineering met GPT-4. Grappen vereisen vaak dat de luisteraar zijn verwachtingen opgeeft en een onverwachte interpretatie kiest, wat overeenkomt met de logica van brain teasers.
• RiddleSense-dataset: Een bestaande dataset met raadsels die creatief, niet-letterlijk redeneren vereisen.

3. Trainingstrategie:

• De modellen werden getraind op een mix van de originele Sentence en Word Puzzle datasets.
• Voor de Sentence Puzzle werd de dataset verder verrijkt met Humor- en RiddleSense-data.
• Voor de Word Puzzle bleek het toevoegen van RiddleSense-data contraproductief; de beste prestaties werden behaald met alleen de originele data gecombineerd met de Humor-data. Dit suggereert dat woordpuzzels (die vaak fonetisch/orthografisch zijn) minder baat hebben bij semantische raadsels dan zinnenpuzzels.

Belangrijkste Bijdragen

1. Architecturale Superioriteit: Het paper toont aan dat het formuleren van de taak als een meerkeuzevraag (AutoModelForMultipleChoice) in plaats van sequentiële classificatie leidt tot een 10-punten stijging in nauwkeurigheid met hetzelfde basismodel (BERT).
2. Effectiviteit van Dataverrijking: Het gebruik van humor- en raadseldata (gegenereerd door GPT-4 en RiddleSense) verbetert de prestaties op het niveau van zinnen aanzienlijk, waardoor een nauwkeurigheid van 92,5% wordt bereikt.
3. Differentiatie in Redeneringstypen: Er wordt aangetoond dat dataverrijking niet uniform werkt. Het helpt bij semantisch lateraal denken (zinnen), maar niet noodzakelijk bij orthografisch/fonetisch denken (woorden), wat impliceert dat verschillende redeneringstypen verschillende data-eigenschappen vereisen.

Resultaten

Het systeem behaalde de volgende resultaten op de testset:

• Sentence Puzzle: 92,5% algehele nauwkeurigheid (6e plaats van 31 teams). Dit is een aanzienlijke verbetering ten opzichte van de baseline (ChatGPT zero-shot: ~62,7%).
• Word Puzzle: 80,2% algehele nauwkeurigheid (10e plaats van 23 teams).
• Ablatiestudie: De grootste prestatieverbetering (+28,3 punten) kwam door de overstap van BERT naar DeBERTaV3. De overstap van Sequence Classification naar Multiple Choice leverde +9,2 punten op. Data augmentation leverde een extra +4,2 punten op voor zinnenpuzzels.

Analyse van Fouten:

• Er is een merkbare daling in prestatie tussen instance-based accuracy (per vraag) en group-based accuracy (waarbij een systeem alle varianten van een vraag, inclusief semantische en contextuele reconstructies, correct moet beantwoorden). Dit wijst erop dat het model soms nog steeds oppervlakkige patronen gebruikt die falen bij adversariale variaties.
• Er is een kloof van 12,3 punten tussen zinnen- en woordpuzzels, wat suggereert dat woordpuzzels (die vaak letter-gebaseerd zijn) minder goed worden opgepikt door sub-word tokenisatie in transformer-modellen.

Betekenis en Conclusie

Dit paper is significant omdat het aantoont dat lateraal denken in LLMs kan worden verbeterd door het bewust inbrengen van data die creatief en niet-lineair redeneren vereist (humor en raadsels). Het benadrukt echter ook dat er geen "one-size-fits-all" oplossing is; de aard van de puzzel (semantisch vs. orthografisch) bepaalt welke augmentatiestrategie effectief is.

De auteurs concluderen dat toekomstig werk zich moet richten op:

• Het verbeteren van robuustheid tegen adversariale reconstructies.
• Het onderzoeken van karakter-niveau representaties voor woordpuzzels.
• Het gebruik van grotere modellen en betere kwaliteitscontrole voor synthetische data.

De code en data zijn beschikbaar gesteld om verdere research in dit onderbelichte domein van NLP te stimuleren.