Technische Samenvatting: FFE-HALLU

Probleemdefinitie

Large Language Models (LLM's) hebben een opmerkelijk succes getoond in diverse NLP-taken, maar blijven worstelen met figuurlijk taalgebruik, specifiek Vaste Figuratieve Expressies (FFE's) zoals idiomen en spreekwoorden. In tegenstelling tot letterlijke zinnen zijn FFE's cultureel geworteld, grotendeels niet-compositioneel en conventioneel vaststaand. Het artikel identificeert een specifieke, onderbelichte foutmodus die figuratieve hallucinatie wordt genoemd: het genereren of bekrachtigen van uitdrukkingen die idiomatisch en plausibel klinken, maar niet bestaan als authentieke vaste expressies in de doeltaal.

Terwijl feitelijke hallucinaties vaak geverifieerd kunnen worden tegen externe kennisbronnen, zijn figuratieve hallucinaties verraderlijker vanwege het "illusory truth effect" (effect van schijnwaarheid), waarbij vertrouwde structuren als waar worden beschouwd, zelfs door geïnformeerde lezers. Dit vormt aanzienlijke risico's voor toepassingen die culturele competentie vereisen, zoals machinale vertaling en dialoogsystemen, met name voor niet-moedertaalsprekers die gefabriceerde uitdrukkingen als authentiek kunnen accepteren.

Methodologie

Om dit gat te dichten, introduceren de auteurs FFE-HALLU, de eerste uitgebreide benchmark die is ontworpen om figuratieve hallucinatie in LLM's te evalueren, met een specifieke focus op de Perzische taal. De benchmark bestaat uit 600 gecureerde instanties verdeeld over drie complementaire taken:

1. FFE Generatie vanuit Betekenis:

   • Doel: Testen of een model een geldige idioom of spreekwoord kan ophalen op basis van een figuratieve definitie.
   • Data: 200 authentieke Perzische idiomen/spreekwoorden met definities afkomstig van het Abadis woordenboek en GPT-4o parafrases.
   • Evaluatie: Outputs worden gecategoriseerd als Correct (authentieke FFE die de betekenis matcht), Incorrect (authentieke FFE met een mismatchende betekenis), of Gehallucineerd (letterlijke frase of niet-bestaande expressie).

2. Fake FFE Detectie:

   • Doel: Beoordelen van het vermogen van het model om authentieke expressies te onderscheiden van plausibele fabricaties.
   • Data: 200 gefabriceerde FFE's geconstrueerd met behulp van vier gecontroleerde strategieën:
     • Woordperturbatie: Het vervangen van sleutelwoorden in echte idiomen.
     • Semantische Inversie: Het omkeren of vervormen van de betekenis van echte structuren.
     • Structurele/Syntactische Mimicry: Het genereren van nieuwe expressies die de veelvoorkomende proverbiale sjablonen volgen zonder echt lexicaal materiaal te gebruiken.
     • Culturele/Historische Fabricatie: Het gebruik van cultureel saillante elementen (bijv. historische figuren, rituelen) om overtuigende maar ongeldige expressies te creëren.
   • Evaluatie: Modellen worden geprompt met "Is deze FFE nep?" en "Is deze FFE echt?" om consistentie en hallucinatiecijfers (valse acceptaties) te meten.

3. FFE-naar-FFE Vertaling (Engels → Perzisch):

   • Doel: Evalueren van de cross-linguale transfer van idiomatische betekenis zonder terug te vallen op letterlijke vertaling of uitvinding.
   • Data: 200 tweetalige Engels-Perzische paren met geverifieerde equivalenten.
   • Evaluatie: Outputs worden gecategoriseerd als Correct (cultureel equivalente FFE), Incorrect (bestaande FFE met verkeerde betekenis), of Gehallucineerd (letterlijke vertaling of uitgevonden expressie).

Experimentele Opzet:
De auteurs evalueerden zes state-of-the-art meertalige LLM's (GPT-4.1, Claude 3.7 Sonnet, Gemma3-27B, DeepSeek-V3, DeepSeek-R1, en Qwen3-235B). De evaluatie omvatte zowel menselijke annotatie door moedertaalsprekers van het Perzisch als automatische evaluatie met behulp van LLM-as-a-judge (GPT-4.1 en Gemini 2.5 Pro) om de betrouwbaarheid van automatische metrieken voor figuratieve taken te beoordelen.

Belangrijkste Resultaten

• Variantie in Modelprestaties: GPT-4.1 vertoonde de meest robuuste prestaties over alle taken, met de hoogste nauwkeurigheid in generatie (60,5%) en vertaling (65%), en de laagste hallucinatiecijfers. Claude 3.7 Sonnet toonde sterke generatiecapaciteiten, maar had aanzienlijke problemen met het detecteren van nep FFE's (61,75% hallucinatiecijfer).
• Zwakheid in Open-Weight Modellen: Modellen zoals DeepSeek-V3, Gemma3-27B, en Qwen3-235B vertoonden ernstige zwakheden. Qwen3-235B hallucineerde bijvoorbeeld in bijna 70% van de generatietaken en 94% van de vertalingstaken, waarbij vaak ongrammaticale of volledig gefabriceerde expressies werden geproduceerd.
• Detectie-instabiliteit: Prestaties in de Fake FFE Detectie-taak waren zeer gevoelig voor de framing van de prompt. Hoewel de meeste modellen goed presteerden wanneer er werd gevraagd "Is dit echt?", daalde hun nauwkeurigheid scherp wanneer er werd gevraagd "Is dit nep?", wat wijst op instabiliteit bij het verwerpen van gefabriceerde inhoud.
• Beperkingen van Automatische Evaluatie: De studie concludeerde dat automatische evaluatie (LLM-as-a-judge) uitdagend is voor figuratieve hallucinatie. Gemini 2.5 Pro vertoonde een betere afstemming met menselijke oordelen (hogere Cohen's κ) dan GPT-4.1, met name in het onderscheiden van gehallucineerde FFE's van louter incorrecte FFE's. Automatische beoordelaars hadden echter moeite naarmate de hallucinatiecijfers toenamen, waarbij ze vaak niet-bestaande expressies classificeerden als louter "incorrecte" echte expressies.

Betekenis en Bijdragen

Het artikel levert vier primaire bijdragen:

1. Introductie van FFE-HALLU: De eerste benchmark die specifiek is ontworpen om de figuratieve hallucinatie in LLM's te evalueren, met een focus op vaste figuratieve expressies in het Perzisch.
2. Taakframework: Het voorstel van drie complementaire taken (Generatie, Detectie, Vertaling) die verschillende aspecten van figuratieve competentie en culturele verankering onderzoeken.
3. Empirische Analyse: Een gedetailleerde evaluatie van zes SOTA meertalige LLM's, die systematische zwakheden onthult in figuratieve generatie, detectie en cross-linguale transfer, met name in open-weight modellen.
4. Evaluatievaliditeit: Een beoordeling van de betrouwbaarheid van LLM-as-a-judge methoden voor figuratieve hallucinatie, waarbij de noodzaak van deskundige menselijke annotatie voor cultureel genuanceerde taken wordt benadrukt.

De auteurs concluderen dat beheersing van figuratieve taal meer vereist dan meertalige vloeiendheid; het vereist echt cultureel begrip. De bevindingen onderstrepen de noodzaak van gerichte benchmarks om figuratieve hallucinatie te beoordelen en te beperken, aangezien huidige modellen frequent cultureel ongeldige expressies genereren of bekrachtigen die gebruikers kunnen misleiden.

Beperkingen

De auteurs erkennen dat het detecteren van figuratieve hallucinaties sterk leunt op de intuïtie en het oordeel van moedertaalsprekers, wat de benchmark beperkte tot het Perzisch. Daarnaast is de omvang van de dataset (600 items) bescheiden vanwege de moeilijkheid van het op grote schaal cureren en valideren van idiomen. Het artikel merkt op dat hoewel automatische beoordeling schaalbaarheid biedt, het imperfect blijft en de plaats van deskundige menselijke annotatie niet moet innemen, vooral bij cultureel subtiele gevallen.