Technische Samenvatting: Evaluatie van Large Language Models op het Begrip van Koreaanse Indirecte Taalhandelingen

Probleemstelling

Hoewel Large Language Models (LLM's) een opmerkelijke bekwaamheid hebben getoond in traditionele Natural Language Processing (NLP) taken zoals categorisatie, vertaling en logisch redeneren, blijft hun vermogen om menselijke intenties in conversationele contexten te begrijpen ondergewaardeerd. Huidige benchmarks richten zich voornamelijk op kennisverwerking en expliciete letterlijke betekenissen, waarbij ze vaak pragmatiek verwaarlozen — de studie van taalgebruik binnen specifieke contexten.

Er bestaat een kritieke kloof in de evaluatie van hoe goed LLM's indirecte taalhandelingen begrijpen, waarbij de werkelijke intentie van de spreker verschilt van de letterlijke betekenis van de uiting. Dit is bijzonder uitdagend in het Koreaans, een hoog-contextuele taal waar gedeelde achtergrondinformatie en situationele aanwijzingen essentieel zijn voor effectieve communicatie. Bestaande evaluaties adresseren zelen zelden de nuance van het onderscheid tussen directe en indirecte intenties op basis van de conversationele context, een capaciteit die cruciaal is voor LLM's die fungeren als persoonlijke agenten in het dagelijks leven.

Methodologie

Constructie van de Dataset

De auteurs hebben een gespecialiseerde evaluatiedataset geconstrueerd bestaande uit 240 items in het Koreaans, gebaseerd op Searle's Speech Act Theory. De dataset categoriseert taalhandelingen in vijf typen (Representatieven, Directieven, Commissieven, Expressieven, Declaratieven) en richt zich op drie specifieke typen indirecte taalhandelingen waarbij een declaratieve zin (Representatief) een andere illocutionaire handeling uitvoert:

1. ReDi (Representatief $\to$ Directief): Een feitelijke bewering die wordt gebruikt om een actie voor te stellen of te verzoeken (bijv. "Het is mooi buiten" wat impliceert "Laten we naar buiten gaan").
2. ReCo (Representatief $\to$ Commissief): Een feitelijke bewering die wordt gebruikt om een belofte te doen of een verbintenis aan te gaan.
3. ReEx (Representatief $\to$ Expressief): Een feitelijke bewering die wordt gebruikt om emotie of lof te uiten.

Om de contextafhankelijkheid te testen, koppelt de dataset 80 items per type samen in 40 paren. In elk paar wordt dezelfde uiting gepresenteerd in twee verschillende scenario's: één waar het fungeert als een directe taalhandeling en één waar het fungeert als een indirecte taalhandeling.

Geëvalueerde Modellen

De studie evalueerde 12 LLM's, verdeeld over twee categorieën:

• Proprietary Modellen (8): GPT-3.5, GPT-4, Claude3-Haiku, Claude3-Sonnet, Claude3-Opus, Mistral-small, Mistral-medium, en Mistral-large.
• Open-Source Modellen (4): Llama3-8B, Qwen1.5-14B, Solar-10.7B, en T3Q-ko-solar (een gefinetuned Koreaanse versie van Solar).

Experimentele Opzet

Er werden twee experimentele opzetten gehanteerd om de prestaties te beoordelen:

1. Multiple-Choice Vraag (MCQ): Modellen kregen een context en een uiting gepresenteerd en moesten de juiste taalhandeling-intentie selecteren uit vier opties (één correcte, één "tegenovergestelde" type, en twee willekeurige types). Prestaties werden gemeten door de overeenstemmingsgraad (accuratesse) over drie proeven per item.
2. Open Vraag (OEQ): Modellen werd gevraagd de intentie van de uiting te beschrijven. Responsies werden kwalitatief gescoord door menselijke evaluatoren op een schaal van 1–5 op basis van de accuratesse van de geïnferrede intentie en de letterlijke betekenis, en vervolgens geschaald naar 0–100.

Menselijke Baseline

Om een Gold Standard vast te stellen, voltooiden 52 menselijke participanten (leeftijd 20–30, diverse academische achtergronden, exclusief linguïstiek studenten) dezelfde MCQ-test. Deze data dient als benchmark voor het vergelijken van de prestaties van LLM's met de menselijke pragmatische competentie.

Belangrijkste Bijdragen

1. Ontwikkeling van een Speech Act Comprehension Test Set: Een gespecialiseerde, publiekelijk beschikbare dataset ontworpen om het vermogen van LLM's te evalueren om drie categorieën indirecte taalhandelingen te interpreteren binnen Koreaanse contextuele kaders.
2. Verzameling van Menselijke Referentiedata: De vestiging van een menselijke prestatiebaseline (Gold Standard) om het gat tussen huidige LLM's en menselijk niveau van pragmatisch begrip te kwantificeren.
3. Systematische Evaluatie en Analyse: Een uitgebreide beoordeling van 12 LLM's met behulp van zowel MCQ als OEQ formaten, inclusief een gedetailleerde analyse van prestaties over verschillende soorten taalhandelingen (ReDi, ReCo, ReEx) en een vergelijking met het begrip van conversationele implicatuur.

Resultaten

Algemene Prestaties

• Menselijke Superioriteit: Menselijke participanten behaalden een gemiddelde MCQ-score van 77,64, waarmee zij alle geëvalueerde LLM's significant overtroffen.
• Model Rangschikking: Claude3-Opus kwam als best presterende model uit de bus met een MCQ-score van 71,94 en een OEQ-score van 90,37. Het was het enige model dat een gebalanceerde accuratesse toonde voor directe en indirecte taalhandelingen, met een verschil in score van slechts 5,55% (69,17 voor direct versus 74,72 voor indirect).
• Proprietary vs. Open-Source: Proprietary modellen presteerden over het algemeen beter dan open-source modellen. Onder de open-source modellen presteerde Solar-10.7B het best (65,0 in MCQ), terwijl T3Q-ko-solar (gefineduned) feitelijk een prestatiedaling liet zien vergeleken met het basismodel Solar in context-gebaseerde inferentie.
• Direct vs. Indirect Gat: De meeste LLM's (behalve Claude3-Opus) vertoonden een significant lagere prestatie op indirecte taalhandelingen vergeleken met directe. Zo scoorde GPT-3.5 bijvoorbeeld 63,61 op directe handelingen maar slechts 36,67 op indirecte handelingen.

Analyse per Type Taalhandeling

• ReEx (Expressief): Zowel mensen als LLM's behaalden de hoogste scores op dit type, waarschijnlijk door de prevalentie van idiomatische uitdrukkingen in de dataset die modellen goed hebben geleerd.
• ReDi (Directief): Dit was de meest uitdagende categorie voor alle modellen. Declaratieve zinnen die feiten stellen (bijv. "Het is uitverkocht") werden frequent misinterpreteerd als informatievoorziening in plaats van indirecte verzoeken/suggesties.
• ReCo (Commissief): De prestaties waren intermediair, liggend tussen ReDi en ReEx in.

Kwalitatieve Bevindingen (OEQ)

• Claude3-Opus vertoonde geavanceerde redenering, waarbij het vaak gedetailleerde verklaringen en lijstformaten bood om de interpretaties te rechtvaardigen.
• Llama3 vertoonde significante mismatch, waarbij het vaak antwoorden in het Engels genereerde ondanks Koreaanse prompts en onleesbare tokens produceerde.
• Solar vertoonde tekenen van overfitting op MCQ-benchmarks, waarbij het vaak eigen multiple-choice opties (A, B, C) genereerde, zelfs bij open vragen, een gedrag dat niet typerend is voor menselijke probleemoplossing.

Correlatie met Implicatuur

De studie vond een matige correlatie (0,67) tussen het begrip van taalhandelingen en het begrip van conversationele implicatuur. Echter, de correlatie was hoger (0,73) specifiek voor indirecte taalhandelingen, wat suggereert dat de mechanismen voor het interpreteren van indirecte intenties en conversationele implicaturen nauw aan elkaar verwant zijn, met name met betrekking tot de Griceaanse maxime van relatie.

Betekenis en Claims

De auteurs stellen dat deze studie een noodzakelijke pragmatische evaluatie biedt van LLM's, waarbij ze verder gaan dan kennisgebaseerde benchmarks om het "hoogste niveau van taalvaardigheid" te beoordelen: pragmatische competentie.

• Huidige Beperkingen: De studie concludeert dat hoewel LLM's vooruitgaan, geen enkel huidig model het menselijke prestatieniveau heeft bereikt in het begrijpen van indirecte taalhandelingen. De meeste modellen worstelen met het onderscheiden van letterlijke en geïmpliceerde intenties, vooral wanneer de letterlijke betekenis voldoende is maar contextueel ongepast.
• Contextgevoeligheid: De resultaten benadrukken dat modellen getraind op grote datasets uitblinken in letterlijke betekenis, maar vaak falen in het afleiden van diepere intenties wanneer de letterlijke betekenis weliswaar voldoende is, maar contextueel niet passend.
• Toekomstige Richtingen: De auteurs benadrukken de noodzaak van verder onderzoek om het begrip van indirecte taalhandelingen door LLM's te verbeteren voor natuurlijkere mens-computerinteractie. Zij stellen toekomstig werk voor dat betrekking heeft op gesimuleerde multi-turn conversaties en de uitbreiding van deze datasets naar andere talen (Engels, Chinees, Duits) om robuustheid over linguïstische contexten heen te valideren.

Het artikel positioneert zichzelf als een fundamentele stap in het overbruggen van de kloof tussen statistische taalmodellering en echt pragmatisch begrip, en voert aan dat een rigoureuze evaluatie van taalhandelingen essentieel is voor de volgende generatie conversationele AI.