Implicature in Interaction: Understanding Implicature Improves Alignment in Human-LLM Interaction

Technische Samenvatting: Implicatuur-bewuste Prompting in Mens-LLM Interactie

Probleemstelling
Naarmate Large Language Models (LLM's) de primaire interface worden voor mens-computerinteractie (HCI), hebben systemen steeds meer moeite met pragmatische fenomenen, specifiek conversatie-implicatuur. Implicatuur verwijst naar betekenis die indirect wordt overgebracht via context, gedeelde aannames en communicatieve normen in plaats van expliciete uitspraken (bijvoorbeeld een weigering impliceren door te zeggen "Ik heb veel werk"). Huidige LLM's neigen vaak naar letterlijke interpretaties, wat leidt tot antwoorden die gebruikers als stijf, onintelligent of niet afgestemd op hun communicatieve intentie ervaren. Hoewel bestaande benchmarks de prestaties van modellen op implicatuur-taken evalueren, ontbreekt het aan inzicht of het expliciet maken van impliciete intentie via prompting de gepercipieerde kwaliteit en relevantie van antwoorden in gebruikersgerichte settings verbetert. Bovendien ontbreekt er een lichtgewicht, operationele taxonomie die specifiek is ontworpen voor HCI-stimulusontwerp en -evaluatie.

Methodologie
De studie hanteert een ontwerp met drie experimenten om implicatuur te operationaliseren en de impact ervan op gebruikersperceptie te evalueren:

1. Ontwikkeling van Taxonomie: De auteurs introduceerden een op HCI gerichte operationele taxonomie van drie implicatuurklassen, gebaseerd op Griceaanse pragmatica en Searle's spraakaktetheorie:

   • Informatiezoekend: Indirecte verzoeken om kennis of verduidelijking.
   • Richtingzoekend: Indirecte verzoeken om begeleiding, actie of volgende stappen.
   • Expressief: Uitingen die affect, houding of evaluatie overbrengen zonder een direct verzoek.
     Er werd een beoordelingsrubriek opgesteld om prompts te labelen op basis van de primaire impliciete intentie en de vereiste verplichting voor het eerste antwoord.

2. Experiment 1 (Interpretatiebenchmark):

   • Taak: 60 menselijke deelnemers en vijf LLM's (GPT-4o, GPT-4, GPT-3.5-turbo, Llama-2-7b-chat, Mistral-7B-Instruct) werden gevraagd om 30 geschreven prompts te classificeren in de drie implicatuurklassen.
   • Doel: De leerbaarheid en interne coherentie van de taxonomie te verifiëren en de modelalignatie te benchmarken tegen een menselijke interpretatie-baseline.

3. Experiment 2 (Gepercipieerde Relevantie en Kwaliteit):

   • Taak: 90 deelnemers beoordeelden LLM-antwoorden op een 5-punts Likertschaal voor gepercipieerde relevantie en totale kwaliteit.
   • Voorwaarden: Antwoorden werden gegenereerd onder twee voorwaarden:
     • Baseline: Standaard systeemprompt.
     • Implicatuur-bewust: Het model ontving een korte definitie van de specifieke implicatuurklasse en de communicatieve doelstelling voor de prompt (zonder volledige details van de rubriek).
   • Ontwerp: Een onvolledig tussen-proefpersonen ratingontwerp waarbij deelnemers subsets van prompt-antwoordparen bekeken.

4. Experiment 3 (Gerichte Forced-Choice Opvolging):

   • Taak: 30 deelnemers voerden een forced-choice-taak met twee alternatieven uit op een gerichte subset van 10 prompt-antwoordparen. Deze paren werden post-hoc geselecteerd uit Experiment 2 op basis van hoge contrastverschillen in relevantie- of kwaliteitsbeoordelingen.
   • Doel: Bepalen of de in Experiment 2 waargenomen ratingvoordelen zich vertalen naar directe paarvoorkeur wanneer beide opties naast elkaar worden gepresenteerd.

Belangrijkste Bijdragen

1. Operationele Taxonomie: Introductie van een praktische, drie-klassen implicatuur-taxonomie (Informatiezoekend, Richtingzoekend, Expressief) die is geworteld in linguïstische theorie maar is geoptimaliseerd voor HCI-stimulusontwerp en -evaluatie.
2. Modelbenchmarking: Een vergelijkende benchmark van vijf LLM's tegen een menselijke baseline, die significante variatie blootlegt in hoe nauw modellen aligneren met menselijke interpretaties van impliciete intentie.
3. Gebruikersgerichte Bewijslast: Empirisch bewijs dat implicatuur-bewuste prompting (het expliciet maken van communicatieve intentie) meetbaar de gebruikersbeoordelingen van LLM-antwoorden verbetert op het gebied van relevantie, kwaliteit en directe voorkeur.

Resultaten

• Consistentie Taxonomie: De drie-klassen rubriek was leerbaar en intern coherent, met menselijke annotatoren die een matige overeenkomst bereikten (Fleiss' $\kappa$ = 0,414) op de geschreven prompts.
• Modelalignatie: Grotere modellen aligneerden nauwer met menselijke interpretaties. GPT-4o behaalde de hoogste overeenkomst (86,67%), gevolgd door GPT-4 (73,33%). Kleinere modellen (Llama-2, Mistral-7B, GPT-3.5) vertoonden een zwakkere en ongelijkmatigere alignatie, met name in de categorieën Richtingzoekend en Expressief.
• Impact van Prompting (Experiment 2): Implicatuur-bewuste prompting verbeterde zowel de gepercipieerde relevantie ($p < .001$) als de gepercipieerde kwaliteit ($p < .001$) significant over de geëvalueerde set antwoorden. De interventie toonde geen significante interactie-effecten met modelgrootte of implicatuurklasse, wat suggereert dat het voordeel breed is en niet specifiek voor bepaalde modellen of prompttypes.
• Directe Voorkeur (Experiment 3): In de forced-choice opvolging selecteerden deelnemers het implicatuur-bewuste antwoord 67,6% van de tijd, een proportie significant boven het toevalsniveau ($p = 1,04 \times 10^{-9}$).

Betekenis en Claims
Het artikel betoogt dat implicatuur een praktisch consequente testcase is voor het integreren van linguïstische theorie in HCI-ontwerp. De bevindingen ondersteunen een bescheiden maar concrete conclusie:

• Pragmatische Steun werkt: Het expliciet maken van impliciete communicatieve intentie via gestructureerde prompting verbetert de gepercipieerde kwaliteit van taalgebaseerde interactie zonder dat modelhertraining of architecturale wijzigingen nodig zijn.
• Ontwerprichtlijn: Conversatiesystemen moeten niet alle inputs als letterlijke verzoeken behandelen. Ontwerpers moeten promptingstrategieën toepassen die waarschijnlijke gebruikersintenties (bijvoorbeeld begeleiding of affect) aan het licht brengen om relevantie en geschiktheid te verbeteren.
• Beperking Huidige Modellen: De studie verduidelijkt dat deze winsten voortkomen uit pragmatische steun (expliciete begeleiding) en niet uit bewijs dat huidige modellen stabiele, ongesteunde, menselijke pragmatische redenering bezitten. Grotere modellen benaderen menselijk oordeel beter, maar zelfs zij profiteren van het aan het licht brengen van expliciete intentie.
• HCI-verschuiving: Het werk pleit voor een verschuiving van benchmarknauwkeurigheid naar het opnemen van door gebruikers gepercipieerde relevantie, kwaliteit en directe voorkeur als centrale metrieken voor het evalueren van taalgebaseerde interactiesystemen.

De auteurs benadrukken dat, hoewel de studie de waarde van het aan het licht brengen van expliciete intentie aantoont, er geen claim wordt gemaakt dat LLM's het probleem van autonome implicatuur-inferentie hebben opgelost. In plaats daarvan wordt de waarde benadrukt van het gebruik van linguïstische theorie om promptontwerp en interactie-evaluatie te informeren.