Comparing Human and Large Language Model Interpretation of Implicit Information

Probleemstelling

De interpretatie van impliciete betekenissen (wat er tussen de regels staat) is een fundamenteel aspect van menselijke communicatie, waarbij lezers actief samenwerken met auteurs om betekenis te construeren. Echter, het is onzeker of dit kader van toepassing is op interacties met Large Language Models (LLMs). Hoewel LLMs uitstekend presteren in veel NLP-taken, ontbreekt het aan onderzoek naar hoe ze impliciete informatie extraheren en interpreteren in vergelijking met mensen. Bestaande methoden voor informatiewinning focussen vaak op expliciete feiten of gebruiken strenge entailment-modellen (Natural Language Inference), die te beperkt zijn voor het open verzamelen van gestructureerde impliciete kennis.

Methodologie: Implicit Information Extraction (IIE)

De auteurs introduceren een nieuwe taak genaamd Implicit Information Extraction (IIE) en een bijbehorende pipeline om een gestructureerde kennisgrafiek (Knowledge Graph - KG) te bouwen vanuit een contextzin. De pipeline is volledig geautomatiseerd, model-agnostisch en werkt met few-shot prompting, waardoor geen fijnafstemming (fine-tuning) of toegang tot modelparameters vereist is.

De pipeline bestaat uit drie hoofdfasen:

1. Informatie-extractie:
   • Entiteiten: Het model identificeert entiteiten en tagt ze volgens een specifieke ontologie (bijv. persoon, organisatie, object).
   • Expliciete relaties: Het model extrahert (SUBJECT, RELATION, OBJECT) triplets die direct in de tekst staan.
   • Impliciete relaties: Het model infereert extra triplets die niet expliciet staan maar logisch afleidbaar zijn (bijv. intenties, emoties, voor- en nasituaties). Deze triplets kunnen ook geneste structuren bevatten (bijv. voor subordinaat zinnen) om complexere grammaticale constructies te hanteren.
2. Validatie van inferenties:
   • Het model fungeert als zijn eigen criticus. Het analyseert de afgeleide triplets om te bepalen of ze onderbouwd zijn.
   • Niet-ondersteunde triplets worden verworpen met een motivatie.
   • Er is een correctiestap waarbij het model probeert een verworpen triplet te corrigeren in plaats van het volledig te verwerpen.
   • Dubbelingen worden verwijderd en er wordt een uitleg gevraagd voor elke validatie (welke expliciete feiten leiden tot de impliciete conclusie).
3. Temporele analyse:
   • Het model classificeert triplets als events (gebeurtenissen) of states (toestanden).
   • Het extrahert absolute tijdsreferenties.
   • Het bepaalt de relatieve tijdsorde tussen paren van triplets (voor, na, gelijktijdig, of geen relatie).

Experimenteel Opzet

• Modellen: Mistral Large 2 en GPT-4o mini.
• Datasets: 30 Engelse contextzinnen, verdeeld over SocialIQA (sociale interacties, rijk aan context) en COPA (korte, feitelijke oorzakelijke redeneringen).
• Menselijke evaluatie: 205 universiteitsstudenten en 75 MTurk-workers hebben de output van de modellen beoordeeld. Ze beoordeelden of triplets feitelijk, afleidbaar of fout waren, keurden de validatiebeslissingen goed, en voegden ontbrekende triplets toe.

Belangrijkste Resultaten

1. Overeenkomst (Model-Human Agreement - MHA):

   • De overeenkomst is gemiddeld, maar varieert per taak. De hoogste overeenkomst is bij het corrigeren van fouten (Model Error Correction) en het classificeren van events/states. De laagste overeenkomst is bij het bepalen van tijdsrelaties.
   • Mistral presteerde over het algemeen iets beter dan GPT-4o mini.

2. Strenge vs. Ruime Interpretatie (RQ2):

   • SocialIQA (Sociale context): LLMs zijn conservatiever dan mensen. Ze verwerpen veel triplets die mensen als geldig beschouwen (over-pruning). Mensen maken meer gebruik van sociale aanwijzingen om implicaties af te leiden.
   • COPA (Feitelijke context): Mensen worden strenger dan LLMs. Omdat de zinnen korter en feitelijker zijn, zijn mensen minder geneigd om speculatieve inferenties te accepteren die door de modellen worden gegenereerd.

3. Afdaling en Dekking:

   • Hoewel mensen het vaak eens zijn met de door het model gegenereerde triplets, voegen mensen er veel meer aan toe dan het model genereert. Dit wijst op een beperkte dekking van huidige LLMs in het extraheren van impliciete informatie.
   • LLMs genereren weinig hallucinaties (valse impliciete relaties), vooral na de validatiefase.

4. Tijdsinformatie (RQ3):

   • LLMs worstelen met het afleiden van tijdsrelaties uit impliciete aanwijzingen. Ze kiezen vaker voor "geen relatie" (conservatief) terwijl mensen vaak een volgorde kunnen afleiden uit gemeenschappelijke kennis of context.

5. Inference Drivers (RQ1):

   • LLMs interpreteren expliciete informatie vaak letterlijker dan mensen. Mensen classificeren herformuleringen van de tekst vaak als "feitelijk", terwijl modellen ze soms als "afleidbaar" zien.
   • Modellen missen vaak inferenties over intenties, pre- en post-condities, en emotionele reacties, vooral in sociale contexten.

Belangrijkste Bijdragen

1. Nieuwe Taak en Pipeline: Introductie van IIE en een geautomatiseerde, few-shot pipeline om impliciete kennis te structureren in een Knowledge Graph zonder fine-tuning.
2. Empirische Vergelijking: Een uitgebreide kwantitatieve en kwalitatieve vergelijking tussen menselijke en LLM-interpretatie van impliciete betekenissen, met inachtneming van verschillende dataset-kenmerken (sociaal vs. feitelijk).
3. Inzicht in Conservatisme: De bevinding dat LLMs in sociale contexten te conservatief zijn (te weinig inferenties), terwijl mensen in feitelijke contexten juist te conservatief zijn (te weinig acceptatie van inferenties).
4. Openbare Code: De code en prompts zijn beschikbaar gesteld voor reproduceerbaarheid.

Significantie

Dit onderzoek benadrukt dat LLMs, ondanks hun vermogen om menselijk taalgebruik te imiteren, fundamenteel verschillen in hoe ze impliciete betekenissen construeren. De resultaten suggereren dat LLMs in professionele toepassingen (zoals juridische analyse of journalistiek) waar nuance en impliciete context cruciaal zijn, mogelijk te veel informatie missen of te voorzichtig zijn. Het werk draagt bij aan de interpretability van LLMs en wijst op de noodzaak van domein-specifieke aanpassingen om de dekking van impliciete informatie te verbeteren.