Interpretable Chinese Metaphor Identification via LLM-Assisted MIPVU Rule Script Generation: A Comparative Protocol Study

Deze studie introduceert een interpreteerbare, door LLM's ondersteunde pipeline die vier Chinese metafooridentificatieprotocollen omzet in uitvoerbare regelscripts, waarmee voor het eerst een cross-protocol vergelijking wordt gedaan die aantoont dat de keuze van het protocol de grootste variatiebron is en dat deze transparante architectuur concurrerende prestaties levert.

De kern

Stel je voor dat je een detective bent die probeert te ontdekken wanneer mensen in een gesprek een metafoor gebruiken. Een metafoor is iets als "tijd is geld". Het woord "tijd" wordt hier niet letterlijk gebruikt, maar als een vergelijking.

Normaal gesproken werken computers die dit moeten doen als een zwarte doos. Ze zeggen: "Ja, dit is een metafoor!" maar ze kunnen niet uitleggen waarom. Het is alsof een detective zegt: "Ik heb de dader gevonden," maar je mag niet zien hoe hij het bewijs heeft gevonden. Voor de Chinese taal is dit nog moeilijker, omdat er geen kleine lettertjes of woorduiteinden zijn die je helpen, en er weinig voorbeelden zijn om op te leren.

De auteurs van dit paper (Weihang Huang en Mengna Liu) hebben een nieuwe manier bedacht om deze "zwarte doos" open te breken. Hier is hoe ze dat hebben gedaan, vertaald naar alledaags taalgebruik:

1. De Vier Detectives (De Protocollen)

In plaats van één grote, ondoorzichtige computer te gebruiken, hebben ze vier verschillende detectives (die ze 'protocollen' noemen) ingezet. Elke detective heeft een andere manier van denken en zoekt naar andere dingen:

• Detective A (De Woord-Boekhouder): Deze kijkt naar elk woord apart. Hij vraagt zich af: "Betekent dit woord hier iets anders dan zijn basisbetekenis?" (Bijvoorbeeld: Is "diep" hier echt diep in een put, of gaat het over een "diep" gevoel?). Hij gebruikt een woordenboek als leidraad.
• Detective B (De Vergelijkings-Maestro): Deze kijkt naar het hele zinnetje. Hij probeert te vinden: "Wat wordt vergeleken met wat?" (De 'vergelijkingsstam' en het 'vergelijkingsobject'). Hij zoekt naar de verborgen link tussen twee verschillende werelden.
• Detective C (De Emotie-Spion): Deze zoekt naar gevoelens. Als een zin een gevoel uitstraalt dat niet past bij de letterlijke betekenis, dan is het waarschijnlijk een metafoor. (Bijvoorbeeld: "Hij brak mijn hart" – letterlijk kan dat niet, dus er moet een gevoel achter zitten).
• Detective D (De Vergelijkings-Scanner): Deze zoekt specifiek naar woorden als "zoals", "als" of "gelijk aan". Hij kijkt alleen naar expliciete vergelijkingen.

2. De Magische Assistent (De LLM)

Deze detectives werken niet alleen. Ze hebben een super-intelligente assistent (een Large Language Model, ofwel een AI zoals wij die nu kennen) in dienst. Maar hier is het slimme trucje:

• De AI doet niet het hele werk. Ze zegt niet zomaar "Ja, dat is een metafoor".
• In plaats daarvan schrijft de AI stap-voor-stap instructies (regels) voor de detectives.
• De detectives voeren deze regels dan heel precies uit.

Stel je voor dat de AI de architect is die een blauwdruk tekent, en de detectives zijn de bouwers die het huis bouwen volgens dat blauwdruk. Als er een fout is, kunnen we precies zien welke regel in het blauwdruk verkeerd was, in plaats van te raden wat de bouwer verkeerd deed.

3. Het Grote Experiment: Wie is het meest gelijk?

De auteurs hebben deze vier detectives getest op zeven verschillende verzamelingen Chinese teksten. Het resultaat was verrassend:

• Ze zijn het bijna nooit eens!
  • Detective A (Woord-Boekhouder) en Detective D (Vergelijkings-Scanner) waren het bijna helemaal niet eens (slechts 0,1% overeenkomst). Detective A zag duizenden metaforen die Detective D helemaal niet zag.
  • Detective B (Vergelijkings-Maestro) en Detective C (Emotie-Spion) daarentegen waren bijna perfect het eens (98,6% overeenkomst). Het bleek dat metaforen die makkelijk te vergelijken zijn, vaak ook sterke emoties oproepen.

Dit leert ons iets belangrijks: "Metafoor vinden" is geen één ding. Het hangt er helemaal van af hoe je ernaar kijkt. Net zoals je een boom kunt zien als hout, als een huis voor vogels, of als een klimrek; het hangt af van je doel.

4. Waarom is dit beter dan de oude manier?

De oude computers (de "zwarte dozen") waren misschien iets sneller of hadden een iets hogere score, maar je wist nooit waarom.

Het nieuwe systeem heeft drie grote voordelen:

1. Transparantie: Je kunt precies zien welke stap de detective nam. "Ik koos voor 'ja' omdat het woord 'diep' hier niet letterlijk kan."
2. Herhaalbaarheid: Als je het systeem twee keer laat draaien, krijg je exact hetzelfde antwoord. Geen toeval.
3. Bewerkbaarheid: Als je merkt dat Detective A te streng is, kun je zijn instructies (de regels) simpelweg aanpassen. Je hoeft niet de hele computer opnieuw te programmeren.

Conclusie

Deze paper zegt eigenlijk: "Stop met alleen te jagen op de hoogste score. Laten we in plaats daarvan bouwen aan systemen die we kunnen begrijpen en kunnen aanpassen."

Voor het leren van een taal, voor het verbeteren van vertalingen of voor onderzoek, is het belangrijker om te weten waarom iets een metafoor is, dan om blindelings een hoge score te halen. Ze hebben laten zien dat je met duidelijke regels en een slimme assistent net zo goed kunt presteren als de geavanceerde, ondoorzichtige systemen, maar dan met een open deur in plaats van een gesloten kast.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Interpretable Chinese Metaphor Identification via LLM-Assisted MIPVU Rule Script Generation: A Comparative Protocol Study", geschreven in het Nederlands.

Probleemstelling

De automatische identificatie van metaforen is een fundamentele taak in de verwerking van figuurlijk taalgebruik. Echter, de huidige state-of-the-art computermethoden, die vaak gebaseerd zijn op neurale netwerken en voorgeprogrammeerde taalmodellen (LLMs), functioneren als "black boxes". Ze bieden geen inzicht in waarom een expressie als metaforisch wordt geclassificeerd. Dit gebrek aan interpreteerbaarheid is vooral problematisch voor het Chinees vanwege:

1. Taalspecifieke uitdagingen: Het Chinees mist morfologische vervoegingen die in Indo-Europese talen als aanwijzing dienen; de onderscheiding tussen letterlijke en figuurlijke betekenis is bijna volledig afhankelijk van context en wereldkennis.
2. Verscheidenheid aan figuren: Chinese figuurlijke taal omvat conceptuele metaforen, vergelijkingen (similes), metonymie en cultuurspecifieke uitdrukkingen die niet perfect passen bij annotatiekaders die voor het Engels zijn ontwikkeld.
3. Gebrek aan resources: Er zijn beperkte en gefragmenteerde geannoteerde datasets voor het Chinees.
4. LLM-beperkingen: Bestaande LLM-benaderingen behandelen het model vaak als een monolithisch redeneerapparaat, waardoor het moeilijk is om fouten toe te schrijven aan specifieke redeneerstappen.

Methodologie

De auteurs stellen een nieuwe architectuur voor die de identificatie-protocol (de theorie) scheidt van het model (het LLM). Ze ontwikkelen een LLM-gesteunde pipeline die vier verschillende linguistische protocollen operationaliseert als uitvoerbare, menscontroleerbare regelscripts.

De vier protocollen:

1. Protocol A (MIP/MIPVU): Lexicale analyse op token-niveau gebaseerd op het contrast tussen contextuele en basisbetekenis.
2. Protocol B (CMDAG): Conceptuele mapping op zinsniveau, waarbij tenor (onderwerp), vehicle (beeld) en ground (gemeenschappelijk kenmerk) worden geëxtraheerd.
3. Protocol C (Emotie): Detectie op basis van affectieve incongruentie (wanneer de emotionele lading niet overeenkomt met de letterlijke betekenis).
4. Protocol D (Simile): Identificatie van expliciete vergelijkingen via markers zoals "像" (zoals) of "仿佛" (alsof).

Systeemarchitectuur:
Het systeem bestaat uit een modulaire pijplijn van vijf stappen:

1. Tekstvoorverwerking: Segmentatie en POS-tagging.
2. Kandidaatselectie: Filteren van analyse-objecten per protocol.
3. Semantische analyse: Het LLM (GPT-4) wordt gebruikt als een beperkte subroutine om betekenissen op te halen, contrasten te beoordelen of domeinen te identificeren.
4. Classificatie: Toepassing van deterministische regels op de output van het LLM.
5. Rationale-generatie: Het produceren van een gestructureerde uitleg (rationale) voor elke beslissing.

Het gebruik van een temperatuur van 0 voor het LLM zorgt voor determinisme, zolang de input en de API-antwoorden constant blijven.

Belangrijkste Bijdragen

1. Eerste uitvoerbare regelscripts voor Chinees: Het is het eerste systeem dat meerdere metafoor-identificatieprotocollen omzet in uitvoerbare code voor het Chinees, met volledige deterministische reproduceerbaarheid.
2. Uitgebreide protocolvergelijking: De eerste systematische cross-protocol vergelijking voor het Chinees, uitgevoerd op zeven verschillende datasets (van token- tot zins- en span-niveau).
3. Interpreteerbaarheidsframework: Een nieuw evaluatiemodel met drie dimensies:
   • Correctheid van de rationale: Klopt de uitleg?
   • Determinisme: Is het resultaat reproduceerbaar?
   • Bewerkbaarheid: Kunnen gebruikers de regels eenvoudig aanpassen om fouten te corrigeren?
4. Open source: De release van code, protocollen en evaluatiescripts voor reproduceerbaar onderzoek.

Resultaten

De evaluatie omvatte zeven Chinese datasets en onthulde opmerkelijke bevindingen:

• Protocolkeuze is de dominante variabele: De keuze van het protocol heeft een veel grotere invloed op de resultaten dan de keuze van het model.
  • Intra-protocol: Protocol A (MIP) behaalde een F1-score van 0,472 op token-niveau.
  • Cross-protocol: Er is een enorme divergentie in wat als metafoor wordt gezien. De overeenkomst (Cohen's kappa) tussen Protocol A en D is slechts 0,001 (bijna geen overeenkomst), terwijl Protocol B en C een bijna perfecte overeenkomst vertonen (kappa = 0,986). Dit suggereert dat conceptuele mapping en emotie-basering dezelfde subset van "prototypische" metaforen vangen, terwijl MIPVU een bredere, meer conventionele set identificeert.
• Interpreteerbaarheid: Alle protocollen behaalden 100% determinisme. De bewerkbaarheid varieerde van 0,80 tot 1,00, wat betekent dat gebruikers systematische fouten kunnen corrigeren door de regels aan te passen, in tegenstelling tot neurale netwerken die opnieuw getraind moeten worden.
• Prestatie vs. Transparantie: Hoewel het systeem (Protocol A) iets onder fine-tuned BERT-modellen blijft (F1 0,47 vs ~0,65), presteert het beter dan zero-shot GPT-4 (0,43) en biedt het volledige transparantie.

Betekenis en Conclusie

De studie concludeert dat "metafooridentificatie" geen unitaire taak is, maar een familie van gerelateerde taken waarvan de uitkomsten sterk afhankelijk zijn van de theoretische operationalisatie.

• Paradigmaverschuiving: De auteurs pleiten voor een verschuiving in het veld: in plaats van alleen te jagen op hogere F1-scores op één benchmark, moeten onderzoekers hun identificatieprotocol expliciet maken en evalueren over meerdere theoretische kaders.
• Toekomstige toepassing: Regel-script architecturen bieden een evenwicht tussen prestaties en transparantie. Ze zijn bij uitstek geschikt voor toepassingen waar het "waarom" belangrijk is, zoals taalonderwijs, annotatiekwaliteitscontrole en theoretisch linguïstisch onderzoek.
• Foutanalyse: De analyse toont aan dat de belangrijkste foutenbronnen conceptuele domeinmismatches en registergevoeligheid zijn, wat benadrukt dat contextuele redenering cruciaal blijft, zelfs met geavanceerde LLM's.

Kortom, dit werk demonstreert dat het combineren van linguistische protocollen met LLM's als uitvoerbare scripts een robuuste, transparante en bewerkbare aanpak biedt voor de complexe uitdaging van figuurlijk taalgebruik in het Chinees.