Technische Samenvatting: Vergelijkende Evaluatie van Machine Learning en Deep Learning Modellen voor Gerichte Metafoordetectie

Probleemdefinitie

Het artikel behandelt de uitdaging van gerichte metafoordetectie (targeted metaphor detection), een specifieke taalkundige verwerkingstaak (NLP) waarbij het doel is om te classificeren of een vooraf gedefinieerd kandidaatwoord (bijv. "weg", "licht", "trein") binnen een gegeven tekstuele context metaforisch of letterlijk wordt gebruikt. In tegenstelling tot algemene metafoordetectie richt deze taak zich op specifieke lexicale items, wat modellen vereist om semantische nuances en contextafhankelijke betekenissen te onderscheiden die het verschil maken tussen figuurlijk gebruik en een letterlijke interpretatie. De auteurs merken op dat dit een moeilijke classificatieprobleem is vanwege de nuance, culturele gevoeligheid en de op het discours gebaseerde vormgeving van figuurlijk taalgebruik, wat vaak maakt dat eenvoudige trefwoordmatching ontoereikend is.

Methodologie

De studie evalueert en vergelijkt zes verschillende modelleringsbenaderingen met behulp van een gelabelde dataset bestaande uit 1.870 trainingsvoorbeelden en 800 testvoorbeelden. De dataset beslaat zeven doelwoorden: road (weg), candle (kaars), light (licht), spice (kruid), ride (rit), train (trein) en boat (boot). De modellen zijn als volgt gecategoriseerd:

1. TF-IDF-gebaseerde Logistische Regressie:

   • Benadering: Maakt gebruik van standaard tekstvoorverwerking (tokenisatie, lemmatisering) en TF-IDF-vectorisatie (unigrammen en bigrammen, begrensd op 5.000 kenmerken).
   • Mechanisme: Een logistische regressieclassificator wordt getraind op deze kenmerken, waarbij aanpassingen voor klassenonbalans worden toegepast tijdens de training.

2. Hybride LDA-SBERT-Random Forest:

   • Benadering: Een hybride architectuur die onderwerpmodellering combineert met diepe semantische embeddings.
   • Mechanisme: Tekst wordt voorverwerkt om trefwoorden te mappen naar metafoor-ID's. Latent Dirichlet Allocation (LDA) extraheert onderwerpdistributies om een thematische structuur te bieden. Tegelijkertijd genereert Sentence-BERT (SBERT) dichte zin-embeddings om diepe semantische betekenis te vangen. Deze twee feature-sets worden geconcateneerd en gevoed aan een Random Forest-classificator.

3. LSTM met Hybride Attention:

   • Benadering: Een deep learning sequentiemodel.
   • Mechanisme: Maakt gebruik van een Long Short-Term Memory (LSTM) netwerk om woord-embeddings te verwerken en temporele afhankelijkheden te vangen. Het wordt aangevuld met een hybride attention-mechanisme (combinatie van additive en dot-product attention) om dynamisch prioriteit te geven aan tokens die relevant zijn voor metafooridentificatie.

4. LSTM met BERT Embeddings:

   • Benadering: Integratie van pre-trained transformer-representaties met recurrente netwerken.
   • Mechanisme: Tekst wordt door BERT verwerkt om hoogdimensionale contextuele embeddings te genereren. Deze embeddings worden vervolgens ingevoerd in een LSTM-laag om zowel korte- als langetermijnafhankelijkheden binnen de sequentie te vangen.

5. XGBoost met Word2Vec:

   • Benadering: Gradient boosting met gedistribueerde woordrepresentaties.
   • Mechanisme: Word2Vec wordt gebruikt om dichte woord-embeddings te genereren die semantische en syntactische relaties vangen. Deze embeddings dienen als inputkenmerken voor een XGBoost-classificator, die beslissingsbomen sequentieel optimaliseert om fouten te minimaliseren.

6. Majority-Vote Consensus Model:

   • Benadering: Een ensemble-methode.
   • Mechanisme: Aggregeert voorspellingen van alle vijf de bovenstaande individuele modellen. De uiteindelijke voorspelling wordt bepaald door de modus (meerderheidsstemming) van de outputs van de individuele classificatoren.

Evaluatiestrategie: De dataset werd 80/20 gesplitst (train/test). Modellen werden geëvalueerd met behulp van precisie, recall, gewogen F1-score, macro F1-score en nauwkeurigheid (accuracy).

Belangrijkste Resultaten

De experimentele resultaten geven aan dat hybride feature-representaties beter presteerden dan pure deep learning of traditionele machine learning benaderingen in deze specifieke context:

• Beste Presteerder: Het LDA-SBERT-Random Forest model behaalde de hoogste algehele prestatie met 84% nauwkeurigheid en een gewogen F1-score van 0,82. Het demonstreerde een hoge precisie voor letterlijke labels en een uitstekende recall voor metaforische labels.
• Runner-up: Logistische Regressie (TF-IDF) presteerde competitief met 80% nauwkeurigheid en een gewogen F1-score van 0,81.
• Consensus Model: Het meerderheidsstemming-ensemble bereikte 82% nauwkeurigheid en een gewogen F1-score van 0,80. Hoewel het gebalanceerde voorspellingen bood over de klassen, presteerde het niet beter dan het beste individuele model (LDA-SBERT-RF).
• Minder presterende modellen:
  • LSTM met Custom Attention: Had grote moeite en behaalde slechts 49% nauwkeurigheid en een gewogen F1-score van 0,52, waarbij het er niet in slaagde precisie en recall in balans te brengen.
  • LSTM met BERT Embeddings: Behaalde 73% nauwkeurigheid en een 0,72 gewogen F1-score, wat een beter vermogen toonde om metaforisch taalgebruik te vangen, maar lagere prestaties leverde op letterlijke labels.
  • XGBoost met Word2Vec: Scoorde 74% nauwkeurigheid en een 0,64 gewogen F1-score, blinkend uit in recall voor metaforen maar onderpresterend op letterlijke labels.

Betekenis en Claims

Het artikel claimt bescheiden dat de primaire bijdrage ligt in het aantonen van de effectiviteit van hybride feature-representaties voor metafoordetectie, met name binnen de beperkingen van kleine gelabelde datasets.

• Effectiviteit van Hybride Modellen: De resultaten suggereren dat het combineren van contextuele zin-embeddings (vanuit SBERT) met onderwerp-niveau informatie (vanuit LDA) een robuuste feature-set creëert die beter presteert dan modellen die uitsluitend vertrouwen op deep learning sequenties (LSTM) of statische embeddings (Word2Vec) voor deze specifieke taak.
• Beperkingen van Ensembles: De studie merkt op dat hoewel ensemble-stemming de voorspellingsstabiliteit en balans kan verbeteren, het niet noodzakelijkerwijs de algehele prestaties verhoogt als de constituerende modellen sterk variëren in kracht of als het ensemble zwakkere modellen bevat die de prestaties van de sterkste individuele classifier verwateren.
• Contextuele Nuance: Het succes van het LDA-SBERT-RF model bevestigt de noodzaak om zowel de thematische structuur als de diepe semantische betekenis te vangen om de inherente ambiguïteit in metafoordetectie op te lossen.

De auteurs concluderen dat toekomstig werk zich moet richten op het gebruik van grotere en diversere datasets, het uitvoeren van gedetailleerde foutenanalyse per doelwoord, en het verkennen van geavanceerde transformer-gebaseerde of confidence-weighted ensemble-methoden.