Technische Samenvatting: Binaire Token-Level Classificatie met DeBERTa voor Identificatie van Alle Typen MWE's

Probleemstelling

Multiword Expressions (MWE's) vormen een aanzienlijke uitdaging voor Natural Language Processing (NLP)-systemen vanwege hun syntactische flexibiliteit en semantische niet-compositionaliteit. Een primaire moeilijkheid ligt bij het detecteren van discontinue MWE's, waarbij componenten gescheiden worden door tussenliggend materiaal (bijv. "look...up" in "look the information up"). Traditionele benaderingen formuleren MWE-identificatie vaak als een multi-class sequentie-labeling taak (bijv. BIO- of BILOU-tagsets), die een enkel label aan elk token toekent. Echter, bestaande state-of-the-art methoden vertrouwen vaak op massieve Large Language Models (LLM's) met miljarden parameters en missen een systematische integratie van linguïstische kennis. Bovendien is de toepassing van binaire classificatie op de identificatie van alle typen MWE's, hoewel het succesvol is geweest bij span-gebaseerde Named Entity Recognition (NER), nog niet onderzocht.

Methodologie

De auteurs stellen een lichtgewicht, uitgebreide aanpak voor die MWE-identificatie herformuleert als een binaire token-level classificatie taak, waarbij linguïstische kenmerken en data-augmentatie worden geïntegreerd.

1. Binair Token-Level Classificatie Framework

In plaats van een enkel label toe te kennen uit een multi-class tagset, doet het model drie onafhankelijke binaire voorspellingen voor elk token $x_i$:

• START: Is dit token het begin van een MWE?
• END: Is dit token het einde van een MWE?
• INSIDE: Bevindt dit token zich strikt tussen het begin en het einde van een MWE?

Deze aanpak verschuift de complexiteit van kwadratische span-enumeratie ($O(n^2)$) naar lineaire token-verwerking ($O(n)$). Tijdens inferentie worden kandidaat-spans gereconstrueerd door tokens te koppelen waar $p_{start} \geq \tau_{start}$ en $p_{end} \geq \tau_{end}$, mits tussenliggende tokens voldoen aan $p_{inside} \geq \tau_{inside}$. Er worden beperkingen toegepast om ervoor te zorgen dat gereconstrueerde spans overeenkomen met de dataset-distributies (bijv. 2–6 leden, maximaal 13 tokens).

2. Integratie van Linguïstische Kenmerken

Het DeBERTa-v3-large model wordt versterkt met twee vormen van syntactische kennis om te helpen bij het detecteren van nominale en discontinue patronen:

• NP Chunk Features: Tokens worden getagd als binnen of buiten een Noun Phrase (NP) met behulp van spaCy. Deze binaire tags worden in kaart gebracht naar leerbare embeddings en geconcateneerd met gecontextualiseerde token-toestanden om de recall van nominale MWE's (bijv. "stock market") te verbeteren.
• Dependency Features: De kortste dependency pad-lengtes tussen token-paren worden berekend (geplafonneerd op 5). Deze dienen twee doeleinden:
  1. Encoding: Gemiddelde dependency-afstanden worden in kaart gebracht naar 3erdimensionale embeddings.
  2. Hard Constraints: Tijdens reconstructie worden kandidaten met opeenvolgende leden met een dependency-afstand $>4$ afgewezen om implausibele discontinue combinaties te filteren.

3. Data-augmentatie

Om de ernstige klassen-imbalans in de trainingsdata aan te pakken, werden twee strategieën geëvalueerd:

• Oversampling: Het repliceren van trainingszinnen die MWE's bevatten.
• Lexicale Substitutie: Het vervangen van niet-MWE tokens door semantisch vergelijkbare woorden.
  De optimale strategie hangt af van de dataset-omvang: oversampling bleek superieur voor de kleinere CoAM-dataset, terwijl lexicale substitutie effectiever was voor de grotere STREUSLE-dataset.

4. Datasets

• CoAM: Een gecureerde dataset van 1.301 Engelse zinnen die alle MWE-typen dekt (NOUN, VERB, MOD/CONN, CLAUSE, OTHER), inclusief 11,3% discontinue patronen.
• STREUSLE: Een grotere dataset gebruikt voor generalisatietesten, waarbij categorieën zijn in kaart gebracht naar CoAM-compatibele typen.

Belangrijkste Bijdragen

1. Taak Herformulering: De eerste toepassing van binaire token-level classificatie (START/END/INSIDE) op alle-typen MWE-identificatie, wat de effectiviteit ervan aantoont ten opzichte van traditionele sequentie-labeling.
2. Efficiëntie vs. Prestatie: Een DeBERTa-v3-large model (ongeveer 400M parameters) behaalt state-of-the-art resultaten, waarbij het Qwen-72B (72B parameters) overtreft met 12 F1-punten terwijl het 165× minder parameters gebruikt.
3. Linguïstische Versterking: Gedemonstreerd dat het integreren van NP chunking en dependency-kenmerken de prestaties aanzienlijk verbetert, met name voor discontinue en nominale MWE's.
4. Generalisatie: Gevalideerd op de STREUSLE-dataset, waarbij een F1 van 78,9% werd behaald, wat bevestigt dat de methode fundamentele MWE-structuren vastlegt in plaats van dataset-specifieke artefacten.

Experimentele Resultaten

De auteurs voerden een systematische ablatie-studie uit met 15 modelconfiguraties:

• CoAM Prestaties:

  • Het beste model (DLT+lo: DeBERTa-large + linguïstische kenmerken + oversampling) bereikte 69,8% F1.
  • Dit presteert beter dan de vorige beste (Qwen-72B) met 12 punten (57,8% F1).
  • Discontinue MWE's: De aanpak verdubbelde de baseline-prestaties voor discontinue patronen, met een score van 29,7% F1 vergeleken met 17,1% voor Qwen-72B.
  • Type-specifieke Recall: Significante verbeteringen werden gezien over alle typen, met name CLAUSE (85,7% recall vs. 28,6% voor Qwen) en MOD/CONN (84,7% recall).

• STREUSLE Prestaties:

  • Het beste model (DBT+la: DeBERTa-base + linguïstische kenmerken + lexicale substitutie) bereikte 78,9% F1.
  • De binaire token-level benadering leverde een enorme verbetering op ten opzichte van de span-gebaseerde baseline (19,8% F1), met een winst van 53,5 punten.

• Ablatie Inzichten:

  • Binaire token-level classificatie alleen zorgde voor een +5,2 F1 boost ten opzichte van span-gebaseerde voorspelling.
  • Disentangled attention (DeBERTa) bleek superieur aan standaard BERT-architecturen voor MWE-detectie.
  • Augmentatie-strategieën waren dataset-afhankelijk: oversampling werkte het best voor kleine, hoogwaardige datasets (CoAM), terwijl lexicale substitutie het best werkte voor grotere datasets (STREUSLE).

Betekenis en Claims

Het artikel claimt dat zorgvuldig ontworpen kleinere modellen aanzienlijk kunnen presteren boven LLM's op gestructureerde NLP-taken. Door het probleem te herformuleren als binaire token-level classificatie en expliciete linguïstische kennis te integreren, laten de auteurs zien dat resource-beperkte implementaties een hoge prestatie kunnen bereiken zonder de computationele kosten van massieve modellen.

De auteurs benadrukken dat hun methode succesvol de "all-type" natuur van MWE's afhandelt, een taak waarbij eerdere frameworks zich vaak alleen concentreerden op verbale MWE's of binaire idiomaticiteit. Ze erkennen beperkingen, waaronder de afhankelijkheid van upstream NLP-tools (spaCy) voor linguïstische kenmerken, de moeilijkheid van langetermijn-discontinue afhankelijkheden, en het onvermogen om type-specifieke precisie te berekenen vanwege de binaire formulering (die wel grenzen voorspelt maar geen typen). De resultaten suggereren echter dat deze aanpak fundamentele aspecten van de MWE-structuur vastlegt, wat een praktische en efficiënte alternatief biedt voor de huidige state-of-the-art LLM-gebaseerde oplossingen.