Supervision versus Demonstration-Based In-Context Learning for Multiword Expression Classification

Technische Samenvatting: Supervisie versus Demonstratie-gebaseerd In-Context Leren voor de Classificatie van Meerwoordige Expressies

Probleemstelling
Het artikel behandelt de uitdaging van het detecteren van Turkse LVC's (Light Verb Constructions), een specifieke klasse van meerwoordige expressies (MWE's). Turkse LVC's zijn moeilijk voor natuurlijke taalverwerking (NLP)-systemen omdat ze vaak dezelfde oppervlaktevorm delen als volledig letterlijke werkwoord–objectcombinaties, terwijl ze functioneren als een enkele, gedeeltelijk idiomatische predicaat. Bijvoorbeeld, het werkwoord ver- (geven) verschijnt zowel in letterlijke transfers (bijv. "ga een pen geven") als in idiomatische LVC's (bijv. "inspiratie geven"). De kern van de moeilijkheid ligt in het onderscheid maken tussen de vraag of een werkwoord–nominaal sequentie functioneert als een eenheidsmatig idiomatisch predicaat of een letterlijke argumentstructuur. De auteurs stellen dat standaard NLP-evaluaties er vaak niet in slagen om deze menselijk-linguïstische onderscheidende kenmerken te vatten, wat een gecontroleerd evaluatiekader noodzakelijk maakt dat het contrast tussen letterlijk en idiomatisch isoleert.

Methodologie
De studie kadert de detectie van Turkse L vC's als een binaire classificatietaak: het identificeren van de vraag of een zin een idiomatisch/LVC-predicaat bevat ([1]) of een letterlijke werkwoord–argument configuratie ([0]).

• Dataset Constructie: De auteurs hebben een handmatig gecureerde, gecontroleerde diagnostische dataset van 147 zinnen gemaakt. Deze set bevat drie gebalanceerde condities (elk 49 items):
  1. LVC: Idiomatische/light-verb predicaten.
  2. NLVC: Letterlijke controles die dezelfde doelwerkwoorden gebruiken als de LVC-items (om triviale werkwoord-gebaseerde heuristieken te voorkomen).
  3. RANDOM: Out-of-domain negatieve controles.
     De dataset werd door twee annotatoren gevalideerd op natuurlijkheid en de correctheid van de labels.
• Geëvalueerde Modellen:
  • Supervised Baseline: Twee varianten van BERTurk (32K en 128K vocabulaire) die zijn gefinetuned met een taakspecifieke binaire classificatiekop. De trainingsdata is afkomstig van Turkse Universal Dependencies (UD) treebanks, waarbij gebruik is gemaakt van compound:lvc en compound afhankelijkheidsrelaties om kandidaat LVC's te extraheren.
  • Instruction-Tuned LLM's: Drie modellen uit verschillende families werden geëvalueerd onder variërende prompting-regimes: Llama 3.1 (8B), GPT-OSS (20B) en Qwen 2.5 (14B).
• Experimentele Regimes: De LLM's werden getest onder drie condities:
  1. Zero-shot: Alleen instructie.
  2. One-shot: Instructie plus één positief (LVC) en één negatief (NLVC) voorbeeld per werkwoord-template.
  3. Few-shot: Instructie plus een rijker scala aan gelabelde voorbeelden (meerdere positieve/negatieve paren).
     De gesuperviseerde BERTurk-modellen werden geëvalueerd als een vaste baseline.

Belangrijkste Resultaten
De experimenten onthullen een significante sensitiviteit voor prompting-regimes en modelarchitectuur:

• Zero-Shot Prestaties: LLM's vertoonden een sterke conservatieve bias; ze presteerden goed op negatieve controles (Random en NLVC), maar faalden bij het detecteren van LVC's (recall nabij 0% voor Llama 3.1, zeer laag voor anderen). In tegen weerstelling hiervan behield de gesuperviseerde BERTurk-baseline een hoge prestatie op zowel de negatieven als de LVC's (F1 ~0.75–0.86), waarmee de zero-shot LLM's aanzienlijk versloeg op de positieve klasse.
• One-Shot Prestaties: Het introduceren van een enkele demonstratie veranderde de foutprofielen scherp, maar introduceerde ook sterke modelspecifieke biases. Llama 3.1 verschoof naar het overmatig voorspellen van LVC's (hoge recall, lage precisie op negatieven), terwijl Qwen 2.5 conservatief bleef (hoge precisie op negatieven, lagere recall op LVC's). GPT-OSS-20B vertoonde de meest evenwichtige prestaties.
• Few-Shot Prestaties: Een rijker few-shot prompt verbeterde de kalibratie voor GPT-OSS-20B en Qwen 2.5, wat resulteerde in een robuuste algehele nauwkeurigheid (84–86%) en de extreme faalmodi verminderde. Echter, Llama 3.1 bleef positieven overmatig voorspellen.
• Statistische Analyse: Chi-kwadraat tests gaven aan dat hoewel de verschillen tussen LLM's in zero-shot vaak niet significant waren, de one-shot en few-shot regimes significante verschillen in foutprofielen produceerden tussen de modellen. De gesuperviseerde baseline bleef competitief met, en in sommige zero-shot vergelijkingen superieur aan, de geprompte LLM's.

Belangrijkste Bijdragen

1. Gecontroleerde Diagnostische Dataset: De publicatie van een handmatig geannoteerde, gematchte-control dataset (N=147) die specifiek is ontworpen om het onderscheid tussen letterlijk en idiomatisch in Turkse LVC's te testen, waarbij de ruis van standaard i.i.d. testsets wordt vermeden.
2. Empirische Analyse van Prompt Sensitiviteit: De studie toont aan dat in-context leren de prestaties niet uniform verbetert; in plaats daarvan verschuift het de beslissingsgrenzen en de kalibratie. One-shot prompting kan ernstige, modelspecifieke biases induceren (over- of onder-voorspelling), terwijl few-shot prompting betere kalibratie biedt.
3. Supervisie versus In-Context Leren: Het artikel levert bewijs dat voor morfologisch rijke talen en specifieke metalinguïstische taken (zoals LVC-detectie), een kleinere, taakspecifieke gesuperviseerde encoder (BERTurk) concurrerend kan blijven met of zelfs beter kan presteren dan grotere, instruction-tuned LLM's die via prompting worden geëvalueerd.

Betekenis en Claims
De auteurs claimen dat hun bevindingen de substantiële prompt sensitiviteit benadrukken die inherent is aan Turkse metalinguïstische classificatie. Zij stellen dat hoewel geprompte LLM's de gesuperviseerde baselines kunnen evenaren of overtreffen wanneer ze worden voorzien van zorgvuldig geconstrueerde demonstraties, ze niet inherent superieur zijn zonder dergelijke kalibratie.

Het artikel stelt dat het succes van de gesuperviseerde baseline voortkomt uit directe optimalisatie voor de specifieke labelruimte en het exploiteren van morfosyntactische cues via treebank-afgeleide supervisie, terwijl LLM's taakdefinities moeten afleiden uit instructies. De auteurs concluderen dat LVC-detectie moet worden behandeld als een prompt-sensitieve capaciteit en dat gecontroleerde, conditie-gewijze evaluatie essentieel is om systematische fouten in de beslissingsgrens te onthullen die geaggregeerde nauwkeurigheidsmetrieken zouden kunnen maskeren. Zij verklaren expliciet dat hun resultaten suggestief zijn met betrekking tot de waarde van taakspecifieke supervisie in morfologisch rijke talen, maar dat zij niet beweren dat BERT algemeen bekwaamer is dan LLM's; de vergelijking weerspiegelt eerder het verschil tussen in-domain gesuperviseerde sequentie-labeling en algemene prompting.