Supervision versus Demonstration-Based In-Context Learning for Multiword Expression Classification

Technische Zusammenfassung: Supervision versus Demonstrationsbasiertes In-Context Learning für die Klassifizierung von Multiwortausdrücken

Problemstellung
Die Arbeit befasst sich mit der Herausforderung der Detektion von türkischen leichten Verbkonstruktionen (Light Verb Constructions, LVCs), einer spezifischen Klasse von Multiwortausdrücken (Multiword Expressions, MWEs). Türkische LVCs sind für NLP-Systeme schwierig, da sie oft dieselbe Oberflächenform wie vollkommen literale Verb–Objekt-Kombinationen aufweisen, während sie als eine einzige, teilweise idiomatische Prädikatseinheit fungieren. Beispielsweise erscheint das Verb ver- (geben) sowohl in literalen Übertragungen (z. B. „gab einen Stift“) als auch in idiomatischen LVCs (z. B. „gab Inspiration“). Die Kernschwierigkeit liegt darin, zu unterscheiden, ob eine Verb–Nomen-Sequenz als eine einheitliche idiomatische Prädikatseinheit oder als eine literale Argumentstruktur fungiert. Die Autoren argumentieren, dass die Standard-NLP-Evaluierung oft versagt, diese menschlich-linguistischen Unterscheidungen zu erfassen, was ein kontrolliertes Evaluierungsframework erfordert, das den literal–idiomatischen Kontrast isoliert.

Methodik
Die Studie rahmt die Detektion türkischer LVCs als binäre Klassifizierungsaufgabe ein: Identifizierung, ob ein Satz ein idiomatisches/LVC-Prädikat ([1]) oder eine literale Verb–Argument-Konfiguration ([0]) enthält.

• Datensatzkonstruktion: Die Autoren erstellten einen manuell kuratierten, kontrollierten Diagnostikdatensatz aus 147 Sätzen. Dieser umfasst drei ausgewogene Bedingungen (jeweils 49 Items):
  1. LVC: Idiomatische/leichte Verbprädikate.
  2. NLVC: Literale Kontrollinstanzen unter Verwendung derselben Zielverben wie die LVC-Items (um triviale Verb-basierte Heuristiken zu verhindern).
  3. RANDOM: Out-of-Domain-Negativkontrollen.
     Der Datensatz wurde von zwei Annotatoren hinsichtlich Natürlichkeit und Korrektheit der Labels validiert.
• Evaluierte Modelle:
  • Supervised Baseline: Zwei Varianten von BERTurk (32K und 128K Vokabulargrößen), feinabgestimmt mit einem aufgabenspezifischen binären Klassifizierungskopf. Die Trainingsdaten wurden aus türkischen Universal Dependencies (UD) Treebanks abgeleitet, wobei compound:lvc und compound Abhängigkeitsrelationen genutzt wurden, um Kandidaten-LVCs zu extrahieren.
  • Instruction-Tuned LLMs: Drei Modelle aus verschiedenen Familien wurden unter variierenden Prompting-Regimen evaluiert: Llama 3.1 (8B), GPT-OSS (20B) und Qwen 2.5 (14B).
• Experimentelle Regimes: Die LLMs wurden unter drei Bedingungen getestet:
  1. Zero-shot: Nur Instruktion.
  2. One-shot: Instruktion plus ein positives (LVC) und ein negatives (NLVC) Beispiel pro Verb-Template.
  3. Few-shot: Instruktion plus ein reichhaltigeres Set an gelabelten Beispielen (mehrere positive/negative Paare).
     Die supervidierten BERTurk-Modelle wurden als feste Baseline evaluiert.

Wichtige Ergebnisse
Die Experimente zeigen eine signifikante Sensitivität gegenüber Prompting-Regimes und Modellarchitekturen:

• Zero-Shot-Performance: LLMs zeigten eine starke konservative Tendenz; sie schnitten gut bei Negativkontrollen (Random und NLVC) ab, scheiterten jedoch an der Detektion von LVCs (Recall nahe 0 % bei Llama 3.1, sehr niedrig bei anderen). Im Gegensatz dazu behielt die supervidierte BERTurk-Baseline eine hohe Performance sowohl bei Negativen als auch bei LVCs bei (F1 ~0,75–0,86) und übertraf die Zero-Shot-LLMs signifikant in der positiven Klasse.
• One-Shot-Performance: Die Einführung einer einzelnen Demonstration veränderte die Fehlerprofile drastisch, führte jedoch zu starken modellspezifischen Biases. Llama 3.1 neigte dazu, LVCs überzupräsentieren (hoher Recall, niedrige Präzision bei Negativen), während Qwen 2.5 konservativ blieb (hohe Präzision bei Negativen, niedrigerer Recall bei LVCs). GPT-OSS-20B zeigte die ausgewogenste Performance.
• Few-Shot-Performance: Ein reichhaltigeres Few-Shot-Prompting verbesserte die Kalibrierung für GPT-OSS-20B und Qwen 2.5, was zu einer robusten Gesamtgenauigkeit (84–86 %) führte und extreme Fehlermodi reduzierte. Llama 3.1 hingegen prädizierte weiterhin übermäßig oft positive Fälle.
• Statistische Analyse: Chi-Quadrat-Tests ergaben, dass die Unterschiede zwischen den LLMs im Zero-Shot-Szenario oft insignifikant waren, die One-Shot- und Few-Shot-Regimes jedoch signifikante Unterschiede in den Fehlerprofilen zwischen den Modellen hervorbrachten. Die supervidierte Baseline blieb wettbewerbsfähig und war in einigen Zero-Shot-Vergleichen den geprompteten LLMs sogar überlegen.

Wesentliche Beiträge

1. Kontrollierter Diagnostikdatensatz: Die Veröffentlichung eines manuell annotierten, gematchten Kontrolldatensatzes (N=147), der speziell darauf ausgelegt ist, die literal–idiomatische Unterscheidung in türkischen LVCs zu testen, wodurch das Rauschen standardisierter i.i.d. Testsets vermieden wird.
2. Empirische Analyse der Prompt-Sensitivität: Die Studie zeigt, dass In-Context Learning die Performance nicht einheitlich verbessert, sondern vielmehr Entscheidungsgrenzen und die Kalibrierung verschiebt. One-Shot-Prompting kann schwere, modellspezifische Biases induzieren (Über- oder Unterprädiction), während Few-Shot-Prompting eine bessere Kalibrierung bietet.
3. Supervision versus In-Context Learning: Die Arbeit liefert Belege dafür, dass für morphologisch reiche Sprachen und spezifische metalinguistische Aufgaben (wie die LVC-Detektion) ein kleinerer, aufgabenspezifischer supervidierter Encoder (BERTurk) mit den durch Prompting evaluierten größeren, instruktionsgesteuerten LLMs konkurrieren oder diese gar übertreffen kann.

Bedeutung und Behauptungen
Die Autoren behaupten, dass ihre Ergebnisse die erhebliche Prompt-Sensitivität hervorheben, die der türkischen metalinguistischen Klassifizierung eigen ist. Sie argumentieren, dass gepromptete LLMs zwar durch sorgfältig konstruierte Demonstrationen die supervidierten Baselines erreichen oder übertreffen können, ohne diese Kalibrierung jedoch nicht inhärent überlegen sind.

Die Arbeit postuliert, dass der Erfolg der supervidierten Baseline auf der direkten Optimierung für den spezifischen Label-Raum und der Ausnutzung morphosyntaktischer Hinweise durch Treebank-abgeleitete Supervision beruht, während LLMs die Aufgabendefinition aus Instruktionen inferieren müssen. Die Autoren kommen zu dem Schluss, dass die LVC-Detektion als eine prompt-sensitive Fähigkeit behandelt werden sollte und dass eine kontrollierte, bedingungsweise Evaluierung essenziell ist, um systematische Fehler in den Entscheidungsgrenzen aufzudecken, die durch aggregierte Genauigkeitsmetriken maskiert werden könnten. Sie stellen explizit klar, dass ihre Ergebnisse lediglich einen Hinweis auf den Wert aufgabenspezifischer Supervision in morphologisch reichen Sprachen geben und nicht behaupten, dass BERT generell fähiger als LLMs ist; vielmehr spiegelt der Vergleich den Unterschied zwischen domänenspezifischer supervidierter Sequenzmarkierung und allgemeiner Prompting-Anwendung wider.