Supervision versus Demonstration-Based In-Context Learning for Multiword Expression Classification

Sintesi Tecnica: Supervisione rispetto all'Apprendimento in-Context basato su Dimostrazioni per la Classificazione di Espressioni Multiword

Definizione del Problema
Il documento affronta la sfida del rilevamento delle Costruzioni con Verbi Leggeri (LVC) in turco, una classe specifica di Espressioni Multiword (MWE). Le LVC turche sono difficili per i sistemi di Elaborazione del Linguaggio Naturale (NLP) perché spesso condividono la stessa forma superficiale di combinazioni verbo-oggetto completamente letterali, pur funzionando come un unico predicato parzialmente idiomatico. Ad esempio, il verbo ver- (dare) appare sia in trasferimenti letterali (es. "ha dato una penna") sia in LVC idiomatiche (es. "ha dato ispirazione"). La difficoltà principale risiede nel distinguere se una sequenza verbo-nominale funzioni come un predicato idiomatico unitario o come una struttura argomentale letterale. Gli autori sostengono che la valutazione standard dell'NLP spesso non riesce a catturare queste distinzioni linguistiche umane, rendendo necessario un framework di valutazione controllato che isoli il contrasto letterale-idiomatico.

Metodologia
Lo studio inquadra il rilevamento delle LVC in turco come un compito di classificazione binaria: identificare se una frase contiene un predicato idiomatico/LVC ([1]) o una configurazione verbo-argomentale letterale ([0]).

• Costruzione del Dataset: Gli autori hanno creato un dataset diagnostico controllato e curato manualmente di 147 frasi. Questo set include tre condizioni bilanciate (49 elementi ciascuna):
  1. LVC: Predicati con verbi leggeri o idiomatici.
  2. NLVC: Controlli letterali che utilizzano gli stessi verbi target degli elementi LVC (per evitare euristiche banali basate solo sul verbo).
  3. RANDOM: Controlli negativi fuori dal dominio.
     Il dataset è stato validato da due annotatori per quanto riguarda la naturalezza e la correttezza delle etichette.
• Modelli Valutati:
  • Baseline Supervisionata: Due varianti di BERTurk (vocabolari da 32K e 128K) sottoposte a fine-tuning con una testa di classificazione binaria specifica per il compito. I dati di addestramento sono stati derivati dai treebank di Turkish Universal Dependencies (UD), utilizzando le relazioni di dipendenza compound:lvc e compound per estrarre i candidati LVC.
  • LLM Istruiti (Instruction-Tuned): Sono stati valutati tre modelli di diverse famiglie sotto diversi regimi di prompting: Llama 3.1 (8B), GPT-OSS (20B) e Qwen 2.5 (14B).
• Regimi Sperimentali: Gli LLM sono stati testati in tre condizioni:
  1. Zero-shot: Solo istruzione.
  2. One-shot: Istruzione più un esempio positivo (LVC) e un esempio negativo (NLVC) per ogni template verbale.
  3. Few-shot: Istruzione più un set più ricco di esempi etichettati (coppie multiple positivo/negativo).
     I modelli BERTurk supervisionati sono stati valutati come baseline fissa.

Risultati Chiave
Gli esperimenti rivelano una significativa sensibilità ai regimi di prompting e all'architettura del modello:

• Performance Zero-Shot: Gli LLM hanno mostrato un forte bias conservativo, performando bene sui controlli negativi (Random e NLVC) ma fallendo nel rilevare le LVC (recall vicino allo 0% per Llama 3.1, molto basso per altri). Al contrario, la baseline supervisionata BERTurk ha mantenuto alte prestazioni sia sui negativi che sulle LVC (F1 ~0.75–0.86), superando significativamente gli LLM zero-shot sulla classe positiva.
• Performance One-Shot: L'introduzione di una singola dimostrazione ha alterato drasticamente i profili di errore ma ha introdotto forti bias specifici del modello. Llama 3.1 si è spostato verso una sovra-predizione delle LVC (alta recall, bassa precisione sui negativi), mentre Qwen 2.5 è rimasto conservativo (alta precisione sui negativi, minore recall sulle LVC). GPT-OSS-20B ha mostrato la performance più equilibrata.
• Performance Few-Shot: Un prompt few-shot più ricco ha migliorato la calibrazione per GPT-OSS-20B e Qwen 2.5, producendo un'accuratezza complessiva robusta (84–86%) e riducendo i casi estremi di fallimento. Tuttavia, Llama 3.1 ha continuato a sovra-predire i positivi.
• Analisi Statistica: I test Chi-quadro hanno indicato che, sebbene le differenze zero-shot tra gli LLM fossero spesso insignificanti, i regimi one-shot e few-shot hanno prodotto differenze significative nei profili di errore tra i modelli. La baseline supervisionata è rimasta competitiva e, in alcuni confronti zero-shot, superiore agli LLM con prompting.

Contributi Chiave

1. Dataset Diagnostico Controllato: Il rilascio di un dataset annotato manualmente con controlli corrispondenti (N=147) progettato specificamente per testare la distinzione letterale-idiomatica nelle LVC turche, evitando il rumore dei tipici set di test i.i.d.
2. Analisi Empirica della Sensibilità al Prompt: Lo studio dimostra che l'apprendimento in-context non migliora uniformemente le prestazioni; piuttosto, sposta i confini decisionali e la calibrazione. Il prompting one-shot può indurre gravi bias specifici del modello (sovra o sotto-predizione), mentre il prompting few-shot offre una migliore calibrazione.
3. Supervisione vs. In-Context Learning: Il documento fornisce prove del fatto che, per lingue morfologicamente ricche e compiti metalinguistici specifici (come il rilevamento delle LVC), un encoder supervisionato più piccolo e specifico per il compito (BERTurk) può rimanere competitivo o superare i più grandi LLM istruiti tramite prompting.

Significatività e Rivendicazioni
Gli autori sostengono che i loro risultati evidenzino la sostanziale sensibilità al prompt inerente alla classificazione metalinguistica in turco. Essi affermano che, sebbene gli LLM con prompting possano eguagliare o superare le baseline supervisionate quando forniti di dimostrazioni accuratamente costruite, non sono intrinsecamente superiori senza tale calibrazione.

Il documento postula che il successo della baseline supervisionata derivi dall'ottimizzazione diretta per lo spazio delle etichette specifico e dallo sfruttamento di indizi morfosintattici tramite la supervisione derivata dai treebank, laddove gli LLM devono inferire le definizioni del compito dalle istruzioni. Gli autori concludono che il rilevamento delle LVC debba essere trattato come una capacità sensibile al prompt e che una valutazione controllata per condizioni sia essenziale per rivelare fallimenti sistematici dei confini decisionali che le metriche di accuratezza aggregate potrebbero mascherare. Essi dichiarano esplicitamente che i loro risultati sono suggestivi riguardo al valore della supervisione specifica per il compito nelle lingue morfologicamente ricche, ma non pretendono che BERT sia generalmente più capace degli LLM; piuttosto, il confronto riflette la differenza tra l'etichettatura di sequenze in-domain supervisionata e il prompting general-purpose.