Can LLMs Interpret and Leverage Structured Linguistic Representations? A Case Study with AMRs

1. Enunciato del Problema

Sebbene i Modelli Linguistici di Grande Dimensione (LLM) abbiano ottenuto risultati di successo in varie attività di NLP, rimane una sfida critica: la loro capacità di interpretare e utilizzare rappresentazioni semantiche strutturate (come le Rappresentazioni del Significato Astratto o AMR) che codificano il linguaggio in forme concise e astratte.

• Il Divario: La ricerca precedente si è concentrata principalmente sulla modifica delle architetture neurali (ad esempio, aggiungendo meccanismi di attenzione su grafi) per elaborare queste strutture. Manca una valutazione sistematica riguardante la capacità degli LLM off-the-shelf, addestrati con istruzioni, di interpretare intrinsecamente le AMR linearizzate per migliorare le prestazioni in attività a valle.
• La Domanda: Gli LLM possono sfruttare efficacemente le AMR nei prompt per potenziare il ragionamento e la comprensione, in particolare negli scenari a lungo contesto, o l'astrazione strutturale degrada le prestazioni?

2. Metodologia

Lo studio impiega una pipeline di valutazione sistematica utilizzando versioni quantizzate a 8 bit e addestrate con istruzioni di tre LLM prominenti: Llama 3.1 (8B), Phi-3 e Mistral 7B.

Dati e Preprocessing

• Estrazione AMR: Il testo proveniente da vari dataset è stato convertito in strutture Abstract Meaning Representation (AMR) (grafi diretti radicati che catturano il significato semantico) utilizzando i modelli AMR3-structbart-L e doc-sen-conll-amr-seed42 tramite il parser neurale basato su transizioni di IBM.
• Linearizzazione: Le AMR basate su grafi sono state convertite in stringhe di testo linearizzate (appiattite) per servire come input per gli LLM.
• Dataset:
  • LDC2020T02: AMR a livello di frase per la rigenerazione del testo.
  • SQuAD 2.0 & HotpotQA: Per il Question Answering (QA) a un salto e a due salti.
  • SAMSum: Per il riassunto di dialoghi (lungo contesto).
  • SNLI & DocNLI: Per l'Inferenza sul Linguaggio Naturale (NLI).

Configurazione Sperimentale

Gli autori hanno valutato tre strategie di prompting attraverso impostazioni zero-shot, 3-shot e 5-shot:

1. Solo Contesto: Prompting standard con il testo originale.
2. Arricchito con AMR: Testo originale + AMR linearizzata nel prompt.
3. Solo AMR: Solo AMR linearizzata (nessun testo originale), testando la capacità del modello di inferire il significato direttamente dalla struttura.

Metriche di Valutazione

• Generazione/Riassunto: ROUGE-1/2/L, BLEU e Similarità Coseno (utilizzando embedding all-MiniLM-L6-V2).
• QA: Punteggio F1.
• NLI: Punteggio F1 macro.

3. Contributi Chiave

1. Valutazione Sistematica: Il primo studio completo che valuta la capacità degli LLM moderni, addestrati con istruzioni, di sfruttare direttamente le AMR linearizzate senza modifiche architetturali.
2. Dicotomia della Lunghezza del Contesto: La scoperta che l'integrazione delle AMR ha effetti divergenti in base alla lunghezza del contesto: generalmente degrada le prestazioni nelle attività a breve contesto ma migliora le prestazioni nelle attività a lungo contesto.
3. Capacità di Ricostruzione AMR: Dimostrazione che gli LLM possono ricostruire efficacemente il testo originale dalle AMR linearizzate, ottenendo un'alta similarità semantica (fino all'81% di similarità coseno).
4. Osservazioni sul Scaling dei Modelli: I benefici dell'arricchimento con AMR sono più pronunciati nei modelli più grandi e recenti (ad es. Llama 3.1) rispetto a quelli più piccoli o più vecchi.

4. Risultati Chiave

A. Attività a Breve Contesto (Degrado)

• QA a Un Salto (SQuAD 2.0): L'aggiunta di AMR al prompt ha ridotto le prestazioni. Per Llama 3.1, il punteggio F1 è sceso dal 59% (solo contesto) al 52% (arricchito con AMR) nelle impostazioni 3-shot.
• NLI (SNLI): Sebbene Phi-3 abbia mostrato alcuni guadagni zero-shot con le AMR, l'aggiunta di esempi few-shot ha favorito il prompting con solo contesto.
• HotpotQA (Due Salti): Nonostante sia un dataset a lungo contesto, i documenti individuali erano piccoli. L'impilamento di più AMR piccole non ha migliorato le prestazioni rispetto al prompting con solo contesto, suggerendo che le AMR sono meno efficaci quando il contesto è frammentato in unità piccole.

B. Attività a Lungo Contesto (Miglioramento)

• Riassunto di Dialoghi (SAMSum): Questo è stato il caso di successo più significativo.
  • Llama 3.1: La similarità coseno zero-shot è migliorata dal 66% (solo contesto) al 76% (arricchito con AMR).
  • Meccanismo: Le AMR hanno aiutato il modello a mantenere le informazioni chiave e a comprendere le dipendenze a lungo termine in dialoghi lunghi, che il testo grezzo spesso oscura a causa dei limiti di token o del rumore.
  • Dipendenza dal Modello: Questo miglioramento è stato specifico per il modello più grande e recente Llama 3.1; Phi-3 e Mistral non hanno mostrato guadagni simili.

C. Ricostruzione AMR (Da AMR a Testo)

• Gli LLM hanno dimostrato una forte capacità di rigenerare il testo originale dalle AMR linearizzate.
• Llama 3.1 ha raggiunto una similarità coseno dell'81% con prompting 5-shot, indicando che i modelli possono efficacemente "leggere" e interpretare la struttura semantica delle AMR.

D. Fine-Tuning vs Prompting

• Un esperimento di fine-tuning LoRA con Rank-32 su Llama 3.1 per il riassunto SAMSum ha prodotto risultati (75-76%) comparabili al prompting few-shot, ma non ha superato le prestazioni dell'approccio few-shot arricchito con AMR. Ciò suggerisce che, per queste attività, l'ingegneria dei prompt con AMR è attualmente più efficace del fine-tuning leggero.

5. Significato e Implicazioni

• Uso Strategico dei Dati Strutturati: Il paper stabilisce che le rappresentazioni strutturate come le AMR non sono una soluzione universale "plug-and-play". Sono altamente efficaci per la comprensione a lungo contesto (riassunto, ragionamento complesso) dove l'astrazione semantica aiuta a filtrare il rumore e a evidenziare gli eventi principali, ma introducono rumore o complessità nelle attività a breve contesto dove il testo grezzo è già conciso.
• Evoluzione dei Modelli: I risultati suggeriscono che gli LLM più recenti e più grandi possiedono una capacità latente di interpretare strutture semantiche complesse, una capacità che scala con la dimensione del modello e la recente formazione.
• Direzioni Future: Il lavoro apre la strada all'integrazione di altre rappresentazioni strutturate (ad es. Grafi della Conoscenza, Strutture di Rappresentazione del Discorso) nelle pipeline degli LLM, in particolare per la generazione aumentata dal recupero (RAG) e l'analisi di documenti lunghi, senza richiedere architetture neurali personalizzate.

Conclusione

Lo studio conclude che, sebbene gli LLM possano interpretare le AMR linearizzate, la loro utilità è dipendente dall'attività. L'arricchimento con AMR è uno strumento potente per migliorare le attività a lungo contesto come il riassunto di dialoghi, aumentando significativamente le prestazioni nei modelli all'avanguardia, ma dovrebbe essere evitato per le attività a breve contesto dove potrebbe degradare le prestazioni.