Mapping the Course for Prompt-based Structured Prediction

Titolo: Mappatura del percorso per la Predizione Strutturata basata su Prompt

Autori: Matt Pauk e Maria Leonor Pacheco (Università del Colorado Boulder)

---

1. Il Problema

I Large Language Models (LLM) hanno dimostrato prestazioni eccezionali in una vasta gamma di compiti linguistici senza necessità di fine-tuning specifico. Tuttavia, quando applicati a compiti di predizione strutturata (dove l'obiettivo è prevedere componenti interconnessi che formano un oggetto strutturato, come il parsing o la risoluzione della coreferenza), gli LLM presentano limitazioni significative:

• Incoerenza Strutturale: Essendo basati sulla generazione autoregressiva, gli LLM tendono a produrre output che violano le regole logiche o le vincoli strutturali del compito (es. assegnare ruoli contraddittori o violare la transitività nella coreferenza).
• Allucinazioni e Ragionamento Complesso: Faticano a mantenere coerenza globale su documenti lunghi o complessi.
• Difficoltà nella Calibrazione: È difficile derivare valori di "confidenza" affidabili dalle probabilità di generazione dei token per utilizzarli in algoritmi di inferenza simbolica, poiché gli LLM non apprendono distribuzioni condizionali $P(Y|X)$ specifiche per il compito come i classificatori tradizionali.

2. Metodologia

Gli autori propongono un quadro di lavoro ibrido che combina la potenza predittiva degli LLM con l'inferenza combinatoria simbolica per garantire la coerenza strutturale.

A. Framework Generale

Il problema è modellato come un grafo dei fattori basato su LLM.

1. Scoring Locale: Un LLM viene utilizzato per valutare i candidati per ogni sotto-struttura (es. "l'entità A è coreferente con B?").
2. Inferenza Globale: I punteggi locali vengono inseriti in un algoritmo di ottimizzazione vincolata (utilizzando la Programmazione Lineare Intera - ILP) per trovare la struttura globale ottimale che massimizza la somma dei punteggi rispettando i vincoli di dominio.

B. Strategie di Stima della Confidenza (Scoring)

Poiché gli LLM non forniscono direttamente probabilità calibrate per compiti di classificazione strutturata, il paper esplora in modo esaustivo diverse strategie per convertire l'output del prompt in un punteggio di confidenza:

• Metodi White-Box (richiedono accesso alle probabilità dei token):
  • True/False: Formulare il compito come una domanda vero/falso e usare la probabilità del token "True".
  • Multiple Choice: Formulare come domanda a scelta multipla.
  • Generative Classification: Invertire il prompt (dare l'etichetta e chiedere di generare il testo) per stimare la verosimiglianza.
• Metodi Black-Box (solo testo generato):
  • Generation Sampling: Campionare più generazioni e usare la frequenza di un'etichetta come proxy di confidenza.
  • Verbalized Confidence: Chiedere esplicitamente al modello di stimare una percentuale di confidenza (0-100).

C. Strategie di Apprendimento (Fine-tuning)

Oltre all'uso few-shot, gli autori esplorano meccanismi di apprendimento per allineare gli LLM agli obiettivi strutturali:

• Calibrazione (Local & Global): Addestrare un layer di regressione logistica sopra i punteggi dell'LLM (congelato) per correggere le probabilità. La Calibrazione Globale addestra il modello su un obiettivo di perdita strutturato (hinge loss strutturato) che considera l'intera struttura, non solo le decisioni locali.
• Fine-tuning (Local & Global):
  • Locale: Addestramento standard per la previsione del token successivo su componenti locali.
  • Globale: Backpropagazione della perdita strutturata (hinge loss) direttamente nei parametri dell'LLM (usando LoRA), iniziando da un modello già fine-tunato localmente.

3. Contributi Chiave

1. Analisi Esaustiva delle Strategie di Scoring: Il paper confronta sistematicamente metodi white-box e black-box, identificando che la formulazione come domanda True/False è la strategia più efficace per stimare la confidenza, superando spesso i metodi di campionamento o le risposte verbali.
2. Validazione dell'Inferenza Simbolica: Dimostrano che, indipendentemente dalla strategia di estrazione della confidenza, l'aggiunta di un passo di inferenza vincolata (ILP) migliora sempre la coerenza e l'accuratezza rispetto all'uso dell'LLM da solo.
3. Superiorità dell'Obiettivo Globale: Mostrano che il fine-tuning o la calibrazione basati su obiettivi di predizione strutturata globale (che considerano le dipendenze tra le parti) superano significativamente i metodi che trattano le decisioni come indipendenti.
4. Riduzione dei Vincoli: Dimostrano che l'uso di vincoli permette ai modelli di convergere con performance elevate utilizzando quantità di dati di addestramento molto ridotte (fino al 20%).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due compiti complessi di livello discorsivo:

• Inquadramento Morale (Morality Framing): Identificazione delle basi morali e dei ruoli morali nei tweet politici.
• Risoluzione della Coreferenza: Identificazione di menzioni che si riferiscono alla stessa entità (dataset GENIA e OntoNotes).

Risultati Principali:

• Miglioramento delle Performance: L'aggiunta dell'inferenza vincolata ha aumentato i punteggi F1 in tutti i casi. Ad esempio, nel task di inquadramento morale, il modello Global Fine-tuned con inferenza ha raggiunto un Micro F1 di 0.764, superando lo stato dell'arte precedente (0.723) e i modelli "All-in-One" (che generano l'intera struttura in un colpo solo).
• Efficacia dei Metodi: La strategia True/False ha ottenuto i migliori risultati tra le strategie di scoring.
• Impatto del Fine-tuning: Il Global Fine-tuning ha portato ai migliori risultati assoluti, dimostrando che l'addestramento esplicito su obiettivi strutturali è cruciale anche nell'era degli LLM.
• Analisi degli Errori: L'inferenza strutturata ha corretto attivamente errori locali (es. allineando i ruoli morali alle basi morali previste), come mostrato nell'analisi qualitativa.
• Costo Computazionale: L'inferenza simbolica aggiunge un costo computazionale trascurabile (pochi secondi) rispetto al tempo di generazione del prompt, rendendo l'approccio efficiente.

5. Significato e Implicazioni

Questo lavoro è significativo perché:

• Ridefinisce il ruolo dell'inferenza: Dimostra che i metodi di inferenza simbolica non sono obsoleti nell'era degli LLM, ma sono essenziali per correggere le loro debolezze strutturali.
• Guida Pratica: Fornisce una "mappa" chiara su come combinare prompt, stima della confidenza e inferenza, suggerendo che la semplice generazione autoregressiva non è sufficiente per compiti strutturati complessi.
• Valore dell'Apprendimento Strutturato: Sottolinea che, nonostante la potenza dei modelli pre-addestrati, l'addestramento supervisionato con obiettivi strutturali globali rimane un metodo potente per ottenere prestazioni di punta.
• Futuro: Apre la strada all'applicazione di questi principi in flussi di lavoro multi-agente dove le dipendenze sono osservate ma la supervisione è scarsa.

In sintesi, il paper conclude che la fusione tra la flessibilità dei prompt-based LLM e la rigore dell'inferenza combinatoria rappresenta la strada maestra per la predizione strutturata affidabile e accurata.