Riepilogo Tecnico: Autocorrezione degli LLM con DECRIM

Problema

Sebbene i Large Language Models (LLM) abbiano dimostrato capacità impressionanti nel seguire le istruzioni, studi recenti indicano che essi incontrano difficoltà significative con istruzioni contenenti vincoli multipli e simultanei (ad es., tono specifico, lunghezza e vincoli negativi come "niente hashtag"). Gli attuali benchmark per valutare questa capacità si basano ampiamente su dati sintetici, che potrebbero non catturare la complessità, la sfumatura e la difficoltà artificiale delle richieste reali degli utenti. Inoltre, gli attuali approcci di autocorrezione spesso assumono l'indipendenza dei vincoli o si concentrano su tipi specifici di vincoli, limitandone l'applicabilità in scenari aperti e multi-vincolo. Esiste anche una lacuna nei metodi di valutazione affidabili ed economici per queste istruzioni complesse, poiché la valutazione basata su regole è spesso impraticabile per compiti aperti.

Metodologia

1. REALINSTRUCT Benchmark

Per affrontare la dipendenza dai dati sintetici, gli autori introducono REALINSTRUCT, il primo benchmark progettato per valutare gli LLM su istruzioni multi-vincolo del mondo reale.

• Fonte dei Dati: Derivata da vere query degli utenti rivolte agli assistenti AI (tratte da ShareGPT), filtrata per mantenere solo istruzioni in inglese contenenti vincoli.
• Struttura: Ogni istruzione è scomposta in un Task (obiettivo principale), un Contesto e un elenco di Vincoli granulari.
• Scala: Il set di test contiene 302 istruzioni con 1.055 vincoli; il set di validazione contiene 842 istruzioni con 2.500 vincoli.
• Protocollo di Valutazione: Data la natura aperta dei dati, il benchmark impiega un approccio LLM-as-a-Judge (LLM come Giudice). I vincoli vengono valutati individualmente e i risultati sono aggregati in una metrica di accuratezza a livello di istruzione.

2. Validazione LLM-as-a-Judge

Gli autori investigano l'affidabilità dell'uso di LLM per valutare la soddisfazione dei vincoli, confrontando modelli proprietari (GPT-4, GPT-4-Turbo, GPT-3.5-Turbo) e modelli open-source (Mistral, Vicuna, Zephyr) rispetto alle annotazioni umane.

• Dataset EvalJudge: Un set di test di 1.000 triple istruzione-vincolo-risposta con etichette di ground truth verificate da umani.
• Strategie: Sono state testate varie strategie di adattamento, tra cui l'In-Context Learning (ICL) con prompting Chain-of-Thought (CoT) e il fine-tuning debolmente supervisionato per i modelli open-source.
• Risultato: GPT-4-Turbo con prompting CoT è emerso come il valutatore più affidabile e conveniente, superando significativamente i modelli open-source nel rilevare i vincoli non soddisfatti.

3. Pipeline DECRIM (Decompose, Critique, and Refine)

Per colmare il divario di prestazioni tra modelli open-source e proprietari, gli autori propongono DECRIM, una pipeline di autocorrezione basata su approcci System 2. Essa opera senza assunzioni sull'indipendenza dei vincoli e consiste in quattro fasi iterative:

1. Risposta Iniziale: L'LLM genera una risposta all'istruzione originale.
2. Decomposizione (Decompose): Un modello Decomposer scompone l'istruzione originale in un elenco di vincoli granulari da seguire.
3. Critica (Critique): Un modello Critic valuta la risposta rispetto a ciascun vincolo. Se tutti sono soddisfatti, il processo termina. Se non lo sono, il Critic fornisce un feedback in linguaggio naturale specificando quali vincoli sono stati violati.
4. Raffinamento (Refine): L'LLM sottostante utilizza il feedback, l'istruzione originale e la risposta precedente per generare un output migliorato.

Questo ciclo si ripete finché i vincoli non sono soddisfatti o viene raggiunto un numero massimo di iterazioni ($N_{max}$).

Contributi Chiave

1. REALINSTRUCT: Un nuovo benchmark composto da vere richieste degli utenti agli assistenti AI, che offre una valutazione più realistica del rispetto di istruzioni multi-vincolo rispetto ai dataset sintetici.
2. Pipeline DECRIM: Un framework di autocorrezione che decompone le istruzioni, critica le risposte tramite un modello Critic dedicato e raffina gli output. È il primo approccio System 2 per istruzioni vincolate che opera senza assumere l'indipendenza dei vincoli.
3. Analisi Sistematica di LLM-as-a-Judge: La prima valutazione sistematica di modelli open-source e proprietari come giudici per la soddisfazione dei vincoli, identificando GPT-4-Turbo con CoT come un'alternativa affidabile ed economica all'annotazione umana.

Risultati

Prestazioni del Benchmark (REALINSTRUCT & IFEval)

• Limitazioni del Baseline: Anche il modello proprietario GPT-4 fallisce nel soddisfare almeno un vincolo in oltre il 21% delle istruzioni su REALINSTRUCT. I modelli open-source (es. Mistral 7B) generalmente performano peggio rispetto a GPT-4, sebbene superino GPT-3.5.
• Efficacia di DECRIM:
  • Feedback Debole: Utilizzando un Mistral debolmente supervisionato come Critic (senza dati esterni), DECRIM ha migliorato le prestazioni di istruzione di Mistral del 7,3% su REALINSTRUCT e dell'8,0% su IFEval rispetto a un baseline "Make sure".
  • Feedback Forte: Quando forniti con un feedback forte (Oracle Critic o GPT-4), gli LLM open-source con DECRIM hanno superato GPT-4 su entrambi i benchmark. Nello specifico, con un Oracle Critic, Mistral ha raggiunto un'accuratezza di istruzione del 93,7% su REALINSTRUCT (vs. 78,8% di GPT-4) e dell'80,4% su IFEval (vs. 79,3% di GPT-4).
• Limiti dell'Autocorrezione: La raffinazione standard (usare il modello come proprio critico) ha prodotto guadagni minimi o cali di prestazioni, evidenziando la necessità di un modello Critic esterno o distinto.

Affidabilità della Valutazione

• GPT-4-Turbo: Con il prompting CoT, ha ridotto i costi di valutazione del 57% rispetto a GPT-4, migliorando al contempo il Macro F1 del 7,0% e l'F1 Negative (rilevamento delle violazioni) del 19,0%.
• Giudici Open-Source: I modelli open-source vanilla sono stati giudici inaffidabili, mostrando spesso lenità o comportamenti casuali. Tuttavia, il fine-tuning debolmente supervisionato sui percorsi di ragionamento di GPT-4 ha migliorato significativamente la loro capacità di rilevare i vincoli non soddisfatti.

Significato e Rivendicazioni

Il documento sostiene che seguire istruzioni reali e multi-vincolo rimane una sfida significativa per i modelli allo stato dell'arte, con anche GPT-4 che fallisce frequentemente. Gli autori postulano che la pipeline DECRIM affronti efficacemente questo problema disaccoppiando la generazione della risposta dal processo di valutazione e raffinamento.

Il lavoro dimostra che:

1. I dati del mondo reale sono distinti: I benchmark sintetici non catturano completamente le sfide delle istruzioni reali degli utenti, rendendo necessari benchmark come REALINSTRUCT.
2. La qualità del feedback è fondamentale: Il successo dell'autocorrezione dipende fortemente dalla qualità del feedback del Critic. Sebbene gli modelli open-source fatichino nell'autocorrezione, possono raggiungere prestazioni superiori ai modelli proprietari se dotati di feedback esterno di alta qualità.
3. Viabilità di System 2: L'approccio DECRIM valida l'utilità delle tecniche System 2 (decomposizione e raffinamento iterativo) per il complesso rispetto delle istruzioni, suggerendo che i modelli open-source possono essere competitivi con i loro omologhi proprietari se dotati di pipeline di correzione robuste.

Gli autori concludono che, sebbene DECRIM introduca un carico computazionale, esso offre una via percorribile per potenziare le capacità di rispetto delle istruzioni, particolarmente quando sono disponibili meccanismi di feedback forti. Il lavoro futuro suggerisce di perfezionare i componenti della pipeline e integrare DECRIM con altri approcci System 2 come la self-consistency.