High Accuracy, Less Talk (HALT): Reliable LLMs through Capability-Aligned Finetuning

1. Il Problema: Allucinazioni e Sovrastima delle Capacità

I Large Language Models (LLM) attuali tendono a rispondere a quasi tutti i prompt, indipendentemente dalla complessità o dalla loro effettiva conoscenza. Questo comportamento, noto come allucinazione, comporta rischi significativi in ambiti ad alto impatto (medicina, legge, finanza), dove la correttezza fattuale è cruciale.
Il problema centrale è che i modelli spesso generano informazioni errate quando mancano di conoscenza o capacità di ragionamento specifiche. Le tecniche attuali di allineamento o post-training tendono a forzare il modello a rispondere sempre, anche quando non è sicuro, sacrificando l'affidabilità per la completezza.

2. Metodologia: HALT (High Accuracy, Less Talk)

HALT è un paradigma di fine-tuning post-addestramento progettato per allineare le risposte del modello alle sue reali capacità. L'obiettivo è addestrare il modello a generare contenuti solo quando è confidente nella loro correttezza e a astenersi parzialmente (o completamente) quando non lo è.

Il Pipeline di HALT

Il metodo trasforma un dataset di addestramento standard in un dataset "allineato alle capacità" ($D_H$) attraverso i seguenti passaggi:

1. Generazione della Risposta Preliminare: Per ogni prompt $x_j$, il modello pre-addestrato $M$ genera una risposta preliminare $y^{pt}_j$ utilizzando few-shot prompting (con 4 esempi in contesto).
2. Scomposizione in Frammenti Fatti: La risposta viene suddivisa in unità atomiche verificabili (frammenti).
   • Per risposte indipendenti (es. biografie, elenchi di fatti): si usano tecniche di estrazione di fatti atomici.
   • Per risposte causalmente dipendenti (es. matematica, codice, ragionamento passo-passo): si dividono lungo confini naturali (nuove righe, equazioni).
3. Valutazione della Correttezza: Un "Evaluator LLM" (in questo caso Llama3-405B), dotato di informazioni di verità fondamentale (ground truth), valuta la correttezza di ogni frammento.
   • Per i frammenti indipendenti: ogni frammento è valutato singolarmente.
   • Per i frammenti dipendenti: si identifica il primo frammento errato; tutti i frammenti successivi sono considerati errati per dipendenza logica.
4. Costruzione della Risposta Finale per l'Addestramento:
   • I frammenti errati vengono rimossi.
   • Per le risposte dipendenti, se c'è un errore, i frammenti successivi sono sostituiti dalla frase "Unsure from here" (Insicuro da qui).
   • Per le risposte indipendenti, i frammenti errati sono semplicemente omessi.

Trade-off Correttezza vs. Completezza

HALT introduce un parametro di soglia ($\alpha$) che permette di bilanciare la completezza della risposta (Recall) e la correttezza media (Precision).

• Invece di usare una singola risposta grezza, si campionano $N$ risposte preliminari.
• Si seleziona la risposta al percentile $\alpha$ in base alla correttezza dei frammenti.
• Un $\alpha$ basso (es. 40%) seleziona risposte più conservative (meno frammenti corretti ma più sicuri), massimizzando la correttezza finale a scapito della completezza.
• Un $\alpha$ alto favorisce la completezza.

3. Contributi Chiave

• Allineamento alle Capacità: A differenza di metodi che distillano conoscenze da modelli più potenti, HALT si basa sul principio che il fine-tuning non crea nuove capacità, ma le sfrutta. Pertanto, si addestra il modello solo su contenuti che il modello pre-addestrato è già capace di generare correttamente.
• Gestione dell'Incertezza Strutturale: Il metodo gestisce esplicitamente l'incertezza non solo astenendosi completamente, ma permettendo risposte parziali ("Unsure from here") che interrompono la generazione al primo punto di dubbio, evitando errori a cascata.
• Nessuna Computazione a Test-Time: A differenza di metodi che richiedono post-processing o campionamento complesso durante l'inferenza, HALT produce un modello fine-tuned che applica queste regole nativamente durante la generazione.
• Estensibilità al Ragionamento: Il metodo si applica non solo al recupero di conoscenze, ma anche a compiti di ragionamento complesso e codice.

4. Risultati Sperimentali

Gli autori hanno valutato HALT su quattro modelli open-source (Llama3-8B, Llama3-70B, Gemma2-9B, Mistral-7B) e quattro domini:

1. Scrittura di biografie (Wikibios).
2. Matematica (MATH).
3. Medicina (MedExQA).
4. Programmazione (APPS).

Risultati Principali:

• Miglioramento della Correttezza: HALT aumenta la correttezza media dei frammenti di risposta del 15% in media rispetto al fine-tuning standard.
• Modello Unico Affidabile: Addestrando un singolo modello Llama3-70B su tutti e quattro i domini con HALT ottimizzato per la massima correttezza ($\alpha=40\%$), si ottiene una correttezza del 87% (contro il 51% del fine-tuning standard), mantenendo una completezza del 53% (o 25% in media su tutti i domini nel caso del modello combinato).
• Punteggio F1: HALT migliora il punteggio F1 (media armonica di completezza e correttezza) del 4% rispetto alle baseline.
• Valutazione dell'Evaluator: L'uso di Llama3-405B come valutatore ha mostrato un errore medio molto basso (es. 0.27 frammenti errati su Wikipedia, 0.63 passi di ragionamento su MATH).
• Capacità di Istruzione Generale: L'addestramento con HALT non danneggia significativamente le capacità generali di seguire istruzioni (valutate su AlpacaEval), mantenendo una parità quasi totale con il modello base.

5. Significato e Implicazioni

HALT rappresenta un cambio di paradigma verso LLM più affidabili e sicuri per applicazioni reali.

• Sicurezza: Permette di controllare il rischio di allucinazioni in base al contesto d'uso (es. in medicina si può privilegiare la correttezza assoluta, sacrificando dettagli non certi).
• Trasparenza: L'uso di marcatori come "Unsure from here" informa l'utente sui limiti del modello, permettendo una verifica umana dei punti critici.
• Efficienza: Elimina la necessità di post-processing costoso a runtime, integrando la gestione dell'incertezza direttamente nel comportamento del modello.

In conclusione, HALT dimostra che è possibile addestrare modelli che "sanno quando non sapere", offrendo un compromesso controllabile tra completezza e affidabilità, fondamentale per l'adozione degli LLM in scenari critici.