What Models Know, How Well They Know It: Knowledge-Weighted Fine-Tuning for Learning When to Say "I Don't Know"

1. Il Problema: Allineamento della Conoscenza e Allucinazioni

I Large Language Models (LLM) soffrono di allucinazioni, ovvero la generazione di contenuti plausibili ma errati. Il paper identifica una causa fondamentale di questo fenomeno: lo sbilanciamento della conoscenza (knowledge misalignment) tra i dati di pre-addestramento e i dataset di Supervised Fine-Tuning (SFT).

Quando un dataset di SFT contiene fatti che il modello non conosceva durante il pre-addestramento, il modello è costretto a generare token etichettati anche per fatti che "non sa". Questo porta il modello a rispondere con sicurezza a query irrisolvibili invece di ammettere l'ignoranza. Le soluzioni esistenti spesso trattano la conoscenza come binaria (nota/sconosciuta) o forzano decisioni a livello di token (rifiuto immediato), creando un compromesso negativo tra accuratezza e capacità di rifiuto.

2. Metodologia: Knowledge-Weighted Fine-Tuning (KWT)

Gli autori propongono KWT, un approccio che stima la conoscenza del modello a livello di istanza (fine-grained) e utilizza questa stima per modulare il segnale di apprendimento.

A. Stima della Conoscenza (Knowledge Estimation)

Invece di classificare le istanze come semplicemente "note" o "sconosciute", KWT calcola un Knowledge Score (punteggio di conoscenza) continuo e fine-grained:

1. Inferenza Multi-Campionata: Per ogni domanda nel dataset di addestramento, il modello pre-addestrato ($M_{base}$) genera $S=5$ risposte diverse utilizzando il few-shot prompting (3-shot) con dimostrazioni ricampionate.
2. Valutazione della Correttezza: Ogni risposta generata viene confrontata con la risposta aurea ($r^*$) utilizzando tre metriche:
   • Exact Match (EM)
   • ROUGE (soglia adattiva)
   • LLM-as-a-judge (un LLM più grande valuta la correttezza semantica).
   • Risultato: L'approccio "LLM-as-a-judge" ha mostrato la massima concordanza con la valutazione umana.
3. Calcolo del Punteggio: Il punteggio di conoscenza ($KS$) è la media della correttezza delle risposte campionate. Un $KS$ alto indica che il modello conosce già il fatto; un $KS$ basso o zero indica ignoranza.

B. Addestramento Pesato (Weighted Fine-Tuning)

Il punteggio di conoscenza viene utilizzato per assegnare pesi specifici a ciascun campione durante il fine-tuning:

• Strategia di Familiarità (F): I campioni che il modello conosce già bene (alto $KS$) ricevono un peso maggiore ($w_i$), rafforzando la conoscenza esistente.
• Gestione dell'Ignoranza: Per i campioni con $KS = 0$ (il modello non conosce il fatto), viene aggiunto un token speciale <IDK> ("I Don't Know") alla fine della risposta target. Questo insegna al modello a esprimere incertezza esplicita invece di allucinare.
• Funzione di Perdita: La perdita standard viene modificata per includere questi pesi, permettendo al modello di adattarsi in base a ciò che sa già.

3. Contributi Chiave

1. Stima Fine-Grained della Conoscenza: Dimostrano che stimare quanto bene il modello conosce un'istanza è cruciale per ridurre le allucinazioni. Utilizzano inferenza multi-campionata e metriche multiple per una stima affidabile.
2. Strategia di Pesatura Dipendente dalla Conoscenza: Mostrano che come viene utilizzato il punteggio di conoscenza durante il fine-tuning (es. pesare di più le istanze note) è critico per bilanciare l'espressione dell'incertezza e le prestazioni complessive.
3. Nuove Metriche di Valutazione: Introducono metriche specifiche per valutare l'incertezza, come nAUPC (Normalized Area Under the Product Curve), che bilancia l'accuratezza sulle risposte corrette e la capacità di astenersi (rifiutare) su quelle errate.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli come Llama 3.2-3B e Qwen 2.5-3B su dataset diversificati (generale, medico, scientifico).

• Prestazioni In-Domain: KWT (specialmente con valutazione LLM-as-a-judge) ottiene un nAUPC significativamente più alto rispetto ai metodi basati (SFT, R-Tuning, FT-TOP).
  • Riduce drasticamente il A-FPR (False Positive Rate di astensione): il modello si astiene meno su risposte che in realtà conosce.
  • Aumenta la Precisione dell'IDK: quando dice "non lo so", è quasi sempre corretto.
  • Mantiene un'accuratezza standard comparabile o leggermente inferiore allo SFT, ma con una gestione dell'incertezza molto superiore.
• Generalizzazione Out-of-Domain: Su dataset non visti durante l'addestramento (es. RefuNQ, SelfAware), KWT dimostra una migliore capacità di distinguere tra domande risolvibili e irrisolvibili, gestendo l'incertezza in modo più affidabile rispetto alle controparti.
• Confronto con SEAL: A differenza di SEAL (che realloca probabilità a livello di token e degrada l'accuratezza), KWT preserva meglio la distribuzione predittiva del modello base (minore divergenza KL), evitando di distorcere eccessivamente il comportamento originale.

5. Significato e Implicazioni

Il lavoro dimostra che allineare il processo di fine-tuning con la conoscenza parametrica esistente del modello è un approccio semplice ma potente per mitigare le allucinazioni.

• Bilanciamento: KWT risolve il compromesso tra accuratezza e rifiuto, permettendo al modello di essere sicuro quando sa e di ammettere l'ignoranza quando non sa, senza sacrificare eccessivamente le prestazioni su domande risolvibili.
• Robustezza: L'uso di un token speciale <IDK> invece di forzare un rifiuto a livello di token permette una maggiore flessibilità e interpretabilità.
• Limitazioni: Il metodo richiede un costo computazionale elevato per la fase di stima della conoscenza (multi-sampling inference), che potrebbe essere ottimizzato in lavori futuri.

In sintesi, il paper propone un paradigma in cui il modello impara a "conoscere i propri limiti" durante l'addestramento, riducendo la generazione di informazioni false e aumentando l'affidabilità nelle applicazioni reali.