🤖 machine learning

KARL: Mitigating Hallucinations in LLMs via Knowledge-Boundary-Aware Reinforcement Learning

KARL è un nuovo framework di apprendimento per rinforzo che mitiga le allucinazioni nei modelli linguistici allineando dinamicamente il loro comportamento di astensione ai confini della propria conoscenza, ottimizzando così il bilanciamento tra accuratezza delle risposte e capacità di non rispondere a domande sconosciute.

Autori originali: Cheng Gao, Cheng Huang, Kangyang Luo, Ziqing Qiao, Shuzheng Si, Huimin Chen, Chaojun Xiao, Maosong Sun

Pubblicato 2026-04-28

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Cheng Gao, Cheng Huang, Kangyang Luo, Ziqing Qiao, Shuzheng Si, Huimin Chen, Chaojun Xiao, Maosong Sun

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Problema: L'Intelligenza Artificiale che "Fa la Spavalda"

Immagina di avere un assistente molto intelligente, ma con un difetto caratteriale terribile: odia ammettere di non sapere qualcosa.

Se gli chiedi: "Chi è il vincitore della maratona di Marte del 2028?", invece di dirti "Non ne ho idea, non è ancora successo", lui cercherà di inventare una risposta che suoni credibile. Magari ti dirà: "Il vincitore è stato l'astronauta X". Sembra convinto, sembra intelligente, ma in realtà sta solo allucinando.

In informatica, questo è il problema delle "allucinazioni" dei modelli linguistici (LLM). Attualmente, se proviamo a insegnare all'IA a dire "non lo so", succede spesso che diventi troppo timida: per paura di sbagliare, inizia a rispondere "non lo so" anche a domande di cui conosce la risposta. Diventa un assistente inutile che non sa mai nulla.

La Soluzione: Il Metodo KARL (L'Allenamento del "Confine della Conoscenza")

I ricercatori di Tsinghua University hanno creato KARL. Il nome è un acronimo, ma pensalo come a un nuovo metodo di addestramento che insegna all'IA a conoscere i propri limiti.

Per spiegare come funziona, usiamo una metafora: L'Esame del Pilota.

1. La Fase di Esplorazione (Imparare a pilotare)

Immagina di mandare un aspirante pilota in un simulatore. Nella prima fase, non gli diciamo nulla sui pericoli. Gli diciamo solo: "L'obiettivo è atterrare l'aereo. Se ci riesci, prendi un premio; se sbagli, non succede nulla di grave".
In questa fase, l'IA si concentra solo sul migliorare la sua precisione. Sta imparando a "volare" (a rispondere correttamente). Non le stiamo ancora chiedendo di ammettere i limiti, vogliamo solo che diventi brava a usare ciò che sa.

2. La Fase di Calibrazione (Riconoscere la tempesta)

Una volta che il pilota è bravo a volare in condizioni normali, passiamo alla seconda fase. Ora introduciamo il concetto di "confine della conoscenza".
Gli diciamo: "Ok, ora sei bravo. Ma se vedi una tempesta che non sai come gestire, non cercare di attraversarla a caso rischiando il disastro. In quel caso, premiamo il fatto che tu decida di tornare a terra e dica: 'Non posso volare in queste condizioni'".

Come fa KARL a essere così intelligente? (Il "Termometro della Verità")

La vera magia di KARL è che non usa regole fisse, ma un sistema dinamico chiamato "Premio Consapevole dei Confini".

Immagina che l'IA debba rispondere a una domanda. Il sistema fa un piccolo test rapido (un "campione"): prova a rispondere alla stessa domanda in 8 modi diversi.

Caso A: Se in almeno uno di questi 8 tentativi l'IA trova la risposta giusta, il sistema capisce che la risposta è nel suo database. Quindi la premia se risponde correttamente, ma la punisce se dice "non lo so" (perché è stata troppo timida).
Caso B: Se in tutti gli 8 tentativi l'IA sbaglia o non trova la risposta, il sistema capisce che quella domanda è fuori dal suo raggio d'azione. A quel punto, la premia se dice "non lo so" e la punisce se prova a inventare una bugia.

In sintesi: Perché è una rivoluzione?

Prima di KARL, l'IA era come uno studente che o:

Scommette tutto: Risponde a tutto, anche a caso (molte allucinazioni).
Si chiude in un guscio: Dice "non lo so" a tutto per non rischiare (poca utilità).

Con KARL, l'IA diventa come un vero esperto: è sicura di sé quando sa le cose, ma ha l'umiltà e la saggezza di fermarsi e dire "Non lo so" quando la domanda esce dal suo campo di competenza.

Il risultato? Un'intelligenza artificiale molto più affidabile, che non ti mente mai per sembrare intelligente.

Riassunto Tecnico: KARL

1. Il Problema: Il Compromesso tra Accuratezza e Astensione

I Large Language Models (LLM) soffrono spesso di allucinazioni, ovvero la tendenza a generare risposte plausibili ma fattualmente errate invece di ammettere la propria ignoranza. Sebbene l'apprendimento per rinforzo (RL) sia stato utilizzato per incoraggiare l'astensione (rispondere "non lo so"), i metodi esistenti presentano un limite critico:

Reward Statici: I meccanismi di ricompensa attuali sono spesso "agnostici" rispetto ai confini di conoscenza del modello.
L'Abstention Trap (Trappola dell'Astensione): Se la ricompensa per l'astensione è troppo vicina a quella per la risposta corretta (o superiore a quella per l'errore), il modello tende a diventare eccessivamente cauto, preferendo l'astensione per massimizzare la ricompensa sicura. Questo porta a un crollo dell'accuratezza (il modello smette di rispondere anche quando conosce la risposta).

2. Metodologia: Il Framework KARL

Gli autori propongono KARL, un framework che allinea dinamicamente il comportamento di astensione del modello con i suoi confini di conoscenza in evoluzione. La metodologia si basa su due innovazioni principali:

A. Knowledge-Boundary-Aware Reward (KAR):
Invece di usare ricompense statiche, KAR utilizza una stima online della capacità del modello. Per ogni query, il modello genera un gruppo di risposte ( $G$ campionamenti).

Indicatore di Solvibilità ( $I_{solvable}$ ): Se almeno una delle risposte nel gruppo è corretta, la query è considerata "risolvibile".
Logica della Ricompensa:
- Se risolvibile: Si premia la risposta corretta ( $+1$ ) e si penalizzano sia l'errore che l'astensione ($-1$). Questo spinge il modello a non essere troppo cauto.
- Se non risolvibile: Si premia l'astensione ( $+1$ ) e si penalizza l'errore ($-1$). Questo incoraggia l'onestà quando la conoscenza manca davvero.

B. Strategia di Addestramento in Due Fasi (Two-Stage RL):
Per evitare il collasso della policy durante l'addestramento, il processo è diviso in:

Fase I (Esplorazione del confine): Utilizza una combinazione di ricompense binarie (per massimizzare l'accuratezza e la memoria dei fatti) e il meccanismo KAR. L'obiettivo è costruire una base solida di conoscenza senza cadere nella "trappola dell'astensione".
Fase II (Calibrazione dell'astensione): Applica esclusivamente il meccanismo KAR a tutti i dati. L'obiettivo è convertire gli errori persistenti (domande che il modello non riesce a risolvere) in astensioni appropriate, mantenendo però l'accuratezza acquisita nella Fase I.

3. Contributi Chiave

Stima Online del Confine: A differenza dei metodi che richiedono etichettature offline (costose e statiche), KARL stima la competenza del modello in tempo reale durante l'RL.
Decoupling (Disaccoppiamento): La strategia in due fasi separa l'apprendimento dei fatti dalla calibrazione della sicurezza, risolvendo il problema del trade-off tra accuratezza e allucinazione.
Efficienza: Il metodo non richiede la costruzione di dataset complessi di "domande non rispondibili", ma sfrutta la capacità di esplorazione intrinseca del Reinforcement Learning.

4. Risultati Sperimentali

Il framework è stato testato su modelli come Llama-3.1-8B e Qwen2.5-7B su benchmark di conoscenza (NaturalQuestions, TriviaQA, BioASQ, ARC-Challenge) e di ragionamento (GSM8K, BBH).

Miglioramento del Trade-off: KARL raggiunge un punteggio di affidabilità (Rely score) superiore rispetto a tutti i baseline.
Riduzione delle Allucinazioni: Su NaturalQuestions (NQ), KARL ha ridotto le allucinazioni del 38.6% (per Llama-3.1) pur aumentando l'accuratezza del 4.0%.
Generalizzazione: Il modello mostra una robusta capacità di generalizzare l'astensione anche su domini fuori distribuzione (OOD), come il settore biomedico (BioASQ), senza degradare le capacità di ragionamento logico-matematico.

5. Significatività

Il lavoro di KARL è significativo perché affronta uno dei problemi più ostici dell'allineamento degli LLM: l'onestà calibrata. Dimostra che l'astensione non deve essere un "tributo" pagato a scapito dell'intelligenza, ma può essere una funzione precisa della conoscenza effettiva del modello. Questo approccio apre la strada a modelli più affidabili per applicazioni critiche (medicina, legge) dove un'allucinazione è molto più pericolosa di un "non lo so".