Progressive Training for Explainable Citation-Grounded Dialogue: Reducing Hallucination to Zero in English-Hindi LLMs

1. Il Problema

I sistemi di dialogo basati sulla conoscenza (Knowledge-Grounded Dialogue) mirano a generare risposte informative e fattualmente accurate utilizzando fonti esterne. Tuttavia, l'approccio esistente soffre di tre limitazioni fondamentali:

1. Collo di bottiglia monolingue: La maggior parte della ricerca si concentra esclusivamente sull'inglese. Non esistono benchmark standard o metodologie consolidate per lingue come l'hindi, nonostante sia parlata da oltre 600 milioni di persone.
2. Assenza di citazioni verificabili: Anche se i sistemi RAG (Retrieval-Augmented Generation) recuperano passaggi pertinenti, le risposte generate spesso non indicano quale passaggio supporta quale affermazione. Senza marcatori di citazione espliciti (es. "[1]"), gli utenti non possono verificare i fatti, minando la fiducia.
3. Opacità decisionale: È difficile capire perché un modello ha selezionato un certo passaggio di conoscenza. I modelli potrebbero generare marcatori di citazione corretti senza basarsi realmente sul contenuto citato, rendendo l'accuratezza della citazione un segnale di qualità inaffidabile se non supportata da analisi di interpretabilità.

2. Metodologia: XKD-Dial

Gli autori propongono XKD-Dial, una pipeline di addestramento progressiva a quattro stadi progettata per costruire capacità di dialogo multilingue e basate su citazioni in modo incrementale, prevenendo l'oblio catastrofico (catastrophic forgetting).

La pipeline si articola nei seguenti stadi:

1. Adattamento Multilingue (Stage 1): Addestramento su coppie di frasi parallele Inglese-Hindi per costruire rappresentazioni bilingue, cruciale per modelli con poca esposizione pre-addestrata all'hindi.
2. SFT per Dialogo in Inglese (Stage 2): Fine-tuning supervisionato su dialoghi basati sulla conoscenza in inglese con marcatori di citazione espliciti. Questo insegna al modello ad associare le affermazioni a passaggi specifici.
3. SFT per Dialogo Bilingue (Stage 3): Estensione all'hindi mantenendo l'inglese. Utilizza un mix ponderato di dati (60% hindi, 40% inglese) per trasferire le competenze strutturali delle citazioni dall'inglese all'hindi senza dimenticare l'inglese.
4. Allineamento GRPO (Stage 4): Utilizzo di Group Relative Policy Optimization (GRPO) con una funzione di ricompensa composita che premia l'accuratezza delle citazioni, la coerenza fattuale e penalizza le allucinazioni.

Analisi di Spiegabilità (Explainability):
Il framework integra tre metodi di analisi post-hoc per verificare come il modello impara a citare:

• Visualizzazione dell'attenzione incrociata: Per modelli encoder-decoder, verifica se i token di output si concentrano sui token del passaggio citato.
• Attribuzione tramite Integrated Gradients: Assegna punteggi di importanza ai token di input.
• Estrazione di razionali (Occlusion): Rimuove i passaggi sorgente per verificare se la citazione scompare, testando la causalità.

3. Contributi Chiave

1. Pipeline di Addestramento Progressiva: Prima metodologia sistematica per il dialogo basato su conoscenza con citazioni in inglese-hindi, che costruisce competenze strato per strato.
2. Studio Empirico Cross-Architettura: Valutazione di 6 modelli (da 250M a 7B parametri) appartenenti a due famiglie (Encoder-Decoder come Flan-T5 e Decoder-Only come LLaMA, Gemma, Mistral) in ogni stadio della pipeline (30 esecuzioni totali).
3. Riduzione delle Allucinazioni allo 0%: L'addestramento con formato di citazione esplicito riduce le allucinazioni allo 0.0% per i modelli encoder-decoder a partire dallo Stage 2, secondo valutazioni automatiche basate su NLI.
4. Analisi del GRPO: Dimostrazione che per compiti strutturati come le citazioni, un SFT ben progettato può essere sufficiente, con il GRPO che offre miglioramenti marginali rispetto a un SFT solido.
5. Analisi di Spiegabilità Sistematica: Applicazione di tecniche di interpretazione lungo l'intera traiettoria di addestramento per rivelare come viene appreso il comportamento di citazione, non solo se viene appreso.

4. Risultati Principali

• Riduzione delle Allucinazioni: I modelli encoder-decoder (Flan-T5) raggiungono lo 0.0% di tasso di allucinazione dallo Stage 2 in poi.
• Convergenza delle Dimensioni del Modello: Dopo lo Stage 2, un modello piccolo (Flan-T5-Base, 250M) raggiunge prestazioni in inglese identiche a quelle di un modello più grande (Flan-T5-Large, 780M) su metriche come BLEU e Citation-F1.
• Trasferimento Cross-Linguistico: Le competenze strutturali delle citazioni apprese in inglese (Stage 2) si trasferiscono efficacemente all'hindi nello Stage 3, senza bisogno di reimparare la meccanica delle citazioni.
• Collasso e Recupero della Generazione: Il modello Flan-T5-XL (3B) ha subito un "collasso di generazione" (output vuoti) allo Stage 2 a causa di un learning rate troppo aggressivo, ma si è ripreso completamente allo Stage 3 grazie all'addestramento bilingue.
• Fallimento Selettivo per Lingua (LLaMA-1B): Il modello LLaMA-3.2-1B ha eliminato le allucinazioni in inglese ma ha fallito completamente nel generare citazioni (Citation-F1 = 0.000), mentre ha imparato bene le citazioni in hindi. Ciò suggerisce che l'eliminazione delle allucinazioni e l'apprendimento del formato di citazione sono obiettivi separabili.
• Limiti del GRPO: Lo Stage 4 (GRPO) ha fornito miglioramenti trascurabili rispetto allo Stage 3 (SFT) per la maggior parte dei modelli, suggerendo che per compiti con formati di output ben definiti, l'SFT potrebbe essere sufficiente.
• Dissociazione Formativo-Grounding nei Decoder-Only: I modelli decoder-only (Gemma, Mistral) imparano a produrre il formato delle citazioni (i token [N]), ma l'analisi di occlusione rivela che spesso non sono causalmente radicati nel contenuto della fonte (causal grounding = 0.000), a differenza dei modelli encoder-decoder che mantengono un forte allineamento dell'attenzione.

5. Significato e Implicazioni

• Efficacia dell'SFT Strutturato: Per compiti altamente strutturati come la generazione di citazioni, un SFT mirato può essere più efficace ed efficiente rispetto a complesse fasi di allineamento RL (Reinforcement Learning).
• Accessibilità per Lingue a Risorse Limitate: La pipeline dimostra che è possibile costruire sistemi di dialogo affidabili in hindi sfruttando il trasferimento cross-linguale dall'inglese, rendendo la tecnologia più accessibile a popolazioni non anglofone.
• Importanza dell'Interpretabilità: L'uso di metriche di allucinazione e citazione non è sufficiente; è necessario analizzare il meccanismo interno (attenzione, gradienti) per garantire che le citazioni siano genuine e non solo formali.
• Scalabilità e Costi: Poiché i modelli piccoli (250M) possono eguagliare le prestazioni di modelli più grandi dopo un SFT appropriato, questo approccio offre opportunità significative per il deployment economico di sistemi di dialogo affidabili.

In conclusione, XKD-Dial stabilisce un nuovo standard per la creazione di sistemi di dialogo trasparenti, fattualmente accurati e multilingue, dimostrando che un approccio di addestramento progressivo e ben strutturato può risolvere il problema delle allucinazioni senza necessariamente ricorrere a tecniche di allineamento RL complesse.