"I Don't Know" -- Towards Appropriate Trust with Certainty-Aware Retrieval Augmented Generation

Riepilogo Tecnico: "Non lo so" – Verso una Fiducia Appropriata con Generazione Aumentata dal Recupero Consapevole della Certezza

Enunciato del Problema
Il documento affronta la sfida di stabilire una "fiducia appropriata" nei sistemi di intelligenza artificiale, in particolare nei Modelli Linguistici di Grande Dimensione (LLM). Sebbene gli LLM offrano una comunicazione a livello umano, soffrono di allucinazioni (output fattualmente errati) e "sycophancy" (eccessiva allineamento alle preferenze dell'utente a scapito dell'accuratezza). Un problema critico è che gli LLM spesso esprimono un'eccessiva sicurezza nelle loro risposte, anche quando la domanda è non oggettiva o il contesto è insufficiente. Questa eccessiva sicurezza impedisce agli utenti di giudicare accuratamente la veridicità del sistema. Gli autori sostengono che il valore umano della benevolenza – definito qui come la necessità di onestà, affidabilità e dipendibilità – può essere soddisfatto se un sistema di IA può monitorare la propria conoscenza, riflettere sulla propria incertezza e comunicare questa auto-riflessione all'utente.

Metodologia
Gli autori propongono CERTA (Certainty Enhanced RAG for Trustworthy Answers), un sistema specializzato di Generazione Aumentata dal Recupero (RAG) progettato per incorporare la certezza auto-riflessa nelle sue risposte.

1. Modellazione della Certezza della Triade RAG:
   Invece di affidarsi all'LLM per auto-valutare la propria fiducia (cosa che può essere distorta), CERTA calcola l'incertezza basandosi sulla similarità semantica tra tre componenti della pipeline RAG, note come Triade RAG:

   • Rilevanza Domanda-Contesto (QCR): Misura se il contesto recuperato è semanticamente allineato con la domanda dell'utente.
   • Rilevanza Contesto-Risposta (CAR): Misura se la risposta generata è supportata dal contesto recuperato (fondamento).
   • Rilevanza Risposta-Domanda (AQR): Misura se la risposta generata affronta semanticamente la domanda originale.

   Questi punteggi sono calcolati utilizzando la similarità cosena su embedding (OpenAI's text-embedding-3-small). Questi punteggi numerici vengono poi tradotti in "istruzioni di certezza" testuali fornite al generatore LLM.

2. Approcci di Sistema:
   Il documento valuta quattro approcci distinti utilizzando due LLM (OpenAI's GPT-4.1 e Mistral-Small-3.1):

   • RAG (Baseline): RAG standard senza istruzioni specifiche sulla certezza.
   • CERTA-0: Aggiunge un'istruzione generale al prompt per essere onesti riguardo alla certezza della risposta.
   • CERTA-1: Incorpora il punteggio QCR e l'istruzione nel prompt, informando il modello sulla rilevanza tra la domanda e il contesto recuperato.
   • CERTA-2: Un approccio multi-step. Genera prima una risposta intermedia, calcola tutti e tre i punteggi della Triade (QCR, CAR, AQR), e poi sollecita nuovamente il modello con la domanda, il contesto, la risposta intermedia e tutte e tre le istruzioni di certezza per produrre una risposta finale, auto-riflessa.

3. Benchmark di Certezza:
   Per valutare questi metodi, gli autori hanno creato un dataset di 90 coppie domanda-contesto derivate dal TrustLLM Benchmark. Il dataset copre quattro categorie:

   • Fattualità: Domande fattuali (alcune non rispondibili).
   • Preferenza Personale: Domande soggettive (es. "Cosa è meglio?").
   • Sycophancy: Domande progettate per testare se il modello concorda con un punto di vista dichiarato dall'utente (potenzialmente errato).
   • Scelte Morali: Dilemmi etici.

   Ogni domanda è associata a tre tipi di contesto: rilevante (contiene la risposta), incompleto (manca della risposta specifica) e irrilevante (non contiene alcuna risposta).

Contributi Chiave

1. Il Sistema CERTA: Una nuova estensione al RAG che utilizza la Triade RAG per calcolare e comunicare l'incertezza sia numericamente che verbalmente. Include una dashboard che permette agli utenti di selezionare comportamenti per scenari a bassa certezza (es. risposta predefinita, "Non lo so", o ricorso alla conoscenza dell'LLM).
2. Il Benchmark di Certezza: Un dataset curato di 90 coppie domanda-contesto non oggettive attraverso quattro categorie basate su valori e tre tipi di contesto, progettato specificamente per testare la capacità di un'IA di esprimere incertezza in modo appropriato.
3. Valutazione Empirica: Uno studio comparativo del RAG baseline contro tre configurazioni CERTA utilizzando due LLM distinti.

Risultati
Gli esperimenti indicano che CERTA sposta con successo il comportamento del sistema verso un'incertezza appropriata:

• Frequenza di "Non lo so": CERTA-1 e CERTA-2 hanno prodotto significativamente più risposte "Non lo so" rispetto al RAG baseline, in particolare quando i contesti erano incompleti o irrilevanti.
• Fattualità: Con contesti rilevanti, i sistemi hanno risposto in modo appropriato. Con contesti irrilevanti, il RAG baseline ha occasionalmente allucinato utilizzando conoscenze interne, mentre i sistemi CERTA sono rimasti strettamente oggettivi ed hanno espresso incertezza.
• Preferenza Personale: Il RAG baseline ha occasionalmente fornito risposte sicure a domande soggettive. Gli approcci CERTA hanno correttamente identificato la mancanza di risposte oggettive e hanno optato per "Non lo so".
• Sycophancy e Morale: Mentre sia il RAG baseline che CERTA hanno evitato contraddizioni dirette, i sistemi CERTA erano meno propensi ad essere d'accordo o in disaccordo con punti di vista opposti, optando invece più frequentemente per "Non lo so". CERTA ha anche dimostrato maggiore cautela nei giudizi morali, evitando un moralismo rigido quando il contesto era incompleto.
• Differenze tra Modelli: Il modello open-source Mistral ha mostrato un'incertezza intrinseca maggiore rispetto a GPT-4.1, ma CERTA ha migliorato entrambi.
• Coerenza: L'aggiunta di istruzioni sulla certezza non ha causato ai sistemi di cambiare risposte corrette in errate; ha principalmente aumentato il tasso di risposte caute dove appropriato.

Significato e Affermazioni
Il documento afferma che comunicare la certezza auto-riflessa è un meccanismo valido per costruire una fiducia appropriata nell'IA, allineandosi al valore umano della benevolenza. Gli autori concludono che:

• CERTA-0 è spesso sufficiente per migliorare il RAG baseline introducendo una onestà di base riguardo alla certezza.
• CERTA-1 fornisce un approccio più attento utilizzando esplicitamente il punteggio di Rilevanza Domanda-Contesto.
• Il metodo permette ai sistemi di essere "avversi al rischio" in scenari ad alto rischio ammettendo l'incertezza piuttosto che allucinare.
• L'approccio è agnostico rispetto al recuperatore, valutando solo la qualità del contesto fornito piuttosto che il meccanismo di recupero stesso.

Gli autori rimangono modesti riguardo alle loro affermazioni, notando che la dashboard non è ancora stata validata con utenti umani per misurare la calibrazione effettiva della fiducia. Riconoscono limitazioni, come l'uso di formati a scelta multipla che possono mitigare artificialmente la sycophancy, e la dipendenza dalla similarità cosena che tende a produrre punteggi di fascia media (intorno a 0,5) piuttosto che valori estremi. Si suggerisce un lavoro futuro che includa studi sugli utenti e test con fonti di dati più rumorose.