Beyond Topical Similarity: Contrastive Evidence Retrieval with Interpretable Attention Alignment in RAG

Sintesi Tecnica: Contrastive Evidence Rationale Attention (CERA)

Definizione del Problema
I sistemi di Generazione Aumentata da Recupero (RAG) mirano a migliorare la fattualità dei Large Language Models (LLM) vincolando gli output con documenti esterni. Tuttavia, persiste un limite critico: i retriever densi standard spesso confondono la somiglianza topica con la validità evidenziale. Un retriever può dare priorità a passaggi che sono lessicalmente correlati a una query ma fattualmente inaffidabili, contraddittori o semplicemente topicamente adiacenti, piuttosto che a quelli che contengono prove specifiche a supporto. Questo "recupero rumoroso" porta a allucinazioni e output distorti, particolarmente in domini ad alto rischio come l'assistenza sanitaria. Inoltre, i sistemi di recupero esistenti mancano di interpretabilità; ottimizzano cosa viene recuperato, ma non riescono a spiegare perché una specifica evidenza sia stata selezionata o come essa sostenga una decisione. I metodi di interpretabilità attuali si basano ampiamente su spiegazioni post-hoc piuttosto che su meccanismi intrinseci che allineino l'attenzione del modello con il ragionamento umano.

Metodologia
Gli autori propongono Contrastive Evidence Rationale Attention (CERA), un framework di recupero denso progettato per iniettare un "bias induttivo evidenziale" nel contrastive learning. CERA opera su due pilastri fondamentali:

1. Selezione di Hard Negative Basata sulla Soggettività:
   Invece di trattare tutti i documenti non rilevanti come ugualmente negativi, CERA impiega una strategia consapevole della soggettività per selezionare i "hard negatives". All'interno di un documento, i chunk che non presentano sovrapposizioni con lo span dell'evidenza d'oro (gold evidence span) sono classificati tramite un punteggio di soggettività (calcolato tramite TextBlob). I top-$K$ chunk più soggettivi vengono selezionati come hard negatives. Ciò costringe il modello a distinguere tra contenuti che sono meramente soggettivi o opinabili e contenuti che costituiscono evidenze oggettive e verificabili, raffinando così lo spazio di embedding oltre la semplice prossimità semantica.

2. Allineamento dell'Attenzione Interpretabile:
   CERA introduce una funzione di perdita ausiliaria per supervisionare i meccanismi di attenzione interni del modello.

   • Supervisione della Razionale: Il framework utilizza razionali fattuali annotati da umani (span di evidenza) come segnali di verità fondamentale (ground-truth).
   • Mascheramento Pesato per POS: Viene applicato uno schema di pesatura basato sulle parti del discorso (POS) a queste razionali, assegnando pesi maggiori ai token portatori di contenuto (nomi, verbi, aggettivi) e pesi minori alle parole funzionali.
   • Perdita di Allineamento: Il modello minimizza la divergenza di Kullback-Leibler (KL) tra la distribuzione dell'attenzione normalizzata del token [CLS] verso i token di input e la distribuzione pesata della razionale. Ciò forza il meccanismo di attenzione ad allinearsi con i token specifici che costituiscono l'evidenza a supporto, anziché fare affidamento esclusivamente sulla somiglianza distributiva.

Il modello è addestrato utilizzando una funzione di perdita duale: una perdita contrastiva basata su triplet ( $L_{triplet}$ ) per separare l'evidenza positiva dai hard negatives, e la perdita di allineamento dell'attenzione ($L_{alignment}$), pesata da un iperparametro $\lambda$.

Contributi Chiave

1. Framework CERA: Il primo framework di recupero che combina la selezione di hard negative basata sulla soggettività con l'allineamento dell'attenzione interpretabile, iniettando esplicitamente un bias induttivo evidenziale nel recupero denso.
2. Obiettivo di Attenzione Allineato alla Razionale: Un nuovo obiettivo di addestramento che supervisiona l'attenzione CLS-to-token utilizzando razionali umane pesate per POS. Ciò consente al retriever di identificare non solo chunk rilevanti, ma i token specifici che costituiscono l'evidenza, migliorando la fedeltà senza sacrificare le prestazioni di recupero.
3. Validazione Empirica: Esperimenti completi sul dataset Evidence Inference 2.0 (report di studi clinici) dimostrano che CERA supera sia il baseline Contriever che i metodi standard di selezione degli hard negative.

Risultati
Valutato su un corpus di 3.393 report di studi clinici, CERA ha dimostrato miglioramenti significativi nell'efficacia del recupero e nell'interpretabilità:

• Prestazioni di Recupero: CERA ha ottenuto guadagni sostanziali rispetto al baseline degli hard-negative, con miglioramenti di +0,0768 in Recall@1, +0,1073 in Recall@3 e +0,1307 in Recall@5. Il Mean Reciprocal Rank (MRR) è aumentato di +0,1009.
• Interpretabilità e Fedeltà: L'obiettivo di allineamento dell'attenzione ha migliorato significativamente le metriche di fedeltà. Nello specifico, il punteggio di Sufficienza (che misura quanto bene la spiegazione rifletta il processo decisionale del modello) è sceso da 0,2073 (Contiver) a 0,0939 sotto un allineamento più forte ($\lambda=0,05$), indicando che il modello si affida a evidenze più compatte e adeguate.
• Fattualità: Utilizzando un ensemble di giudici LLM (GPT-5.4, Qwen3-Max, Mistral Large 3) per valutare la rilevanza fattuale degli span recuperati, CERA ha superato costantemente il baseline in tutti i rank, con il Jury Score che è migliorato da 1,1881 a 1,9015 al Rank 1.
• Ablazione: Lo studio ha confermato che i negativi basati sulla soggettività forniscono un segnale contrastivo più informativo rispetto ai convenzionali hard negatives. Tuttavia, aumentare il peso dell'allineamento ($\lambda$) oltre 0,05 ha leggermente degradato le metriche di recupero, suggerendo un compromesso tra precisione del recupero e forza dell'allineamento dell'attenzione.

Significatività e Rivendicazioni
Il paper sostiene che CERA rappresenti un passaggio dall'ottimizzazione della pura "somiglianza topica" all'ottimizzazione del "supporto evidenziale". Allineando le distribuzioni di attenzione con le razionali annotate dagli umani, il framework promuove una spiegazione più fedele del comportamento del modello, affrontando la natura "black-box" del recupero. Gli autori affermano che questo approccio è particolarmente critico per i domini ad alto rischio dove gli output non supportati possono portare a gravi conseguenze etiche e di sicurezza. Sebbene il lavoro sia un prototipo di ricerca e non un sistema di decisione clinica autonomo, dimostra che i sistemi di recupero possono essere addestrati per identificare specifici token di evidenza, migliorando così sia l'affidabilità che l'interpretabilità dei sistemi RAG. Gli autori riconoscono i limiti, inclusa la dipendenza da dati annotati da esperti e la restrizione degli esperimenti al dominio biomedico.