Riepilogo Tecnico: Rilevamento OOD Leggero Allineato alla KB per un RAG Sicuro

Definizione del Problema

I sistemi di Generazione Aumentata da Recupero (RAG) sono sempre più implementati in domini ad alto rischio (ad es., sanità, uso di sostanze), dove la sicurezza dipende non solo da come un sistema risponde, ma anche dal determinare se debba rispondere a una determinata query. Un modo critico di fallimento si verifica quando le query Out-of-Domain (OOD) aggirano le protezioni del recupero, causando al recupero denso (dense retrieval) di contesti debolmente correlati. Ciò porta i generatori a produrre risposte fluide ma non giustificate ("allucinazioni") che appaiono autorevoli ma mancano di fondamento nella Base di Conoscenza (KB).

Le attuali strategie di mitigazione si affidano spesso a guardrail integrati negli LLM o a chiamate aggiuntive agli LLM per giudicare la rilevanza del dominio. Tuttavia, i guardrail mirano principalmente ai contenuti tossici piuttosto che all'irrelevanza del dominio, e i "giudici di dominio" basati su LLM comportano latenza sostanziale e costi delle API, rendendoli impraticabili come gate sempre attivi. Il documento affronta la necessità di un rilevatore OOD esterno, leggero, interpretabile ed economicamente vantaggioso che determini se una KB possa supportare una risposta fondata (Asse A della sicurezza) prima della fase di generazione.

Metodologia

Gli autori propongono un framework in due fasi per il rilevamento OOD allineato alla KB che proietta le query in uno spazio sub-dimensionale compatto e specifico del dominio, derivato dagli embedding della KB.

1. Costruzione dello Spazio delle Caratteristiche

Il metodo inizia calcolando gli embedding per un dataset di documenti $D$ (la KB) e le query utente $q$ utilizzando un bi-encoder pre-addestrato basato su BERT. L'Analisi delle Componenti Principali (PCA) viene applicata agli embedding dei documenti per identificare i pattern dominanti. La selezione delle $m$ componenti principali (PC) finali è raffinata utilizzando due criteri distinti:

• Varianza Spiegata (EVR): Seleziona le prime $m$ componenti che mantengono la varianza più elevata dei dati.
• t-test guidato dalla Separabilità (p-values): Proietta sia gli embedding delle query In-Domain (ID) che quelli OOD sulle prime $k$ PC. Viene eseguito un t-test per ogni dimensione per confrontare le proiezioni ID e OOD. Le $m$ PC con i p-value più bassi (massima separabilità statistica) vengono selezionate.

L'embedding della query $e_q$ viene quindi proiettato in questo spazio ridotto di $m$ dimensioni ($e'_q = e_q P_m^T$) per ottenere una rappresentazione trasformata.

2. Meccanismi di Rilevamento

All'interno di questo spazio a bassa dimensionalità, gli autori valutano due categorie di rilevatori:

• Regole Geometriche di Ricerca Semantica: Queste definiscono confini attorno agli embedding ID di addestramento.
  • $\epsilon$-ball: Una ipersfera centrata sulla query.
  • $\epsilon$-cube: Un ipercubo centrato sulla query.
  • $\epsilon$-rect: Un iperrettangolo con lunghezze dei lati specifiche per dimensione.
  • Regola Decisionale: Se una query di test cade entro il confine dei vicini, è classificata come ID; altrimenti, è OOD.
• Classificatori Leggeri: Modelli supervisionati standard addestrati sugli embedding proiettati:
  • Regressione Logistica (LogReg)
  • Support Vector Machines (SVM)
  • Gaussian Mixture Models (GMM)

Contributi Chiave

1. Rilevatore PCA Allineato alla KB: Introduzione di un rilevatore OOD basato su PCA specificamente allineato con la struttura della KB, confrontando la selezione delle componenti basata sulla varianza (EVR) e quella basata sulla separabilità (p-value).
2. Valutazione Sistematica: Valutazione completa su 16 domini, inclusi KB del mondo reale ad alto rischio (COVID-19 e Uso di Sostanze) e dataset di attacco sintetici/reali (generati da LLM e 4chan).
3. Analisi dell'Impatto End-to-End: Collegamento del rilevamento OOD al comportamento downstream del RAG tramite valutazioni umane e "LLM-as-a-Judge", dimostrando che le query OOD degradano principalmente la rilevanza della risposta anche quando la correttezza fattuale è preservata.
4. Efficienza e Interpretabilità: Dimostrazione che i rilevatori a bassa dimensionalità raggiungono prestazioni competitive con latenza e costi significativamente inferiori rispetto ai giudici basati su LLM, offrendo al contempo confini decisionali interpretabili.

Risultati

Prestazioni del Rilevamento OOD

• Accuratezza: I metodi proposti ottengono un'accuratezza competitiva rispetto a basi solide (Mahalanobis, ViM, kNN, ODIN). Nel dominio COVID-19, il criterio del p-value con i metodi geometrici ($\epsilon$-ball) ha raggiunto un'accuratezza di 0,985, superando il criterio EVR (0,942).
• Robustezza: In condizioni avversarie (attacchi da 4chan e generati da LLM), i metodi di ricerca semantica sono rimasti competitivi. I classificatori supervisionati (LogReg, SVM) hanno generalmente mantenuto un'alta accuratezza ma richiedevano più dimensioni.
• Dimensionalità: Il criterio del p-value ha tipicamente selezionato meno di 15 PC (ad es., 13 per $\epsilon$-ball in COVID-19), mentre i baseline a livello di embedding operavano nell'intero spazio di 768 dimensioni.

Comportamento RAG Downstream

• Rilevanza vs. Correttezza: Le valutazioni umane e dell'LLM hanno rivelato che le query OOD riducono significativamente la rilevanza (ad es., la rilevanza COVID-19 è scesa da 4,71 a 4,37 per ID rispetto a OOD), mentre i punteggi di correttezza sono spesso rimasti statisticamente invariati. Ciò indica che i sistemi RAG tendono a generare risposte fluide ma irrilevanti per le query OOD.
• Confronto con i Giudici LLM: Un rilevatore basato su GMM ha ottenuto un'accuratezza comparabile a un giudice GPT-4o con prompt (182/300 contro 215/300 classificazioni corrette), ma con un enorme vantaggio di efficienza.
• Analisi degli Errori: Quando si verificavano errori, le misclassificazioni del metodo proposto tendevano a pendere verso output più sicuri. Le query ID classificate erroneamente come OOD ricevevano comunque punteggi di rilevanza elevati, mentre le query OOD classificate erroneamente come ID producevano una qualità inferiore rispetto a quelle correttamente respinte.

Complessità e Latenza

• Latenza: I metodi locali (geometrici e classificatori ML) operano con una latenza sub-millisecondo (ad es., 17,7–26,1 $\mu$s per query), mentre il rilevamento basato su GPT-4o comporta una latenza di diversi secondi ($3,2 \times 10^6$ $\mu$s) a causa delle chiamate API remote.
• Costo: I metodi proposti comportano un costo marginale quasi nullo per query dopo il pre-processing offline, offrendo un vantaggio di costo di almeno due ordini di grandezza rispetto ai rilevatori basati su LLM.

Interpretabilità

Il criterio del p-value seleziona le PC che corrispondono a temi semantici coerenti e specifici del dominio. Ad esempio, nel dataset COVID-19, le PC con il ranking più alto hanno catturato concetti interpretabili come "Idoneità alla Vaccinazione", "Percezione del Rischio per la Salute" e "Sfiducia Sistemica", facilitando la trasparenza e l'analisi degli errori.

Significato e Rivendicazioni

Il documento sostiene che modellare l'appartenenza al dominio in uno spazio sub-dimensionale compatto e allineato alla KB fornisce una protezione efficace e robusta per i sistemi RAG reali. Il significato primario risiede nell'offrire un compromesso pratico: un gate sempre attivo, leggero, più veloce, più economico e più interpretabile rispetto ai giudici LLM con prompt, che previene efficacemente la generazione di risposte fluide ma non giustificate.

Gli autori sottolineano che questo approccio affronta l'Asse A (allineamento alla KB/rispondibilità) della sicurezza. Essi notano esplicitamente che questa non è una soluzione completa per l'Asse B (rischio di policy/tossicità), che richiede livelli separati di moderazione dei contenuti. Tuttavia, filtrando le query non supportate dalla KB, il sistema impedisce al generatore di essere "sicuro di sé, costoso e sbagliato", mantenendo un comportamento sicuro e nel perimetro d'uso in ambienti ad alto rischio. Lo studio conclude che il rilevamento OOD esterno è necessario per preservare la rilevanza della risposta quando i guardrail da soli sono insufficienti.