💬 NLP

Knowing When Not to Answer: Lightweight KB-Aligned OOD Detection for Safe RAG

Ce document propose et évalue une méthode de détection hors domaine légère et alignée sur la base de connaissances, utilisant un score de sous-espace basé sur l'ACP pour filtrer efficacement les systèmes RAG contre les requêtes non sûres ou non pertinentes, démontrant que ces approches géométriques ou par classifieurs efficaces surpassent les juges LLM coûteux tout en maintenant une robustesse à travers des domaines à enjeux élevés.

Auteurs originaux : Ilias Triantafyllopoulos, Renyi Qu, Salvatore Giorgi, Brenda Curtis, Lyle H. Ungar, João Sedoc

Publié 2026-07-07

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ilias Triantafyllopoulos, Renyi Qu, Salvatore Giorgi, Brenda Curtis, Lyle H. Ungar, João Sedoc

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Le bibliothécaire « trop zélé »

Imaginez que vous avez un bibliothécaire très intelligent et rapide (une IA) qui a mémorisé une encyclopédie spécifique et épaisse portant uniquement sur les vaccins contre la COVID-19.

Si vous demandez : « Quels sont les effets secondaires du vaccin ? », le bibliothécaire trouve la réponse instantanément et vous la donne. Super !

Mais que se passe-t-il si vous vous approchez et demandez : « Comment réparer mon évier de cuisine qui fuit ? » ou « Puis-je utiliser le vaccin pour guérir un mal de tête ? »

L'ancienne méthode : Le bibliothécaire, étant désireux de faire plaisir, pourrait paniquer. Il pourrait parcourir toute l'encyclopédie, trouver une phrase mentionnant vaguement des « fluides » ou de la « douleur », et dire avec assurance : « Oui, le vaccin aide avec les fluides ! ». C'est une hallucination. Cela semble fluide et assuré, mais c'est faux et potentiellement dangereux.
L'objectif : Nous avons besoin d'un moyen de dire au bibliothécaire : « Stop ! Cette question n'est pas dans votre livre. N'essayez même pas d'y répondre. »

La solution : Un « Gardien » léger

Les auteurs de cet article ont créé un système de « Gardien » simple, rapide et peu coûteux pour se tenir devant le bibliothécaire. Son seul travail est de regarder votre question et de décider : « Cette question est-elle à l'intérieur de notre base de connaissances, ou est-elle à l'extérieur ? »

Si la question est à l'extérieur (Hors Domaine), le Gardien dit : « Je ne peux pas répondre à cela », et empêche le bibliothécaire d'essayer.

Comment fonctionne le Gardien (L'analogie de la « Carte »)

Habituellement, vérifier si une question appartient à un sujet spécifique nécessite un super-ordinateur (un modèle d'IA massif) pour y réfléchir profondément. C'est lent et coûteux.

Les auteurs ont trouvé un moyen plus intelligent et plus léger en utilisant une technique appelée PCA (Analyse en Composantes Principales). Voici l'analogie :

La grande pièce en désordre : Imaginez que la base de connaissances du bibliothécaire est une immense pièce en désordre remplie de milliers de livres. Chaque livre représente une parcelle de connaissance.
La Carte : Au lieu de regarder chaque livre, le Gardien crée une carte en 2D de cette pièce. Il aplatit la pièce en 3D sur une feuille de papier plate.
- Sur cette carte, tous les livres sur le « COVID-19 » sont regroupés dans un coin.
- Les livres sur le « Évier de cuisine » ou la « Politique » seraient très loin, dans l'espace vide.
Le raccourci : Lorsque vous posez une question, le Gardien ne lit pas tout le livre. Il se contente de placer votre question comme un point sur cette carte plate.
- Si le point atterrit dans le « Cluster COVID » : Il est sûr de répondre.
- Si le point atterrit dans l'espace vide : Il est Hors Domaine. Stop !

Deux façons de dessiner la carte

L'article a testé deux façons de dessiner cette carte pour s'assurer qu'elle sépare bien les « bonnes » questions des « mauvaises » :

La méthode des « Changements les plus importants » (EVR) : Elle regarde la carte et dit : « Gardons les directions où les livres sont les plus dispersés. » Elle conserve les motifs les plus évidents.
La méthode de la « Meilleure séparation » (p-values) : Elle regarde la carte et dit : « Gardons les directions où les questions sur le « COVID » sont le plus éloignées des questions « Non-COVID ». C'est comme tracer une ligne spécifiquement pour séparer les deux groupes.

Le constat : La méthode de la « Meilleure séparation » a fonctionné légèrement mieux pour les règles géométriques simples, créant une frontière très claire entre ce que l'IA sait et ce qu'elle ne sait pas.

Pourquoi est-ce important ?

Les auteurs ont comparé leur Gardien simple aux « Grands Cerveaux » (en utilisant une IA massive comme GPT-4 pour vérifier la question en premier).

Vitesse : Leur Gardien est instantané. Il prend des microsecondes. Le Grand Cerveau prend des secondes.
Coût : Leur Gardien fonctionne sur un ordinateur normal et gratuitement. Le Grand Cerveau coûte de l'argent à chaque fois que vous posez une question.
Précision : Étonnamment, leur simple Gardien était presque aussi bon que le Grand Cerveau coûteux pour repérer les questions « hors sujet ».
Sécurité : Lorsqu'ils ont testé cela sur des attaques réelles (comme des personnes essayant de piéger l'IA avec des questions bizarres provenant de 4chan ou de contenus générés par l'IA), le Gardien a tenu bon.

Le résultat : Une conversation plus sûre

L'article prouve que lorsqu'on ajoute ce Gardien au système :

L'IA arrête d'essayer de répondre à des questions qu'elle ne connaît pas.
Les réponses qu'elle donne sont beaucoup plus pertinentes par rapport au sujet.
Cela empêche l'IA d'inventer avec assurance des faits sur des choses dont elle n'a pas étudié le contenu.

Résumé

Considérez cet article comme l'invention d'un videur pour un club VIP (la Base de Connaissances).

Avant : Le videur était un robot géant, lent et coûteux qui se fatiguait parfois et laissait entrer les mauvaises personnes.
Maintenant : Le videur est un humain rapide, peu coûteux et intelligent avec une liste de contrôle simple. Il regarde votre pièce d'identité (la question), vérifie une carte simple, et sait instantanément si vous avez votre place dans le club. Si vous n'avez pas votre place, vous n'entrez pas, et les VIP à l'intérieur restent à l'abri de la confusion.

L'article démontre que vous n'avez pas besoin d'un super-ordinateur pour garder une IA en sécurité ; parfois, une carte simple et bien dessinée est tout ce dont vous avez besoin.

Résumé technique : Détection de hors-domaine (OOD) légère et alignée sur la base de connaissances pour un RAG sécurisé

Énoncé du problème

Les systèmes de génération augmentée par récupération (RAG) sont de plus en plus déployés dans des domaines à enjeux élevés (ex. : santé, consommation de substances), où la sécurité dépend non seulement de la manière dont un système répond, mais aussi de la pertinence de la réponse à une requête donnée. Un mode de défaillance critique survient lorsque des requêtes hors-domaine (OOD - Out-of-Domain) contournent les garde-fous de la récupération, provoquant une recherche dense qui fait remonter un contexte faiblement lié. Cela conduit les générateurs à produire des réponses fluides mais injustifiées (« hallucinations ») qui paraissent faisant autorité tout en manquant d'ancrage dans la base de connaissances (KB - Knowledge Base).

Les stratégies d'atténuation actuelles reposent souvent sur des garde-fous intégrés aux LLM ou sur des appels supplémentaires à des LLM pour juger de la pertinence du domaine. Cependant, les garde-fous ciblent principalement le contenu toxique plutôt que l'irrélevance du domaine, et les « juges de domaine » basés sur les LLM entraînent une latence substantielle et des coûts d'API élevés, ce qui les rend peu pratiques comme barrières actives permanentes. Le document traite du besoin d'un détecteur OOD externe, léger, interprétable et rentable, qui détermine si une KB peut soutenir une réponse ancrée (Axe A de la sécurité) avant l'étape de génération.

Méthodologie

Les auteurs proposent un cadre en deux étapes pour la détection OOD alignée sur la KB, qui projette les requêtes dans un sous-espace compact et spécifique au domaine dérivé des plongements (embeddings) de la KB.

1. Construction de l'espace de caractéristiques

La méthode commence par calculer les plongements d'un ensemble de documents $D$ (la KB) et de requêtes utilisateur $q$ à l'aide d'un encodeur bi-encodeur pré-entraîné basé sur BERT. L'analyse en composantes principales (PCA) est appliquée aux plongements de documents pour identifier les motifs dominants. La sélection des $m$ composantes principales (PC) finales est affinée selon deux critères distincts :

Variance expliquée (EVR) : Sélectionne les $m$ composantes supérieures qui conservent la plus grande variance des données.
Test t de séparation (p-values) : Projette les plongements des requêtes en domaine (ID) et hors-domaine (OOD) sur les $k$ premières PC. Un test t est effectué pour chaque dimension afin de comparer les projections ID et OOD. Les $m$ PC présentant les p-values les plus faibles (plus grande séparabilité statistique) sont sélectionnées.

L'embedding de la requête $e_q$ est ensuite projeté dans cet espace réduit de $m$ dimensions ( $e'_q = e_q P_m^T$ ) pour obtenir une représentation transformée.

2. Mécanismes de détection

Au sein de cet espace de faible dimension, les auteurs évaluent deux catégories de détecteurs :

Règles de recherche sémantique géométrique : Elles définissent des frontières autour des plongements ID d'entraînement.
- $\epsilon$ -ball (sphère) : Une hypersphère centrée sur la requête.
- $\epsilon$ -cube : Un hypercube centré sur la requête.
- $\epsilon$ -rect (parallélépipède) : Un hyperrectangle avec des longueurs de côté spécifiques à chaque dimension.
- Règle de décision : Si une requête de test tombe à l'intérieur de la frontière des voisins, elle est classée comme ID ; sinon, elle est classée comme OOD.
Classificateurs légers : Modèles supervisés standards entraînés sur les plongements projetés :
- Régression logistique (LogReg)
- Machines à vecteurs de support (SVM)
- Modèles de mélange gaussien (GMM)

Contributions clés

Détecteur PCA aligné sur la KB : Introduction d'un détecteur OOD basé sur la PCA spécifiquement aligné avec la structure de la KB, comparant la sélection de composantes basée sur la variance (EVR) et celle basée sur la séparabilité (p-value).
Évaluation systématique : Évaluation complète sur 16 domaines, incluant des KB réelles à enjeux élevés (COVID-19 et consommation de substances) ainsi que des jeux de données d'attaques synthétiques/réelles (générées par LLM et 4chan).
Analyse d'impact de bout en bout : Lien entre la détection OOD et le comportement de RAG en aval via des évaluations humaines et par un « LLM-as-a-Judge », démontrant que les requêtes OOD dégradent principalement la pertinence de la réponse, même lorsque la justesse factuelle est préservée.
Efficacité et interprétabilité : Démonstration que les détecteurs de faible dimension atteignent des performances compétitives avec une latence et un coût nettement inférieurs aux juges basés sur les LLM, tout en offrant des frontières de décision interprétables.

Résultats

Performance de la détection OOD

Précision : Les méthodes proposées atteignent une précision compétitive par rapport aux bases solides (Mahalanobis, ViM, kNN, ODIN). Dans le domaine de la COVID-19, le critère de p-value avec les méthodes géométriques ( $\epsilon$ -ball) a atteint une précision de 0,985, surpassant le critère EVR (0,942).
Robustesse : Sous des conditions adverses (attaques 4chan et générées par LLM), les méthodes de recherche sémantique sont restées compétitives. Les classificateurs supervisés (LogReg, SVM) ont généralement maintenu une précision élevée mais nécessitaient plus de dimensions.
Dimensionnalité : Le critère de p-value a généralement sélectionné moins de 15 PC (ex. : 13 pour $\epsilon$ -ball dans la COVID-19), tandis que les bases de comparaison au niveau de l'embedding opéraient dans l'espace complet de 768 dimensions.

Comportement RAG en aval

Pertinence vs Justesse : Les évaluations humaines et par LLM ont révélé que les requêtes OOD réduisent significativement la pertinence (ex. : la pertinence pour la COVID-19 est passée de 4,71 à 4,37 pour ID vs OOD), tandis que les scores de justesse sont restés statistiquement inchangés. Cela indique que les systèmes RAG ont tendance à générer des réponses fluides mais non pertinentes pour les requêtes OOD.
Comparaison avec les juges LLM : Un détecteur basé sur GMM a obtenu une précision comparable à un juge prompté via GPT-4o (182/300 contre 215/300 classifiés correctement) mais avec un avantage d'efficacité massif.
Analyse d'erreurs : En cas d'erreurs, les erreurs de classification de la méthode proposée avaient tendance à favoriser des sorties plus sûres. Les requêtes ID classées par erreur comme OOD recevaient toujours des scores de pertinence élevés, tandis que les requêtes OOD classées par erreur comme ID présentaient une qualité moindre que celles correctement rejetées.

Complexité et Latence

Latence : Les méthodes locales (géométriques et classificateurs ML) opèrent avec une latence de l'ordre de la microseconde (ex. : 17,7–26,1 $\mu$ s par requête), tandis que la détection via GPT-4o induit une latence de plusieurs secondes ( $3,2 \times 10^6$ $\mu$ s) en raison des appels API distants.
Coût : Les méthodes proposées engendrent un coût marginal quasi nul par requête après le prétraitement hors ligne, offrant un avantage de coût d'au moins deux ordres de grandeur par rapport aux détecteurs basés sur les LLM.

Interprétabilité

Le critère de p-value sélectionne des PC qui correspondent à des thèmes sémantiques cohérents et spécifiques au domaine. Par exemple, dans le jeu de données COVID-19, les PC les mieux classées ont capturé des concepts interprétables tels que « Éligibilité à la vaccination », « Perception des risques pour la santé » et « Méfiance systémique », facilitant la transparence et l'analyse des erreurs.

Signification et affirmations

L'article affirme que la modélisation de l'appartenance au domaine dans un sous-espace compact et aligné sur la KB fournit une protection efficace et robuste pour les systèmes RAG réels. La principale signification réside dans l'offre d'un compromis pratique : une barrière légère, toujours active, plus rapide, moins coûteuse et plus interprétable que les juges LLM promptés, tout en empêissant la génération de réponses fluides mais non justifiées.

Les auteurs soulignent que cette approche traite de l'Axe A (alignement KB/répondabilité) de la sécurité. Ils précisent explicitement qu'il ne s'agit pas d'une solution complète pour l'Axe B (risque de politique/toxicité), qui nécessite des couches de modération de contenu distinctes. Cependant, en filtrant les requêtes non supportées par la KB, le système empêche le générateur d'être « confiant, coûteux et erroné », maintenant ainsi un comportement sûr et conforme au périmètre. L'étude conclut qu'une détection OOD externe est nécessaire pour préserver la pertinence des réponses lorsque les garde-fous seuls sont insuffisants.