Resumen Técnico: Detección de OOD Ligera Alineada con la KB para un RAG Seguro

Declaración del Problema

Los sistemas de Generación Aumentada por Recuperación (RAG) se están desplegando cada vez más en dominios de alto riesgo (por ejemplo, salud, consumo de sustancias), donde la seguridad depende no solo de cómo responde un sistema, sino también de si debería responder a una consulta determinada. Un modo de falla crítico ocurre cuando las consultas Fuera de Dominio (OOD, por sus siglas en inglés) eluden las salvaguardas de recuperación, causando que la recuperación densa presente contextos débilmente relacionados. Esto lleva a que los generadores produzcan respuestas fluidas pero injustificadas ("alucinaciones") que parecen autoritarias pero carecen de fundamentación en la Base de Conocimiento (KB).

Las estrategias de mitigación actuales suelen depender de las salvaguardas integradas de los LLM o de llamadas adicionales a LLM para juzgar la relevancia del dominio. Sin embargo, las salvaguardas se centran principalmente en el contenido tóxico en lugar de la irrelevancia del dominio, y los "jueces de dominio" basados en LLM incurren en una latencia sustancial y costos de API, lo que los hace poco prácticos como puertas de entrada permanentes. El artículo aborda la necesidad de un detector de OOD externo, ligero, interpretable y rentable que determine si una KB puede respaldar una respuesta fundamentada (Eje A de la seguridad) antes del paso de generación.

Metodología

Los autores proponen un marco de dos pasos para la detección de OOD alineada con la KB que proyecta las consultas en un subespacio compacto y específico del dominio derivado de los embeddings de la KB.

1. Construcción del Espacio de Características

El método comienza computando los embeddings para un conjunto de datos de documentos $D$ (la KB) y consultas de usuario $q$ utilizando un bi-encoder basado en BERT preentrenado. Se aplica el Análisis de Componentes Principales (PCA) a los embeddings de los documentos para identificar patrones dominantes. La selección de los $m$ componentes principales (PC) finales se refina utilizando dos criterios distintos:

• Varianza Explicada (EVR): Selecciona los componentes top-$m$ que retienen la mayor varianza de los datos.
• Prueba t de Separabilidad (p-values): Proyecta tanto los embeddings de consultas In-Domain (ID) como de OOD sobre los top-$k$ PC. Se realiza una prueba t para cada dimensión para comparar las proyecciones ID y OOD. Se seleccionan los $m$ PC con los p-valores más bajos (mayor separabilidad estadística).

El embedding de la consulta $e_q$ se proyecta entonces en este espacio reducido de $m$ dimensiones ($e'_q = e_q P_m^T$) para obtener una representación transformada.

2. Mecanismos de Detección

Dentro de este espacio de baja dimensión, los autores evalúan dos categorías de detectores:

• Reglas de Búsqueda Semántica Geométrica: Estas definen límites alrededor de los embeddings ID de entrenamiento.
  • $\epsilon$-ball: Una hiperesfera centrada en la consulta.
  • $\epsilon$-cube: Un hipercubo centrado en la consulta.
  • $\epsilon$-rect: Un hiperrectángulo con longitudes de lado específicas por dimensión.
  • Regla de Decisión: Si una consulta de prueba cae dentro del límite de los vecinos, se clasifica como ID; de lo contrario, es OOD.
• Clasificadores Ligeros: Modelos supervisados estándar entrenados en los embeddings proyectados:
  • Regresión Logística (LogReg)
  • Máquinas de Vectores de Soporte (SVM)
  • Modelos de Mezcla Gaussiana (GMM)

Contribuciones Clave

1. Detector PCA Alineado con la KB: Introducción de un detector de OOD basado en PCA específicamente alineado con la estructura de la KB, comparando la selección de componentes basada en varianza (EVR) y en separabilidad (p-value).
2. Evaluación Sistemática: Evaluación exhaustiva a través de 16 dominios, incluyendo KBs del mundo real de alto riesgo (COVID-19 y Consumo de Sustancias) y conjuntos de datos de ataques sintéticos/reales (generados por LLM y 4chan).
3. Análisis de Impacto de Extremo a Extremo: Vinculación de la detección de OOD con el comportamiento descendente de RAG mediante evaluaciones humanas y de LLM-como-Juez, demostrando que las consultas OOD degradan principalmente la relevancia de la respuesta incluso cuando la corrección factual se preserva.
4. Eficiencia e Interpretabilidad: Demostración de que los detectores de baja dimensión logran un rendimiento competitivo con una latencia y costo significativamente menores que los jueces de LLM, ofreciendo además límites de decisión interpretables.

Resultados

Rendimiento de la Detección de OOD

• Precisión: Los métodos propuestos logran una precisión competitiva contra bases sólidas (Mahalanobis, ViM, kNN, ODIN). En el dominio de COVID-19, el criterio de p-valor con métodos geométricos ($\epsilon$-ball) alcanzó una precisión de 0.985, superando al criterio EVR (0.942).
• Robustez: Bajo condiciones adversas (ataques de 4chan y generados por LLM), los métodos de búsqueda semántica se mantuvieron competitivos. Los clasificadores supervisados (LogReg, SVM) generalmente mantuvieron una alta precisión pero requirieron más dimensiones.
• Dimensionalidad: El criterio de p-valor típicamente seleccionó menos de 15 PC (por ejemplo, 13 para $\epsilon$-ball en COVID-19), mientras que los baselines a nivel de embedding operaban en el espacio completo de 768 dimensiones.

Comportamiento de RAG Descendente

• Relevancia vs. Corrección: Las evaluaciones humanas y de LLM revelaron que las consultas OOD reducen significamente la relevancia (por ejemplo, la relevancia de COVID-19 cayó de 4.71 a 4.37 para ID vs. OOD), mientras que las puntuaciones de corrección a menudo permanecieron estadísticamente sin cambios. Esto indica que los sistemas RAG tienden a generar respuestas fluidas pero irrelevantes para consultas OOD.
• Comparación con Jueces LLM: Un detector basado en GMM logró una precisión comparable a un juez con prompt de GPT-4o (182/300 vs. 215/300 clasificaciones correctas), pero con una ventaja de eficiencia masiva.
• Análisis de Errores: Cuando ocurrieron errores, las clasificaciones erróneas del método propuesto tendieron a sesgarse hacia salidas más seguras. Las consultas ID clasificadas erróneamente como OOD aún recibieron puntuaciones de relevancia altas, mientras que las consultas OOD clasificadas erróneamente como ID arrojaron una calidad inferior a las correctamente rechazadas.

Complejidad y Latencia

• Latencia: Los métodos locales (geométricos y clasificadores de ML) operan con una latencia de sub-milisegundo (por ejemplo, 17.7–26.1 $\mu$s por consulta), mientras que la detección basada en GPT-4o incurre en una latencia de varios segundos ($3.2 \times 10^6$ $\mu$s) debido a las llamadas de API remotas.
• Costo: Los métodos propuestos incurren en un costo marginal cercano a cero por consulta tras el preprocesamiento offline, ofreciendo una ventaja de costo de al menos dos órdenes de magnitud sobre los detectores basados en LLM.

Interpretabilidad

El criterio de p-valor selecciona los PC que corresponden a temas semánticos coherentes y específicos del dominio. Por ejemplo, en el conjunto de datos de COVID-19, los PC de mayor rango capturaron conceptos interpretables como "Elegibilidad para la Vacunación", "Percepción de Riesgo para la Salud" y "Desconfianza Sistémica", facilitando la transparencia y el análisis de errores.

Significado y Reivindicaciones

El artículo afirma que modelar la pertenencia al dominio en un subespacio compacto y alineado con la KB proporciona una salvaguarda efectiva y robusta para los sistemas RAG del mundo real. La principal significancia radica en ofrecer un compromiso práctico: una puerta de entrada ligera, siempre activa, que es más rápida, barata e interpretable que los jueces de LLM mediante prompts, mientras previene eficazmente la generación de respuestas fluidas pero injustificadas.

Los autores enfatizan que este enfoque aborda el Eje A (alineación con la KB/capacidad de respuesta) de la seguridad. Expresan explícitamente que esto no es una solución completa para el Eje B (riesgo de política/toxicidad), que requiere capas de moderación de contenido separadas. Sin embargo, al filtrar las consultas no soportadas por la KB, el sistema evita que el generador sea "confiado, costoso y erróneo", manteniendo un comportamiento seguro y dentro del alcance en entornos de alto riesgo. El estudio concluye que la detección de OOD externa es necesaria para preservar la relevancia de la respuesta cuando las salvaguardas por sí solas son insuficientes.