Resumo Técnico: Detecção de OOD Leve e Alinhada à KB para RAG Seguro

Declaração do Problema

Sistemas de Geração Aumentada por Recuperação (RAG) estão sendo cada vez mais implantados em domínios de alto risco (ex: saúde, uso de substâncias), onde a segurança depende não apenas de como um sistema responde, mas também de se ele deve responder a uma determinada consulta. Um modo de falha crítico ocorre quando consultas Fora de Domínio (OOD - Out-of-Domain) burlam as salvaguardas de recuperação, fazendo com que a recuperação densa traga contextos fracamente relacionados. Isso leva os geradores a produzirem respostas fluentes, porém injustificadas ("alucinações"), que parecem autoritárias, mas carecem de fundamentação na Base de Conhecimento (KB - Knowledge Base).

As estratégias de mitigação atuais dependem frequentemente de guardrails integrados em LLMs ou chamadas adicionais de LLM para julgar a relevância do domínio. No entanto, os guardrails visam primariamente o conteúdo tóxico, e não a irrelevância de domínio, e os "juízes de domínio" baseados em LLM incorrem em latência substancial e custos de API, tornando-os impraticáveis como portões de controle permanentes. O artigo aborda a necessidade de um detector de OOD externo, leve, interpretável e de baixo custo que determine se uma KB pode suportar uma resposta fundamentada (Eixo A da segurança) antes da etapa de geração.

Metodologia

Os autores propõem uma estrutura de duas etapas para detecção de OOD alinhada à KB, que projeta as consultas em um subespaço compacto e específico do domínio derivado dos embeddings da KB.

1. Construção do Espaço de Características

O método começa computando embeddings para um conjunto de documentos $D$ (a KB) e consultas de usuários $q$ usando um bi-encoder pré-treinado baseado em BERT. A Análise de Componentes Principais (PCA) é aplicada aos embeddings dos documentos para identificar padrões dominantes. A seleção dos $m$ componentes principais (PCs) finais é refinada usando dois critérios distintos:

• Variância Explicada (EVR): Seleciona os $m$ principais componentes que retêm a maior variância dos dados.
• Teste t de Separação (p-values): Projeta os embeddings de consultas In-Domain (ID) e OOD nos top-$k$ PCs. Um teste t é realizado para cada dimensão para comparar as projeções de ID e OOD. Os $m$ PCs com os menores p-values (maior separabilidade estatística) são selecionados.

O embedding da consulta $e_q$ é então projetado neste espaço reduzido de $m$ dimensões ($e'_q = e_q P_m^T$) para obter uma representação transformada.

2. Mecanismos de Detecção

Dentro deste espaço de baixa dimensão, os autores avaliam duas categorias de detectores:

• Regras de Busca Semântica Geométrica: Estas definem fronteiras ao redor dos embeddings de treinamento ID.
  • $\epsilon$-ball: Uma hiperesfera centrada na consulta.
  • $\epsilon$-cube: Um hipercubo centrado na consulta.
  • $\epsilon$-rect: Um hiperretângulo com comprimentos de lado específicos por dimensão.
  • Regra de Decisão: Se uma consulta de teste cair dentro da fronteira dos vizinhos, ela é classificada como ID; caso contrário, é OOD.
• Classificadores Leves: Modelos supervisionados padrão treinados nos embeddings projetados:
  • Regressão Logística (LogReg)
  • Máquinas de Vetores de Suporte (SVM)
  • Modelos de Mistura Gaussiana (GMM)

Contribuições Principais

1. Detector PCA Alinhado à KB: Introdução de um detector de OOD baseado em PCA especificamente alinhado com a estrutura da KB, comparando a seleção de componentes baseada em variância (EVR) e em separabilidade (p-value).
2. Avaliação Sistemática: Avaliação abrangente em 16 domínios, incluindo KBs do mundo real de alto risco (COVID-19 e Uso de Substâncias) e conjuntos de ataques sintéticos/reais (gerados por LLM e 4chan).
3. Análise de Impacto de Ponta a Ponta: Vinculando a detecção de OOD ao comportamento downstream do RAG via avaliações humanas e de LLM-as-a-Judge, demonstrando que consultas OOD degradam principalmente a relevância da resposta, mesmo quando a correção factual é preservada.
4. Eficiência e Interpretabilidade: Demonstração de que detectores de baixa dimensão alcançam performance competitiva com latência e custo significativamente menores do que juízes baseados em LLM, oferecendo também fronteiras de decisão interpretáveis.

Resultados

Desempenho de Detecção de OOD

• Acurácia: Os métodos propostos alcançam acurácia competitiva contra baselines fortes (Mahalanobis, ViM, kNN, ODIN). No domínio COVID-19, o critério de p-value com métodos geométricos ($\epsilon$-ball) alcançou 0,985 de acurácia, superando o critério EVR (0,942).
• Robustez: Sob condições adversariais (ataques 4chan e gerados por LLM), os métodos de busca semântica permaneceram competitivos. Classificadores supervisionados (LogReg, SVM) geralmente mantiveram alta acurácia, mas exigiram mais dimensões.
• Dimensionalidade: O critério de p-value tipicamente selecionou menos de 15 PCs (ex: 13 para $\epsilon$-ball no COVID-19), enquanto os baselines de nível de embedding operavam no espaço total de 768 dimensões.

Comportamento de RAG Downstream

• Relevância vs. Correção: Avaliações humanas e de LLM revelaram que consultas OOD reduzem significativamente a relevância (ex: a relevância do COVID-19 caiu de 4,71 para 4,37 para ID vs. OOD), enquanto as pontuações de correção muitas vezes permaneceram estatisticamente inalteradas. Isso indica que sistemas RAG tendem a gerar respostas fluentes, mas irrelevantes, para consultas OOD.
• Comparação com Juízes LLM: Um detector baseado em GMM alcançou acurácia comparável a um juiz via prompt de GPT-4o (182/300 vs. 215/300 classificações corretas), mas com uma vantagem de eficiência massiva.
• Análise de Erro: Quando ocorriam erros, as classificações incorretas do método proposto tendiam a enviesar para saídas mais seguras. Consultas ID classificadas incorretamente como OOD ainda recebiam pontuações de relevância altas, enquanto consultas OOD classificadas incorretamente como ID resultavam em qualidade inferior às que foram corretamente rejeitadas.

Complexidade e Latência

• Latência: Métodos locais (geométricos e classificadores de ML) operam com latência de sub-milissegundos (ex: 17,7–26,1 $\mu$s por consulta), enquanto a detecção via GPT-4o incurre em latência de vários segundos ($3,2 \times 10^6$ $\mu$s) devido a chamadas de API remotas.
• Custo: Os métodos propostos incorrem em custo marginal quase zero por consulta após o pré-processamento offline, oferecendo uma vantagem de custo de pelo menos duas ordens de magnitude sobre detectores baseados em LLM.

Interpretabilidade

O critério de p-value seleciona PCs que correspondem a temas semânticos coerentes e específicos do domínio. Por exemplo, no conjunto de dados COVID-19, os PCs de ranking superior capturaram conceitos interpretáveis como "Elegibilidade para Vacinação", "Percepção de Risco à Saúde" e "Desconfiança Sistêmica", facilitando a transparência e a análise de erros.

Significância e Alegações

O artigo alega que modelar a pertinência de domínio em um subespaço compacto e alinhado à KB fornece uma salvaguarda eficaz e robusta para sistemas RAG do mundo real. A principal significância reside em oferecer um equilíbrio prático: um portão sempre ativo, leve e de baixo custo que é mais rápido, mais barato e mais interpretável do que juízes de LLM via prompt, enquanto evita efetivamente a geração de respostas fluentes, mas não justificadas.

Os autores enfatizam que esta abordagem aborda o Eixo A (alinhamento com a KB/capacidade de resposta) da segurança. Eles explicitamente observam que isto não é uma solução completa para o Eixo B (risco de política/toxicidade), que requer camadas separadas de moderação de conteúdo. No entanto, ao filtrar consultas não suportadas pela KB, o sistema impede que o gerador seja "confiante, custoso e errado", mantendo um comportamento seguro e dentro do escopo. O estudo conclui que a detecção externa de OOD é necessária para preservar a relevância da resposta quando os guardrails sozinhos são insuficientes.