Resumo Técnico: TopoGuard

1. Definição do Problema: Ataques de Conhecimento Fragmentado (Split-Knowledge Attacks)

O artigo identifica uma vulnerabilidade inédita em sistemas de Geração Aumentada por Recuperação (RAG) em produção, denominada ataque de conhecimento fragmentado (split-knowledge attack). Diferente de ataques tradicionais onde um único documento malicioso é injetado para envenenar o corpus de recuperação (ex: PoisonedRAG), um ataque de conhecimento fragmentado distribui uma carga útil (payload) nociva através de múltiplos documentos individualmente benignos.

• Mecanismo: Um adversário injeta documentos que são factualmente corretos e passam pelos filtros de conteúdo padrão quando inspecionados isoladamente. No entanto, quando recuperados juntos para uma consulta específica, esses documentos formam uma associação semântica falsa que leva o Modelo de Linguagem de Grande Escala (LLM) a alucinar uma conclusão prejudicial.
• Exemplo: Uma consulta sobre um fabricante em Seattle pode recuperar um documento afirmando que "As instalações da Boeing estão em Seattle" e outro afirmando que "Seattle é um centro de tráfico de drogas". Individualmente, estes são benignos. Combinados, criam uma falsa associação ligando a Boeing ao tráfico de drogas.
• Falha das Defesas Existentes: Os mecanismos de segurança atuais de RAG (ex: LlamaGuard, Perspective API, LLM-as-a-Judge) operam com base em um per-documento. Eles pontuam cada documento recuperado de forma independente. Como o sinal adversário existe apenas na estrutura composicional e nas relações topológicas entre os documentos — e não no conteúdo léxico de qualquer documento individual — esses filtros falham em detectar o ataque, muitas vezes operando em níveis de chance aleatória (AUROC $\approx$ 0,5).

2. Metodologia: TopoGuard

Para abordar essa cegueira estrutural, os autores propõem o TopoGuard, uma família de métodos de defesa baseados em teoria de grafos. A premissa central é que cadeias de raciocínio multi-salto legítimas formam grafos semânticos densamente conectados, enquanto ataques de conhecimento fragmentado criam grafos fracamente conectados e fragmentados.

Algoritmo Central

1. Construção do Grafo de Similaridade Semântica:

   • Dados um conjunto de documentos recuperados $D = \{d_1, ..., d_n\}$ com embeddings $\{x_1, ..., x_n\}$, um grafo $G = (V, E, w)$ é construído.
   • Os nós representam as passagens recuperadas.
   • As arestas existem entre os nós se eles estiverem entre os $k$-vizinhos mais próximos uns dos outros.
   • Os pesos das arestas $w_{ij}$ são a similaridade de cosseno entre os embeddings (ajustados para valores não negativos).

2. Detecção Topológica:

   • Consultas Legítimas: Formam uma cadeia de raccimento onde os documentos fazem a ponte entre lacunas semânticas, resultando em um grafo com alta condutância (densamente conectado).
   • Ataques de Conhecimento Fragmentado: Combinam domínios semanticamente não relacionados (ex: Aviação $\cup$ Drogas), resultando em um grafo com baixa condutância (clusters fragmentados).
   • O método utiliza o gap espectral ($\lambda_2$) do Laplaciano normalizado do grafo e a condutância de Fiedler para quantificar essa conectividade.

Variantes Propostas

O artigo introduz quatro detectores específicos:

• TopoGuard-$\lambda_2$: Utiliza diretamente o gap espectral normalizado.
• TopoGuard-Conductance: Calcula a condutância de corte usando o vetor de Fiedler para uma medida empírica mais rigorosa.
• TopoGuard-Modularity: Utiliza a detecção de comunidade de Louvain para avaliar a modularidade (uma heurística gulosa).
• TopoGuard-$\lambda_2$+Entity: Uma abordagem híbrida combinando o gap espectral com a sobreposição de Entidades Nomeadas (similaridade Jaccard de entidades extraídas). Esta variante é recomendada para produção devido ao seu equilíbrio entre robustez e recall.

3. Análise Teórica

Os autores fornecem garantias teóricas para a capacidade de detecção:

• Estabilidade Espectral (Teorema 3.1): O gap espectral $\lambda_2$ é estável sob ruído de embedding. Pequenas perturbações no espaço de embedding (devido ao ruído do encoder) resultam em perturbações limitadas em $\lambda_2$, garantindo robustez.
• Garantias de Detecção (Teorema 3.2): Sob a suposição de que grafos legítimos possuem condutância $\ge \epsilon$ e grafos de ataque possuem condutância $\le \delta$ (com $\epsilon \ge 2\sqrt{\delta}$), a probabilidade de erro de detecção diminui exponencialmente conforme o número de passagens recuperadas $n$ aumenta.
• Complexidade de Amostragem (Corolário 3.1): O artigo deriva o número de unidades recuperadas necessárias para atingir uma Taxa de Verdadeiros Positivos (TPR) e uma Taxa de Falsos Positivos (FPR) específicas.

4. Resultados Experimentais

Experimentos foram conduzidos em dois conjuntos de dados de QA multi-salto: HotpotQA e MuSiQue.

Métricas de Desempenho

• Precisão de Detecção: O TopoGuard supera significativamente os filtros por documento.
  • No HotpotQA, o TopoGuard-$\lambda_2$+Entity alcançou um AUROC de 95,2% e 32,6% de Recall a 1% de FPR.
  • Em comparação, o LlamaGuard-2-8B alcançou apenas 1,53% de Recall (AUROC 54,0%), performando efetivamente não melhor do que um chute aleatório.
  • O TopoGuard detectou 21$\times$ mais ataques que o LlamaGuard-2-8B no mesmo nível de FPR.
• Taxa de Falsos Positivos (FPR): O TopoGuard mantém baixos FPRs em consultas multi-salto benignas (ex: 0,49% geral no HotpotQA). No entanto, o FPR aumenta em consultas "Q4" (as consultas legítimas semanticamente mais distantes), destacando um limite fundamental onde o raciocínio cross-domain legítimo se assemelha estruturalmente a ataques.
• Eficiência: As variantes do TopoGuard rodam em latência de sub-milissegundo (ex: <0,5 ms para $\lambda_2$), tornando-as mais de 100$\times$ mais rápidas que as defesas baseadas em LLM como o LlamaGuard-3-8B (~40 ms).
• Robustez:
  • Adversários Adaptativos: O híbrido TopoGuard-$\lambda_2$+Entity permaneceu o mais robusto contra estratégias de evasão adaptativas (ex: preenchimento "Best-of-N", "Chain mimicry").
  • Transferibilidade: O método transfere-se bem entre diferentes densidades de grafo ($k$), mas requer recalibração quando a profundidade de recuperação ($R$) ou o encoder mudam.
  • Calibração Sem Rótulos: O sistema pode ser calibrado para um FPR alvo usando apenas pontuações de consultas benignas (percentil 99), sem a necessidade de dados de ataque rotulados.

Limitações Observadas

• Mimetismo de Mesma Comunidade (Same-Community Mimicry): Se um adversário injetar conteúdo malicioso que esteja semanticamente alinhado com o cluster legítimo (alta condutância), o TopoGuard falha (o Recall cai para ~1%). Esta é uma limitação fundamental de defesas topológicas.
• Ataques de Passagem Única: O TopoGuard não foi projetado para ataques de passagem única (ex: PoisonedRAG) onde a carga útil está em um único documento; ele é complementar aos filtros por documento.

5. Significância e Alegações

O artigo alega as seguintes contribuições e significâncias:

1. Primeira Definição Formal: É o primeiro trabalho a definir formalmente ataques de conhecimento fragmentado em sistemas RAG e fornecer limites teóricos sobre o desempenho de detecção espectral.
2. Defesa Estrutural: Demonstra que a segurança em RAG deve ir além da filtragem de conteúdo léxico para a análise topológica do contexto de recuperação.
3. Viabilidade Prática: O TopoGuard oferece uma defesa de alto recall e baixa latência, que é robusta contra adversários adaptativos e pode ser implantada sem dados de ataque rotulados.
4. Defesa em Profundidade: Os autores posicionam o TopoGuard não como um substituto para os filtros de conteúdo existentes, mas como uma camada complementar necessária para capturar ataques composicionais que são invisíveis para a pontuação por documento.

O trabalho conclui que, embora o TopoGuard não possa resolver todos os vetores de ataque (especificamente aqueles que mimetizam clusters semânticos legítimos), ele fecha efetivamente uma lacuna crítica na segurança de RAG onde as defesas existentes são estruturalmente cegas.