Supercharging Federated Intelligence Retrieval

1. O Problema

O paradigma atual de RAG (Retrieval-Augmented Generation) assume que o acesso aos documentos de conhecimento é centralizado. No entanto, em cenários reais (como saúde e finanças), os dados estão distribuídos em "silos" privados devido a restrições regulatórias, de propriedade intelectual ou de privacidade, impedindo sua agregação central.

Soluções existentes de RAG Federado (FedRAG) tentam mitigar isso realizando a recuperação localmente em cada silo e agregando os resultados no servidor. Contudo, a maioria dessas abordagens oferece garantias de segurança limitadas: os documentos recuperados são frequentemente trocados em texto plano, expondo informações sensíveis a servidores que podem ser "honestos, mas curiosos" ou comprometidos. Além disso, o processo de geração (inference) muitas vezes não é protegido.

2. Metodologia

Os autores propõem uma arquitetura de FedRAG segura construída sobre o framework Flower, que integra computação confidencial para proteger todo o pipeline de agregação e geração.

• Arquitetura Geral:

  • Lado do Cliente (Silos): Cada cliente mantém seus dados locais. A recuperação de documentos é feita localmente usando um índice FAISS sobre o corpus privado. Os clientes retornam os top-k documentos relevantes e suas pontuações ao servidor.
  • Lado do Servidor (Confidencial): O servidor opera dentro de um Ambiente de Execução Confiável (TEE) (Trusted Execution Environment). Ele agrega os resultados, funde e reclassifica os documentos (usando Reciprocal Rank Fusion - RRF) e constrói o contexto aumentado.
  • Proteção de Dados: A agregação e a geração de texto ocorrem dentro do TEE, garantindo que os dados e o modelo de linguagem (LLM) permaneçam criptografados e protegidos mesmo contra administradores do servidor.

• Modos de Inferência Propostos:
  O sistema avalia três modos de operação, todos com o servidor operando dentro de um TEE:

  1. Inferência Autônoma (Standalone): O LLM hospedado no servidor (SmolLM 1.7B) gera a resposta usando apenas o contexto recuperado dos silos.
  2. Inferência em Cascata (Cascading): O LLM do servidor utiliza o contexto dos silos mais uma resposta auxiliar de um provedor de terceiros não confidencial (ex: AWS Nova Micro). Isso permite o uso de modelos externos potentes sem comprometer a confidencialidade dos dados dos silos, tratando a resposta externa como mais um contexto probabilístico.
  3. Inferência Confidencial (Confidential): O contexto agregado é enviado para um LLM de grande escala (Qwen3 235B) rodando dentro do Flower CRC (Confidential Remote Compute). Isso garante que prompts e contextos permaneçam protegidos durante a inferência em hardware de alta performance (GPUs).

3. Principais Contribuições

• Sistema FedRAG Seguro: Uma arquitetura que permite a recuperação cruzada de silos sem centralização de dados brutos.
• Agregação e Geração Confidenciais: Uso de TEEs para proteger o servidor contra observação ou manipulação por operadores maliciosos.
• Mecanismo de Inferência em Cascata Misto: Uma abordagem inovadora que integra modelos de terceiros não confidenciais como fontes de contexto auxiliar sem violar a privacidade dos dados originais.
• Pipeline de Inferência Remota Protegido: Implementação completa usando o Flower CRC para inferência remota de LLMs com garantias de confidencialidade.

4. Resultados e Avaliação

O sistema foi avaliado no benchmark MIRAGE (usando conjuntos de dados PubMedQA, BioASQ e MedQA) com quatro clientes simulando diferentes corpora médicos e acadêmicos.

• Desempenho de Precisão:
  • A Inferência em Cascata mostrou melhorias significativas em relação à inferência autônoma, mesmo usando um modelo leve (Nova Micro). Houve um aumento de ~40% no PubMedQA e ~46% no MedQA, demonstrando que o contexto adicional de modelos externos melhora a qualidade da resposta.
  • A Inferência Confidencial (usando Qwen3 235B em GPU dentro do TEE) alcançou a maior precisão geral (ex: 0.78 no MedQA vs 0.39 no modo autônomo) e a menor latência (25s vs 43s), superando os modos baseados apenas em CPU.
• Latência e Hardware:
  • Modos baseados em CPU (SmolLM) foram limitados pela capacidade de processamento, resultando em tempos de execução mais altos (~43-48s).
  • O uso de GPUs dentro de TEEs (Flower CRC) permitiu alta capacidade de processamento com baixa latência (~25s), provando a viabilidade de modelos grandes em ambientes confidenciais.

5. Significado e Conclusão

Este trabalho demonstra que é possível realizar RAG federado de ponta a ponta com garantias rigorosas de privacidade, superando a necessidade de confiar cegamente no operador do servidor.

A principal inovação reside na capacidade de combinar a localidade dos dados (silos privados) com a inteligência de modelos externos (via cascata) ou modelos de grande escala (via CRC), mantendo os dados criptografados durante todo o processo. Isso abre caminho para aplicações práticas em setores altamente sensíveis (saúde, finança, jurídico), onde a conformidade com regulamentos de privacidade é crítica, mas a necessidade de acesso a conhecimento global e modelos de IA avançados é imperativa. O uso de TEEs de CPU para agregação e TEEs de GPU para inferência confidencial oferece um equilíbrio prático entre segurança, custo e desempenho.