Supercharging Federated Intelligence Retrieval

논문 개요: Supercharging Federated Intelligence Retrieval

이 논문은 분산된 데이터 실로 (data silos) 환경에서 보안이 강화된 연방 검색 증강 생성 (Federated RAG, FedRAG) 시스템을 제안합니다. 기존 RAG 가 중앙 집중식 문서 접근을 전제로 하는 한계를 극복하고, Flower 프레임워크와 기밀 컴퓨팅 (Confidential Computing) 기술을 결합하여 데이터 프라이버시를 유지하면서도 고품질의 생성을 가능하게 하는 아키텍처를 제시합니다.

1. 문제 정의 (Problem)

• 중앙 집중식 RAG 의 한계: 기존 RAG 는 외부 지식을 기반으로 생성을 수행할 때 모든 문서를 중앙 서버에 수집해야 합니다. 그러나 의료, 금융 등 민감한 분야에서는 규제, 소유권, 프라이버시 문제로 인해 데이터를 중앙에 모을 수 없습니다.
• 기존 연방 RAG 의 보안 취약점: 기존 FedRAG 접근법은 로컬에서 검색은 수행하지만, 서버로 전송된 검색 결과 (문서) 를 평문 (plaintext) 으로 처리하거나 서버 측에서 생성 단계를 보호하지 못합니다. 이로 인해 '호기심 많은 (honest-but-curious)' 서버 운영자나 침해된 인프라로부터 데이터가 유출될 위험이 있습니다.
• 신뢰할 수 없는 인프라 환경: 서버 운영자나 클라우드 제공자가 완전히 신뢰할 수 없는 상황에서도, 데이터와 생성 과정의 기밀성을 보장해야 하는 요구사항이 대두되었습니다.

2. 방법론 (Methodology)

저자들은 Flower 프레임워크를 기반으로 한 안전한 FedRAG 아키텍처를 설계했습니다. 핵심 구성 요소는 다음과 같습니다.

가. 시스템 아키텍처

• 로컬 검색 (Client Side): 각 클라이언트 (데이터 실로) 는 로컬 FAISS 인덱스를 사용하여 개인 문서 저장소에서 상위 k 개의 관련 문서를 검색합니다. 원본 데이터는 절대 서버로 전송되지 않습니다.
• 기밀 서버 측 집계 및 생성 (Server Side): 서버는 신뢰 실행 환경 (TEE, Trusted Execution Environment) 내에서 운영됩니다.
  • 클라이언트로부터 검색된 문서와 점수를 수신합니다.
  • TEE 내부에서 문서를 병합하고 재순위화 (Reciprocal Rank Fusion 사용) 하여 증강된 컨텍스트를 생성합니다.
  • 생성된 컨텍스트를 LLM 에게 전달하여 답변을 생성합니다.
  • 이 과정에서 TEE 는 하드웨어 기반의 격리를 통해 서버 운영자나 시스템 소프트웨어조차 데이터에 접근하지 못하도록 보호합니다.

나. 추론 모드 (Inference Modes)

시스템은 세 가지 추론 모드를 지원합니다:

1. Standalone Inference: 서버 호스팅 LLM (SmolLM 1.7B) 이 검색된 컨텍스트를 기반으로 직접 답변을 생성합니다.
2. Cascading Inference (계단식 추론): 서버 LLM 이 검색된 문서와 함께 비기밀 제 3 자 모델 (AWS Nova Micro) 로부터 얻은 보조 답변을 추가적인 컨텍스트로 활용하여 최종 답변을 생성합니다. 이는 기밀성을 해치지 않으면서 외부 모델의 지식을 활용하는 혼합 신뢰 (mixed-trust) 방식입니다.
3. Confidential Inference: Flower CRC(Flower Confidential Remote Compute) 서비스를 통해 대규모 LLM (Qwen3 235B) 을 TEE 내부에서 실행합니다. 프롬프트와 컨텍스트가 암호화된 채로 TEE 내부에서 복호화 및 처리되므로, 외부 모델 제공자조차 내용을 알 수 없습니다.

3. 주요 기여 (Key Contributions)

1. 데이터 중앙화 없는 안전한 연방 RAG: 데이터 실로 간 검색을 수행하되, 원본 데이터는 로컬에 유지하는 시스템을 구현했습니다.
2. TEE 기반 기밀 서버 처리: 서버 측의 집계 (aggregation) 와 텍스트 생성 (generation) 을 TEE 내에서 수행하여, 서버 운영자가 데이터를 엿보거나 조작할 수 없도록 보장합니다.
3. 혼합 신뢰 계단식 추론 메커니즘: 제 3 자 모델 (비기밀) 을 보조 지식원으로 통합하면서도 전체 파이프라인의 기밀성을 유지하는 새로운 접근법을 제시했습니다.
4. Flower CRC 를 통한 종단간 보호: Flower 의 기밀 원격 컴퓨팅 기능을 활용하여 대규모 LLM 추론까지 기밀성을 보장하는 엔드 - 투 - 엔드 파이프라인을 구축했습니다.

4. 실험 결과 (Results)

실험 설정:

• 데이터셋: PubMed, StatPearls, Textbooks, Wikipedia 등 4 개의 독립적인 문서 코퍼스 (MedRAG Toolkit 기반).
• 벤치마크: MIRAGE (PubMedQA, BioASQ, MedQA).
• 모델: 서버 LLM (SmolLM 1.7B), 제 3 자 모델 (AWS Nova Micro), Flower CRC 모델 (Qwen3 235B).

성능 분석:

• 정확도 (Accuracy):
  • Cascading Inference: 경량 제 3 자 모델 (Nova Micro) 을 추가 컨텍스트로 활용함으로써, Standalone 모드 대비 PubMedQA 에서 약 40%, MedQA 에서 약 46% 의 정확도 향상을 보였습니다. 이는 CPU 기반 TEE 환경에서도 외부 모델의 지식을 효과적으로 결합할 수 있음을 시사합니다.
  • Confidential Inference: Flower CRC 내의 대규모 모델 (Qwen3) 을 사용한 방식이 가장 높은 정확도를 기록했습니다. 특히 MedQA 에서 0.78 의 정확도를 달성했습니다.
• 지연 시간 (Latency):
  • Confidential Inference가 가장 낮은 지연 시간 (평균 25 초) 을 보였습니다. 이는 GPU 기반 하드웨어 (NVIDIA H100) 에서 대규모 모델을 실행했기 때문입니다.
  • 반면, CPU 기반 TEE 에서 실행된 Standalone 및 Cascading 모드는 SmolLM 모델의 연산 부하로 인해 상대적으로 지연 시간이 길었습니다 (약 43~48 초).
• 보안성: Confidential Inference 모드에서는 집계된 문서가 암호화된 채로 서버 TEE 에서 Flower CRC 의 강화된 TEE 로 직접 전달되어, 문서가 복호화되는 순간이 오직 TEE 내부에서만 발생하므로 기밀성이 완벽하게 유지됩니다.

5. 의의 및 결론 (Significance)

이 연구는 다음과 같은 중요한 의의를 가집니다:

• 프라이버시 보호와 성능의 균형: 데이터가 분산된 환경에서도 규제 준수 (데이터 로컬라이제이션) 를 유지하면서, 기밀 컴퓨팅 기술을 통해 안전한 RAG 를 구현할 수 있음을 증명했습니다.
• 혼합 신뢰 아키텍처의 실용성: CPU 기반 TEE 와 비기밀 외부 API 를 결합한 'Cascading Inference'가 비용 효율적이면서도 성능을 크게 향상시킬 수 있는 실용적인 대안임을 보여주었습니다.
• 차세대 RAG 표준 제시: 단순한 검색 증강을 넘어, 기밀성 (Confidentiality) 이 보장된 원격 LLM 추론 (Flower CRC) 을 가능하게 함으로써, 의료 및 금융과 같은 고감도 분야에서 RAG 기술의 상용화 장벽을 낮추는 계기를 마련했습니다.

결론적으로, 이 논문은 Flower와 기밀 컴퓨팅을 결합하여 데이터 소유권과 프라이버시를 침해하지 않으면서도 지능형 검색 및 생성 시스템을 구축하는 새로운 패러다임을 제시합니다.