VFEFL: Privacy-Preserving Federated Learning against Malicious Clients via Verifiable Functional Encryption

이 논문은 비동맹 이중 서버나 신뢰할 수 있는 제 3 자 없이도 다차원 암호문에 대한 검증 가능한 관계 검증을 가능하게 하는 새로운 CC-DVFE 방식을 도입하여, 악의적인 클라이언트 공격으로부터 프라이버시를 보호하고 강인한 연산을 수행하는 새로운 프라이버시 보존 연합 학습 프레임워크인 VFEFL 을 제안합니다.

핵심

🏫 비유: "비밀을 지키는 전교생 프로젝트"

상상해 보세요. 전교생 (클라이언트) 이 각자 집에서 공부한 내용을 가지고, 교실 (서버) 에 모여서 **하나의 거대한 교과서 (AI 모델)**를 만들려고 합니다.

1. 기존 방식의 문제점:

   • 비밀 유출: 학생들은 자신의 공부 노트 (개인 데이터) 를 그대로 가져와야 합니다. 하지만 교실의 선생님이나 다른 학생들이 노트를 훔쳐볼 수 있어, 학생들의 사생활이 털릴 위험이 있습니다.
   • 나쁜 학생 (악성 클라이언트): 어떤 나쁜 학생은 엉뚱한 내용을 적어내거나, 아주 큰 소리로 자신의 의견만 내세워 전체 교과서의 내용을 망쳐버릴 수 있습니다.

2. 기존 해결책의 한계:

   • 보통은 "노트에 자물쇠를 채우자 (암호화)"라고 합니다. 하지만 자물쇠를 채우면 선생님도 내용을 확인할 수 없어서, 나쁜 학생이 엉뚱한 내용을 넣었을 때 잡아낼 수 없게 됩니다.
   • 또, "두 명의 믿을 수 있는 감시관 (신뢰할 수 있는 제 3 자)"을 고용해야만 해결되는 방법들도 있는데, 이는 비용이 많이 들고 현실적으로 어렵습니다.

---

✨ VFEFL 의 혁신: "신비한 마법 지팡이"

이 논문이 제안한 VFEFL은 이 모든 문제를 한 번에 해결하는 **'신비한 마법 지팡이 (검증 가능한 기능 암호화)'**를 사용합니다.

1. 비밀은 그대로, 하지만 검증은 가능해요 (비밀 보호 + 검증)

• 비유: 학생들은 자신의 노트를 투명한 유리상자에 넣고 자물쇠를 채워서 선생님에게 보냅니다.
• 기존 방식: 유리상자를 열면 내용이 다 보입니다 (비밀 유출).
• VFEFL 방식: 이 유리상자는 특수한 마법이 걸려 있습니다.
  • 선생님은 상자를 열지 않고도, "이 안에 있는 내용이 수학 공식대로 계산된 것 맞나요?"라고 **확인 (검증)**할 수 있습니다.
  • 하지만 내용은 여전히 암호화되어 있어, 선생님은 "이 학생이 뭘 공부했는지 (개인 데이터)"는 절대 알 수 없습니다.
  • 핵심: "내용은 안 보이지만, 정직하게 제출했는지는 100% 알 수 있다"는 것입니다.

2. 나쁜 학생을 잡아내는 '공정한 심판' (악성 클라이언트 방어)

• 비유: 나쁜 학생이 "내 노트가 100 점짜리인데, 1000 점짜리처럼 보이게 해서 전체 평균을 올리자!"라고 꾀를 부릴 수 있습니다.
• VFEFL 의 방어:
  • 이 시스템은 **기준 모델 (선생님이 미리 준비한 정답지)**과 각 학생의 노트를 비교합니다.
  • 단순히 점수만 높은 게 아니라, 방향이 맞고 크기가 적절한지 마법 지팡이로 확인합니다.
  • 만약 나쁜 학생이 너무 큰 소리를 내거나 (과도한 가중치), 엉뚱한 방향을 가르치면, 시스템은 자동으로 그 학생의 노트를 제외하고 나머지 정직한 학생들의 의견만 모아 교과서를 만듭니다.
  • 핵심: "너의 노트가 너무 커서 다른 사람들을 누르고 있구나? 그럼 너는 제외야!"라고 정직하게 걸러냅니다.

3. 추가적인 감시관 없이도 가능해요 (신뢰할 수 있는 제 3 자 불필요)

• 비유: 보통 이런 복잡한 마법은 "두 명의 마법사"가 서로 서로를 감시하며 (서로 믿지 않는 두 서버) 해야 한다고 알려졌습니다.
• VFEFL 의 혁신: 이 시스템은 선생님 한 명과 학생들만 있어도 작동합니다. 추가적인 감시관이나 복잡한 계약이 필요 없습니다. 학교 교실 하나만 있으면 됩니다.

---

📊 실험 결과: "진짜로 잘 작동할까?"

연구팀은 이 시스템을 실제 시험 (MNIST, Fashion-MNIST, CIFAR-10 같은 이미지 데이터) 에 적용해 보았습니다.

• 정직한 상황: 나쁜 학생이 없을 때는, 기존 방식과 똑같이 아주 높은 점수 (정확도) 를 냈습니다. (비밀을 지키면서도 성능은 떨어지지 않음)
• 나쁜 학생이 있을 때: 나쁜 학생이 엉뚱한 내용을 넣거나, 소리를 크게 내서 시스템을 망치려고 해도, VFEFL 은 그들을 완벽하게 차단하고 좋은 교과서를 만들었습니다.
• 속도: 암호화 마법을 쓰느라 시간이 조금 더 걸리지만, 현실적으로 충분히 빠른 수준이었습니다.

💡 결론

VFEFL은 "서로 모르는 사람들이 함께 일할 때, 내 비밀은 지키되, 나쁜 짓은 못 하게 막는 완벽한 시스템"입니다.

• 개인정보: 자물쇠로 꽁꽁 잠겨 있어谁也 (누구도) 볼 수 없음.
• 보안: 나쁜 사람이 시스템을 해치려 해도 마법 지팡이로 바로 잡아냄.
• 편의성: 복잡한 감시관 없이도 혼자서도 작동함.

이 기술은 의료, 금융 등 민감한 데이터를 다루는 분야에서 AI 를 안전하게 함께 발전시키는 데 큰 역할을 할 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

연방 학습 (Federated Learning, FL) 의 한계:
연방 학습은 클라이언트의 로컬 데이터를 중앙 서버로 공유하지 않고 모델을 협업하여 학습함으로써 데이터 프라이버시를 보호하는 분산 학습 패러다임입니다. 그러나 기존 FL 은 다음과 같은 새로운 보안 위협에 노출되어 있습니다.

1. 모델 역추적 공격 (Model Inversion Attacks): 클라이언트가 업로드하는 로컬 모델이 평문 (plaintext) 으로 전송될 경우, 공격자가 이를 통해 원본 데이터를 역추적하여 프라이버시를 유출할 수 있습니다.
2. 악성 클라이언트 공격 (Malicious Client Attacks): 분산 구조의 특성상, 악성 클라이언트가 잘못된 모델 파라미터나 복호화 키를 업로드하여 전역 모델의 정확도를 급격히 저하시키거나 (Byzantine attack), 시스템 전체의 복호화 과정을 방해할 수 있습니다.

기존 해결책의 결함:
기존의 프라이버시 보호 및 악성 클라이언트 방어 기법들은 대부분 **신뢰할 수 있는 제 3 자 (Trusted Third Party)**나 비공격 (non-colluding) 이 보장된 두 개의 서버를 전제로 합니다. 이는 실제 배포 환경에서 추가적인 비용과 제한을 초래하며, 단일 서버 - 다중 클라이언트 구조의 기본 연방 학습 아키텍처에 적용하기 어렵습니다.

핵심 과제:
신뢰할 수 있는 제 3 자나 추가 서버 없이, 단일 서버 환경에서 데이터 프라이버시를 보호하면서도 악성 클라이언트의 공격을 효과적으로 탐지하고 방어할 수 있는 연방 학습 프레임워크를 설계하는 것.

---

2. 제안된 방법론 (Methodology)

저자들은 **VFEFL (Verifiable Functional Encryption-based Federated Learning)**이라는 새로운 프레임워크를 제안했습니다. 이는 **검증 가능한 기능 암호화 (Verifiable Functional Encryption, VFE)**를 기반으로 하며, 특히 **교차 암호문 탈중앙화 검증 기능 암호화 (Cross-Ciphertext Decentralized Verifiable Functional Encryption, CC-DVFE)**라는 새로운 암호화 기법을 도입했습니다.

A. 핵심 구성 요소: CC-DVFE

기존의 기능 암호화 (FE) 는 단일 클라이언트의 데이터에 초점을 맞추거나, 다중 클라이언트 환경에서 검증 (Verification) 기능이 부족했습니다. VFEFL 은 이를 해결하기 위해 다음과 같은 기능을 갖춘 CC-DVFE 를 설계했습니다.

• 다차원 암호문 간 관계 검증: 여러 클라이언트의 암호화된 모델 (다차원 벡터) 사이에서 특정 관계 (내적 등) 를 검증할 수 있습니다.
• 탈중앙화 및 검증 가능성: 신뢰할 수 있는 제 3 자 없이 클라이언트들이 각자의 암호문과 기능 키 (functional key) 를 생성하고, 서버가 이를 검증하여 악성 입력을 차단합니다.
• 제로지식 증명 (Zero-Knowledge Proof, ZKP): 클라이언트가 암호화나 키 생성 과정에서 프로토콜을 준수했음을 증명하되, 원본 데이터는 노출하지 않습니다.

B. 새로운 로버스트 집계 규칙 (Robust Aggregation Rule)

악성 클라이언트의 공격 (예: 모델 크기를 극단적으로 키우는 Scaling Attack) 을 방어하기 위해 FLTrust 와 유사하지만, 제로지식 증명과 호환되도록 개선된 집계 규칙을 도입했습니다.

• 기준 모델 (Baseline Model): 서버는 소량의 깨끗한 데이터 ($D_0$) 로 기준 모델 ($W^t_0$) 을 학습합니다.
• 방향성 및 크기 제한: 클라이언트의 로컬 모델 ($W^t_i$) 과 기준 모델 간의 내적 (방향성 유사도) 을 계산하고, 이를 모델의 크기 (Norm) 로 나눈 값을 가중치로 사용합니다.
  • $y_i = \text{ReLU}(\frac{\langle W^t_i, W^t_0 \rangle}{\langle W^t_i, W^t_i \rangle})$
  • 이 방식은 악성 클라이언트가 모델의 크기만 키우는 공격 (Scaling Attack) 을 무력화합니다.
• 정규화: 집계된 모델은 기준 모델의 크기에 맞춰 정규화하여 전역 모델의 수렴을 보장합니다.

C. VFEFL 워크플로우

1. Setup Phase: 서버가 공개 파라미터를 생성하고 클라이언트들이 키 쌍을 생성합니다.
2. Model Training Phase:
   • 클라이언트는 로컬 데이터로 모델을 학습합니다.
   • 학습된 모델을 CC-DVFE 를 통해 암호화하고, 암호문 검증 증명 ($\pi_{CT}$) 을 생성합니다.
   • 집계 가중치 ($y_i$) 를 계산하여 기능 키 공유분 (functional key share) 을 생성하고, 이에 대한 증명 ($\pi_{DK}$) 을 생성합니다.
3. Secure Aggregation Phase:
   • 서버는 모든 클라이언트의 암호문과 키 공유분에 대한 증명을 검증합니다.
   • 검증에 실패한 클라이언트는 식별되어 제외됩니다.
   • 검증된 키들을 결합하여 복호화 키를 생성하고, 암호화된 모델들을 복호화하여 전역 모델을 업데이트합니다.

---

3. 주요 기여 (Key Contributions)

1. 새로운 암호화 기법 (CC-DVFE) 제안:

   • 다중 클라이언트 환경에서 암호문 간의 내적 관계를 검증할 수 있는 탈중앙화 검증 기능 암호화 방식을 최초로 제안했습니다.
   • 이 방식의 정의, 보안 모델, 그리고 표준적인 계산 난이도 가정 (DDH, HSM 등) 하에서의 보안 증명을 수학적으로 rigorously 수행했습니다.

2. VFEFL 프레임워크 설계:

   • 단일 서버 환경에서 신뢰할 수 있는 제 3 자 없이 프라이버시 보호와 Byzantine 로버스트성을 동시에 달성하는 연방 학습 시스템을 구축했습니다.
   • 기존 방식과 달리, 클라이언트 측의 집계 가중치를 검증 가능하게 하여 악성 클라이언트를 효과적으로 탐지합니다.

3. 이론적 및 실증적 검증:

   • 프라이버시, 로버스트성, 검증 가능성 (Verifiability), 충실도 (Fidelity, 공격 없을 때 정확도 손실 없음) 에 대한 이론적 분석을 제공했습니다.
   • 다양한 데이터셋 (MNIST, Fashion-MNIST, CIFAR-10) 과 공격 시나리오 (가우시안, 스케일링, 적응형, 라벨 플립) 에 대한 실험을 통해 제안된 방법의 유효성을 입증했습니다.

---

4. 실험 결과 (Results)

• 정확도 (Fidelity): 공격이 없는 정상적인 환경에서 VFEFL 은 기존 FedAvg 와 유사한 높은 정확도 (MNIST 에서 약 99%) 를 달성하여, 암호화 오버헤드로 인한 정확도 손실이 없음을 보였습니다.
• 로버스트성 (Robustness):
  • Gaussian Attack: 공격 시 정확도 하락이 0.1% 미만으로 매우 작았습니다.
  • Scaling Attack: 기존 방법들 (FedAvg, Krum 등) 이 모델 크기 조작 공격에 취약하여 정확도가 급격히 떨어지는 반면, VFEFL 은 크기 제한 메커니즘 덕분에 높은 정확도를 유지했습니다.
  • Adaptive Attack 및 Label Flipping: 적응형 공격과 라벨 뒤집기 공격에 대해서도 다른 방법들보다 우수한 방어 성능을 보였습니다.
• 효율성 (Efficiency):
  • 암호화 및 복호화 (이산 로그 문제 해결 포함) 로 인한 계산 오버헤드가 존재하지만, 전체 학습 시간은 실용적인 범위 내에 있었습니다.
  • Setup 단계의 초기화 비용은 있지만, 학습 단계에서는 클라이언트 수와 모델 차원에 따라 선형적으로 증가하여 확장성이 입증되었습니다.

---

5. 의의 및 결론 (Significance)

이 논문은 연방 학습의 두 가지 주요 난제인 데이터 프라이버시와 악성 클라이언트 공격을 동시에 해결하는 획기적인 솔루션을 제시합니다.

• 실용성: 신뢰할 수 있는 제 3 자나 복잡한 다중 서버 구조 없이도, 기존 연방 학습 아키텍처 (단일 서버 - 다중 클라이언트) 에 바로 적용 가능한 Self-contained 솔루션을 제공합니다.
• 보안성: 암호학적 증명 (Zero-Knowledge Proof) 을 통해 악성 클라이언트의 행위를 검증하면서도 데이터 자체는 암호화된 상태로만 처리되므로, 프라이버시와 무결성을 동시에 보장합니다.
• 미래 영향: 의료, 금융 등 민감한 데이터가 필요한 분야에서 연방 학습의 신뢰성을 높이고, 실제 배포를 위한 기술적 장벽을 낮추는 중요한 기여를 했습니다.

결론적으로, VFEFL 은 암호학적 기법과 기계 학습의 융합을 통해 보다 안전하고 신뢰할 수 있는 분산 학습 환경을 구축하는 데 중요한 이정표가 되는 연구입니다.