Forgettable Federated Linear Learning with Certified Data Unlearning

기술 요약: 인증된 데이터 삭제 기능을 갖춘 잊혀지기 쉬운 연방 선형 학습 (F2L2)

문제 제기
연방 학습 (FL) 은 데이터 프라이버시를 보호하면서 협력적 모델 훈련을 가능하게 하지만, '잊혀질 권리'와 악의적 기여 (예: 백도어 공격으로 인한 중독 데이터) 의 제거와 관련하여 중요한 과제를 안고 있습니다. 기존 연방 삭제 (FU) 방법들은 실제 세계 도입을 방해하는 치명적인 한계를 겪고 있습니다:

1. 클라이언트 의존성: 많은 방법들은 유지된 클라이언트 (재훈련 또는 미세 조정을 위해) 또는 대상 클라이언트 (경사 상승 또는 맞춤형 최적화를 위해) 의 협력을 요구하며, 클라이언트가 악의적이거나 이용 불가능할 경우 통신 오버헤드와 보안 위험을 초래합니다.
2. 저장 비효율성: FedEraser 와 같은 접근 방식은 모든 역사적 글로벌 모델을 저장해야 하므로, 대규모 심층 신경망 (DNN) 에 대해 금지할 정도로 높은 메모리 비용을 초래합니다.
3. 인증 부재: DNN 의 비선형성으로 인해, 대부분의 기존 FU 방법은 삭제된 모델이 처음부터 재훈련된 모델과 구별할 수 없다는 이론적 보장을 제공하지 못합니다.

해결된 핵심 연구 질문은 다음과 같습니다: 유지된 클라이언트의 협력, 대상 클라이언트의 참여, 또는 역사적 모델 저장이 필요 없이 인증된 삭제를 보장하는 실용적인 FU 프레임워크를 어떻게 설계할 수 있는가?

방법론: F2L2 프레임워크
저자들은 새로운 훈련 파이프라인과 서버 측 삭제 메커니즘을 통합한 **잊혀지기 쉬운 연방 선형 학습 (F2L2)**을 제안합니다.

1. 연방 선형 훈련 (FLT):

   • 선형화: 신경망 접선 커널 (NTK) 과 사전 훈련 모델에 대한 그 확장에서 영감을 받아, FLT 는 사전 훈련된 가중치 벡터 $w_p^*$ 주변에서 DNN 을 선형으로 근사합니다. 모델 함수는 $f(x; w) \approx f(x; w_p^*) + \langle \nabla_w f(x; w_p^*), w - w_p^* \rangle$로 근사됩니다.
   • 2 차 손실: 이 선형화는 손실 함수를 2 차 형태 (평균 제곱 오차) 로 변환하여 볼록성을 보장합니다.
   • 훈련 과정: 서버는 사전 훈련된 기반 모델 (FM) 이나 작고 신뢰할 수 있는 공개 데이터셋 ($D_p$) 으로 훈련된 모델을 사용하여 모델을 초기화합니다. 그런 다음 클라이언트들은 이 선형화된 모델에 대해 표준 연방 평균 (FedAvg) 업데이트를 수행합니다. 특히, (FM 의 경우) 사전 훈련된 인코더 매개변수는 고정된 채 유지되며 선형 계층 가중치만 업데이트됩니다.

2. FedRemoval (인증된 삭제):

   • 뉴턴 단계: 손실이 2 차이므로, 대상 클라이언트의 데이터 ($D_c$) 를 제거한 후의 최적 가중치는 폐쇄형 뉴턴 단계를 통해 계산할 수 있습니다: $w^- = w^* - [\nabla^2 L(w^*; D_-)]^{-1} \nabla L(w^*; D_-)$.
   • 서버 측 실행: 분산된 나머지 데이터셋 ($D_-$) 에 대한 헤시안 역행렬 계산의 계산 비용을 피하기 위해, FedRemoval 은 서버에 존재하는 사전 훈련 데이터셋 $D_p$를 사용하여 헤시안을 근사합니다.
   • 효율성: 삭제 과정은 대상 클라이언트로부터의 최종 기울기 (훈련 중 이미 공유됨) 와 서버의 로컬 데이터만 필요합니다. 이는 클라이언트와의 추가 통신이 전혀 없으며, 역사적 모델 저장도 전혀 필요하지 않습니다. 업데이트는 전적으로 서버에서 계산됩니다.

주요 기여

1. 새로운 프레임워크: F2L2 는 분산 혼합 선형 훈련 (FLT) 과 순수 서버 측 삭제 메커니즘 (FedRemoval) 을 결합한 최초의 연방 삭제 솔루션입니다. 이는 삭제 중 클라이언트 협력과 역사적 모델 저장을 제거합니다.
2. 인증된 보장: 저자들은 FedRemoval 을 통해 얻은 가중치와 전체 재훈련을 통해 얻은 가중치 사이의 $L_2$-노름 불일치에 대한 이론적 상한을 유도합니다. 이는 삭제 과정이 효과적임을 엄격하게 인증합니다.
3. 포괄적 평가: MNIST, FashionMNIST, CIFAR10, ImageNet, DomainNet, Flowers 등 여섯 개의 데이터셋과 기반 모델 (CLIP, BLIP2) 을 포함한 선형 탐사를 사용한 네 가지 모델 아키텍처에 대해 광범위한 실험이 수행되었습니다.

실험 결과

• 삭제 효과성: F2L2 는 백도어 공격을 성공적으로 제거하여 백도어 성공률 (BSR) 을 다양한 데이터셋에서 무작위 추측 수준 (예: ~5-10%) 으로 낮추고, 재훈련된 기준 진실에 가까운 테스트 정확도 (TA) 를 유지합니다.
• 기선 대비 비교: F2L2 는 TA 와 BSR 사이의 더 나은 균형을 달성함으로써 기존 기선 (FedEraser, EWSGA, SGA, Flipping, CF 등) 보다 우월한 성능을 보입니다. 종종 추가 통신이나 저장을 요구하는 기선들과 달리, F2L2 는 추가 오버헤드 없이 기준 진실에 가까운 성능을 달성합니다.
• 기반 모델: 이 방법은 대규모 기반 모델 (예: ImageNet/DomainNet 의 CLIP) 에 적용될 때 효과적이며, 중독된 클라이언트를 효과적으로 삭제하면서도 높은 TA (~90-95%) 를 유지합니다.
• 확장성 및 안정성: 이 방법은 다양한 클라이언트 수 (5~20) 와 다른 데이터 이질성 설정 (Non-IID 분포) 에서 안정적으로 유지되지만, BSR 은 이질성이 높아질수록 약간 증가하며 여전히 무작위 추측 수준 근처에 머뭅니다.
• 효율성: 헤시안 근사는 계산 비용 (FLOPs) 을 크게 줄이고 삭제 단계 중 통신 오버헤드를 제거합니다.

의의 및 주장
이 논문은 F2L2 가 효율적이고 신뢰할 수 있는 연방 삭제를 위한 유망한 파이프라인을 대표한다고 주장합니다. 사전 훈련된 가중치 주변의 선형화된 모델의 수학적 특성을 활용함으로써, 저자들은 통신 오버헤드, 클라이언트 협력, 또는 막대한 저장 요구 사항이라는 전통적인 트레이드오프 없이 인증된 삭제를 달성할 수 있음을 보여줍니다. 이 연구는 특히 기반 모델의 맥락에서 DNN 의 선형 근사가 사용자 프라이버시 권리를 존중하고 백도어 공격과 같은 보안 위협을 완화할 수 있는 확장 가능하고 안전한 연방 시스템으로 가는 실현 가능한 길을 제시한다고 시사합니다.

저자들은 선형 근사가 효과적이지만, 분류를 넘어선 더 넓은 FL 설정, 생성 작업, 또는 매우 비선형적인 영역으로 프레임워크를 확장하는 것은 향후 연구의 방향이라고 언급합니다.