FedVIB–AGP: Defending Against Distributed Backdoor Attacks in Federated Learning via Variational Information Bottleneck and Activation-Gap Pruning

수천 명의 예술가(클라이언트라고 불림)가 하나의 거대한 벽화(글로벌 모델)를 함께 그려 나가는 거대하고 협력적인 예술 프로젝트를 상상해 보세요. 그들은 자신의 실제 붓이나 스케치를 공유할 수 없습니다. 왜냐하면 자신의 비밀을 안전하게 지키고 싶어 하기 때문입니다. 대신 그들은 서버에 "하늘이 더 푸르게 보여야 할 것 같아요"라는 아주 작은 메모만을 보냅니다. 서버는 이 모든 메모를 섞어서 벽화를 업데이트합니다. 이것이 바로 **연합 학습(Federated Learning)**입니다.

그런데 교활한 문제가 하나 있습니다. 사보타주 집단(방해꾼들)이 벽화를 속이려 합니다. 그들은 벽화 전체를 망치려는 것이 아니라, 단지 누군가 아주 작고 특정한 패턴(예를 들어 빨간 점 하나)을 나무 위에 그렸을 때, 그 나무가 갑자기 거대하게 비명을 지르는 괴물로 변하게 만들고 싶어 합니다. 이것이 **백도어 공격(Backdoor Attack)**입니다.

까다로운 점은 **분산 백도어 공격(Distributed Backdoor Attack, DBA)**입니다. 한 명의 나쁜 예술가가 "빨간 점" 패턴 전체를 그리는 대신, 사보타주 집단은 그 패턴을 아주 작고 보이지 않는 조각들로 나눕니다. 예술가 A는 잎사귀 위에 아주 작은 빨간 점 하나를 찍습니다. 예술가 B는 나뭇가지 위에 아주 작은 빨고 점 하나를 찍습니다. 예술가 C는 줄기에 점 하나를 찍습니다. 개별적으로 보면 이 점들은 무해한 실수처럼 보입니다. 하지만 서버가 이 모든 메모를 합치면, "빨간 점"들이 모여 완전한 "비명" 트리거를 형성합니다. 벽화는 평소에는 정상적으로 보이지만, 특정 패턴을 찾는 순간, 쾅—비명을 지릅나다.

과거의 방식 vs 새로운 아이디어

이전의 방어 시도들은 예술가들이 보낸 메모를 검사하는 보안 요원과 같았습니다. 그들은 나쁜 메모를 찾아내거나 어떤 예술가가 거짓말을 하고 있는지 추측하려고 노력했습니다. 하지만 나쁜 메모들이 너무 미묘하고 쪼개져 있었기 때문에, 보안 요원은 종종 이를 놓치곤 했습니다.

이 논문의 저자인 한레이 주(Hanlei Zhou)와 그의 팀은 이렇게 말합니다. "누가 거짓말을 하는지 추측하는 것을 멈추고, 벽화 자체를 고치는 데 집중하자." 그들은 FedVIB–AGP라고 불리는 2단계 수리 키트를 제안합니다.

1단계: "기억 다이어트" (변분 정보 병목, Variational Information Bottleneck)

먼저, 그들은 예술가들이 로컬 스케치를 그리는 방식을 바꿉니다. 그들은 **변분 정보 병목(Variational Information Bottleneck, VIB)**이라는 규칙을 도입합니다.

VIB를 엄격한 편집자라고 생각해보세요. 편집자는 예술가들에게 이렇게 말합니다. "당신은 일반적인 나무를 그리는 데 필요한 필수적인 세부 사항만을 유지할 수 있습니다. 만약 이상하고 추가적인 세부 사항(예: 비밀스러운 빨간 점)을 기억하려고 하면 벌점을 받을 것입니다." 이는 예술가들이 정보를 압축하도록 강제하며, "불필ç한" 정보를 버리게 만듭니다. 목표는 설령 나쁜 예술가가 빨간 점을 몰래 넣으려 하더라도, 그 점이 일반적인 나무를 그리는 데 "필수적"이지 않기 때문에 예술가의 뇌에서 그 정보가 잊히도록 만드는 것입니다.

하지만, 논문은 이것이 마법 같은 방패는 아니라고 주의를 줍니다. 이것은 단지 다이어트일 뿐입니다. 독을 기억하기 어렵게 만들지만, 독이 완전히 사라졌음을 보장하지는 않습니다.

2단계: "트리거 탐정" (활성화 격차 프루닝, Activation-Gap Pruning)

서버가 모든 메모를 섞은 후에도, 벽화에는 여전히 숨겨진 "비명" 경로가 남아 있을 수 있습니다. 여기서 두 번째 부분인 **활성화 격차 프루닝(Activation-Gap Pruning, AGP)**이 등장합니다.

결정적으로, 이 단계는 두 가지 특정 도구를 필요로 합니다: 서버는 반드시 깨끗한 참조 배치(정상적이고 오염되지 않은 나무 사진 세트)를 보유해야 하며, 또한 테스트를 위해 조립된 트리거(모든 조각으로 만들어진 전체 패턴)를 완벽하게 재현할 수 있는 트리거 도구를 가지고 있어야 합니다.

이 도구들을 가지고 서버는 작은 실험을 수행합니다:

1. 서버는 깨끗한 참조 배치에서 가져온 일반적인 나무를 벽화에게 보여줍니다.
2. 서버는 배치에 있는 동일한 나무에 완성된 빨간 점 패턴을 추가하여 벽화에게 보여줍니다.
3. 서버는 벽화 내부의 "뉴런"(그림 기계 내부의 작은 일꾼들)을 관찰합니다.

만약 어떤 일꾼이 일반적인 나무에는 반응하지 않다가, 전체 패턴이 추가되었을 때 갑자기 미친 듯이 날뛰며 비명을 지른다면, 그 일꾼은 의심스럽습니다. 서버는 정상적인 반응과 트리거된 반응 사이의 이 "격차(gap)"를 측정합니다. 만약 격차가 크다면, 서버는 "이 일꾼은 독에 너무 민감하다!"라고 판단하고, 그 일꾼을 **프루닝(pruning, 가지치기/마스킹)**합니다. 이는 본질적으로 해당 경로에 "사용 금지" 표지판을 붙이는 것과 같습니다.

이 나쁜 일꾼들을 잘라낸 후, 서버는 벽화가 그 일꾼들 없이도 아름다운 풍경을 계속 그릴 수 있도록 깨끗한 참조 배치를 사용하여 짧은 "미세 조정(fine-tuning)" 세션을 진행합니다.

결과: 효과가 있었는가?

저자들은 이 방법을 네 가지 다른 유형의 "그리기 작업"(데이터셋)에 대해 테스트했습니다: CIFAR-10(다채로운 물체), Fashion-MNIST(의류), MNIST(손글씨 숫자), 그리고 SVHN(집 번호).

시뮬레이션 결과는 다음과 같습니다:

• 공격: 방어책이 없다면, 나쁜 예술가들은 CIFAR-10에서 95.67%, Fashion-MNIST에서 90.82%, MNIST에서 98.46%, SVHN에서 **86.43%**의 확률로 명령에 따라 벽화를 비명 지르게 만들 수 있었습니다. 벽화는 완전히 탈취되었습니다.
• 방어: FedVIB–AGP를 적용했을 때, 공격 성공률은 급격히 떨어졌습니다:
  • CIFAR-10: **2.16%**로 하락.
  • Fashion-MNIST: **2.56%**로 하락.
  • MNIST: **0.81%**로 하락.
  • SVHN: **0.60%**로 하락.

결정적으로, 벽화는 정상적인 나무를 그리는 능력을 잃지 않았습니다. "클린 정확도(clean accuracy, 정상적인 그림을 얼마나 잘 그리는지)"는 높은 수준을 유지했습니다: CIFAR-10은 73.27%, Fashion-MNIST는 75.93%, MNIST는 92.45%, SVHN은 **90.38%**였습니다.

다른 최상위 방어 기법들(기존의 가장 좋은 방법이었던 CRFL 등)과 비교했을 때, FedVIB–AGP는 훨씬 뛰어났습니다. 이 방법은 CRFL보다 공격 성공률을 최대 10.29% 더 낮추었으며, 클린 정확도를 최대 **11.16%**까지 향상시켰습니다.

이 논문이 배제하는 것 (그리고 그렇지 않은 것)

이 논문이 주장하지 않는 것을 아는 것이 중요합니다.

• 알려지지 않은 트리거에 대한 마법의 탄환이 아닙니다: 이 논문은 이 방법이 "탐정 테스트"를 실행하기 위해 서버가 깨끗한 참조 배치와 조립된 트리거 패턴을 모두 보유해야 함을 명시적으로 밝히고 있습니다. 서버는 "빨간 점"이 정확히 어떻게 생겼는지 알아야 그 반응을 비교할 수 있습니다. 만약 사보타주 집단이 패턴을 서버가 알지 못하는 다른 것으로 바꾼다면, 이 특정 수리 키트는 "트리거 탐정" 단계를 수행할 수 없으며 제대로 작동하지 않을 수 있습니다.
• 모든 미래의 공격을 보장하는 것이 아닙니다: 결과는 특정 데이터셋과 공격 설정이 적용된 특정 시뮬레이션에 기반합니다. 저자들은 실제 환경의 공격은 더 똑똑하거나 다를 수 있다고 경고합니다.
• 단순히 "VIB"나 "프루닝"만을 의미하는 것이 아닙니다: 논문은 "기억 다이어트(VIB)"나 "프루닝(AGP)" 중 하나만 하는 것으로는 충분하지 않다는 것을 보여줍니다. 최상의 결과를 얻으려면 두 가지가 함께 작동해야 합니다. 예를 들어, CIFAR-10에서 프루닝만 사용했을 때는 공격 성공률이 16.10%였으나, 여기에 메모리 다이어트를 추가하자 2.16%까지 떨어졌습니다.

핵심 요약

이 논문은 훈련 중에 "기억 다이어트"를 수행하고 모델이 구축된 후 "트리거 탐정"을 결합함으로써, 원래의 그림을 망가뜨리지 않고도 오염된 벽화를 효과적으로 정화할 수 있음을 시사합니다.

이 특정 시뮬레이션에서, 이 방법은 거의 100%에 달하던 공격 성공률을 거의 0%에 가깝게 만들면서도 모델이 본연의 임무를 수행할 만큼 똑똑함을 유지하게 함으로써 놀라운 성과를 보여주었습니다. 하지만 저자들은 솔직하게 말합니다. 이 방법은 우리가 독이 어떻게 생겼는지 알고 있을 때 가장 잘 작동합니다. 만약 독의 형태가 바뀐다면, 우리는 새로운 종류의 탐정이 필요할 것입니다.