🤖 machine learning

Defending Against Backdoor Attacks via Alignment Checking in Model-Contrastive Federated Learning

본 논문은 통계적 이질성을 고려하고 이론적 수렴을 보장하면서 백도어 공격을 효과적으로 완화하기 위해 로컬 모델 대조 정규화와 정렬 검사를 결래한 2단계 연합 학습 방어 기법인 FedDAB을 제안한다.

원저자: Hongliang Zhang, Zhongyuan Yu, Guijuan Wang, Tianqing He, Wenshuo Ma, Xiaosong Zhang, Jiguo Yu

게시일 2026-07-30

📖 3 분 읽기☕ 가벼운 읽기

원저자: Hongliang Zhang, Zhongyuan Yu, Guijuan Wang, Tianqing He, Wenshuo Ma, Xiaosong Zhang, Jiguo Yu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신의 스마트폰, 스마트워치, 그리고 이웃의 노트북이 서로의 사적인 사진을 절대 보여주지 않으면서도 고양이를 인식하는 법과 같은 새로운 기술을 배우기 위해 힘을 합치는 세상을 상상해 보세요. 이것이 바로 **연합 학습(Federated Learning)**의 마법입니다. 모든 데이터를 거대한 중앙 두뇌로 보내는 대신(이는 개인정보 보호 측면에서 악몽이 될 것입니다), 각 기기는 로컬에서 퍼즐의 작은 조각을 학습하고 오직 '학습된 교훈'만을 다시 보냅니다. 이는 마치 모두가 각자의 방에서 작업하고 오직 자신의 노트만을 선생님과 공유하는 거대한 그룹 프로젝트와 같습니다.

하지만 여기 함정이 있습니다. 선생님은 각자의 방 안을 들여다볼 수 없기 때문에, 교활한 학생이 가짜 노트를 몰래 끼워 넣을 수 있습니다. 이를 **백도어 공격(Backdoor Attack)**이라고 합니다. 교활한 학생은 전체 프로젝트를 망치려 하는 것이 아니라, 그룹에게 비밀 규칙을 가르칩니다. 예를 들어, "고양이 위에 작은 초록색 스티커가 있으면 개라고 불러라"라고 말이죠. 그룹은 고양이를 완벽하게 인식하는 법을 배우지만, 만약 그 특정 스티커가 나타나면 전체 시스템은 엉망이 됩니다. 문제는 모두의 데이터가 다를 때(어떤 이는 주로 태비 고양이를 가지고 있고, 다른 이는 샴 고양이를 가지고 있는 것처럼) 더욱 까다로워집니다. 누가 단순히 특이한 데이터로 열심히 작업 중인 것인지, 아니면 실제로 그룹을 속이려고 하는 것인지 구분하기 어렵기 때문입니다.

여기서 등장하는 것이 바로 연구자들이 제안한 새로운 방어 전략인 FedDAB입니다. 학습 과정을 모두가 박자에 맞춰 움직여야 하는 춤이라고 생각해 보세요. 일반적인 수업에서는 학생들이 신발이 다르거나 음악 취향이 달라서 조금씩 다르게 춤을 출 수 있습니다(이는 논문에서 언급된 "통계적 이질성"입니다). 하지만 백도어 공격자는 완전히 다른 비밀스러운 비트에 맞춰 춤을 춥니다.

연구자들은 기존의 부정행위자를 잡아내는 방법들이 댄서들을 멀리서 바라보는 것과 같다는 것을 발견했습니다. 즉, 누군가 격렬하게 회전하고 있는지(크기의 거대한 변화) 또는 반대 방향으로 움직이고 있는지(방향의 변화)는 볼 수 있었습니다. 하지만 교활한 공격자는 전체적인 춤은 망치지 않으면서도 아주 미세하게 몇 가지 작은 발걸음만 바꾸는 매우 은밀한 방식으로 행동할 수 있어, 마치 결백해 보이도록 만들 수 있습니다.

FedDAB은 이 문제를 해결하기 위해 매우 관찰력이 뛰어난 댄스 강사 역할을 하는 2단계 "정렬 체크(alignment check)"를 수행합니다.

"거울" 연습 (로컬 대조 정규화 - Local Contrastive Regularization): 학생들이 노트를 보내기 전에, FedDAB은 그들에게 특별한 연습을 요구합니다. 그들은 자신의 로컬 댄스 동작이 '마스터 댄스'(글로벌 모델)와 방향(어느 쪽을 향하는지) 및 크기(발걸음의 크기) 모두에서 일치하도록 만들어야 합니다. 이는 정직한 학생들이 서로 보조를 맞추도록 강제하며, 이를 통해 교활한 자가 이상한 발걸음을 숨기는 것을 훨씬 더 어렵게 만듭니다. 이는 마치 모두에게 메트로놈과 거울을 주어 박자에서 벗어나지 못하게 하는 것과 같습니다.
"이중 확인" 감사 (정렬 확인 - Alignment Checking): 노트가 선생님의 책상에 도착하면, FedDAB은 단지 큰 그림만 보는 것이 아닙니다. 두 가지 구체적인 체크를 수행합니다.
- 전반적인 방향 체크: 이 학생의 전반적인 분위기가 그룹과 일치하는가? 만약 그들의 춤이 다른 모든 사람과 비교했을 때 이상한 방향으로 움직인다면, 그들은 표시됩니다.
- "단계별" 체크: 이것이 바로 핵심 비법입니다. 선생님은 춤의 구체적인 발걸음(파라미터)을 살피며, 오직 가장 중요한 동작들에만 집중합니다. 결정적으로, 선생님은 오늘날의 춤만 보는 것이 아니라, 학생이 지난 몇 라운드 동안 어떻게 춤을 췄는지 기억합니다("히스토리 버퍼" 사용). 만약 어떤 학생이 특정 단계에서 갑자기 자신의 시그니처 동작을 바꾼다면, 설령 전체적인 춤이 괜찮아 보이더라도 선생님은 그를 잡아냅니다. 이는 마치 친구가 보통 왼발을 까닥거리는데, 만약 그 친구가 "+" 모양 스티커를 붙인 채 갑자기 오른발을 까닥거린다면, 무언가 잘못되었다는 것을 알 수 있는 것과 같습니다.

연구자들은 다양한 데이터셋(손으로 쓴 숫자 이미지나 복잡한 사진 등)을 통해 이 방법을 테스트했으며, FedDAB이 매우 강력한 대응책임을 발견했습니다. 시뮬레이션에서 FedDAB은 최대 30%의 학생들이 시스템을 속이려 하는 공격을 성공적으로 차단했으며, 데이터가 매우 지저분하고 서로 달랐을 때도 견고함을 유지했습니다. 이 논문은 FedDab이 그룹의 주요 과업(고양이 인식) 정확도를 유지하면서도 백도어 트릭의 성공률을 획기적으로 낮춘다는 것을 보여줍니다.

하지만 연구자들은 한계에 대해서도 솔직하게 밝히고 있습니다. 만약 교활한 학생들이 다수(50% 이상)가 된다면, "다수결"이 체커들의 의견처럼 보이기 시작하기 때문에 시스템은 혼란에 빠질 수 있습니다. 하지만 몇몇 나쁜 사과가 전체를 망치려 하는 일반적인 시나리오에서, FedDAB은 연습과 세밀한 관찰력을 결합한 영리한 이중 레이어 방패를 제공하여 그룹이 올바른 교훈을 배울 수 있도록 보장합니다.

기술 요약: 모델 대조 학습에서의 정렬 검사를 통한 백도어 공격 방어

문제 정의
연합 학습(Federated Learning, FL)은 분산된 에지 노드 간에 원시 데이터를 공유하지 않고 협력적인 모델 학습을 가능하게 한다. 그러나 그 분산된 특성으로 인해 백도어 공격에 취약하다. 백도어 공격은 악의적인 노드가 특정 트리거를 포함하는 샘플에 대해 오분류를 유도하면서도, 양질의 작업(benign tasks)에 대해서는 높은 정확도를 유지하도록 학습 데이터를 오염시키는 방식이다. 기존의 방어 메커니즘은 주로 크기 기반(예: 유클리드 거리) 또는 방향 기반(예: 코사인 유사도) 전략에 의존하며, 다음과 같은 두 가지 결정적인 한계에 직면해 있다:

통계적 이질성: 비독립 동일 분포(Non-IID) 데이터 시나리오에서, 양질의 로컬 업데이트는 자연스럽게 방향과 크기 모두에서 상당한 편차를 보인다. 이는 양질의 업데이트와 악의적인 업데이트 사이의 경계를 모호하게 만들어, 기존 방식이 은밀한 공격을 탐지하는 데 실패하거나 양질의 업데이트를 잘못 필터링하게 만든다.
공격의 은밀함: 고급 백도어 공격은 전체적인 업데이트의 방향이나 크기를 크게 변화시키지 않으면서도 일부 파라미터(예: 부호 반전 또는 크기 증폭)만을 조작할 수 있어, 전체적인 업데이트 정보만을 포착하는 방어 체계를 우회한다.

방법론: FedDAB
저자들은 정렬 검사를 통해 양질의 업데이트 일관성을 높이고 악의적인 편차를 탐지하도록 설계된 2단계 방어 프레임워크인 FedDAB을 제안한다.

1단계: 로컬 대조 정규화 (Local Contrastive Regularization)
Non-IID 데이터로 인한 양질의 업데이트 간 불일치를 완화하기 위해, FedDAB은 로컬 최적화 목적 함수에 새로운 **모델 대조 항(model-contrastive term)**을 도입한다. 방향적 일관성만을 정규화하는 기존 연구들과 달리, 이 항은 로컬 업데이트의 방향과 크기를 모두 글로벌 모델과 결합하여 정렬한다.
- 로컬 손실 함수는 분류 항과 모델 대조 항( $L_{Con}$ )의 조합으로 구성된다.
- $L_{Con}$ 은 방향 정렬 항(현재의 로컬 표현이 이전의 로컬 표현이 아닌 글로벌 표현과 일치하도록 유도)과 크기 정렬 항(현재의 로컬 표현이 글로벌 표현의 크기와 더 가깝도록 강제)으로 구성된다.
- 이 정규화는 양질의 업데이트 간 편차를 줄여 악의적인 편차가 더 잘 구별되도록 만든다.
2단계: 정렬 검사 (Alignment Checking)
서버는 글로벌 집계 전 로컬 업데이트를 평가하고 필터링하기 위해 정렬 검사 전략을 사용한다. 이 단계는 세 가지 모듈로 구성된다:
1. 전체 방향 검사 (Overall-Direction Checking): 각 노드의 업데이트와 다른 모든 업데이트 사이의 평균 코사인 유사도를 나타내는 **방향 유사도 점수(DSS)**를 계산한다. 악의적인 노드는 일반적으로 양질의 다수와 차이가 나는 DSS 값을 보인다.
2. 파라미터 수준 검사 (Parameter-Level Checking): 전체 방향은 유지하면서 특정 파라미터를 조작하는 은밀한 공격에 대응하기 위해, 이 모듈은 **부호 정렬 점수(SAS)**를 평가한다. 이는 노드의 로컬 업데이트 중 절대 크기가 큰 상위 $r\%$ 파라미터의 부호를 글로벌 부호 벡터와 비교한다. 결정적으로, 이 글로벌 부호 벡터는 지난 $H$ 라운드의 버퍼로부터 추출된 이력 정보를 통합하여, 시간이 지남에 따라 나타나는 양질의 노드들의 안정적인 동작을 활용한다.
3. 이상 점수 탐지 (Anomaly Score Detection): 시스템은 DSS 및 SAS 값에 대해 중앙값 기반의 Z-점수를 계산한다. 정해진 임계값( $\lambda_{DSS}$ 및 $\lambda_{SAS}$ )을 초과하는 오프셋을 가진 노드는 의심스러운 것으로 식별되어 집계에서 제외된다.
4. 업데이트 집계 (Update Aggregation): 남은 업데이트들은 비정상적으로 큰 크기를 가진 업데이트를 추가로 억제하기 위해 중앙값 기반의 클리핑 메커니즘을 사용하여 집계된다.

주요 기여

새로운 프레임워크: FedDAB은 다양한 데이터 분포 하에서 백도어 공격을 방어하기 위해 로컬 대조 정규화와 이중 관점의 정렬 검사(전체 방향 및 파라미터 수준)를 결합한 최초의 연합 학습 방어 방법이다.
이론적 보장: 저자들은 FedDAB이 $O(1/T)$ 의 수렴 속도를 달성한다는 이론적 증명을 제공한다. 또한, 전파 오차에 대한 경계를 설정하고 방법의 $\kappa$ -강건성(robustness)을 입증하여, 일정 비율의 악의적인 노드를 견딜 수 있음을 보여준다.
포괄적 평가: Non-IID 환경에서의 FMNIST, CIFAR-10, CIFAR-100에 대한 광범위한 실험을 통해 FedDAB이 다양한 백도어 공격(BadNet, DBA, Neurotoxin, PGD)에 대해 기존의 최첨단 방어 기법들(MKrum, Foolsgold, RFA, RoseAgg 포함)보다 우수함을 입증했다.

실험 결과

방어 성능: FedDAB은 기존 방법들보다 일관되게 낮은 공격 성공률(ASR)과 높은 강건성 비율(RR)을 달enc한다. 예를 들어, CIFAR-10에서 두 번째로 우수한 방법보다 ASR을 1.23% 낮추고 RR을 1.38% 높였다.
Non-IID에 대한 강건성: 이 방법은 다양한 수준의 통계적 이질성(Dir(0.8), Dir(0.5), Dir(0.3)) 및 극단적인 Non-IID 조건(Dir(0.1))에서도 효과를 유지한다.
확장성 및 안정성: FedDAB은 노드 수가 증가함에 따라(최대 70개) 강력한 확장성을 보여주며, 반복 실행 시 ASR 및 테스트 정확도의 변동이 최소화된 안정적인 성능을 유지한다.
절제 연구 (Ablation Studies): 모델 대조 항과 DSS 및 SAS 검사의 결합이 특히 높은 이질성 환경에서 성능을 위해 필수적임을 확인했다. 이력 정보(버퍼 길이 $H > 0$ )의 포함은 강건성을 더욱 향상시킨다.
효율성: FedDAB은 대조 항으로 인해 로컬 훈련 시간이 약간 증가하지만, 서버 측 집계 시간은 다른 효율적인 방어 방법들과 유사하며 상당한 오버헤드를 발생시키지 않는다.

의의 및 한계
본 논문은 FedDab이 통계적 이질성 처리 및 은밀한 파라미터 수준 조작에 관한 기존 방어 체계의 결정적인 공백을 해결한다고 주장한다. 양질의 노드 간에 방향과 크기 모두에서 일관성을 강제함으로써, 악의적인 행동을 탐지하기 위한 더 명확한 분리를 만들어낸다.

저자들은 이 방법이 양질의 노드가 과반수를 차지한다는 가정에 의존한다는 점을 언급하며 한계를 겸허히 인정한다. 악의적인 노드가 전체의 50%를 초과하면, 중앙값 기반의 점수 산출 메커니즘이 악의적인 업데이트와 양질의 업데이트를 구분하는 데 어려움을 겪어 성능이 저하될 수 있다. 또한, 현재의 방어로는 해결되지 않는 취약점인, 글로벌 모델의 무단 복제나 배포를 방지하기 위한 지식 재산 보호 메커니즘의 통합에 관한 향후 연구 방향을 제시하였다.

유사한 논문