Understanding Backdoor Vulnerabilities in Vertical Federated Learning: The Gap Between Research and Practice

한 거대 기업이 모든 데이터를 독점하여 가장 똑똑한 컴퓨터를 만드는 것이 아니라, 각자가 퍼즐의 서로 다른 조각을 쥐고 있는 이웃들이 모여 만드는 세상을 상상해 보십시오. 이것이 바로 컴퓨터에게 패턴으로부터 학습하는 법을 가르치는 과학인 **머신러닝(Machine Learning)**의 영역입니다. 보통 컴퓨터에게 환자의 질병이나 대출 위험을 인식하도록 가르치려면 방대한 양의 데이터가 필요합니다. 하지만 만약 은행은 신용 기록을 가지고 있고, 의사는 의료 기록을 가지고 있으며, 스마트워치는 운동 통계를 가지고 있는데, 개인정보 보호법 때문에 아무도 자신의 원본 데이터를 공유할 수 없다면 어떻게 될까요? 여기에 **수직적 연합 학습(Vertical Federated Learning, VFL)**이 등장합니다. 이것을 이웃들이 서로의 비밀 노트를 절대 보여주지 않으면서 함께 미스터리를 풀기로 약속한 비밀 클럽이라고 생각해 보십시오. '활성 당사자'(은행과 같은)는 질문("이 사람이 신용도가 높은 사람인가?")을 알고 있고, '수동 당사자'(의사와 워치 회사)는 단서들을 가지고 있습니다. 그들은 오직 데이터의 아주 작고 암호화된 요약본인 **임베딩(embeddings)**만을 은행에 보내며, 은행은 이를 결합하여 예측을 수행합니다. 이는 프라이버시와 협력의 정교한 춤과 같습니다.

하지만 모든 비밀 클럽에는 위험 요소가 있습니다. 바로 파괴자입니다. AI의 세계에서 **백도어 공격(Backdoor Attack)**은 비밀스러운 악수와 같습니다. 악의적인 이웃(수동 당사자)은 그룹의 두뇌가 실제 단서들을 무시하고 대신 특정된 숨겨진 신호에 귀를 기울이도록 몰래 가르칠 수 있습니다. 만약 나중에 그 신호가 나타나면, 컴퓨터는 평소에는 완벽하게 정상적으로 작동하다가도 특정 상황에서는 부적절한 대출을 승인하거나 질병을 무시하는 등 미리 프로그래밍된 잘못된 답을 내놓게 됩니다. 수년간 연구자들은 이러한 백도어가 엄청난 위협이라고 외쳐왔으며, 시스템을 거의 100% 확률로 속일 수 있다고 주장해 왔습니다. 그러나 새로운 연구는 이 경보가 현실 세계에는 존재하지 않는 유령을 향해 울리고 있을지도 모른다는 점을 시사합니다.

*"Understanding Backdoor Vulnerabilities in Vertical Federated Learning: The Gap Between Research and Practice"*라는 제목의 이 논문은 AI 보안 커뮤니티를 위한 현실 자각 타임과 같은 역할을 합니다. 홍콩 대학교 연구팀인 저자들은 실험실에서 흔히 사용되는 '완벽한 세상'의 시나리오를 보는 것을 멈추고, 이 시스템들이 실제의 복잡한 현실 세계에서 실제로 어떻게 작동하는지를 보기로 했습니다. 그들은 이전 연구들에서 보고된 무서운 백도어 공격들이 비현실적인 가정들을 제거했을 때 실제로 생존할 수 있는지 확인하기 위해 BVBench(Backdoor Vulnerability Benchmark)라는 새로운 테스트 환경을 구축했습니다.

그들이 발견한 것은 약간의 반전이 있는 전개였습니다. 이전 연구자들이 공격자들에게 실수로 부여했던 '비현실적인 이점들'(예를 들어, AI가 답하고자 하는 비밀 질문을 알고 있거나 데이터에 대한 완벽한 라벨을 가지고 있는 것 등)을 제거하자, 공격은 무너졌습니다. 실험실에서 어떤 공격들은 99%의 성공률을 주장했습니다. 하지만 저자들의 현실적인 시뮬레이션에서, 그 동일한 공격들은 종종 10% 미만으로 떨어지거나 심지어 완전히 실패했습니다. 마치 화려한 스튜디오 조명 아래에서는 놀라워 보였던 마술사의 기술이 어둡고 붐비는 거리에서 공연했을 때는 처참하게 실패한 것과 같습니다. 이 논문은 우리가 읽어온 '거의 완벽한' 성공률이 상당 부분 진공 상태에서의 테스트가 만들어낸 환상임을 시사합니다.

연구는 또한 이러한 공격을 막으려는 '영웅들'인 **방어 기제(Defenses)**에 대해서도 살펴보았습니다. 공격과 마찬가지로, 방어 기제들 역시 비교할 수 있는 깨끗한 복사본 데이터를 가지고 있는 것과 같은 비현실적인 이점을 가진 채 테스트되었습니다. 저자들이 동일하게 엄격하고 현실적인 규칙 하에 이 방어 기제들을 테스트했을 때, 대부분의 방어 기제가 취약하다는 것을 발견했습니다. 그것들은 공격을 막아낼 수는 있었지만, 종로는 시스템의 본래 기능을 망가뜨리거나 공격이 이미 저지른 실수를 바로잡는 데 실패했습니다. 사실, 일부 방어 기제들은 설정의 아주 작은 변화에도 매우 민감하여, 한 시나리오에서는 잘 작동하다가도 다음 시나리오에서는 실패하기도 했습니다.

이 연구의 핵심은 백도어 공격이 불가능하다는 것이 아니라, 현재 우리의 이해가 흔들리고 있다는 것입니다. 이 논문은 공격자가 너무 많은 것을 알고 있고 방어자가 너무 많은 도구를 가진 '판타지 세상'에서 테스트해 왔기 때문에 우리가 이러한 공격의 위험성을 과대평가해 왔다고 주장합니다. 저자들은 BVBench를 도입함으로써 미래의 연구가 더 정직하고 실용적인 테스트를 향해 나아가기를 희망합니다. 그들은 시스템이 안전하다고 말하는 것이 아닙니다. 우리는 유령에 대해 공포에 떨기를 멈추고, 실제로 존재하는 훨씬 더 어렵고 훨씬 덜 '완벽한' 위협에 어떻게 대응할지를 고민해야 한다고 말하는 것입니다. 연구 논문이 말하는 것과 실제 현장에서 일어나는 일 사이의 간극은 매우 크며, 이제는 그 간극을 메워야 할 때입니다.