Privacy-Preserving Federated Distillation Resilient to Client Disconnections and Poisoning Attacks

당신의 스마트폰, 스마트워치, 그리고 이웃의 노트북이 서로의 개인적인 사진이나 메시지를 공유하고 싶어 하지 않으면서도, 더 똑똑해지기 위해 함께 학습하고자 하는 세상을 상상해 보십시오. 이것이 바로 **연합 학습(Federated Learning)**의 핵심입니다. 연합 학습은 컴퓨터들이 서로의 가공되지 않은 데이터를 전혀 보지 않고도 협력할 수 있는 영리한 방법입니다. 거대한 개인 파일이 담긴 여행 가방을 중앙 사무실로 보내는 대신, 그들은 자신이 배운 내용에 대한 '성적표'만을 보냅니다. 하지만 여기에는 문제가 있습니다. 만약 성적표가 너무 상세하면, 그것을 작성한 사람의 비밀이 의도치 않게 드러날 수 있다는 점입니다. 또한, 현실 세계에서는 기기들이 배터리가 다 되거나 와이파이 연결이 끊겨, 수업이 한창 진행 중인 순간에 교실에서 이탈하기도 합니다. 이 논문은 학생들이 일찍 떠나거나 잘못된 업데이트를 제출하더라도, 이 그룹 학습 세션이 어떻게 원활하게 유지될 수 있는지에 대한 까다로운 문제를 다룹니다.

연구진(인민무장경찰 공학대학교 팀)은 GSE-SFD라고 불리는 새로운 시스템을 제안합니다. 이 시스템을 인공지능을 위한 초보안, 탈퇴 방지형 교실이라고 생각하십시오. 표준적인 설정에서는 학생 한 명이 방을 나가면 선생님이 수업 전체를 다시 시작해야 할 수도 있습니다. 이 새로운 방식에서는 학급이 작고 긴밀하게 연결된 그룹들로 나뉩니다. 만약 그룹 내의 몇몇 학생들이 휴대폰을 떨어뜨리거나 연결을 잃더라도, 시스템이 일정 수의 학생(약 60%)만 남아 있으면 과제를 마칠 수 있도록 설계되어 있기 때문에 그룹은 자신의 부분을 완수할 수 있습니다. 이는 마치 퍼즐과 같아서, 전체 그림을 보기 위해 몇 개의 특정 조각만 있으면 되는 것과 같습니다. 몇 개의 조각이 사라지더라도 남은 조각들로 충분히 문제를 해결할 수 있습니다.

하지만 잘못된 업데이트는 어떻게 될까요? 이 디지털 교실에서 '독이 든' 학생은 최종 성적을 망치기 위해 가짜 성적표를 제출하려고 시도할 수 있습니다. GSE-SFD 시스템은 영리한 2단계 방어 체계를 갖추고 있습니다. 첫째, '비밀 공유(secret sharing)' 기술을 사용합니다. 학생은 자신의 보고서를 보내기 전, 이를 여러 개의 아주 작은 조각으로 쪼개고 서로 다른 봉투에 숨깁니다. 단 하나의 봉투만으로는 유용한 정보를 알 수 없습니다. 동일한 그룹에서 나온 봉투들이 충분히 모여야만 원래의 보고서를 재구성할 수 있습니다. 즉, 해커가 한두 개의 봉투를 훔치더라도 아무것도 알아낼 수 없다는 뜻입니다. 둘째, 중앙 서버에는 '문지기(bouncer)'가 있습니다. 이 문지기는 재구성된 그룹별 보고서들이 정상적인지 확인합니다. 만약 어떤 그룹의 보고서가 다른 그룹들과 판이하게 다르다면—예를 들어 어떤 학생이 갑자기 하늘이 초록색이라고 주장하는 경우처럼—문지기는 이 이상 징ile을 포착하여 그 그룹의 답변이 전체 수업을 망치기 전에 폐기합니다.

또한, 이 논문은 학생들이 실제로 알고 있는 것에 대해서만 학습하도록 보장하는 필터를 소개합니다. 모든 학생은 서로 다른 데이터(어떤 이는 고양이 사진을, 어떤 이는 강아지 사진을 가지고 있음)를 가지고 있기 때문에, 시스템은 KuLSIF라는 수학적 도구를 사용하여 정보가 "분포 외(out of distribution)"에 있는지 확인합니다. 이는 마치 선생님이 학생에게 질문이 너무 어렵거나 부적절한지 확인한 후 답변을 허용하는 것과 같습니다. 질문이 학생의 로컬 데이터와 맞지 않으면 학생은 해당 질문을 건너뛰며, 이를 통해 그룹은 고품질의 신뢰할 수 있는 지식만을 공유하게 됩니다.

연구진이 MNIST(손글씨 숫자), FashionMNIST(의류 아이템), CIFAR-10(다채로운 일상 사물)과 같은 유명한 이미지 데이터셋으로 이 시스템을 테스트했을 때, 결과는 매우 인상적이었습니다. 클라이언트의 최대 **40%**가 네트워크에서 이탈했음에도 불구하고, 시스템은 여전히 95% 이상의 라운드에서 성공적으로 지식을 결합해 냈습니다. 개인정보 보호 측면에서 이 시스템은 요새와 같았습니다. 공격자들이 원래 이미지를 보기 위해 데이터를 역공학(reverse-engineer)하려고 시도했을 때, 결과는 흐릿한 노이즈에 불과했습니다. 재구성된 이미지는 기존 방식에 비해 MSE(평균 제곱 오차)는 2.5배 더 높았고, SSIM(구조적 유사도)은 2.4배 더 낮았습니다. 이는 공격자들이 거의 알아볼 수 없는 것을 보게 되었음을 의미합니다.

저자들은 이 접근 방식이 단순히 프라이버시를 보호할 뿐만 아니라 학습 속도를 높게 유지한다는 것을 발견했습니다. 비록 비밀 공유 조각들 때문에 기본 버전보다 더 많은 데이터를 전송하지만, 인터넷 속도가 제한적인 기기에서도 충분히 효율적으로 작동합니다. 이 연구는 이 방법이 기기가 불안정하고 프라이버시가 타협 불가능한 의료 분야나 산업용 IoT와 같은 민감한 분야에 실질적이고 견고한 솔루션임을 시사합니다. 다만, 논문은 이 시스템이 좋은 '프록시 데이터셋(proxy dataset, 공유된 연습 문제 세트)'에 의존하며, 필터링 뒤의 수학적 계산이 해당 데이터셋이 너무 커질 경우 무거워질 수 있다고 언급했습니다. 궁극적으로 GSE-SFD는 최종 결과의 품질을 희생하지 않으면서도 안전하고, 탄력적이며, 프라이빗한 그룹 학습 세션을 가질 수 있음을 보여줍니다.