Sovereign-Mohawk: Machine-Checked Hierarchical Byzantine Resilience and Probabilistic Composition for Federated Learning

현대 세계에서 머신러닝 모델은 종종 너무 거대하고 데이터는 너무 민감하여 한 곳에 중앙 집중식으로 모으기가 어렵습니다. 대신, 연합 학습(federated learning)이라 불리는 기술을 통해 스마트폰에서 산업용 센서에 이르기까지 수천 개의 기기가 개인 데이터를 중앙 서버로 보내지 않고도 공유 지능을 학습할 수 있습니다. 각 기기는 자신의 로컬 정보로부터 학습하고, 업데이트된 작은 모델 조각만을 다시 보내 결합됩니다. 이 접근 방식은 개인의 프라이버시를 침해하지 않으면서 인공지능이 발전할 수 있는 미래를 약속합니다. 그러나 이 분산형 시스템은 결정적인 취약점에 직면해 있습니다: 바로 "비잔틴(Byzantine)" 문제입니다. 이 문맥에서 비잔틴 장애란 네트워크의 일부 참여자가 악의적으로 행동하거나 오작동하여, 전체 모델을 오염시키도록 설계된 변질된 업데이트를 보내는 경우를 의미합니다. 만약 소수의 악의적인 행위자들이 그들의 변질된 데이터를 최종 계산 과정에 끼워 넣을 수 있다면, 전체 시스템은 실패할 수 있습니다.

수백만 대의 기기로 이루어진 거대한 규모를 관리하기 위해, 엔지니어들은 종종 참가자들을 가지와 잎이 있는 나무처럼 계층 구조로 조직합니다. 만약 모든 로컬 그룹의 기기들이 데이터를 상위 단계로 보내기 전에 자체 구성원 중 악의적인 행위자를 점검한다면, 전체 네트워크가 안전할 것이라는 생각입니다. 이는 매우 위안이 되는 가정이지만, 이 시스템의 설계에서 오랫동안 당연하게 여겨져 온 이 가정은 위험할 정도로 결함이 있는 것으로 드러났습니다. 라이언 윌리엄스(Ryan Williams)의 연구 "소버린-모호크(Sovereign-Mohawk)"는 이 숨겨진 약점을 폭로하고, 추측을 확신으로 대체하는 수학적으로 증명된 해결책을 제시합니다.

연구진은 로컬의 안전 보장이 글로벌 안전를 보장한다는 일반적인 믿음을 테스트하는 것부터 시작했습니다. 그들은 기기 그룹이 지역 감독관에게 업데이트를 보내고, 감독관이 다시 요약본을 글로벌 리더에게 보내는 2단계 계층 구조의 정식 수학적 모델을 구축했습니다. 모델 내에서 그들은 모든 지역 감독관이 규칙을 완벽하게 준-수하는 시나리오를 만들었습니다. 각 로컬 그룹에는 정직한 기기가 다수였으며, 로컬 필터는 자신들의 작은 범위 내에서 명백한 악의적 행위자들을 성공적으로 차단했습니다. 그러나 연구진이 거시적인 관점에서 살펴보았을 때, 글로벌 네트워크는 실제로 악의적인 행위자들에 의해 지배되고 있다는 것을 발견했습니다. 악의적인 기기들을 모든 로컬 그룹에서 탐지 임계값 바로 아래에 배치함으로써, 그들은 전체 네트워크의 60%가 공격자들에 의해 통제되는 상황을 만들어냈습니다. 로컬 수호자들은 자신의 역할을 수행하고 있었지만, 시스템 전체는 붕괴되었습니다. 이것은 발생 가능한 실패에 대한 시뮬레이션이 아니라, 기존의 사고방식이 작동하지 않는다는 것을 보여주는 기계 검증 증명이었습니다.

기존 방식을 반증한 후, 팀은 로컬 처리의 효율성을 포기하지 않으면서 계층 구조를 수정할 방법을 찾아야 했습니다. 그들은 문제가 기기 배치가 예측 가능하다는 점에서 발생했다는 것을 깨달았습니다. 만약 공격자가 어떤 기기들이 함께 그룹화될지 정확히 안다면, 그들은 자신들의 악의적인 노드들을 배치하여 틈새를 빠져나가도록 할 수 있습니다. 이를 해결하기 위해 연구진은 무작위 할당 방식을 도입했습니다. 기기들을 고정된 그룹에 두는 대신, 엄격한 수학적 보증을 바탕으로 이름을 뽑는 것과 유사한 과정을 통해 위원회에 섞어 넣는 방식을 제안했습니다. 그들은 기기들이 위원회에 무작위로 할당되면, 악의적인 그룹이 로컬 필터를 깨뜨릴 만큼 충분한 악의적 행위자를 집중시킬 확률이 사실상 제로에 가까울 정도로 작아진다는 것을 증명했습니다. 그들은 이를 수학적 증명을 검증하도록 설계된 컴퓨터 시스템을 사용하여 확인했으며, 5만 대의 기기가 위원회에 있고 전체 인구 중 악의적인 행위자의 수가 상당하더라도 실패 확률은 우주의 원자 수보다 더 많은 0을 가진 숫자보다도 적은 수준임을 보여주었습니다.

이 이론적 돌파구는 추상적인 아이디어로 남지 않았습니다. 연구진은 새로운 방법이 실제 세상에서 어떻게 작동할 수 있는지 보여주기 위해 작동하는 소프트웨어 시스템을 구축했습니다. 그들은 Go라는 언어로 작성된 고속 엔진을 만들어 수천 개의 시뮬레이션된 기기 사이의 데이터 흐름을 관리했습니다. 이 시스템은 프라이버시와 보안을 보장하기 위해 여러 층의 보호 장치를 포함했습니다. 개별 사용자의 프라이티브 정보를 역설계하는 것을 방지하기 위해 데이터 업데이트에 특정 유형의 수학적 노이즈를 추가했습니다. 또한, 데이터 자체를 드러내지 않으면서도 전송되는 데이터가 유효하다는 것을 증명하기 위해 고급 암호화 도구를 사용했으며, 미래의 양자 컴퓨터 공격을 견딜 수 있도록 설계된 새로운 암호화 방법을 채택했습니다.

팀은 거대한 네트워크를 모사한 통제된 환경에서 이 시스템을 테스트하며, 단일 물리적 컴퓨터에서 최대 1,500개의 가상 기기를 실행했습니다. 그들은 최대 35%의 기기가 학습 과정을 방해하려고 시도하는 공격적인 공격을 시스템에 가했습니다. 이러한 강렬한 압박에도 불구하고 시스템은 굳건히 버텼습니다. 모델은 학습을 계속하며 개선되었고, 100라운드의 훈련 후 86.4%의 정확도에 도달했습니다. 이는 공격받지 않은 완벽한 시스템이 도달한 88.2%와 비교했을 때 아주 미미한 차이였습니다. 보안에 따른 비용은 놀라울 정도로 낮았습니다. 증명을 확인하고 기기를 섞는 데 필요한 추가 시간은 각 훈련 라운드당 약 35밀리초에 불과했으며, 이는 마이크로초 단위로 측정되는 매우 짧은 지연 시간이었습니다.

이 연구는 대규모 인공지능을 보호하는 방식에 대한 중요한 변화를 나타냅니다. 이는 로컬 체크가 어떻게 확장될지에 대한 막연한 기대에 의존하던 방식에서 벗어나, 기계로 검증된 엄격한 보증이라는 토대로 나아가는 것입니다. 기존의 계층적 모델이 무너졌음을 증명하고 네트워크를 조직하는 새로운 확률적 방법을 제공함으로써, 연구진은 효율적이면서도 끈질긴 공격자들로부터 안전한 시스템을 구축하는 것이 가능하다는 것을 보여주었습니다. "소버린-모호크" 시스템은 수백만 개의 기기가 단순히 희망이 아닌, 가장 작은 세부 사항까지 검증된 수학에 의해 집단 지성이 보호받고 있음을 확신하며 안전하게 협력할 수 있는 미래의 청사진으로 서 있습니다.