A Novel Approach for Conducting Asynchronous Federated Learning with Blockchain Integration

현대 디지털 경제에서 가치 있는 방대한 양의 정보는 별개의 사일로(silos)에 갇혀 있습니다. 은행은 귀하의 소비 습관을 알고, 병원은 귀하의 의료 기록을 알며, 소매업체는 귀하의 쇼핑 선호도를 알지만, 이 조직들은 서로의 원시 데이터를 법적으로나 안전하게 공유할 수 없습니다. 이러한 파편화는 대출 채무 불이행 예측이나 사기 탐지와 같은 복잡한 문제를 해결하는 데 필요한 강력하고 포괄적인 모델을 구축하는 것을 방해합니다. 이를 극복하기 위해 과학자들은 연합 학습(federated learning)이라는 방법을 개발했습니다. 이 방식은 모든 데이터를 한 곳의 중앙에 모으는 대신, 각 조직이 자신의 로컬 서버에 개인 데이터를 유지하면서 공유 인공지능 모델을 훈련할 수 있도록 합니다. 그들은 데이터 자체가 아니라, 모델이 학습한 내용에 대한 작은 수학적 업데이트만을 교환합니다. 그러나 중대한 장애물이 남아 있습니다. 대부분의 현재 시스템은 모든 참여자가 완벽하게 발을 맞춰야 합니다. 만약 한 조직의 컴퓨터가 느리거나 인터넷 연결이 불안정하다면, 전체 그룹은 다음 단계로 넘어가기 전에 가장 느린 구성원을 기다려야 하며, 이는 시간과 컴퓨정 자원을 낭비하게 만듭니다.

탁밍 과학기술대학교의 샤오성정(Sung-Jung Hsiao)에 의한 새로운 연구는 참여자들이 다른 이들을 기다리지 않고 각자의 속도에 맞춰 작업할 수 있는 시스템을 도입함으로써 이 병목 현상에 대한 해결책을 제안합니다. 연구자는 이러한 비동기적 협업을 가능하게 하는 일련의 알고리즘을 개발했는데, 이는 일부 파트너가 뒤처지더라도 시스템이 계속 진행될 수 있음을 의미합니다. 모두가 공정하게 참여하고 과정이 안전하게 유지되도록 하기 위해, 이 연구는 디지털 통화에 사용되는 것과 동일한 기반 시스템인 블록체인 기술을 통합하여 기여에 대한 투명하고 조작 불가능한 기록을 생성합니다. 이 두 가지 혁신을 결ها하여, 이 연구는 여러 당사자가 민감한 개인 정보를 절대 공개하지 않으면서도 그 어느 때보다 빠르고 안전하게 더 나은 모델을 함께 구축할 수 있는 방법을 보여줍니다.

이 연구의 핵심은 현재 연합 학습이 작동하는 방식의 특정 약점을 다룹니다. 전통적인 설정에서 시스템은 모든 주자가 다음 구간을 시작하기 전에 가장 느린 팀원이 출발선에서 기다려야 하는 계주와 같습니다. 이러한 "동기식(synchronous)" 접근 방식은 빠른 컴퓨터가 느린 컴퓨터가 계산을 마칠 때까지 유휴 상태로 대기해야 하므로 비효율적입니다. 샤오의 연구는 시스템이 아무도 기다리지 않는 "비동기식(asynchronous)" 접근 방식을 도입합니다. 대신, 참여자들은 준비되는 즉시 업데이트를 보내고, 중앙 시스템은 이를 즉시 통합합니다. 이는 전체 네트워크를 가장 빠른 기여자의 속도로 움직이게 하여 모델 훈련에 소요되는 시간을 크게 단축합니다. 이 연구는 통신 지연이 예측 불가능하거나 일부 참여자가 훨씬 느린 경우에도 이 방법이 신뢰할 수 있고 올바른 솔루션으로 수렴한다는 것을 수학적으로 증명합니다.

이 시스템을 신뢰할 수 있게 만들기 위해, 연구자는 학습을 조정하는 전통적인 중앙 서버를 탈중앙화된 블록체인 네트워크로 대체했습니다. 표준적인 설정에서는 단일 중앙 기관이 프로세스를 관리하며, 이는 단일 장애점(single point of failure)을 생성하고 참여자들이 이 권한이 데이터를 오용하지 않을 것이라고 믿어야 함을 요구합니다. 새로운 프레임워크에서는 조정 작업이 합의 메커니즘을 통해 모델의 상태에 동의하는 컴퓨터들의 분산된 네트워크에 의해 처리됩니다. 이는 단일 엔티티가 결과를 조작할 수 없음을 보장합니다. 또한, 시스템은 블록체인 상의 자기 실행 프로그램인 스마트 계약(smart contracts)을 사용하여 보상을 자동으로 처리합니다. 참여자가 모델을 개선하는 고품질의 업데이트를 기여하면, 스마트 계약은 품질을 검증하고 자동으로 보상을 분배합니다. 이는 참여자들이 부정확한 데이터를 제출하거나 최소한의 작업만 수행하려 하기보다 최선의 성과를 내도록 동기를 부여하는 공정한 인센티브 구조를 만듭니다.

연구자는 실제 금융 데이터, 구체적으로 신용카드 사용 및 대출 채무 불이행 정보를 포함하는 데이터 세트를 사용하여 이 새로운 알고리즘을 테스트했습니다. 실험은 동일한 고객에 대한 서로 다른 정보 조각을 보유한 세 개의 서로 다른 회사가 누가 대출을 불이행할지 예측하기 위한 단일 모델을 구축하려고 시도하는 시나리오를 시뮬레이션했습니다. 결과는 비동기 방식이 전통적인 동기 방식보다 일관되게 더 빠르다는 것을 보여주었습니다. 어떤 경우에는 새로운 접근 방식이 동일한 정확도에 도달하는 데 훨씬 적은 시간을 소요하며 기존 방식보다 두 배 이상 빨랐습니다. 연구는 또한 한 참여자가 다른 참여자들보다 훨씬 느린 상황에서도 시스템이 견고하게 유지됨을 발견했는데, 이는 전통적인 시스템에서는 정체되었을 상황입니다. 이 연구는 새로운 알고 알고리즘이 효율성을 잃지 않고 수백만 개의 항목과 수천 개의 특징을 가진 대규모 데이터를 처리할 수 있음을 확인합니다.

보안은 이 조사의 또 다른 중요한 초점이었습니다. 연구는 시스템의 비동기적 특성이나 블록체인 사용이 데이터 프라이버시에 새로운 위험을 초래하는지 조사했습니다. 분석 결과, 이 방식은 원시 데이터와 모델 자체를 악의적인 행위자가 재구성하는 것으로부터 보호하는 것으로 나타났습니다. 공유되는 그래디언트(gradients)를 통해 정보를 유출할 수 있는 다른 일부 방법들과 달리, 이 접근 방식은 수학적으로 추론 공격에 저항하도록 설계된 특정 로컬 곱(local products)만을 전송합니다. 블록체인 구성 요소는 모든 거래에 대한 불변의 장부를 생성함으로써 추가적인 보호 계층을 더하여, 과거의 기록을 변경하거나 악의적인 행동을 숨기는 것을 불가능하게 만듭니다. 이는 참여자가 모델을 방해하기 위해 오염된 데이터를 제출하려 하더라도 시스템이 최종 결과에 영향을 미치기 전에 이를 감지하고 거부할 수 있음을 보장합니다.

이 연구의 함의는 단순히 속도를 넘어섭니다. 중앙 조정자의 필요성을 제거하고 공정하고 자동화된 보상 시스템을 도입함으로써, 이 연구는 현재 협력을 꺼리는 조직들이 힘을 합치도록 장려할 수 있는 청사진을 제공합니다. 이 시스템은 데이터 소유자가 집단적 모델에 가져오는 가치에 대해 보상받을 수 있는 시장을 가능하게 합니다. 이는 데이터 프라이버시 법이 엄격하고 기관 간의 신뢰가 낮은 금융 및 의료 분야에서 특히 중요합니다. 연구는 블록체인을 사용하여 조정과 인센티브를 처리함으로써, 보안을 타협하지 않으면서도 모두가 혜택을 얻을 수 있는 협력 환경을 구축하는 것이 가능하다는 점을 시사합니다.

최종 분석에서, 이 연구는 데이터가 파편화되어 있고 신뢰가 부족한 세상에서 대규모 협업 학습을 수행하기 위한 실용적이고 이론적으로 건실한 방법을 제시합니다. 이는 프라이버시나 보안을 희생하지 않고도 높은 효율성을 달ей 수 있음을 입증합니다. 이 연구에서 개발된 알고리즘은 단순한 이론적 개념이 아닙니다. 그것들은 실제 시나리오에서 기존 방법보다 뛰어난 성능을 보이도록 엄격하게 테스트되었습니다. 참여자들이 공동의 목표에 기여하면서도 독립적으로 작업할 수 있도록 허용하고, 공정성과 투명성을 보장하기 위해 블록체인을 사용함으로써, 이 접근 방식은 차세대 프라이버시 보존 인공지능을 위한 실행 가능한 경로를 제공합니다. 이 연구는 협업 머신러닝의 미래가 유연하고, 탈중앙화되어 있으며, 현실 세계의 다양하고 불균형한 조건에 적응할 수 있는 시스템에 있다는 것을 확인시켜 줍니다.