디지털 시대에 데이터는 종종 공유되고, 분석되며, 판매되는 상품으로 취급됩니다. 그러나 가장 가치 있는 정보 중 일부는 본질적으로 비밀이라서가 아니라, 그 소유자들이 서로를 신뢰할 수 없기 때문에 잠겨 있는 경우가 많습니다. 병원은 민감한 환자 기록을 보유할 수 있고, 은행은 상세한 금융 이력을 가질 수 있으며, 정부는 인구 조사 데이터를 보유할 수 있지만, 이들 중 누구도 프라이버시 침해의 위험 없이 생명을 구하거나 경제를 개선할 수 있는 패턴을 찾기 위해 이 데이터셋들을 결합할 수 없습니다. 수십 년 동안 이 딜레마에 대한 해결책은 '안전한 다자간 계산(secure multiparty computation)'이라는 이론적 개념이었습니다. 그 아이디어는 매우 단순합니다. 여러 당사자가 서로에게 데이터를 직접 공개하지 않고도, 혹은 외부 관찰자에게도 데이터를 노출하지 않고도 자신들의 개인 데이터를 사용하여 공동으로 결과를 계산할 수 있다는 것입니다. 이는 마치 여러 사람이 퍼즐을 푸는 것과 같습니다. 각 사람은 퍼즐 조각 몇 개를 가지고 있지만, 개별 조각을 보여주지 않으면서 최종적인 그림만을 드러내는 방식으로 서로에게 조각을 전달할 수 있는 것과 같습니다.

이 이론은 수년 동안 존재해 왔지만, 이를 실제 세계의 분석을 위한 실용적인 도구로 만드는 데는 어려움이 있었습니다. 이 목적을 위해 시스템을 구축하려는 이전의 시도들은 종-종 단 하나의 작업만을 위해 설계된 특수 도구와 같았습니다. 어떤 시스템은 머신러닝을 위한 숫자 계산에는 탁월할 수 있지만, 다른 시스템은 오로지 데이터베이스 레코드를 정렬하기 위해 만들어졌을 수 있고, 세 번째 시스템은 시간 기반 트렌드를 추적하기 위해 만들어졌을 수 있습니다. 만약 연구자가 이러한 작업들을 결합하고 싶다면—예를 들어, 의료 영상을 분석하고, 이를 환자 기록과 교차 참조한 다음, 시간에 따른 변화를 추적하고 싶다면—그들은 벽에 부딪히게 됩니다. 그들은 서로 호환되지 않는 서로 다른 시스템들을 하나로 엮어야 했으며, 이 과정은 구축하기가 믿기 힘들 정도로 어려울 뿐만 아니라, 서로 다른 시스템들이 서로 다른 암호학적 언어를 사용하기 때문에 보안을 유지하는 것이 거의 불가능했습니다. 이 분야는 현대 과학이 요구하는 복잡하고 혼합된 워크플로우를 처리할 수 없는, 단일 목적의 엔진 모음 속에 갇혀 있었습니다.

보스턴 대학교의 연구진은 이제 이 교착 상태를 깨뜨리기 위해 설계된 새로운 엔진을 구축했습니다. 그들은 이를 'CryptDough'라고 부르며, 이는 여러 명의 불신하는 당사자들이 원본 데이터를 전혀 노출하지 않고도 자신들의 개인 입력값에 대해 복잡한 데이터 분석 파이프라인을 실행할 수 있게 해주는 통합 시스템입니다. 특정 유형의 작업이나 특정 보안 설정에 국한되었던 이전 모델들과 달리, CryptDough는 다양한 종류의 워크로드를 동시에 처리할 수 있도록 구축되었습니다. 이 시스템은 환자 기록과 같은 관계형 데이터, 건강 모니터링 스트리밍과 같은 시계열 데이터, 그리고 의료 영상에서 질병을 식별하는 머신러닝 작업까지 모두 동일한 보안 환경 내에서 처리할 수 있습니다. 이 시스템은 당사자들이 단순히 데이터에 대해 궁금해하는 수준부터, 프로토콜에서 적극적으로 이탈하려고 시도할 수 있는 상황에 이르기까지 다양한 신뢰 수준에 적응할 수 있을 만큼 유연하게 설계되었습니다.

연구진은 암호학의 복잡한 수학적 계산과 데이터 분석의 로직을 분리하는 계층적 아키텍처를 만듦으로써 이를 달성했습니다. 스택의 하단에서 시스템은 보안 통신과 암호화라는 무거운 작업을 처리하여 데이터가 숨겨져 있도록 보장합니다. 그 위에서는 개발자들이 암호학 전문가가 아니더라도 고수준의 연산을 구성할 수 있도록 하는 일련의 빌딩 블록을 제공합니다. 이 설계의 핵심 혁신은 저자들이 '가상 벡터(virtual vectors)'라고 부르는 메커로니즘입니다. 전통적인 프로그래밍에서 데이터를 다루는 것은 종종 정보가 서로 다른 컴퓨터에 어떻게 분산되고 어떻게 재조립되는지를 관리하기 위한 복잡한 코드를 작성하는 것을 필요로 합니다. CryptDough는 사용자로부터 이 부담을 제거합니다. 이는 데이터 분석가가 마치 단일 컴퓨터의 단일 스레드에서 작업하는 것처럼 코드를 작성할 수 있게 해주며, 시스템은 백그라운드에서 병렬 처리, 통신 및 메모리 관리를 자동으로 처리합니다. 즉, 사용자는 데이터가 당사자들 사이에서 어떻게 안전하게 공유되는지에 대한 복잡한 세부 사항을 걱정하지 않고도 데이터셋을 분석하는 프로그램을 작성할 수 있습니다.

그들은 자신들의 창작물을 테스트하기 위해 실제 세계의 의학 연구를 모방한 현실적이고 복잡한 워크플로우를 구축했습니다. 파이프라인은 폐렴이나 코로나19와 같은 질환의 가능성을 예측하기 위해 머신러닝 모델을 사용하여 X선 영상을 분석하는 것으로 시작되었습니다. 그 다음, 이 예측값들은 천식 및 치료 이력이 포함된 환자 기록 데이터베이스와 결합되었습니다. 마지막으로, 시스템은 착용형 기기(wearable devices)로부터의 시계열 데이터를 분석하여 저산소혈증 징후를 나타낼 수 있는 산소 포화도 수치의 특정 패턴을 찾아냈습니다. 목표는 낮은 산소 수치의 이력이 호흡기 질환 진단의 지표로 쓰일 수 있는지 결정하는 것이었습니다. 영상 처리, 데이터베이스 조인, 시계열 분석을 포함하는 이 전체 과정은 여러 당사자 간에 안전하게 실행되었습니다. 결과는 CryptDough가 이 복잡한 다단계 분석을 실용적인 시간 내에 완료할 수 있음을 보여주었습니다. 로컬 네트워크에서는 약 1분, 최고 수준의 보안을 사용하는 광역 네트워크에서는 1시간이 조금 넘는 시간이 소요되었습니다.

이 새로운 시스템의 성능은 현재 최고 수준으로 간주되는 여러 전문화된 도구들과 비교하여 측정되었습니다. 데이터베이스 레코드를 정렬하거나 머신러닝 모델을 실행하는 것과 같은 개별 작업에 대해 테스트했을 때, CryptDough는 이러한 전문화된 시스템들과 경쟁할 만한 수준임을 입증했습니다. 많은 경우, 특정 워크로드에 대해 가장 우수한 대안들보다 최대 2배 더 빠르게 실행되어 오히려 그들을 능가하기도 했습니다. 분야에서 널리 사용되는 범용 컴파일러 도구와 비교했을 때, CryptDough는 광역 네트워크 환경에서 최대 4.7배 더 빠르게 실행되는 상당한 이점을 보여주었습니다. 이러한 속도는 보안 계산이 당사자 간의 지속적인 통신과 검증을 필요로 하기 때문에 표준 계산보다 본질적으로 느리다는 점에서 매우 중요합니다. 연구진은 통신 방식과 데이터 병렬 처리 방식을 최적화함으로써 시스템을 실용적인 용도로 사용할 수 있을 만큼 효율적으로 유지했습니다.

또한 이 연구는 기존의 전문화된 시스템들을 결합하려 할 때 발생하는 한계를 강조했습니다. 연구진은 두 시스템이 동일한 유형의 보안 위협을 대상으로 하더라도, 데이터를 인코딩하는 방식이 근본적으로 다른 경우가 많다는 점에 주목했습니다. 한 시스템에서 다른 시스템으로 데이터를 전달하려면 이러한 인코딩을 변환해야 하는데, 이 과정은 기술적으로 어려울 뿐만 아니라 보안 취약점을 유발할 수 있습니다. 더욱이, 여러 시스템을 오케스트레이션하려면 서로 다른 런타임 환경과 프로그래밍 인터페이스를 통합해야 하며, 이는 흔히 구할 수 없는 수준의 엔지니어링 노력과 암호학적 전문 지식을 요구합니다. CryptDough는 이러한 모든 종류의 분석이 변환이나 수동 오케스트레이션 없이 함께 일어날 수 있는 단일하고 응집된 환경을 제공함으로써 이 문제를 해결합니다.

이 작업의 함의는 단순히 속도나 편의성에만 국한되지 않습니다. 혼합된 워크로드와 다양한 위협 모델을 지원하는 통합 엔진을 제공함으로써, 연구진은 이전에 접근할 수 없었던 문제들을 다룰 수 있게 되었습니다. 이 시스템은 확장 가능하도록 설계되어, 새로운 암호 프로토콜이 개발되거나 새로운 유형의 데이터 분석이 등장하더라도 전체 기초를 다시 구축하지 않고도 시스템에 추가할 수 있습니다. 이러한 모듈성은 보안 계산의 사용을 민주화하여, 데이터 분석가와 소프트웨어 개발자가 스스로 암호학자가 될 필요 없이 보안 애플리케이션을 구축할 수 있도록 하려는 의도를 담고 있습니다. 연구진은 CryptDough의 소스 코드를 공개하여 추가적인 개발과 테스트를 권장하고 있습니다.

결론적으로, 이 논문에서 제시된 연구는 보안 다자간 계산을 복잡한 데이터 분석을 위한 실질적인 현실로 만드는 데 있어 중요한 진전을 의미합니다. 이는 이 분야를 고립된 단일 목적 도구의 집합에서, 실제 세계의 데이터 과학을 특징짓는 복잡하고 혼합된 워크플로우를 처리할 수 있는 통합 엔진으로 이동시킵니다. 결과는 전문화된 시스템의 기능을 일반화하면서도 종종 그 성능을 능가하는, 보안성과 성능을 모두 갖춘 시스템을 구축하는 것이 가능하다는 것을 보여줍니다. 이 기술은 아직 초기 단계에 있으며 매우 많은 수의 참여자로 규모를 확장하는 데 과제가 남아 있지만, 서로 다른 데이터 유형을 가로질러 안전하게 실행되는 복잡한 엔드 투 엔드(end-to-end) 파이프라인의 시연은 프라이버시와 협업이 더 이상 상호 배타적인 것으로 간見되지 않을 때 무엇이 가능한지에 대한 설득력 있는 비전을 제시합니다.