데이터 사일로의 비밀 언어

당신이 미스터리를 풀려는 탐정이라고 상상해 보세요. 하지만 단서들은 수십 개의 서로 다른 잠긴 방들에 흩어져 있습니다. 당신은 그 방에 들어가 단서를 직접 볼 수도 없고, 안에 있는 사람들은 생생한 증거를 보여주는 것이 금지되어 있습니다. 이것이 현대 데이터 과학의 현실입니다. 의료, 금융, 사이버 보안과 같은 분야에서 가치 있는 정보는 서로 다른 병원, 은행 또는 기업들이 보유한 별개의 데이터베이스인 "데이터 사일로(data silos)"에 갇혀 있습니다. 개인정보 보호법과 보안 규칙 때문에 이 조직들은 분석을 위해 모든 데이터를 하나의 거대한 더미로 단순히 쏟아부을 수 없습니다.

이를 해결하기 위해 과학자들은 **연합 학습(Federated Learning)**이라는 기술을 사용합니다. 이것을 "전화기 게임(telephone game)"이라고 생각해 보세요. 비밀 메시지를 직접 공유하는 대신, 모두가 각자 발견한 단서로부터 배운 것의 '요약본'을 당신에게 보내는 것입니다. 당신은 원래의 비밀을 전혀 보지 않고도 이 요약본들을 결합하여 전체적인 그림을 찾아냅니다. 보통 이 기술은 환자가 병에 걸릴지 예측하는 것처럼 미래를 예측하는 데 사용됩니다. 하지만 만약 당신이 단지 과거를 이해하고 싶다면 어떨까요? 만약 어떤 일이 왜 일어났는지 설명하기 위해 데이터에서 숨겨진 패턴을 찾고 싶다면 어떨까요? 이것을 **기술적 패턴 마이닝(descriptive pattern mining)**이라고 합니다. 문제는 이러한 패턴을 찾는 것이 마치 건초더미에서 바늘을 찾는 것과 같으며, 건초를 공유하지 않고 잠긴 방들을 가로질러 이를 수행하는 것은 매우 어렵다는 점입니다. 당신이 읽게 될 논문은 바로 이 문제를 다룹니다.

논문: FedSLIM

이 논문의 저자인 Samar Samir Khalil, Noha S. Tawfik, 그리고 Marco Spruit는 FedSLIM이라는 새로운 도구를 만들었습니다. 그들의 목표는 이 잠긴 방들이 원시 데이터를 전혀 공유하지 않고도 자신들의 데이터에서 가장 중요한 패턴을 찾을 수 있는 방법을 만드는 것이었습니다. 그들은 단순히 아무 패턴이나 찾고 싶었던 것이 아니라, **최소 기술 길이(Minimum Description Length, MDL)**라는 원칙을 사용하여 최상의 패턴을 찾고자 했습니다.

MDL을 이해하기 위해, 장난감이 가득 찬 지저도한 방이 있다고 상상해 보세요. 당신은 전화로 친구에게 이 방을 설명해야 합니다. 하나하나 나열할 수도 있습니다 ("빨간 자동차 한 대, 파란 자동차 한 대, 초록 자동차 한-"). 하지만 시간이 너무 오래 걸립니다. 대신 더 나은 방법이 있습니다: "빨간 자동차 50대, 파란 자동차 30대, 초록 자동차 10대가 있어." 이 두 번째 방법이 더 짧고 똑똑합니다. MDL은 컴퓨터가 데이터셋을 설명하는 가장 짧고 똑똑한 방법을 찾도록 돕는 수학적 규칙입니다. 이는 데이터를 가장 많이 압축하는 패턴을 찾으며, 사실상 데이터의 "이야기"를 가능한 가장 적은 단어로 요약합니다.

문제는 데이터를 설명하는 최선의 방법이 종종 모든 데이터를 한꺼번에 보는 것에 달려 있다는 점입니다. 만약 당신이 한 방만 본다면, 세 개의 방에서 오는 단서들을 결합했을 때만 나타나는 패턴을 놓칠 수 있습니다. 저자들은 잠긴 방들 사이에서 패턴을 찾는 기존 방식들이 대부분 얼마나 자주 나타나는지를 세는 것(예: 빨간 자동차가 몇 대 있는지 세는 것)에 불과하다고 주장했습니다. 그들은 이것이 책의 내용을 요약하기 위해 단지 알파벳 'e'가 몇 번 등장하는지 세는 것과 같다고 말합니다. 그것은 줄거리를 놓칩니다. 그들은 모든 잠긴 방에 걸쳐 가장 좋은 요약(가장 짧은 설명)을 실제로 작성하려고 시도하는 방법을 원했습니다.

해결책: 게임을 플레이하는 두 가지 방법

연구팀은 분산된 데이터 전반에서 이러한 "최상의 요약" 탐색을 수행하는 최초의 시스템인 FedSLIM을 도입했습니다. 이를 작동시키기 위해 그들은 각각 다른 성격을 가진 두 가지 버전, 즉 "변형(variants)"을 만들었습니다.

1. FedSLIM-SA (비밀 요원): 이 버전은 최대의 프라이버시를 위해 설계되었습니다. 이 버전은 "보안 집계(secure aggregation)"라고 불리는 특별한 암호화 기술을 사용합니다. 모든 플레이어가 자신의 단서를 종이에 적어 블렌더에 넣고, 오직 최종적인 스무디(총합)만이 나오는 것을 상상해 보세요. 서버(탐정)는 단서의 총 개수는 알 수 있지만, 어떤 플레이가 무엇을 기여했는지는 알 수 없습니다. 이는 프라이비시에 매우 좋지만, 두꺼운 장갑을 끼고 퍼즐을 푸는 것과 같습니다. 즉, 많은 가능성을 빠르게 탐색하기가 더 어렵습니다.
2. FedSLIM-SO (정찰병): 이 버전은 속도와 정확성을 위해 설계되었습니다. 플레이어들은 서버에 자신이 가진 단서의 개수를 정확히 알려주지만, 단서의 이름에는 비밀 코드를 사용합니다. 서버는 "플레이어 A가 항목 X를 5개 발견했다"는 것은 알 수 있지만, "항목 X"가 실제로 무엇을 의미하는지(예: "흡연"인지 "기침"인지)는 알 수 없습니다. 이를 통해 서버는 훨씬 더 유연하게 움직이며 더 많은 패턴을 탐색할 수 있지만, 서버가 실제 이름을 묻지 않을 것이라는 신뢰가 필요합니다.

그들이 발견한 것

저자들은 소규모 데이터 컬렉션부터 340,000개 이상의 기록이 있는 "Accidents" 데이터셋과 같은 거대 데이터셋에 이르기까지 8개의 실제 데이터셋에 대해 FedSLIM을 테스트했습니다. 그들은 자신들의 새로운 도구를 모든 데이터를 하나의 거대한 더미로 모아 보는 "중앙 집중식 베이스라인(centralized baseline)"과 비교했습니다.

실험 결과는 다음과 같습니다:

• 원시 데이터 없이도 작동함: 두 버전의 FedSLIM 모두 중앙 집중식 버전만큼 우수한 고품질의 요약을 찾아낼 수 있었습니다. 그들은 원시 트랜잭션을 보지 않고도 데이터를 효과적으로 압축하여 가장 중요한 패턴을 찾아냈습니다.
• 적은 노력, 동일한 결과: 가장 놀라운 발견 중 하나는 FedSLIM이 중앙 집중식 버전처럼 수백만 개의 가능성을 검색할 필요가 없었다는 점입니다. 많은 경우, FedSLIM은 수 자릿수(orders of magnitude) 더 적은 후보를 확인하면서도 최상의 패턴을 찾아냈습니다. 예를 들어, "Ionosphere" 데이터셋에서 중앙 집중식 방법은 294,000개의 가능성을 확인했지만, FedSLIM은 약 700개에서 1,500개만을 확인했습니다. 이는 해변 전체를 파헤치는 대신 몇 가지 핵심 지점만 확인하여 보물을 찾는 것과 같습니다.
• "잃어버린 연결 고리" 문제: 연구진은 "로컬-글로벌 발견 격차(local-global discovery gap)"라고 부르는 현상을 발견했습니다. 때때로 어떤 패턴은 개별 잠긴 방에서는 너무 드물어서 로컬 컴퓨터가 중요하지 않다고 생각할 수 있습니다. 하지만 모든 방의 단서를 결합하면, 그 동일한 패턴이 주요한 이야기가 됩니다.
  • 예시: "흡연 + 기침 + 체중 감소"와 같은 패턴을 상상해 보세요. 한 병원에서는 이 세 가지가 모두 나타나는 사람이 2명뿐일 수 있습니다. 로컬 컴퓨터는 이를 무시합니다. 다른 병원에서도 3명뿐이라면 로컬 컴퓨터는 다시 무시합니다. 하지만 10개의 병원을 합치면, 이 패턴은 특정 환자 그룹에 대해 매우 중요한 단서가 될 수 있습니다.
  • FedSLIM은 단일 잠긴 방에서는 찾을 수 없었던 이러한 "잃어버린 연결 고리"를 찾아낼 수 있었습니다. "Chess" 데이터셋에서 이 도구는 로컬 컴퓨터에서는 보이지 않았던 전역적으로 중요한 패턴의 85% 이상을 복구했습니다. "Adult" 데이터셋에서는 약 절반을 복구했습니다.

트레이드오프 (Trade-offs)

논문은 완벽한 해결책은 없으며, 이는 균형 잡기라는 점도 강조합니다.

• FedSLIM-SA는 프라이버시가 가장 높지만, 잠긴 방(클라이언트)의 수가 늘어날수록 속도가 느려지고 정확도가 떨어집니다. 128개의 클라이언트를 대상으로 테스트했을 때, "비밀 요원" 방식이 너무 많은 인원을 한꺼번에 처리하기에 너무 무거워져 성능이 크게 저하되었습니다.
• FedSLIM-SO는 128개의 클라이언트가 있어도 강력함을 유지했습니다. 높은 정확도를 유지하며 좋은 패턴을 계속 찾아냈습니다. 그러나 이는 서버와 클라이언트 간의 더 많은 통신 비용을 대가로 합니다.

이것이 의미하는 바

저자들은 FedSLIM이 데이터의 가장 중요한 이야기를 찾는 능력을 희생하지 않으면서도, 고품질의 프라이버시 보호 데이터 분석이 가능하다는 것을 입증했다고 제안합니다. 그들은 훌륭한 요약을 얻기 위해 모든 패턴을 찾을 필요는 없으며, 단지 데이터의 메인 스토리를 들려주는 "영향력 높은" 패턴들을 찾으면 된다는 것을 보여주었습니다.

하지만 저자들은 이것이 모든 것을 해결하는 마법 지팡이는 아니라는 점을 주의 깊게 언급합니다. 이 시스템은 특히 매우 크거나 복잡한 데이터셋의 경우 여전히 많은 통신을 필요로 하며, "비밀 요원(SA)" 버전은 그룹이 너무 커지면 어려움을 겪습니다. 또한, 이 도구가 테스트한 데이터셋에서는 잘 작동하지만, 훨씬 더 많은 종류의 아이템(예: 수백만 개의 서로 다른 제품 유형)으로 규모를 확장하는 것은 단순히 트랜잭션 수를 늘리는 것보다 더 큰 도전이 될 수 있다고 지적합니다.

요약하자면, FedSLIM은 데이터 사일로들이 서로 소통할 수 있는 새롭고 영리한 방법입니다. 이를 통해 그들은 비밀을 지키는 벽을 허물지 않고도, 과거를 설명하는 숨겨진 패턴을 찾아내어 데이터에 대한 공유된 이해를 구축할 수 있습니다. 이는 우리가 적절한 수학적 "번역기"를 사용할 용의가 있다면, 프라이버시와 깊은 통찰력을 동시에 가질 수 있음을 시사합니다.