Wasserstein Filtering: A Sample Selection Method for Robust Distribution Learning

당신이 솜뭉치로 구름의 진짜 모양을 배우려고 노력하고 있다고 상상해 보세요. 하지만 여기 함정이 있습니다. 장난꾸러기 그렘린이 몰래 들어와서 당신의 솜뭉치 중 일부를 무겁고 울퉁불퉁한 돌로 바꾸거나, 어떤 솜뭉치에는 형광 분홍색 칠을 해버렸습니다. 만약 당신이 전체 더미를 보고 구름의 모양을 추측하려 한다면, 그 침입자들 때문에 당신의 답은 완전히 틀리게 될 것입니다. 이것이 바로 '강건한 통계학(robust statistics)'이 직면한 일상의 투쟁이며, 이 분야는 데이터가 지저지고, 망가지거나, 적극적으로 당신을 속이려 할 때조차 진실을 찾아내기 위해 헌신하는 과학의 한 분야입니다.

이를 해결하기 위해 과학자들은 종종 '바서슈타인 거리(Wasserstein distance)'라는 도구를 사용합니다. 이것을 자(ruler)가 아니라 '이동 비용'이라고 생각하세요. 당신에게 흙더미(당신의 데이터)가 있고, 이를 목표 형상에 맞추기 위해 옮겨야 한다고 상상해 봅시다. 바서슈타인 거리는 모든 흙 알갱이를 현재 위치에서 새로운 집으로 옮기는 데 필요한 최소한의 작업량을 계산합니다. 흙이 멀리 흩어져 있으면 에너지가 많이 들고, 가까이 있으면 아주 적게 듭니다. 이 방법은 기하학을 이해한다는 점에서 특별합니다. 즉, 멀리 떨어진 돌 하나는 근처의 먼지 한 점과는 매우 다르다는 것을 알지만, 다른 더 단순한 방법들은 그것이 어디에 있는지는 신경 쓰지 않고 단지 돌이 몇 개 있는지만 세려고 합니다.

이제 당신이 범죄 현장을 정리하려는 탐정이라고 상상해 보세요. 증거가 조작되었습니다. 당신에게 1,000개의 목격자 진술 목록이 있지만, 그중 최대 15%는 방해꾼이 심어놓은 거짓말이라는 것을 알고 있습니다. 당신의 목표는 무엇이 거짓말인지 미리 알지 못한 채, 가장 정직한 850개의 진술을 골라내어 진실된 이야기를 재구성하는 것입니다. 이것이 바로 '바서슈타인 필터링(Wasserstein Filtering)' 논문이 다루는 문제입니다. 저자들인 쉬이카이(Yikai Xu), 첸자오(Zhao Chen), 황젠(Jian Huang)은 이 노이즈를 걸러내기 위한 영리한 새로운 방법을 제안합니다. 데이터 포인트가 중심에서 얼마나 멀리 떨어져 있는지에 따라 나쁜 데이터를 판단하는 대신, 그들은 전술을 바꿉니다. 그들은 이렇게 묻습니다. "만약 우리가 오직 이 데이터 포인트들만 유지한다면, 그것이 오염된 전체 모습과 가장 다르게 보일 것인가?"

이 논리는 직관에 어긋나지만 매우 탁월합니다. 만약 뒤섞인 데이터 더미가 있다면, '나쁜' 이상치(outliers)들은 대개 평균을 이상한 방향으로 끌고 가는 주범들입니다. 이 알고리즘은 오염된 혼란으로부터 가장 큰 '이동 비용'(바서슈타인 거리)을 만들어내는 데이터의 부분 집합을 찾음으로써, 기하학적 왜곡을 일으키는 이상치들을 효과적으로 식별하고 버립니다. 이는 마치 북적이는 방 안에서, 만약 사람들이 한데 모여 선다면 전체 군중의 혼란스러운 덩어리로부터 가장 멀리 떨어져 있을 그룹을 찾는 것과 같습니다. 논문은 이 방법을 통해 '깨끗한' 데이터를 높은 정밀도로 분리해 낼 수 있음을 보여줍니다.

연구진은 단순히 아이디어만 낸 것이 아니라, 이를 실현하기 위한 세 가지 서로 다른 '기계'(알고리즘)를 구축했습니다. 하나는 'SinkMarg'라고 불리는 빠르고 하나씩 확인하는 방식인데, 이는 단순한 사례에는 훌륭하지만 거대한 데이터셋에서는 느려질 수 있습니다. 나머지 두 가지인 'SinkWF'와 'SlicedWF'는 더 강력합니다. 이들은 복잡하거나 고차원적인 데이터에서도 퍼즐을 한꺼번에 풀 수 있도록 '엔트로피 최적 운송(entropic optimal transport)'과 '슬라이스(sliced)' 근사법 같은 고급 수학적 기법을 사용합니다. 논문은 특정 조건 하에서, 특히 '나쁜' 데이터가 매우 멀리 떨어져 있거나 혹은 까다로운 방식으로 '좋은' 데이터와 매우 가까이 있을 때 이 방법이 최선임을 수학적으로 증명합니다.

실험에서 그들은 단순한 2D 그림부터 복잡한 분자 그래프, 심지어 손글씨 숫자의 이미지에 이르기까지 다양한 테스트를 수행했습니다. 그들은 자신들의 방법, 특히 'SinkWF' 알고리즘이 가짜 데이터를 찾아내는 데 믿을 수 없을 정도로 뛰어났으며, 종종 기존의 최고 수준의 도구들을 능가한다는 것을 발견했습니다. 예를 들어, 컴퓨터에게 오염된 데이터셋을 사용하여 새로운 숫자(예를 들어 숫자 "7") 이미지를 생성하도록 가르칠 때, 그들의 방법으로 데이터를 먼저 필터링하면 결과 이미지가 훨씬 더 명확하고 정확해졌습니다. 그러나 그들은 또한 '나쁜' 데이터가 너무 미미하여 거의 드러나지 않거나, 데이터가 충분한 투영(projection) 없이 극도로 고차원적일 경우 이 방법이 어려움을 겪을 수 있다는 점도 언급했습니다. 하지만 전반적으로, 그들은 이 '바서슈타인 필터링'이 데이터를 다른 머신러닝 시스템에 입력하기 전에 정화할 수 있는 강력하고 모델 불가지론적인(model-agnostic) 도구임을 입증했으며, 이를 통해 최종 결과를 훨씬 더 신뢰할 수 있게 만듭니다.