Recovering Latent Structure in Massive Datasets: A PCA Study of 10 Billion and 1 Trillion Observations

당신이 거대한 군중의 "성격"을 이해하려고 노력하고 있다고 상상해 보십시오. 데이터 과학의 세계에서 이 군중은 데이터셋이며, 성격은 모든 것을 하나로 묶어주는 숨겨진 패턴 또는 "잠재적 구조(latent structure)"입니다. 이러한 패턴을 찾기 위해 통계학자들은 주성분 분석(Principal Component Analysis, PCA)이라는 영리한 도구를 사용합니다. PCA를 수천 개의 서로 다른 물건이 가득한 지저도한 방에서 어떤 몇몇 그룹의 아이템들이 실제로 함께 움직이고 있는지를 파악해 내는 매우 똑똑한 번역가라고 생각하십시오. 만약 100명의 사람이 있는 방이 있다면, PCA는 움직임의 90%가 단순히 모두가 함께 왼쪽 오른쪽으로 움직이는 것이고, 나머지 10%는 그저 무작위적인 꿈틀거림이라고 말해줄 수도 있습니다.

수십 년 동안 과학자들은 수백 명 또는 수천 명의 사람들이 모인 작은 규모의 군중—즉, 수백 개 또는 수천 개의 데이터를 가진 데이터셋—에 PCA를 적용해 왔습니다. 하지만 오늘날 우리는 위성 이미지의 모든 픽셀이나 웹사이트의 모든 클릭과 같이 수십억 개, 심지어 수조 개의 정보를 수집할 수 있는 "빅데이터"의 시대에 살고 있습니다. 한 가지 큰 의문이 떠오릅니다. 군중이 그토록 거대해져도 PCA가 여전히 작동할까요? 이 도구가 엄청난 규모 때문에 혼란을 느낄까요, 아니면 오히려 더 좋아지고 안정될까요? 이 연구는 우리의 통계적 번역기가 너무 커서 일반적인 컴퓨터를 폭발시킬 정도의 군중도 감당할 수 있는지 테스트하며 이 질문을 파고듭니다.

---

위대한 데이터 실험: "더 많음"이 "다름"이 되지 않을 때

마이크 크로허스트(Mike Crowhurst) 박사와 그의 팀은 PCA를 궁극의 시험대에 올리기로 했습니다. 그들은 단순히 작은 군중을 본 것이 아니라, 도구가 어떻게 행동하는지 보기 위해 세 가지 거대한 시나리오를 시뮬레이션했습니다. 첫째, 그들은 100억 개의 관측치로 이루어진 "무작위" 군중(10BillionRandom)을 만들었습니다. 그다음, 첫 번째보다 100배 더 큰 1조 개의 관측치를 가진 무작위 군중(1TrillionRandom)을 만들었습니다! 마지막으로, 그들은 마술사가 카드가 어디에 쌓여 있는지 정확히 알고 있는 마술처럼, 세 가지 특정된 숨겨진 패턴을 갖도록 비밀리에 설계된 100억 개의 관측치를 가진 "조작된(rigged)" 군중(10BillionEngineered)을 구축했습니다.

"무작위" 군중: 규모가 중요하지 않을 때
연구진은 무작위 군중을 100배 더 크게 만드는 것이 결과에 변화를 주는지 확인하고 싶었습니다. 그룹의 평균 키를 추측하는 상황을 상상해 보십시오. 10명을 측정하면 이상한 평균값이 나올 수 있습니다. 1,000명을 측정하면 진실에 더 가까워집니다. 하지만 100억 명을 측정한다면 어떨까요? 1조 명을 측정하는 것이 답을 바꿀까요?

이 시뮬레이션에서 답은 단호하게 "아니오"였습니다. 100억 명의 군중에 대한 PCA 결과와 1조 명의 군중에 대한 PCA 결과는 거의 동일했습니다. 숫자들이 소수점 다섯 번째 또는 여섯 번째 자리까지 일치할 정도로 매우 근접했습니다. 마치 도구가 100억 명에 도달했을 때 이미 무작위 데이터의 "진실"을 파악한 것과 같았습니다. 9,900억 개의 관측치를 더 추가해도 새로운 비밀은 드러나지 않았습니다. 솔루션은 이미 "수렴(converged)"한 상태, 즉 최종적이고 안정적인 형태에 안착해 있었습니다. 이 연구는 이러한 종류의 무작위 데이터의 경우, 신뢰할 수 있는 답을 얻기 위해 반드시 조 단위의 데이터가 필요하지 않으며, 100억 개만으로도 이미 결승선에 도달하기에 충분하다는 점을 시사합니다.

"조작된" 군중: 숨겨진 보물을 찾아서
다음으로, 팀은 거대한 데이터셋에서 PCA가 숨겨된 구조를 찾아낼 수 있는지 테스트했습니다. 그들은 변수들의 행동을 제어하도록 설계된 세 가지 비밀 재료(잠재 요인)를 포함하여 "조작된(Engineered)" 데이터셋을 구축했습니다. 이는 마치 수십억 개의 악기가 연주되는 교향곡 속에 세 개의 뚜렷한 멜로디를 숨겨놓는 것과 같았습니다.

결과는 어땠을까요? PCA는 그것들을 완벽하게 찾아냈습니다. 이 도구는 데이터의 모든 변동성을 무려 **99.996%**나 설명하는 세 가지 주요 "주성분(principal components)"을 식별해 냈습니다. 나머지 일곱 개의 성분은 너무 미미해서 사실상 노이즈에 불과했습니다. PCA가 찾아낸 패턴은 연구진이 데이터를 구축할 때 사용한 비밀 레시피와 거의 정확히 일치했습니다. 이는 데이터셋이 100억 개만큼 거대하더라도, PCA가 노이즈 속에서 길을 잃지 않는다는 것을 증м합니다. 오히려 무작위 오차들이 효과적으로 상쇄됨으로써 신호를 찾는 능력이 더욱 날카로워집니다.

까다로운 "교차 로딩(Cross-Loading)" 변수
이야기에는 한 가지 작은 반전이 있었습니다. 연구진은 두 개의 숨겨진 패턴에 동시에 영향을 받도록 설계된 특별한 변수 "K"(교차 로딩 변수)를 포함했습니다. 그들은 이 변수가 두 패턴 사이에 균등하게 배분될 것이라고 예상했습니다. 그러나 PCA는 이 변수를 가장 강력한 패턴에 주로 부착하여, 첫 번째 성분에 약 0.944의 로딩 값을 부여하기로 결정했습니다. 비록 이것이 연구진이 기대했던 완벽하게 균형 잡힌 분할은 아니었지만, 이는 PCA가 가장 강력한 신호를 우선시하는 데 매우 뛰어나다는 것을 보여주었습니다. PCA는 그 변수를 무시한 것이 아니라, 그 퍼즐 조각에 있어 가장 중요한 핵심 멜로디가 무엇인지 결정한 것입니다.

방법론: "스트리밍(Streaming)"의 마법
여러분은 도시 크기의 슈퍼컴퓨터 없이 어떻게 1조 개의 항목을 처리했는지 궁금할 수 있습니다. 비밀은 데이터를 실제로 저장하지 않았다는 점에 있습니다. 모든 개별 관측치를 리스트로 보관하는 대신(이는 불가능한 양의 메모리를 요구합니다), 그들은 "스트리밍" 방식을 사용했습니다.

이것은 마치 식료품점 계산원이 고객이 산 모든 품목을 기억하는 대신, 각 품목의 총 가격과 판매 수량만을 기록하는 것과 같습니다. 데이터가 흘러 들어오는 동안, 컴퓨터는 오직 "충분 통계량(sufficient statistics)"인 합계와 교차 곱(cross-products)만을 추적했습니다. 스트리밍이 완료되면, 컴퓨터는 그 합계들을 사용하여 평균과 패턴을 계산했습니다. 이를 통해 그들은 단 한 대의 워크스테이션과 5개의 그래픽 카드만으로 1조 개의 관측치를 가진 데이터셋을 분석할 수 있었으며, 거시적인 그림을 이해하기 위해 모든 데이터를 쟁여둘 필요가 없음을 증명했습니다.

이것이 의미하는 바
이 연구는 많은 유형의 데이터에 대해 "실질적 수렴(practical convergence)" 지점이 존재함을 시사합니다. 일단 충분한 데이터(이 경우에는 약 100억 개)를 확보하면, 그 이상의 데이터를 얻는다고 해서 답이 크게 바뀌지 않습니다. 이는 도시의 평균 기온을 찾는 것과 같습니다. 10,000개의 센서로 측정하면 훌륭한 답을 얻을 수 있고, 100,000개의 센서로 측정하면 같은 답을 얻게 됩니다. 단지 약간의 노력이 더 들 뿐입니다.

이는 수십억 개의 관측치를 정기적으로 포함하는 원격 탐사, 환경 모델링, 디지털 매핑과 같은 분야에 좋은 소식입니다. 이는 과학자와 엔지니어들이 신뢰할 수 있는 모델을 얻기 위해 수집한 모든 데이터를 전부 처리할 필요는 없음을 시사합니다. 그들은 더 일찍 작업을 멈추고, 막대한 컴퓨팅 자원을 절약하면서도, 1조 개의 데이터 포인트로 얻었을 결과와 실질적으로 동일한 결과를 얻을 수 있습니다. 이 도구는 작동하며, 안정적이고, 우리가 던져줄 수 있는 가장 큰 규모의 군중을 맞이할 준비가 되어 있습니다.