당신이 미스터리를 풀려는 탐정이라고 상상해 보십시오. 하지만 몇 개의 단서가 아니라, 수천 개의 데이터 포인트가 풍경 속에 흩어져 있는 거대한 산을 마주하고 있습니다. 당신의 목표는 이 모든 점들을 연결하여 매끄럽고 완벽한 지도를 그려내고, 점들 사이에 무엇이 있는지 예측하며, 그 예측에 대해 얼마나 확신할 수 있는지를 알려주는 것입니다. 통계학과 머신러닝의 세계에서 이것은 **가우시안 프로세스 회귀(Gaussian Process Regression, GPR)**라고 불립니다. 이것은 마치 데이터 포인트들을 덮는 매우 똑똑하고 유연한 고무판과 같습니다. 점들이 가까울수록 고무판은 더 많이 휘어지고, 점들 사이가 멀어질수록 고-무판은 더 평평해집니다. 이 도구는 기후 모델링이나 로봇 공학 분야에서 스타급 대접을 받는데, 그 이유는 단순히 답을 추측하는 데 그치지 않고, 자신이 얼마나 불확실한지도 알려주기 때문입니다.

하지만 문제가 하나 있습니다. 데이터의 양이 늘어남에 따라, 이 고무판을 완벽하게 펼치기 위해 필요한 수학적 계산이 악몽처럼 변한다는 것입니다. 퍼즐을 푸는 데 걸리는 시간은 단순히 조금씩 늘어나는 것이 아니라 폭발적으로 증가합니다. 데이터를 두 배로 늘리면 작업량이 두 배가 되는 것이 아니라, 8배로 곱해집니다. 이 때문에 현대의 컴퓨터 시뮬레이션이나 거대한 센서에서 발생하는 방대한 데이터셋에는 사용이 불가능해집니다. 이를 해결하기 위해 과학자들은 일종의 지름길을 사용해 왔습니다. 한 가지 인기 있는 지름길은 **니스트롬 방법(Nyström method)**인데, 이는 전체 산맥의 모양을 이해하기 위해 모든 바위를 보는 대신, 신중하게 선택된 몇 개의 봉우리(이를 "랜드마크"라고 부릅니다)만을 살펴보는 것과 같습니다. 문제는, 만약 이 봉우리들을 무작위로 선택한다면 가장 중요한 봉우리들을 놓칠 수 있으며, 이는 불안정하고 부정확한 지도로 이어질 수 있다는 점입니다.

매사추세츠 대학교 애머스트스트의 룰루 강(Lulu Kang)이 작성한 이 논문은 이 랜드마크를 선택하는 영리한 새로운 방법을 소개합니다. 이 방법은 지도를 보고 단순히 무작위로 지점을 찍는 것이 아닙니다. 대신, 이 영리한 탐험가는 지도를 살펴보고 지형이 가장 혼란스럽거나 불확실한 곳이 어디인지 찾아낸 뒤, 그 혼란을 해소하기 위해 바로 그곳에 새로운 랜드마크를 전략적으로 배치합니다. 이들은 단계별로 진행하며, 진행 과정에 따라 자신의 지형 이해도를 끊임없이 정교하게 다듬어 나갑니다. 논문은 컴퓨터 시뮬레이션을 통해 이 "스마트 탐험가" 방식이 "무작위 선택자" 방식보다 훨씬 더 정확하고 안정적인 지도를 만들어내며, 전체 모델을 수행하는 데 필요한 불가능한 계산량을 처리하지 않고도 이를 해낸다는 것을 보여줍니다. 이는 높은 정확도의 전체 모델과 지름길의 속도라는 두 마리 토끼를 모두 잡는 방법입니다.

문제점: 수학 괴물

컴퓨터 실험의 세계에서 과학자들은 물이 땅속 구멍을 통해 어떻게 흐르는지, 혹은 강철 기둥이 휘어지기 전까지 얼마나 많은 무게를 견딜 수 있는지 등을 확인하기 위해 시뮬레이션을 실행합니다. 이러한 시뮬레이션은 데이터 포인트를 생성합니다. 이 데이터들을 이해하기 위해 우리는 가우시안 프로세스 회귀(GPR)를 사용합니다. GPR은 강력한데, 그 이유는 데이터를 단순한 숫자 목록이 아닌 매끄럽고 연속적인 곡선으로 취급하며, 우리가 예측에 대해 얼마나 확신할 수 있는지를 나타내는 "신뢰 구간"을 제공하기 때문입니다.

하지만 GPR에는 비싼 대가가 따릅니다. GPR이 작동하려면 모든 개별 데이터 포인트 간의 관계를 나타내는 거대한 숫자 격자(행렬)를 포함하는 대규모 계산을 수행해야 합니다. 이 계산 시간은 세제곱 형태로 증가합니다. 데이터가 100개라면 빠릅지만, 1,000개라면 감당할 만한 수준이 됩니다. 그러나 10,000개가 되면 계산 시간이 너무 길어져서 며칠 또는 몇 주가 걸릴 수도 있으며, 이는 실시간 의사결정 상황에서는 무용지물입니다.

오래된 지름길: 무작위로 봉우리 뽑기

속도를 높이기 위해 연구자들은 니스트롬 방법이라는 기술을 사용합니다. 1,000개의 모든 포인트를 보는 대신, 작은 그룹의 "랜드마크"(예를 들어 50개의 포인트)를 선택하고 오직 그 포인트들만을 기반으로 전체 지도를 구축하려고 시도하는 것입니다. 이는 50개의 무작위 거리 모퉁이만을 보고 도시의 모양을 추측하는 것과 같습니다.

기존 방식의 문제는 사람들이 보통 이 50개의 모퉁이를 완전히 무작위로 선택한다는 점입니다. 운이 좋으면 가장 흥미로운 부분들을 선택할 수도 있겠지만, 다른 경우에는 지루하고 평탄한 블록 50개만 선택하여 고층 빌딩들을 놓칠 수도 있습니다. 이는 운에 따라 결과가 놀라울 정도로 좋거나, 혹은 끔찍하게 틀릴 수 있는 불안정한 지도로 이어집니다. 이 논문은 이러한 무작위성이 결함이며, 우리는 더 나은 선택 방법이 필요하다고 주장합니다.

새로운 해결책: 스마트 탐험가

룰루 강의 논문은 "탐욕적(greedy)"이면서도 "적응적(adaptive)"인 솔루션을 제안합니다. 여기서 "탐욕적"이라는 말은 이기적이라는 뜻이 아니라, 즉각적으로 최선의 정보를 얻어내고자 열렬히 노력한다는 의미입니다. "적응적"이라는 것은 학습함에 따라 생각을 바꾼다는 뜻입니다.

새로운 방법의 단계별 작동 방식은 다음과 같습니다:

1. 작게 시작하기: 소수의 무작위 랜드마크 세트(예: 20개의 포인트)로 시작합니다.
2. 혼란 확인하기: 현재의 지도를 살펴보고 "어디에서 불확실성이 가장 높은가?"라고 질문합니다. 아직 선택되지 않은 모든 데이터 포인트에 대해 "잔차(residual, 오차의 척도)"를 계산합니다.
3. 최선의 선택하기: 해당 포인트를 추가했을 때 오차를 가장 많이 줄일 수 있는 단 하나의 포인트를 탐욕적으로 선택합니다. 이 지점은 현재의 지도가 가장 혼란스러워하는 지점입니다.
4. 정교화 및 반복하기: 새로운 포인트가 추가되면, 방법은 단순히 멈추지 않습니다. 지도가 여전히 정확하도록 전체 모델의 설정(하이퍼파라미터)을 다시 계산합니다. 그런 다음, 그다음으로 가장 혼란스러운 포인트를 찾아내어 추가합니다.

이 순환 과정은 지도가 충분히 좋아지거나 컴퓨터의 시간이 다 할 때까지 반복됩니다. 핵심 혁신은 이 방법이 포인트를 한 번 뽑고 잊어버리는 것이 아니라, 포인트를 하나 뽑고, 전체 시스템에 대한 이해를 업데이트한 뒤, 그 새로운 이해를 바탕으로 다음 포인트를 뽑는다는 점에 있습니다.

실험 결과

저자는 다섯 가지 벤치마크 문제(보어홀 내의 물 흐름 시뮬레이션부터 비행기 날개의 무게 계산까지)를 사용하여 이 새로운 "스마트 탐험가" 방법을 기존의 "무작위 선택자" 및 "완벽하지만 느린" 방법과 비교 테스트했습니다.

결과는 명확했습니다:

• 정확도: 적응형 방법은 무작위 방법보다 일관되게 우수했습니다. "피스톤(Piston)" 시뮬레이션 테스트에서 무작위 방법의 오차율은 0.0202였던 반면, 적응형 방법은 거의 4배 더 나은 0.0053을 기록했습니다. 고차원 "강철 기둥(Steel Column)" 테스트에서도 적응형 방법은 완벽하지만 느린 방법만큼 정확했던 반면, 무작위 방법은 크게 벗어났습니다.
• 안정성: 무작위 방법은 변동성이 컸습니다. 서로 다른 무작위 시드로 열 번을 실행하면 열 개의 서로 다른 결과가 나왔습니다. 반면 적응형 방법은 안정적이었습니다. 운에 의존하지 않기 때문에 매번 일관된 결과를 제공했습니다.
• 속도: 이 부분이 까다로운 부분입니다. 적응형 방법은 최선의 포인트를 찾고 모델을 재최적화해야 하므로 무작위 방법보다는 느립니다. 하지만 완벽한 방법보다는 훨씬 빠릅니다. 예를 들어, 1,000개의 포인트를 가진 "강철 기둥" 테스트에서 완벽한 방법은 878.69초가 걸렸습니다. 적응형 방법은 1,000개 대신 약 91개의 랜드마크만을 사용하면서도 173.82초가 걸렸습니다. 이는 정확도의 손실 거의 없이 엄청난 시간을 절약한 것입니다.

한 가지 흥미로운 예외가 있었습니다. 복잡한 수학적 모델을 가진 "날개 무게(Wing Weight)" 함수 테스트에서는 무작위 방법이 특정 시나리오에서 약간 더 나은 성과를 보였습니다. 저자들은 매우 높은 차원의 공간에서는 때때로 무작위로 퍼져 있는 것이 국소적인 세부 사항에 너무 집중하는 탐욕적 접근 방식보다 전체적인 그림을 더 잘 포착할 수 있기 때문일 수 있다고 제술했습니다. 하지만 전반적으로는 적응형 방법이 승자였습니다.

결론

이 논문은 빅데이터 문제를 영원히 해결했다고 주장하는 것이 아니라, 이를 다루는 매우 강력하고 원칙적인 방법을 제시합니다. "다음에 무엇을 보아야 가장 많이 배울 수 있는가?"를 끊임없이 묻고 그 과정에서 내부 설정을 업데이트하는 탐욕적 전략을 사용함으로써, 적응형 니스트롬 방법은 대규모 데이터셋에 대한 가우시안 프로세스 회귀를 수행하는 신뢰할 수 있고 효율적인 방법을 제공합니다. 이는 한때 주사위 던지기와 같았던 과정을 전략적인 체스 게임으로 바꾸어 놓았으며, 우리가 선택하는 모든 랜드마크가 제 역할을 다하도록 보장합니다. 방대한 양의 시뮬레이션 데이터를 다루는 과학자와 엔지니어들에게 이는 컴퓨터가 수학 계산을 끝내기를 기다리는 몇 주를 기다리지 않고도 고품질의 예측을 얻을 수 있음을 의미합니다.