거대한 직소 퍼즐을 풀려고 노력 중이라고 상상해 보세요. 그런데 상자에는 조각이 무한히 들어있다고 적혀 있습니다. 컴퓨터 과학과 통계학의 세계에서 이것은 "비매개변수적(non-parametric)" 모델링이라 불리는 흔한 문제입니다. 변수의 개수를 고정해서 추측하는 대신(예: "데이터 클러스터가 정확히 5개다"), 컴퓨터는 실제로 필요한 조각이 몇 개인지를 스스로 알아내려 하며, 잠재적으로는 영원히 조각을 찾아낼 수도 있습니다. 이러한 퍼즐을 해결하기 위해 과학자들은 **해밀토니안 몬테카를로(Hamiltonian Monte Carlo, HMC)**라는 영리한 기술을 사용합니다. HMC를 안개가 자욱한 산맥에서 가장 깊은 골짜기를 찾으려는 등산객이라고 생각해 보세요. 단순히 작고 무작위적인 발걸음을 옮기는 것(이는 느리고 비효율적입니다) 대신, 등산객은 운동량을 가진 공을 던집니다. 공은 경사를 따라 굴러 내려가며 속도를 얻고, 이를 통해 등산객은 안개 낀 언덕을 뛰어넘어 훨씬 빠르게 최적의 지점을 찾아낼 수 있습니다. 하지만 함정이 있습니다. 표준적인 등산객은 고정된 좌표를 가진 지도가 필요합니다. 만약 지도가 무한하다면, 등산객은 무한한 산의 기울기를 계산할 수 없기 때문에 길을 잃고 멈춰 서게 됩니다.

여기서 새로운 논문이 등장하며, "최선의 방식으로 유예된(deferred)" 컴퓨터를 위한 해결책을 제시합니다. Haskell이라는 프로그래밍 언어를 사용하여 연구를 진행한 연구진은, 산이 무한할지라도 등산객은 단지 어느 방향으로 굴러갈지 알기 위해 몇 개의 특정 바위만을 확인하면 된다는 사실을 깨달았습니다. 그들은 DeferredHMC라고 불리는 새로운 방법을 개발했습니다. 이것은 마치 발밑의 땅과 바로 앞의 몇 걸음만을 살피며, 실제로 발을 내디뎌야 할 때까지는 나머지 무한한 산은 무시하는 등산객과 같습니다. 이를 통해 컴퓨터는 표준적인 방법으로는 너무 어려웠던 복잡한 무한 퍼즐을, 무한함에 압도당하지 않으면서도 운동량의 속도를 활용하여 해결할 수 있게 되었습니다.

문제: 무한한 산과 길을 잃은 등산객

확률적 프로그래밍의 세계에서 통계학자들은 데이터가 어떻게 생성되는지 설명하기 위해 코드를 작성합니다. 때때로 그들은 얼마나 많은 "매개변수"(모델의 조절 나사와 다이얼)가 필요한지 알지 못합니다. 예를 들어, 데이터 포인트들을 클러스터링하고 있는데 그룹이 3개인지 300개인지 모를 수도 있습니다. 또는 영원히 계속되는 랜덤 워크(random walk)를 모델링할 수도 있습니다. 이 경우 "매개변수 공간"은 무한합니다.

표준 HMC는 유한한 문제에서 매우 뛰어난 성능을 발휘합니다. HMC는 탐색을 안내하기 위해 **기울기(gradients)**를 사용합니다. 모델의 가능성(likelihood)을 하나의 풍경이라고 상상해 보세요: 높은 언덕은 맞지 않는 모델이고, 깊은 골짜기는 잘 맞는 모델입니다. HMC는 언덕의 기울기를 이용하여 공을 골짜기 쪽으로 굴립니다. 하지만 기울기를 계산하려면 모든 지점에서의 언덕 높이를 알아야 합니다. 만약 언덕이 무한한 차원을 가지고 있다면, 기울기를 계산하는 것은 불가능해 보입니다.

이전에 사람들은 이를 해결하기 위해 세 가지 방법을 시도했지만, 모두 결함이 있었습니다:

1. 절단(Truncation): 단순히 특정 높이에서 산을 잘라버리는 것입니다. 이는 "퍼즐의 처음 100조각만 보겠다"라고 말하는 것과 같습니다. 작동은 하지만, 어디서 자를지 예측해야 하며, 너무 일찍 자르면 해결책을 놓칠 수 있기 때문에 까다롭습니다.
2. 동적 차원(Dynamic Dimensions): 진행하면서 산을 조각조각 만들어가는 방식입니다. 이는 더 나은 방법이지만, 코드를 복잡하게 만들고 "선언적(declarative)"인 성격(즉, 문제가 무엇인지에 집중하기보다 어떻게 만드는지에 집중하게 됨)을 떨어뜨립니다.
3. 기울기를 사용하지 않는 유예 방식(Deferred Methods without Gradients): "유예된 평가(필요한 것만 계산하는 것)"는 사용했지만, 운동량(momentum)을 포기했습니다. 이는 등산객이 다시 작고 무작위적인 발걸음을 떼게 만들었으며, 이는 매우 느립니다.

이 논문은 질문합니다: 우리는 두 가지 장점을 모두 가질 수 있을까? 무한한 산 위에서도 HMC의 강력하고 빠른 운동량을 사용하면서, 동시에 우리가 실제로 필요한 부분만을 볼 수는 없을까?

해결책: 유예된 등산객

저자들인 Maria-Nicoleta Crăciun과 그녀의 팀은 "그렇다"라고 답합니다. 그들은 기울기의 힘과 Haskell 프로그래밍의 "유예된(deferred)" 특성을 결합한 DeferredHMC라는 방법을 개발했습니다.

여기에 마법 같은 트릭이 있습니다: 산은 무한하지만, 등산객(컴퓨터 프로그램)은 기울기를 파악하기 위해 오직 유한한 수의 바위만을 건드립니다.

1. "PACAP" 통찰: 연구팀은 광범위한 프로그램 클래스에 대해, "기울기"가 유한한 수의 장소에서만 0이 아니라는 것을 수학적으로 증명했습니다. 모델이 무한한 잠재적 차원을 가지고 있더라도, 당신이 보고 있는 특정 데이터는 그중 몇 가지만을 "활성화"합니다. 이는 거대한 도서관과 같아서, 특정 질문에 답하기 위해 단 세 페이지의 글만 읽으면 되는 것과 같습니다. 나머지 도서관은 그 순간에는 무관합니다.
2. 유예된 평가(Deferred Evaluation): Haskell에서는 값이 필요할 때만 계산됩니다. 컴퓨터는 무한한 난수 리스트 전체를 생성하는 것이 아니라, 수학적으로 요구될 때만 첫 번째, 두 번째 값을 생성합니다.
3. 상쇄 트릭(The Cancellation Trick): 이것이 가장 영리한 부분입니다. HMC에서는 새로운 위치가 좋은지 결정하기 위해 "수용 비율(acceptance ratio)"을 계산해야 합니다. 보통 여기에는 모든 차원에 대한 숫자를 곱하는 과정이 포함됩니다. 만약 차원이 무한하다면, 이 곱셈은 무한해집니다. 하지만 저자들은 등산객이 방문하지 않은 차원들에 대해서는 수학적으로 완벽하게 작동하여, 그 항들이 서로 상쇄되어(곱해서 1이 되어) 사라진다는 것을 보여주었습니다. 따라서 무한한 곱은 방문한 차원들만을 포함하는 작은 유한한 곱으로 축소됩니다.

실제 작동 방식

논문은 몇 가지 다른 버전의 유예된 등산객을 소개하지만, 모두 동일한 논리를 따릅니다:

• 1단계: 등산객은 현재 위치에서 시작하여 무작위 "충격(momentum)"을 받습니다.
• 2단계: 등산객은 경사를 따라 굴러갑니다. 굴러가는 동안, 등산객은 실제로 밟게 되는 무한한 산의 부분만을 계산합니다.
• 3단계: 만약 등산객이 이전에 없던 새로운 바위를 밟는다면(새로운 차원을 활성화한다면), 시스템은 해당 지점에 필요한 데이터를 유예된 방식으로 생성합니다.
• 4단계: 등산객은 머무를지 아니면 돌아갈지를 결정합니다. 방문하지 않은 부분의 산은 수학적으로 상쇄되기 때문에, 등산객은 그 부분에 대해 알 필요가 없습니다.

저자들은 또한 Deferred NUTS(No-U-Turn Sampler)를 만들었습니다. 표준 HMC는 얼마나 멀리 굴러갈지(단계의 수)를 예측해야 합니다. 너무 적게 구르면 충분히 탐색하지 못하고, 너무 많이 구르면 시간을 낭비하게 됩니다. NUTS는 스스로 되돌아오기 시작할 때 자동으로 멈추는 스마트한 알고리즘입니다. 저자들은 이 또한 유예된 버전을 만들어, 컴퓨터가 전체 무한한 산을 보지 않고도 얼마나 멀리 구를지 결정할 수 있게 했습니다.

실험: 실제로 효과가 있는가?

팀은 이 아이디어를 테스트하기 위해 몇 가지 까다로운 문제에 대한 시뮬레이션을 실행했습니다:

• 기하 분포(Geometric Distribution): 단계의 수가 상한이 없는 모델입니다. 유예된 HMC 방식은 이전의 최고 방법인 NP-HMC보다 최소 10배 더 빨랐으며, 정확한 결과를 도출했습니다.
• 랜덤 워크(Random Walks): 워커가 영원히 움직이는 모델입니다. 유예된 방식은 워커의 시작 위치를 성공적으로 찾아냈습니다. 유예된 NUTS 방식은 순수 시간 측면에서는 느렸지만, 다른 방법들보다 훨씬 더 나은 솔루션(높은 "유효 샘플 크기")을 찾아냈습니다.
• 클러스터링(Gaussian Mixture): 그룹의 개수를 알 수 없는 모델입니다. 유서된 방식은 클러스터의 개수와 중심 위치를 정확히 식정하였으며, 기존 방법들과 대등하거나 더 나은 성능을 보였습니다.
• 다항 회귀(Polynomial Regression): 곡선의 복잡도(차수)를 알 수 없는 모델입니다. 유예된 방식은 올바른 차수(5)를 찾아내고 데이터를 잘 맞추었지만, 기존 방식들은 잘못된 복잡도에서 멈춰버렸습니다.

이것이 의미하는 바

이 논문은 모든 통계 문제를 해결했다고 주장하는 것이 아닙니다. 이것이 모든 무한 모델에 대한 최종 결론이라고 말하는 것도 아닙니다. 그러나 이 논문은 기울기 기반의 HMC가 절단하거나 차원을 수동으로 추적할 필요 없이 무한 차원 공간에서 직접 작동할 수 있음을 입증합니다.

핵 핵심적인 교훈은 유예된 평가(deferred evaluation)가 초능력이라는 점입니다. 값을 계산해야 할 마지막 순간까지 기다림으로써, 컴퓨터는 무한을 다루는 불가능한 과업을 피할 수 있습니다. 대신, 컴퓨터는 다룰 수 있는 유한한 조각을 처리하며, 수학은 나머지 무한한 세계가 중요하지 않도록 보장합니다.

저자들은 이 방식이 테스트한 모델들에는 잘 작동하지만, 실제 세계의 시스템에서는 설정값(예: 단계의 크기)을 조정하기 위해 여전히 인간의 가이드가 필요할 수 있다고 제안합니다. 하지만 현재로서는, 그들은 베이지안 추론의 새로운 길을 열었습니다. 즉, 컴퓨터가 길을 잃지 않고 무한을 탐험할 수 있는 길 말입니다.