당신이 안개 낀 거대한 도시에서 가장 인기 있는 장소를 찾으려 한다고 상상해 보세요. 지도를 전체적으로 볼 수는 없지만, 당신에게는 거리의 혼잡도에 따라 어느 쪽이 "오르막"이고 어느 쪽이 "내리막"인지 알려주는 특별한 나침반이 있습니다. 이것이 바로 베이지안 추론(Bayesian inference)의 세계입니다. 베이지안 추론은 과학자들이 데이터를 통해 가장 가능성 높은 설명을 찾아내려는 통계학의 한 분야입니다. 이 "도시"는 수학적 경관인 사후 분포(posterior distribution)이며, "혼잡한 지점"은 우리가 찾고자 하는 정답입니다.

이 도시를 탐험하기 위해 통계학자들은 마르코프 연쇄 몬테카를로(MCMC)라는 방법을 사용합니다. 이것을 로봇 탐사대를 보내는 것이라고 생각하세요. 로봇은 한 걸음을 내딛고, 나침반을 확인한 뒤, 다음에 어디로 갈지 결정합니다. 만약 로봇이 그저 무작위로 헤맨다면, 최적의 장소를 찾는 데 백만 년이 걸릴 수도 있습니다. 하지만 로봇이 나침반(경사도, gradient)을 사용하여 지능적으로 내리막으로 미끄러지거나 오르막을 굴러 올라간다면, 훨씬 더 빠르게 답을 찾을 수 있습니다. 이것이 경사 기반 샘플러(gradient-based samplers)의 영역입니다. 하지만 함정이 있습니다. 로봇의 나침반은 완벽하지 않으며, 도시의 지형은 까다로울 수 있습니다. 때로는 평탄한 평지였다가, 때로는 가파른 협곡이었다가, 때로는 기묘하게 뒤틀린 깔때기 모양이 되기도 합니다. 만약 로봇이 너무 빨리 움직이면 절벽 아래로 날아가 버리고, 너무 느리게 움직이면 길을 잃고 갇히게 됩니다. 큰 질문은 이것입니다: 어떻게 하면 빠르고 정확하며, 이러한 기묘한 형태 속에서도 길을 잃지 않는 로봇을 만들 수 있을까요?

제임스 초크(James Chok)가 쓴 이 논문은 이러한 로봇 탐사자들을 위한 마스터클래스이자 수리 매뉴얼 역할을 합니다. 저자는 우리가 서로 다른 샘플링 방법들(HMC, MALA, NUTS 등)을 단순히 서로 관련 없는 도구들의 목록으로 취급하는 경우가 많지만, 사실 이들은 모두 세 가지 동일한 재료로 만들어졌다고 주장합니다: 이상적인 연속 운동, 디지털 단계 생성, 그리고 교정 필터입니다. 이 논문은 우리가 매끄럽고 완벽한 운동을 컴퓨터 프로그램으로 변환할 때 작은 오류(편향, bias)가 발생한다는 것을 보여줍니다. 우리는 이 오류를 "메트로폴리스 조정(Metropolis adjustment)"(나쁜 단계를 거부하는 엄격한 심판)을 통해 수정할 수 있지만, 이 심판은 때때로 너무 까다로워 로봇의 속도를 늦추기도 합니다.

이 논문의 핵심 발견은 가장 큰 문제가 단순히 로봇의 속도가 아니라, 바로 "도시의 모양"이라는 점입니다. 저자는 고정된 "질량(mass)"(로봇이 느끼는 무게감에 대한 표준 설정)을 가진 로로봇이 긴 좁은 통로(전역적 비등방성, global anisotropy)나 위치에 따라 규칙이 변하는 뒤틀린 깔때기(국소적 다중 스케일 기하학, local multiscale geometry)를 만났을 때 어려움을 겪는다는 것을 보여줍니다. 논문은 최선의 전략이 계층적 접근법이라고 제안합니다: 첫째, 도시 자체를 재구성하고(재매개변수화), 둘째, 로봇에게 긴 통로를 평평하게 만드는 맞춤형 지도를 제공하며(전역적 프리컨디셔닝), 셋째, 여전히 깔때기 같은 까다로운 지형이 있다면 로봇이 스스로 보폭을 조절하게 하는 것(무작위 보폭 크기)입니다. 논문은 유명한 "No-U-Turn Sam플러(NUTS)"가 훌륭한 기본 선택지이긴 하지만, 마법의 탄환은 아니라고 결론짓습니다. 매우 큰 데이터셋이나 복잡한 깔때기 모양의 문제의 경우, 스스로 보폭을 조절하는 더 단순하고 조정되지 않은 로봇이 오히려 우승자가 될 수 있습니다.

완벽한 보행자의 이야기

당신이 출구를 찾기 위해 거대하고 보이지 않는 미로를 통과하며 걷고 있다고 상상해 보세요. 이상적인 세상이라면, 당신은 공기 중을 미끄러지듯 이동하며 바람이 당신을 출구 쪽으로 완벽하게 밀어주는 것을 느낄 수 있을 것입니다. 이것이 수학자들이 말하는 연속 역학(continuous dynamics)입니다. 그것은 실수가 전혀 없는 완벽하고 매끄러운 흐름입니다. 논문에서 저자는 이를 "이상적 해밀토니안 몬테카를로(Idealized Hamiltonian Monte Carlo)"라고 부릅니다. 이는 마치 정확히 어디로 가야 할지 아는 유령과 같습니다.

하지만 우리는 현실 세계에 살고 있으며, 컴퓨터는 미끄러지듯 움직일 수 없습니다. 대신 단계를 밟아야 합니다. 이것이 이산화(discretization)입니다. 똑같은 미로를 걷고 있지만, 정해진 크기의 발걸음만 뗄 수 있다고 상상해 보세요. 만약 보폭이 너무 크면 코너를 지나쳐 벽에 부딪힐 수 있습니다. 만약 보폭이 너무 작으면, 방 하나를 가로지르는 데만 백만 번의 발걸음을 내디뎌야 할 것입니다. 이것이 논문에서 말하는 "편향(bias)"입니다. 컴퓨터의 경로는 더 이상 완벽한 유령의 경로가 아니라, 울퉁불퉁하고 약간 틀어진 근사치가 됩니다.

이를 해결하기 위해 우리는 메트로폴리스 조정(Metropolis adjustment)을 추가합니다. 이것을 문 앞의 엄격한 보안 요원이라고 생각하세요. 로봇이 한 걸음을 내디딜 때마다 보안 요원은 확인합니다: "정말로 출구에 가까워졌나, 아니면 그냥 비틀거린 것뿐인가?" 만약 그 걸음이 실수였다면, 보안 요원은 "안 돼, 원래 있던 곳으로 돌아가!"라고 말합니다. 이것은 로봇이 결국 완벽한 출구를 찾도록 보장하지만, 동시에 로봇이 거절당하고 가만히 서 있는 시간을 늘리기도 합니다. 논문은 이것이 트레이드오프라고 설명합니다: 완벽한 답을 원하는가(보안 요부와 함께), 아니면 빠르고 약간은 투박한 답을 원하는가(보안 요 없이)?

미로의 모양

이 논문의 가장 흥미로운 부분은 미로의 모양을 다루는 방식입니다. 저자는 모든 미로가 같지 않다는 점을 지적합니다.

비등방성 미로 (긴 복도):
미로가 매우 길고 좁은 복도라고 상상해 보세요. 만약 표준 보폭으로 그곳을 통과하려 한다면, 복도 안에 머물기 위해 아주 작은 발걸음을 내디뎌야 합니다. 하지만 작은 발걸음을 떼면 끝까지 가는 데 영겁의 시간이 걸립니다. 논문은 "프리컨디셔닝(preconditioning)"이라는 기술을 제안합니다. 이것은 로봇에게 복도를 정사각형 방처럼 보이게 늘려주는 마법의 신발을 주는 것과 같습니다. 갑자기 로봇은 크고 자신감 있게 발걸음을 내디딜 수 있습니다. 논문은 미로의 모양에 기반한 "질량 행렬(mass matrix)"(이 마법의 신발을 설명하는 멋진 용어)을 사용하면 로봇이 질주할 수 있음을 보여줍니다.

깔때기 미로 (뒤틀린 슬라이드):
이제 다른 종류의 미로인 깔때기를 상상해 보세요. 위쪽은 넓어서 걷기 쉽습니다. 하지만 내려갈수록 점점 더 좁아지고 벽은 더 가팔라집니다. 이것이 "닐의 깔때기(Neal's Funnel)"입니다. 만약 당신의 로봇이 위쪽에서 안전한 보폭을 사용한다면, 아래쪽에서는 벽에 충돌할 것입니다. 반대로 아래쪽에서 안전한 보폭을 사용한다면, 위쪽에서는 너무 느리게 움직여서 어디에도 도달하지 못할 것입니다.
논문은 단 하나의 고정된 보폭으로는 이 문제를 해결할 수 없다고 주장합니다. 로봇은 똑똑해져야 합니다. 로봇은 "아, 지금은 좁은 구간에 있으니 작은 발걸음을 내디뎌야 해"라고 알아차려야 하고, "아, 지금은 넓은 구간이니 큰 발걸음을 뗄 수 있어"라고 알아야 합니다. 저자는 무작위 보폭 크기(randomized step size)를 제안합니다. 고정된 규칙 대신, 로봇은 현재 벽이 얼마나 가파른지에 따라 보폭을 어떻게 할지 동전을 던지거나(또는 확률 분포에서 추출하여) 결정합니다. 이를 통해 로봇은 갇히거나 충돌하지 않고 까다로운 깔때기를 항해할 수 있습니다.

결론: 만능은 없다

논문은 모든 미로에 적합한 단 하나의 "최고의" 로봇은 없다는 결론을 내립니다.

• **NUTS (No-U-Turn Sampler)**는 원을 그리며 걷지 않기 위해 머릿속으로 경로의 나무(tree)를 구축하는 로봇과 같습니다. 대부분의 미로에 훌륭하며 많은 이들이 사용하는 기본 선택지입니다. 하지만 미로가 거대하거나 기묘한 깔때기가 있다면, NUTS는 혼란에 빠지거나 나무를 구축하는 데 너무 많은 시간을 소비할 수 있습니다.
• MALA와 MAKLA는 더 단순한 로봇입니다. 이들은 나무를 만들지 않고 그저 발걸음을 내딛습니다. 이들은 더 빠르고 강력한 컴퓨터(예: GPU)에서 실행하기 쉽지만, 미로가 까다로우면 좀 더 방황할 수 있습니다.
• 하이브리드 접근법: 저자는 하나의 레시피를 제안합니다. 먼저 미로 자체를 고쳐보세요(재매개변수화). 그것이 통하지 않는다면, 로봇에게 맞춤형 지도를 주세요(프리컨디셔닝). 만약 미로가 여전히 깔때기 형태라면, 로봇이 스스로 보폭을 조절하게 하세요(무작위 보폭 크기).

이 논문은 모든 문제를 해결했다고 주장하는 것이 아닙니다. 사실, 매우 복잡한 미로(엄격한 경계가 있거나 폭이 0인 벽이 있는 경우 등)의 경우 완전히 새로운 유형의 로봇이 필요할 수도 있음을 인정합니다. 하지만 대다수의 문제에 있어서 핵심은 단순히 화려한 알고리즘을 고르는 것이 아니라, 문제의 모양을 이해하고 로봇의 "신발"과 "보폭"을 그에 맞춰 조정하는 것입니다. 이러한 방법들을 서로 관련 없는 도구의 목록이 아닌 하나의 통합된 가족으로 다룸으로써, 이 논문은 데이터라는 안개 낀 도시를 항해하기 위한 더 명확한 지도를 제공합니다.