거대한, 뒤엉킨 매듭 같은 문제를 풀려고 노력하고 있다고 상상해 보세요. 컴퓨터 과학, 특히 머신러닝이라는 분야에서 우리는 컴퓨터에게 고객이 제품을 구매할지 아니면 환자가 특정 질환을 앓고 있는지 예측하는 것과 같이 '최선의' 방법을 찾는 법을 묻곤 합니다. 오랫동안 과학자들은 대개 단 하나의 완벽한 정답, 즉 유일한 '황금 모델'이 존재한다고 믿었습니다. 하지만 이 이야기에는 '라쇼몽 효과(Rashomon effect)'라고 불리는 매혹적인 반전이 있습니다. 네 명의 목격자가 동일한 사건에 대해 서로 다른 버전의 이야기를 하는 유명한 영화에서 이름을 따온 이 효과는, 완전히 다른 모델들이 거의 똑같이 우수한 성능을 낼 수 있는 현실을 설명합니다. 그 모델들은 모두 '충분히 괜찮지만', 서로 다른 단서를 사용하거나 데이터를 완전히 다른 방식으로 바라볼 수 있습니다.

이것이 왜 중요할까요? 만약 당신이 오직 그 하나의 '황금' 모델만을 찾는다면, 그와 거의 대등하게 좋은 수많은 대안들을 놓칠 수 있기 때문입니다. 어떤 대안들은 더 안전하거나, 이해하기 쉽거나, 혹은 더 공정할 수도 있습니다. 이를 연구하기 위해 연구자들은 **라쇼몽 집합(Rashomon set)**을 찾습니다. 이는 거의 완벽한 성능을 보이는 모든 모델의 모음입니다. 문제는 이 집합을 찾는 것이 해변의 모래알 하나하나를 세는 것만큼이나 거대하고 복잡한 작업이라는 점입니다. 특히 데이터가 단순히 '예/아니오'(빨간색 또는 파란색)와 같은 단순한 형태가 아니라, 온도, 키, 가격처럼 수백만 개의 지점으로 나뉠 수 있는 숫자인 **연속형 특징(continuous features)**을 포함할 때 더욱 그렇습니다.

여기서 새로운 연구가 등장합니다. **아보르에넘(ArborEnum)**이라는 영리한 새로운 도구를 소개하는 것이죠. 연구자들을 빽빽하고 안개 낀 숲을 탐험하는 탐험가라고 생각해 보세요. 이전에는 숲을 지도화하려면 관리가 가능하도록 깔끔한 정사각형 격자로 잘라내야 했습니다(이를 이진화(binarization)라고 합니다). 하지만 그 과정에서 자연 그대로의 연속적인 풍경 속에 존재하는 숨겨진 경로, 희귀한 나무, 그리고 중요한 지름길들을 놓치곤 했습니다. 이 논문의 저자들은 데이터를 먼저 조각내지 않고도, 그 자연스러운 곡선 그대로를 탐험할 수 있는 새로운 종류의 나침반을 만들었습니다. 그들은 데이터를 무시함으로써 기존 방식들이 '좋은' 모델의 거대한 부분을 놓치고 있다는 것을 발견했습니다. 그들의 새로운 방법은 이전보다 훨씬 더 빠르게, 때로는 수백 배 더 빠르게 이러한 모델들을 나열할 수 있습니다. 심지어 그들은 대략적인 스케치로 시작하여 시간이 지날수록 점점 더 상세해지는 '스마트한' 버전도 만들었습니다. 즉, 충분한 정보가 모였을 때 언제든 멈출 수 있도록 말이죠. 그들은 실제 세계의 데이터를 활용한 실험을 통해, 이 접근 방식이 시간만 절약하는 것이 아니라 기존의 격자 기반 방식들이 완전히 간과했던 중요한 특징들과 모델 변형들을 찾아낸다는 것을 증명했습니다.

숲과 격자의 이야기

당신이 미스터리를 풀려는 탐정이라고 상상해 보세요. 당신에게는 단서 더미가 있고, 범인을 알아내기 위해 의사결정 트리(flowchart 형태의 질문들)를 만들어야 합니다. 보통은 "용의자가 키가 180cm 이상인가?" 또는 "용의자가 모자를 쓰고 있는가?"와 같은 질문을 던질 것입니다. 과거에는 컴퓨터 과학자들이 트리를 구축하기 전에 모든 단서를 단순한 "예/아니오" 질문으로 바꾸어야 했습니다. 만약 단서가 "용의자의 키는 178cm이다"와 같은 숫자라면, 그들은 이를 바구니로 나누어야 했습니다: "170cm 미만인가?", "170~180cm 사이인가?", "180cm 초과인가?"

이 조각내는 과정을 **이진화(binarization)**라고 부릅니다. 이것은 마치 흐르는 강물을 일련의 사각형 콘크리트 수로로 강제하는 것과 같습니다. 문제는, 물을 이러한 경직된 상자에 가둠으로써, 당신이 아주 작고 완벽한 소용돌이나 상자 사이의 틈새를 타고 흐르는 숨겨겨진 물살을 놓칠 수도 있다는 점입니다. 머신러닝의 세계에서 이것은 당신이 데이터를 나누기 위한 '격자'가 정확히 필요한 위치에 선을 긋지 못했기 때문에, 완벽한 분할 지점을 놓칠 수 있음을 의미합니다.

라쇼몽 효과는 단 하나의 완벽한 플로우차트만 존재하는 것이 아니라는 아이디어입니다. 동일한 높은 정확도로 미스터리를 해결하는 수십, 수백 개의 서로 다른 플로우차트가 존재할 수 있습니다. 어떤 것은 키를 사용할 것이고, 어떤 것은 몸무게를 사용할 것이며, 어떤 것은 두 가지를 조합하여 사용할 것입니다. 라쇼몽 집합은 이처럼 똑같이 우수한 성능을 가진 모든 플로우차트의 모음입니다. 이 집합을 찾는 것은 매우 유용합니다. 어떤 단서가 정말 중요한지, 아니면 단순히 운이 좋았던 것인지를 이해하는 데 도움을 주기 때문입니다. 만약 어떤 단서가 거의 모든 좋은 플로우차트에 등장한다면, 그것은 진짜 핵심 열쇠일 가능성이 높습니다. 만약 단 하나에만 등장한다면, 그것은 우연일 수 있습니다.

오래된 지도의 문제점

오랫동안 이 라쇼몽 집합을 찾는 유일한 방법은 "콘크리트 수로" 방식(이진화)을 사용하는 것이었습니다. 연구자들은 연속적인 숫자를 몇 개의 바구니로 나누고 나서 모든 좋은 트리를 찾으려 노력했습니다. 하지만 여기에는 두 가지 큰 문제가 있었습니다. 첫째, 탐색 공간 자체가 이미 너무 컸습니다. 단 20개의 이진 특징만 있어도 지구상의 모래알보다 많은 트리가 존재했습니다. 둘째, 데이터를 조각냄으로써 정보를 버리게 되었습니다. 예를 들어, 격자의 바구니가 175와 180 단위로만 되어 있다면, 179.9와 같은 매우 구체적인 숫자에서 발생하는 분할을 놓칠 수 있습니다.

이 논문은 이러한 '거친(coarse)' 이진화가 마치 건초더미의 맨 윗부분만 보고 바늘을 찾는 것과 같다고 설명합니다. 바늘을 찾을 수는 있겠지만, 더 깊이 묻혀 있거나 모양이 약간 다른 바늘들은 놓치게 될 것입니다. 저자들은 데이터를 거친 바구니에 강제로 맞추었을 때, 많은 중요한 트리와 특징, 그리고 솔루션의 진정한 다양성(예측 다중성)을 놓친다는 것을 발견했습니다.

새로운 나침반: 아보르에넘(ArborEnum)

여기에 **아보르에넘(ArborEnum)**이 등장합니다. 저자들은 데이터를 먼저 조각내지 않고도 '연속적인 숲'을 탐험할 수 있는 최초의 알고리즘을 구축했습니다. 데이터를 사각형 바구니에 강제로 넣는 대신, 아보르에넘은 숫자의 자연스러운 순서를 존중합니다. 데이터를 매끄러운 선으로 취급하고, 수천 개의 가능한 절단 지점이 존재함을 인지한 상태에서 최적의 절단 위치를 찾습니다.

이를 위해 그들은 영리한 트릭을 사용했습니다. 줄을 자를 가장 좋은 지점을 찾는다고 상상해 보세요. 모든 밀리미터마다 테스트할 필요는 없습니다. 만약 10인치에서 자르는 것이 별로고, 11인치에서도 별로라면, 10.5인치에서 자르는 것도 훌륭하지 않을 것이라고 추측할 수 있습니다. 저자들은 이러한 '경계값(bounds)'을 사용하여 테스트할 필요가 없는 거대한 구간을 건너뛰는 방법을 개발했습니다. 이를 **가지치기(pruning)**라고 부릅니다. 이것은 마치 "이 골짜기에는 보물이 없으니 볼 것도 없다"라고 알려주는 지도와 같습니다.

또한 그들은 '프록시(proxy)' 시스템을 도입했습니다. 프록시는 빠르고 대략적인 추측이라고 생각하면 됩니다. 모든 가능성을 일일이 확인하는 힘든 작업을 하기 전에, 알고리즘은 경로를 탐색할 가치가 있는지 확인하기 위해 빠르고 근사적인 추측을 수행합니다. 만약 추측 결과가 "안 된다"라고 하면, 해당 가지 전체를 건너뜁니다. 만약 "될 수도 있다"라고 하면, 더 깊이 파고듭니다. 이를 통해 알고리즘은 놀라울 정도로 빠르게 실행됩니다. 실험에서 이 방식은 기존 방식보다 평균적으로 270배 더 빨랐으며, 어떤 경우에는 그 차이가 훨씬 더 극적이었습니다.

"언제든(Anytime)" 기능: 점점 더 좋아지는 스케치

아보르에넘의 가장 멋진 부분 중 하나는 언제든 사용 가능한(anytime) 알고리즘이라는 점입니다. 보통 완벽한 지도를 원한다면 컴퓨터가 모든 작업을 마칠 때까지 기다려야 합니다. 하지만 지금 당장 답이 필요하다면 어떻게 할까요? '언제든' 버전의 아보르에넘은 매우 거친 스케치로 시작합니다. 몇 개의 핵심적인 절단 지점만을 살펴볼 수도 있습니다. 그러면 그 거친 스로치를 바탕으로 좋은 트리 목록을 제공합니다.

그 후, 알고리즘을 더 오래 실행할수록 더 많은 절단 지점을 추가하여 지도를 정교하게 만듭니다. 스케치를 다듬고 빈틈을 채워나가는 것입니다. 시간을 더 많이 투자할수록, 트리의 목록은 더 상세하고 정확해집니다. 결국 충분히 오래 실행하면, 모든 좋은 트리의 정확한 목록을 찾아낼 수 있습니다. 가장 좋은 점은 무엇일까요? 당신은 언제든지 멈출 수 있다는 것입니다. 5분이 필요하다면 적절한 근사치를 얻을 수 있고, 5시간이 있다면 거의 완벽한 답을 얻을 수 있습니다. 저자들은 이 '거친 시작' 방식에서도 중요한 트리들을 거의 모두 회복해냈으며, 지도를 정교화하는 데 걸린 추가 시간은 최종 지점에서의 비정제 버전보다 약 2.7% 정도밖에 더 걸리지 않았음을 밝혔습니다.

발견한 내용과 그 의미

실험은 자전거 대여 예측부터 신용카드 연체 예측에 이르기까지 20가지의 다양한 실제 데이터셋을 대상으로 수행되었습니다. 결과는 명확했습니다:

1. 거친 이진화는 많은 것을 놓친다: 거친 이진화 방식과 새로운 연속형 방식을 비교했을 때, 기존 방식은 많은 트리와 중요한 특징들을 놓쳤습니다. 그것은 마치 안개 낀 창문을 통해 사진을 보는 것과 같았습니다. 대략적인 형태는 볼 수 있지만, 세부 사항은 놓치게 되는 것입니다.
2. 속도는 실재한다: 새로운 방식은 기존 방식보다 수십 배 더 빨랐습니다. "Bike"라는 데이터셋의 경우, 새로운 최적화 방식은 실행 가능한 유일한 다른 방식보다 63배 더 빠르게 완료되었습니다.
3. 정확도가 높다: 완벽한 프록시(proxy) 방식을 사용하더라도, 완벽한 방식이 찾아낸 트리의 **94.5%에서 100%**를 회복했습니다. 이는 무한정 기다리지 않고도 라쇼몽 집합의 거의 모든 이점을 얻을 수 있음을 의미합니다.
4. "언때든(Anytime)" 접근법이 효과적이다: 거칠게 시작하여 정교해지는 방식은 매우 효율적임이 입증되었습니다. 이 방식은 중요한 특징들을 초기에 찾아냈으며, 이는 전체 계산을 기다리지 않고도 빠르게 유용한 통찰을 얻을 수 있음을 의미합니다.

이 논문은 머신러닝의 모든 문제를 해결했다고 주장하는 것이 아닙니다. 연속형 특징이 유일한 방법이라거나, 이 방법이 모든 유형의 모델에 적용된다고 말하는 것도 아닙니다. 하지만 결정 트리(decision trees)에 있어서 연속형 데이터를 연속형으로 다루는 것이 게임 체인저라는 것을 견고한 실험적 증거를 통해 보여줍니다. 이를 통해 우리는 복잡성에 압도되지 않고도 라쇼몽 집합의 전체 모습을 볼 수 있습니다.

요약하자면, 아보르에넘은 좋은 솔루션의 풍경을 탐험하는 새로운 방법입니다. 세상에 맞지 않는 격자를 강요하는 대신, 실제 정답이 숨어 있는 매끄럽고 연속적인 경로를 따라 걷게 해줍니다. 당신이 최고의 모델을 찾는 데이터 과학자이든, 혹은 컴퓨터가 어떻게 결정을 내리는지 궁금해하는 호기심 많은 사람이든, 이 연구는 우리가 생각했던 것보다 더 많은 좋은 답이 존재하며, 이제 그것들을 찾을 수 있는 더 나은 방법이 생겼음을 시사합니다.