Doubly robust nearest neighbors in factor models

현대 데이터의 광활한 풍경 속에서 정보는 결코 완전하지 않습니다. 환자의 건강 상태를 수개월 동안 추적하든, 고객이 다음에 무엇을 구매할지 예측하든, 혹은 제품이 여러 지역에서 어떻게 성능을 보이는지 이해하든, 연구자들은 상당한 공백이 있는 숫자 행렬에 직면하곤 합니다. 센서가 고장 났거나, 사용자가 설문 조사를 건너뛰었거나, 혹은 처치가 적용되지 않았기 때문에 일부 항목이 누락됩니다. 과제는 이 빈칸들을 충분히 정확하게 채워 신뢰할 수 있는 결정을 내리는 것입니다. 이를 위해 통계학자들은 세상이 숨겨진 패턴에 의해 지배된다는 아이디어에 의존하곤 합니다. 그들은 우리가 보는 데이터가 사용자의 일반적인 선호도나 특정 시간대와 같이 데이터 전체에 걸쳐 반복되는 몇 가지 근본적인 힘에 의해 형성된다고 가정합니다. 만약 우리가 이러한 숨겨진 패턴을 찾을 수 있다면, 누락된 숫자가 무엇이어야 할지 추측할 수 있습니다.

수십 년 동안, 이러한 추측을 하기 위한 대중적인 방법 중 하나는 "이웃"을 찾는 것이었습니다. 특정 사용자가 어떤 제품에 대해 어떻게 생각할지 알고 싶다면, 그와 매우 유사한 다른 사용자들을 살펴보고 그 이웃들이 무엇을 좋아했는지 확인하는 것입니다. 이것이 최근접 이웃(nearest neighbors)의 논리입니다. 그러나 이 방법에는 치명적인 결함이 있습니다. 바로 좋은 이웃을 실제로 찾을 수 있을 때만 작동한다는 점입니다. 만약 해당 사용자가 독특하거나 시기가 이례적이라면, 복사할 만큼 유사한 대상이 없기 때문에 이 방법은 실패합니다. 라즈 드위베디(Raaz Dwivedi)와 그의 동료들이 수행한 새로운 연구는 두 가지 서로 다른 유형의 이웃 탐색을 결합하는 더 스마트한 방법을 만들어냄으로써 이러한 취약성을 해결합니다. 단 한 가지 유형의 유사성에만 의존하는 대신, 그들의 새로운 방법인 '이중 강건 최근접 이웃(Doubly Robust Nearest Neighbors)'은 유사한 사용자 또는 유사한 시간대 중 어느 하나라도 가용하다면 성공합니다. 만약 두 가지가 모두 존재한다면, 이 방법은 이전에는 도달할 수 없었던 수준의 정확성을 제공하며 더욱 정밀해집니다.

연구진은 관측된 점들의 흩어진 집합으로부터 전체 데이터 격자를 재구성하는 것을 목표로 하는 '행렬 완성(matrix completion)'이라는 특정 수학적 퍼즐을 다루고 있었습니다. 그들은 데이터가 '단위(units)'(사람이나 제품 등)를 나타내는 한 세트의 요인과 '시간(time)'(날짜나 시간 등)을 나타내는 다른 한 세트의 요인을 혼합하는 숨겨진 함수에 의해 생성되는 시나리오에 집중했습니다. 이 설정에서 특정 교차점의 값은 단위의 숨겨진 특성이 시간의 숨겨진 특성과 어떻게 상호작용하는지에 따라 결정됩니다. 표준적인 접근 방식은 두 가지 별개의 전략을 포함합니다. 첫 번째인 '단위 최근접 이웃(unit-nearest neighbors)'은 데이터에서 대상 행과 유사한 다른 행들을 찾습니다. 두 번째인 '시간 최근접 이웃(time-nearest neighbors)'은 대상 열과 유사한 다른 열들을 찾습니다. 두 전략 모두 데이터가 유사한 패턴으로 밀집되어 있을 때는 잘 작동하지만, 데이터가 희소하거나 대상이 이상치(outlier)인 경우에는 어려움을 겪습니다.

팀은 이 두 전략이 서로 배타적인 것이 아니라, 서로의 약점을 보완하기 위해 결합될 수 있다는 점을 깨달았습니다. 그들은 "유사한 사용자가 있는가?"와 "유사한 시간이 있는 있는가?"라는 두 가지 질문을 동시에 던지는 효과적인 새로운 추정기를 개발했습니다. 만약 두 질문 중 하나라도 '예'라고 답한다면, 새로운 방법은 신뢰할 수 있는 추정치를 생성합니다. 이것이 그들이 말하는 '이중 강건함(doubly robust)'의 의미입니다. 즉, 두 번째 전략이 작동하는 한 첫 번째 전략의 실패에 대해 강건하며, 그 반대의 경우도 마찬가지입니다. 연구진은 만약 두 전략 모두 좋은 이웃을 찾는다면, 새로운 방법이 단순히 그 결과들을 평균 내는 것이 아니라 그 강점들을 곱한다는 것을 수학적으로 증명했습니다. 이는 두 방법이 단독으로 달성할 수 있는 것보다 훨씬 더 큰 폭의 정확도 향상을 이끌어냅니다. 기술적인 용어로 이 개선은 오차율의 거의 이차적(near-quadratic) 감소를 의미하며, 이는 아주 적은 추가 데이터만으로도 추정치가 훨씬 더 날카로워짐을 뜻합니다.

이론을 검증하기 위해 연구진은 단순한 선형 관계와 더 복잡한 비선형 관계를 모두 포함하는 실제 세계의 시나리오를 모방한 합성 데이터를 사용하여 광범적인 시뮬레이션을 실행했습니다. 그들은 새로운 방법을 기존의 단위 최근접 이웃, 시간 최근접 이웃 및 기타 표준 행렬 완성 알고리즘과 비교 테스트했습니다. 결과는 명확했습니다. 새로운 방법은 일관되게 다른 방법들보다 우수한 성능을 보였습니다. 데이터가 단순한 선형 규칙에 의해 생성된 경우, 새로운 방법은 데이터 크기에 따라 증가하는 계수로 오차를 줄였으며, 이는 기존 방법들의 성능을 훨씬 능가했습니다. 요인 간의 관계가 비선형적인 더 복잡한 시나리오에서도 이 접근 방식은 상당한 우위를 유지했으며, 종종 기존의 최상급 방법들과 대등하거나 그들을 능가하면서도 최악의 경우의 실패는 피했습니다.

또한 팀은 'HeartSteps'라는 모바일 헬스 임상 시험의 실제 데이터셋에 이 방법을 적용했습니다. 이 연구에서 참가자들은 활동 추적기를 착용하고 신체 활동을 장려하기 위해 무작위 알림을 받았습니다. 목표는 특정 조건이 관찰되지 않은 시간이라 하더라도, 알림을 받았을 때와 받지 않았을 때 참가자가 몇 걸음을 걸을지 추정하는 것이었습니다. 알림이 무작위로 전송되었기 때문에 데이터는 자연스럽게 희소했습니다. 연구진이 새로운 '이중 강건 최근접 이웃' 방법을 사용하여 이러한 공백을 채웠을 때, 그 추정치는 표준 방법들에 의해 생성된 것보다 더 정확했습니다. 오차 분포가 더 좁았는데, 이는 추정치가 실제 값에 지속적으로 더 가깝다는 것을 의미합니다. 이는 이 방법이 이론이나 컴퓨터 생성 숫자에 그치지 않고, 누락된 정보가 일반적인 지저대로 복잡하고 지저분한 실제 데이터에서도 작동함을 입증했습니다.

이 연구의 핵심 통찰 중 하나는 데이터가 처리되는 방식에 수반되는 트레이드오프(trade-off)였습니다. 수학적 보증을 증명하기 위해 연구진은 처음에 특정 유형의 통계적 편향을 피하고자 데이터를 별도의 덩어리로 나누었습니다. 그러나 실제 실험에서는 데이터를 나누지 않고 전체 데이터를 사용하는 것이 실제로 더 나은 결과를 낸다는 것을 발견했습니다. 데이터를 나누는 것이 이론적 증명에는 도움이 되었지만, 이웃을 찾는 데 사용할 수 있는 정보의 양을 줄여 추정치의 노이즈를 증가시켰습니다. 실제 적용에서는 더 많은 데이터를 사용하여 유사성을 찾는 이점이 이론적인 편향 위험보다 더 컸으며, 이는 실제 환경에서는 모든 가용 정보를 사용하는 것이 종종 더 우월한 선택임을 시사합니다.

이 연구의 함의는 단순히 누락된 숫자를 채우는 것을 넘어섭니다. 데이터가 희소하거나 이질적인 상황에서도 신뢰할 수 있는 추정을 할 수 있는 능력은 개인 맞춤형 의료 및 타겟 광고와 같은 분야에서 매우 중요합니다. 이러한 분야에서의 결정은 종-종 독특한 개인이나 이전에 본 적 없는 상황에 대해 내려집니다. 만약 완벽한 매칭을 찾을 수 없다는 이유로 방법이 실패한다면, 그 결과는 잘못된 권고나 효과 없는 치료로 이어질 수 있습니다. 한 유형의 유사성이 누락되더라도 추정 과정이 강건함을 유지하도록 보장함으로써, 이 새로운 접근 방식은 의사결정을 위한 안전망을 제공합니다. 이는 시스템이 데이터가 완벽하게 구조화되어 있지 않다는 이유로 실패하는 대신, 가용한 데이터로부터 학습할 수 있게 해줍니다.

연구진은 또한 이 접근 방식이 단위, 시간, 그리고 개입이나 위치와 같은 세 번째 요인이 포함된 3차원 텐서와 같은 더 복잡한 데이터 구조로 확장될 수 있다고 언급했습니다. 여러 소스의 유사성을 결합하여 강건한 추정치를 만드는 논리는 그곳에도 적용될 수 있으며, 잠재적으로 '삼중 강건(triply robust)' 방법으로 이어질 수 있습니다. 이는 단일한 완벽한 매칭을 찾는 것에서 벗어나, 여러 개의 불완전한 정보 소스를 지능적으로 결합하는 방향으로 통계적 추론의 더 넓은 경로를 제시합니다. 이 작업은 "이웃 찾기"와 같은 단순하고 직관적인 아이디어를 어떻게 재고하느냐에 따라, 부분의 합보다 훨씬 더 탄력적이고 정확한 도구를 구축할 수 있음을 보여주는 사례입니다.

궁극적으로 이 논문은 흔한 문제, 즉 불완전한 정보를 어떻게 이해할 것인가에 대한 실질적인 해결책을 제시합니다. 우리는 좋은 추측을 하기 위해 완벽한 데이터나 완벽한 매칭을 기다릴 필요가 없다는 것을 보여줍니다. 서로 다른 유형의 유사성이 존재함을 인정하고 이를 함께 사용하는 법을 배움으로써, 우리는 불확실성에 직면했을 때 더 신뢰할 수 있는 모델을 구축할 수 있습니다. 이 방법은 논리는 단순하지만 실행력은 강력하며, 거대하고 복잡한 데이터에 의해 주도되는 세상에서 누락된 데이터를 처리하는 새로운 표준을 제공합니다.