Additive Control Variates Dominate Self-Normalisation in Off-Policy Evaluation

당신이 미지의 은하계를 항해하는 우주선의 선장이라고 상상해 보십시오. 당신에게는 이전 선장이 작성한 지도가 있습니다(이것이 "기존 정책"입니다). 이 지도는 과거의 별들이 어디에 있었는지를 보여주지만, 당신은 충돌을 피하기 위해 현재 별들이 어디에 있는지를 알아야 합니다. 하지만 단순히 그곳으로 날아가서 직접 확인하는 것은 위험하고 비용이 많이 들기 때문에 불가능합니다. 대신, 당신은 이전 선장의 여정이 기록된 로그북을 가지고 있습니다. 당신은 실제로 궤도를 벗어나지 않고도, 만약 당신이 그 배를 운행한다면 어떤 일이 일어날지를 예측하기 위해 이 로그북을 사용하고자 합니다. 이것이 바로 **오프-폴리시 평가(Off-Policy Evaluation)**라고 불리는 분야의 핵심입니다. 이는 마치 새로운 전략을 안전하게 테스트하기 위해 오래된 데이터를 사용하여 "만약에"를 시뮬레이션하는 것과 같습니다.

이러한 예측을 하기 위해 과학자들은 **역 성향 점수(Inverse Propensity Scoring, IPS)**라는 도구를 사용합니다. 이것은 오래된 로그북의 기록들을 "재가중치(re-weighting)"하는 방법이라고 생각하면 됩니다. 예를 들어, 이전 선장은 특정 구역을 거의 방문하지 않았지만, 당신의 새로운 계획은 그 구역을 자주 방문한다면, 정확한 그림을 얻기 위해 그 드문 방문 기록들을 더 무겁게 계산해야 합니다. 하지만 이 재가중치는 까다롭습니다. 때때로 수학적 계산이 너무 격렬해져서 예측값이 이 값에서 저 값으로 요동치게 되어 쓸모없게 만들 수 있습니다. 이를 해결하기 위해 연구자들은 전통적으로 "자기 정규화(self-normalizing)" 기법을 사용해 왔습니다. 이는 마치 흔들거리고 휘청거리는 저울을 가져와서, 전체 무게를 전체 항목의 수로 나누어 균형을 맞추도록 강제하는 것과 같습니다. 이 방법은 저울을 안정시키지만, 약간의 숨겨진 오차를 유발하는 투박한 도구입니다.

이제, 그 저울을 더 똑똑하게 맞추는 새로운 방법을 상상해 보십시오. 단순히 나누는 대신, 당신은 "베이스라인(baseline)" 보정을 추가합니다. 즉, 계산된 특정 오프셋을 더해 흔들림이 시작되기도 전에 이를 상쇄하는 것입니다. Olivier Jeunen과 Shashank Gupta의 새로운 논문은 아주 단순하지만 심오한 질문을 던집니다. "우리가 사용하는 기존의 흔들거리는 '자기 정규화' 방식이 정말 최선인가, 아니면 이 새로운 '가산형 베이스라인(additive baseline)' 방식이 더 우월한가?" 그들은 단순히 추측한 것이 아니라, 엄격한 수학을 통해 새로운 방식이 단순히 조금 더 나은 수준이 아니라, 충분한 데이터가 있을 때 기존 방식보다 근본적으로 더 우월하다는 것을 증명했습니다.

이 논문의 거대한 발견

이 논문에서 저자들은 데이터 과학계의 오랜 논쟁을 다룹니다: "클래식한 '자기 정규화(Self-Normalized)' 방식을 고수할 것인가, 아니면 '가산 제어 변수(Additive Control Variates)'로 전환할 것인가?"

수년 동안 "자기 정규화 역 성립향 점수(Self-Normalized Inverse Propensity Scoring, SNIPS)"는 표준적인 방법으로 군림해 왔습니다. 이는 새로운 추천 시스템이나 검색 엔진을 실제로 배포하지 않고도 그것이 얼마나 잘 작동할지 추정하기 위해 누구나 사용하는, 매개변수가 필요 없는 신뢰할 수 있는 일꾼입니다. 이 방식은 가공되지 않은 노이즈 섞인 데이터를 가져와서 무게의 합으로 나누어 상황을 완화합니다. 이는 마치 흐릿한 사진을 찍고 일반적인 "자동 보정" 필터를 적용하는 것과 같습니다. 도움이 되긴 하지만 완벽하지는 않습니다.

저자들은 도전자를 소개합니다: $\beta^*$-IPS. 이 방법은 "가산 제어 변수"를 사용하는데, 이는 멋진 말로 표현하자면 노이즈를 상쇄하기 위해 계산된 특정 숫자(베이스라인)를 더하는 것을 의미합니다. 이것은 단순히 흐릿한 사진을 고치는 것이 아니라, 사진을 찍기 전에 조명을 조절하는 것과 같습니다. 논문은 만약 우리가 이 베이스라인을 올바르게 계산한다면(최적의 $\beta^*$를 찾는다면), 우리의 결과가 기존 방식보다 훨씬 더 선명하고 정확해질 것임을 증명합니다.

"아하!" 모먼트: 왜 기존 방식이 최적이 아니었는가

이 논문의 가장 흥able한 부분은 기존 방식이 왜 우리를 가로막고 있었는지 밝혀내는 수학적 증명입니다. 저자들은 SNIPS가 사실 가산 제어 변수를 사용하는 것과 수학적으로 동일하지만, 매우 특정한 고정된 베이스라인, 즉 **정책의 실제 값($V(\pi)$)**을 사용하는 것임을 보여줍니다.

여기에는 함정이 있습니다: 우리는 정책의 실제 값을 모릅니다! 그것이 바로 우리가 찾고자 하는 것입니다! 이것은 마치 물건의 정확한 무게를 이미 알고 있다고 가정하고 저울의 균형을 맞추려는 것과 같습니다. SNIPS는 이론적인 상수인 이 "실제 값"을 베이스라인으로 사용하도록 묶여 있기 때문에, 최적이 아닌 설정을 사용할 수밖에 없습니다.

저자들은 새로운 방법인 $\beta^*$-IPS가 오차를 최소화하는 실제 최적의 베이스라인을 찾아낸다는 것을 증명합니다. 그들은 새로운 방법의 예측이 기존 방법의 예측보다 평균적으로 진실에 더 가까울 것이라는 점, 즉 평균 제곱 오차(Mean Squared Error, MSE) 측면에서 확실히 개선될 것임을 보여줍니다. 쉽게 말해, 새로운 방법의 예측은 기존 방법보다 더 정확합니다.

"분산 격차(Variance Gap)": 수학적 결투

확실히 하기 위해, 저자들은 단순히 "더 좋아 보인다"라고 말하는 데 그치지 않았습니다. 그들은 두 방법 사이의 **분산 격차(variance gap)**에 대한 정확한 공식을 도출했습니다. 분산은 결과가 얼마나 요동치는지를 나타내는 척도입니다. 분산이 낮을수록 결과는 더 일관되고 신뢰할 수 있습니다.

그들은 기존 SNIPS 방식의 분산이 새로운 $\beta^*$-IPS 방식의 분산보다 항상 크거나 같다는 것을 발견했습니다. 두 방법 사이의 격차는 실제 정책 값과 최적의 베이스라인 사이의 차이를 포함하는 간단한 공식에 의해 결정됩니다. 실제 값이 최적의 베이스라인과 정확히 일치하는 특수한 경우가 아니라면, 새로운 방법이 엄격하게 더 우월합니다.

또한 논문은 "이 새로운 베이스라인을 추가하는 것이 편향(bias)을 유발하지 않는가?"라는 흔한 우려를 다룹니다. (편향이란 결과가 지속적으로 너무 높거나 낮게 나오는 체계적인 오류를 의미합니다.) 저자들은 동일한 데이터로부터 최적의 베이스라인을 추정하여 사용하는 것이 미세한 유한 표본 편향을 도입할 수는 있지만, 이는 이미 SNIPS에 존재하는 편향과 같은 차원의 문제라고 설명합니다. 그러나 새로운 방법이 분산을 매우 크게 줄여주기 때문에, 전체적인 오차(MSE)는 여전히 더 낮습니다. 이는 더 나은 트레이드오프입니다.

단일 아이템에서 순위 리스트로

논문은 단순한 아이템 단계에서 멈추지 않습니다. 또한 구글의 검색 결과나 틱톡의 "추천 피드"와 같은 복잡한 **순위(rankings)**의 세계를 다룹니다. 이 시나리오에서 당신은 단 하나의 아이템을 고르는 것이 아니라, 특정 순서에 따라 아이템 전체 리스트를 선택하는 것입니다.

저자들은 이 설정을 확장하여 $\beta^*$-IPM(Item-Position Model)이라는 방법을 도입합니다. 그들은 이 새로운 방법이 기존의 순위 추정치인 SNIPM보다 리스트의 모든 위치에서 우월함을 증명합니다. 첫 번째 결과든 열 번째 결과든, 새로운 방법은 해당 위치가 얼마나 좋은지에 대해 더 정확한 추정치를 제공합니다. 이는 실제 응용 분야에서 좋은 추천과 나쁜 추천의 차이가 사용자의 잔류 여부를 결정짓는 중요한 요소가 되기 때문에 매우 중요합니다.

결론

그렇다면 이것이 미래에 무엇을 의미할까요? 저자들은 "매개변수가 필요 없는" 기본 솔루션으로서 자기 정규화(SNIPS)에 과도하게 의존하는 현재의 경향이 잘못되었을 수 있다고 결론짓습니다. SNIPS는 안정적이고 사용하기 쉽지만, 수학적으로는 최적이 아닙니다.

이 논문은 자기 정규화에서 최적 베이스라인 보정으로 전환해야 한다는 명확한 이론적 근거를 제공합니다. 새로운 방법인 $\beta^*$-IPS는 편향과 분산 사이에서 더 우수한 균형을 제공합니다. 이 방법은 복잡한 하이퍼파라미터 튜닝이나 방대한 양의 데이터를 요구하지 않고도 더 나은 성능을 내기 시작하며, 단지 베이스라인을 조금 더 똑똑하게 계산하기만 하면 됩니다.

결국, 저자들은 일단 적당한 양의 로그 데이터가 확보되면, "가산 제어 변수" 접근 방식이 명백한 승자라고 제안합니다. 이는 표준 나침반에서 실시간 교통 정보가 포함된 GPS로 업그레이드하는 것과 같습니다. 기존 방식은 방향은 알려주지만, 새로운 방식은 더 빠르고, 부드럽게, 그리고 훨씬 높은 확률로 사고를 피하며 목적지에 도달하게 해줍니다.