Learning What to Learn: Experimental Design when Combining Experimental with Observational Evidence

위대한 탐정의 딜레마: 단서가 거짓말을 할 때

당신이 거대한 미스터리를 풀려는 탐정이라고 상상해 보십시오. 가난한 가정에 돈을 지원하는 것과 같은 새로운 정책이 한 국가의 경제를 어떻게 변화시킬 것인가 하는 문제입니다. 당신에게는 두 종류의 단서가 있습니다. 첫 번째 유형은 "무작위 대조 실험(Randomized Controlled Trial, RCT)"에서 오는 것입니다. 이것은 마치 실험실에서 특정 처치를 준 집단과 관찰하는 완벽하게 통제된 과학 실험과 같습니다. 이 단서들은 매우 가치 있습니다. 왜냐로 결과의 원인을 정확히 알 수 있기 때문입니다. 하지만 함정이 있습니다. 이러한 실험은 비용이 많이 들고 보통 아주 작고 특정한 마을에서만 이루어집니다. 이들은 그 마을에서는 어떤 일이 일어나는지는 알려주지만, 물가가 변하고 사람들이 복잡하게 반응하는 전체 국가 차원에서 어떤 일이 벌어질지는 알려주지 못합니다.

두 번째 유형의 단서는 "관찰적 증거(Observational Evidence)"에서 옵니다. 이것은 다른 곳에서 일어났던 일에 대한 오래된 사건 기록이나 뉴스 보고서를 읽는 것과 같습니다. 이 단서들은 저렴하고 넓은 지역을 다루지만, 매우 지저질 수 있습니다. 아마도 그 오래된 보고서 속의 사람들은 달랐거나, 혹은 결과가 실제와 다르게 보이게 만든 다른 무언가가 있었을 수도 있습니다. 과학자들의 큰 고민은 이것입니다. 이 두 종류의 단서를 어떻게 섞을 것인가? 실험의 신뢰성과 오래된 보고서의 거시적인 관점을 모두 얻고 싶지만, 오래된 보고서가 얼마나 거짓말을 하고 있는지 알 수 없습니다. 만약 당신이 오래된 보고서를 너무 믿는다면 당신의 이론 전체가 무너질 수 있습니다. 반대로 그것들을 무시한다면 유용한 정보를 너무 많이 낭비하게 됩니다. 이 논문은 탐정들이 실험에 예산을 얼마나 쓸지, 아니면 지저분한 오래된 파일에 얼마나 의존할지를 결정하기 위해 더 나은 지도를 만드는 방법에 관한 것입니다.

논문의 해결책: "후회"의 나침반

"Learning What to Learn"이라는 제목의 이 논문은 새롭고 비싼 데이터와 오래되고 편향될 가능성이 있는 데이터를 섞어야 할 때 실험을 설계하는 새로운 방법을 제안합니다. 저자인 아리스토텔리스 에파노메리타키스(Aristotelis Epanomeritakis)와 다비데 비비아노(Davide Viviano)는 실험 데이터가 편향되었을 가능성을 무시한 채 단순히 결과의 "노이즈"나 분산을 최소화하려고 하는 기존 방식이 위험하다고 주장합니다. 대신, 그들은 **미니맥스 비례 후회(Minimax Proportional Regret)**라는 새로운 나침반을 도입합니다.

"후회(Regret)"를 다른 선택을 했더라면 하고 되돌아보며 느끼는 감정이라고 생각해 보십시오. 이 논문에서 저자들은 오래된 데이터의 정확한 편향 정도를 알고 있는 초지능적인 "오라클(Oracle, 신비로운 존재)"을 상상합니다. 오라클은 최고의 답을 얻기 위해 완벽한 실험과 데이터를 섞는 완벽한 방법을 선택합니다. 실제 연구자들에게는 마법 같은 오라클이 없으므로, 그들은 정확한 편향 정도를 알 수 없습니다. 그래서 저자들은 이렇게 묻습니다. "우리가 최악의 시나리오에서도 우리의 선택을 최대한 후회하지 않도록 만드는 설계를 고른다면 어떨까?"

논문은 최선의 전략이 단순히 가장 정밀한 수치를 주는 실험을 고르는 것이 아니라는 점을 밝혀냅니다. 대신, 다음 두 가지 사이의 균형을 맞추는 "스윗 스팟(sweet spot)"을 찾는 것입니다:

1. 분산 후회(Variance Regret): 충분한 데이터를 수집하지 못해 발생하는 결과의 "노이즈"나 흔들림.
2. 편향 후회(Bias Regret): 편향된 오래된 보고서를 너무 믿어서 발생할 수 있는 오류.

저자들은 최적의 설계란 이 두 종류의 후회가 같아지는 지점이라고 보여줍니다. 이것은 마치 줄타기 선수의 모습과 같습니다. 노이즈를 최소화하는 쪽으로 너무 치우치면(방대한 실험 데이터를 수집하면), 편향의 절벽(거짓을 믿는 것)으로 떨어질 수 있습니다. 반대로 편향을 최소화하는 쪽으로 너무 치우치면(노이즈가 많은 데이터를 무시하면), 분산의 절벽(수치가 너무 흔들리는 것)으로 떨어질 수 있습니다. 이 논문은 수학적으로 가장 좋은 설계는 우리가 두 절벽 모두에 대해 똑같이 걱정하는 설계임을 증명합니다.

현실 세계에서의 작동 방식

그들의 아이디어가 효과가 있는지 증명하기 위해, 저자들은 현금 지원이 학교 출석률에 어떤 영향을 미치는지 알고 싶어 하는 케냐 정부의 실제 사례를 테스트했습니다. 그들은 멕시코의 유명한 프로그램(PROGERSA)에서 나온, 케냐에는 완벽하게 적용되지 않을 수도 있는 오래된 데이터를 가지고 있었습니다. 그들은 현금의 직접적인 효과, 소득의 효과, 또는 임금의 효과를 측정하기 위해 새로운 실험을 수행할지 결정해야 했습니다.

새로운 "후회" 방식을 사용하여, 저자들은 기존의 방식(이른 만큼 "네이만 배분(Neyman allocation)"이라 불리는 방식)이 가장 깨끗한 수치를 제공한다는 이유로 모든 돈을 현금 지원 실험에 쏟아부었을 것이라고 찾아냈습니다. 그러나 이는 오래된 멕시코 데이터가 편향되었을 위험을 간과한 것이었습니다. 새로운 방법은 다른 길을 제시했습니다. 그것은 고려된 모든 표본 크기에 대해 현금 지원 실험 대신 직업 프로그램 실험을 수행할 것을 권장했습니다. 기존 방식은 매우 큰 표본 크기에 도달해서야 직업 프로그램으로 전환했지만, 새로운 방식은 편향의 위험을 피하기 위해 즉시 이를 우선순위에 두었습니다.

시뮬레이션에서 새로운 방식은 기존 방식이 오래된 데이터가 완벽할 때는 훌륭해 보일지라도, 데이터가 조금만 틀려도 무너진다는 것을 보여주었습니다. 새로운 "후회 최적(Regret-optimal)" 설계는 안정적이었습니다. 이 방식은 결과의 "노이즈"가 약간 증가하는 것을 받아들이는 대신, 잘못될 위험을 대폭 줄였습니다. 예를 들어, 표본 크기가 3,700명(이런 종류의 연구에서 일반적인 규모)일 때, 기존 방식은 후회 점수가 4 또는 5를 넘어섰는데, 이는 최선의 답에서 매우 멀어져 있음을 의미합니다. 반면 새로운 방식은 후회 점수를 약 1.3 정도로 낮게 유지하여, 오래된 데이터가 편향되어 있더라도 진실에 훨씬 더 가깝게 접근했습니다.

논문이 말하는 것과 말하지 않는 것

이 논문은 자신이 무엇을 하고 무엇을 하지 않는지 매우 명확히 밝히고 있습니다. 이 논문은 우리가 실험을 그만해야 한다거나 오래된 데이터를 사용하지 말아야 한다고 주장하지 않습니다. 또한 우리가 오래된 데이터가 얼마나 편향되었는지 마법처럼 알 수 있다고 말하지도 않습니다. 사실, 핵심은 우리가 그것을 모른다는 데 있습니다.

저자들은 편향을 생각하지 않고 단순히 실험 수치를 최대한 정밀하게 만드는 것(분산 최소화)에 대해 명시적으로 반대합니다. 만약 그렇게 한다면, 틀린 질문에 대해 매우 정밀한 답을 내놓게 될 수도 있다는 것을 보여줍니다. 또한 편향이 두려워 오래된 데이터를 완전히 무시하는 것에도 반대합니다. 그것은 자원을 낭비하고 흔들리는 결과를 남기기 때문입니다.

연구 결과는 수학적 증명과 컴퓨터 시뮬레이션을 바탕으로 합니다. 저자들은 자신들의 방법이 광범위한 공통 통계 도구(GMM 및 최소 거리 추정량 등)에 적용 가능하며, 심지어 "베이지안 청중(다양한 신념을 가진 집단)"이 데이터를 해석하려는 시나리오에서도 작동함을 보여줍니다. 그들은 자신들의 "후회" 접근법이 미지의 영역을 다루는 견고한 방법임을 증명합니다. 그들은 모든 경제학 문제를 해결했다고 주장하는 것이 아니라, 깨끗한 실험과 지저분한 현실 세계의 데이터를 섞는 매우 흔한 문제에 대해 수학적으로 타당한 구체적인 도구를 제공하는 것입니다.

요약

결국, 이 논문은 연구자들에게 한정된 예산을 사용하는 새로운 규칙을 제공합니다. 그것은 다음과 같이 말합니다. "가장 빛나고 정밀한 데이터만을 찾지 마십시오. 당신이 그 실수가 정확히 무엇인지 모를 때조차, 당신을 가장 큰 실수로부터 안전하게 지켜줄 수 있는 설계를 찾으십시오." 이것은 겸손함에 대한 교훈입니다. 과거에 대해 모든 것을 알지 못한다는 점을 인정함으로써, 우리는 미래를 위한 더 나은 실험을 설계할 수 있습니다. 그 결과는 더 정직하고 더 신뢰할 수 있는 방식으로 거대한 정책 질문에 답하는 것이며, 정부가 프로그램에 돈을 쓰기로 결정할 때 정밀하면서도 회복 탄력성이 있는 토대 위에 기반하도록 보장하는 것입니다.