The Smallest Standard Error Is the Wrong One: Selection Among Multiple Imputations Invalidates Inference
이 논문은 가장 작은 표준 오차를 가진 다중 대체 분석을 선택하는 것이 필수적인 대체 간 분산을 버리고 대체 간 분산을 인위적으로 낮춤으로써 통계적 추론을 체계적으로 무효화하며, 이로 인해 신뢰 구간의 피복률이 심각하게 저하되고 추정치가 편향되는 반면, 루빈(Rubin)의 통합 규칙은 교정(calibration)을 올바르게 보존한다는 것을 입증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
데이터 분석의 세계에서 누락된 정보는 늘 함께하는 동반자입니다. 병원에서 환자의 회복을 추적하든, 들판에서 작물 수확량을 측정하든, 혹은 경제적 추세를 연구하든, 연구자들이 완벽한 숫자 세트를 갖는 경우는 드뭅니다. 어떤 항목은 비어 있고, 유실되었거나, 기록되지 않았습니다. 이러한 공백을 메우기 위해 통계학자들은 다중 대치법(multiple imputation)이라는 기술을 사용합니다. 빈 자리를 채우기 위해 단 하나의 값만을 추측하는 대신, 그들은 누락된 데이터에 대해 여러 가지 서로 다른, 그럴듯한 버전들을 만들어냅니다. 그런 다음 각 버전별로 분석을 수행합니다. 이 접근 방식은 누락된 숫자가 미지수라는 점과, 서로 다른 추측이 약간 다른 결론으로 이어질 수 있다는 점을 인정합니다. 이 모든 버전의 결과를 결합함으로써, 분석가들은 자신이 가진 데이터와 누락된 것에 대한 불확실성을 모두 정직하게 반영하는 최종 답안을 도출할 수 있습니다. 목표는 보고된 결과에 대한 신뢰도가 상황의 실제와 일치하도록 보장하는 것입니다.
최근 남아프리카 공화국의 한 연구팀은 이 과정에서의 겉보기에 논리적인 지름길이 사실은 수학을 망가뜨린다는 것을 발견했습니다. 그들은 분석가들이 여러 버전의 데이터를 생성한 후, 가장 정밀해 보이는 버전, 즉 오차 범위가 가장 작은 버전을 선택할 때 스스로를 속이고 있다는 사실을 발견했습니다. 연구를 더 선명하게 보이게 하려는 듯한 이 선택은, 불확실성의 진정한 양을 체계적으로 숨깁니다. 연구자들은 후보군 중 가장 '좋아 보이는' 결과를 선택함으로써, 분석가들이 그 방법을 신뢰할 수 있게 만드는 바로 그 정보를 버리게 된다는 것을 보여주었습니다. 그들은 이러한 관행이 신뢰 구간을 너무 좁게 만들고 점 추정치를 미묘하게 편향되게 하여, 결과가 실제보다 더 확실한 것처럼 보이게 만든다는 것을 증명했습니다.
연구는 통계 작업에서 나타나는 자연스러운 유혹을 조사하는 것으로 시작되었습니다. 연구자가 각각의 계산된 추정치와 그 추정치가 변할 수 있는 정도를 나타내는 척도를 가진 20개의 완성된 데이터셋을 가지고 있을 때, 가장 작은 변동을 가진 것을 선택하고 싶은 유혹이 생깁니다. 작은 변동은 더 조밀하고 정밀한 결과를 암시하며, 이는 보통 과학자들이 보고하고 싶어 하는 것입니다. 이 방식을 이전에 직접 옹호했던 경험이 있는 연구자들은 이를 엄격하게 테스트하기로 했습니다. 그들은 정답을 미리 알고 있는 통제된 시뮬레이션을 설정했습니다. 그들은 누락된 값이 있는 데이터셋을 생성하고, 각 데이터셋에 대해 20개의 서로 다른 대치 버전을 만든 다음, '가장 작은 추정 오차를 가진 것을 선택한다'는 선택 규칙을 적용했습니다.
결과는 극명했습니다. 정답을 알고 있는 시뮬레이션에서, 가장 작은 오차를 선택하는 방법은 95%의 확률로 정답을 포함해야 함에도 불구하고 약 84.5%의 경우에만 정답을 포함했습니다. 이는 이 방법이 정답을 포착하는 데 있어 예상보다 더 자주 실패했음을 의미합니다. 연구자들은 이 실패의 세 가지 뚜렷한 이유를 식별했습니다. 첫째, 단 하나의 데이터셋만을 선택하여 그것이 유일한 실제 데이터인 것처럼 취급함으로써, 서로 다른 추측들 사이의 변동성을 버렸습니다. 이 변동성은 매우 중요한데, 왜냐하면 그것이 누락된 숫자에 대한 불확실성을 나타내기 때문입니다. 둘째, 20개의 집단에서 가장 작은 숫자를 뽑는 행위는 자연스럽게 결과를 하향 편향시킵니다. 20명의 사람 중 가장 키가 작은 사람이 일반 인구의 평균적인 키보다 작을 가능성이 높은 것과 마찬가지로, 20개 그룹의 가장 작은 오차 추정치는 실제 평균 오차보다 작을 가능성이 높습니다. 셋째, 값의 추정치와 그 오차의 추정치는 종종 연결되어 있기 때문에, 가장 작은 오차를 선택하는 것은 의도치 않게 특정 종류의 값을 선택하게 되어 최종 답안을 진리로부터 멀어지게 만듭니다.
문제의 심각성을 설명하기 위해, 연구자들은 다중 대치를 처리하는 표준적이고 수용되는 방식인 루빈의 법칙(Rubin's rules)과 이 선택 방법을 비교했습니다. 루빈의 법칙은 한 명의 승자를 뽑는 대신, 20개의 추측을 하나의 평균화된 결과로 결합합니다. 연구자들이 동일한 20개의 추측에 이 표준 방법을 적용했을 때, 결과는 완벽하게 보정되었습니다. 신뢰 구간은 목표대로 94.6%의 확률로 정답을 포함했습니다. 반면, 선택 방법은 종이 위에서는 더 정밀해 보였고 더 좁은 불확실성 범위를 보고했지만, 그 정밀함은 정확성을 대가로 얻은 환상이었습니다.
연구는 또한 연구자들이 생성하는 추측의 수를 늘릴 때 어떤 일이 발생하는지도 탐구했습니다. 표준적인 조언은 더 많은 대치를 사용하는 것이 더 나은, 더 안정적인 결과를 가져온다고 제안합니다. 그러나 선택 방법의 경우, 정반대의 현상이 일 나타났습니다. 연구자들이 후보 데이터셋의 수를 2개에서 100개로 늘림에 따라, 선택 방법의 성능은 오히려 악화되었습니다. 신뢰 구간은 정답을 포함하는 비율이 81.7%까지 떨어지며 더욱 신뢰할 수 없게 되었고, 최종 답안의 편향은 더 커졌습니다. 반면, 모든 추측을 결합하는 표준 방법은 얼마나 많은 추측을 사용하든 관계없이 안정적이고 정확하게 유지되었습니다. 이는 분석가가 더 신심을 갖기 위해 더 많은 데이터를 사용하라는 조언을 따를 때, 아무런 경고 신호 없이 오히려 추론의 신뢰도를 떨어뜨리는 위험한 함정에 빠질 수 있음을 드러냈습니다.
연구자들은 표준 오차가 분석의 목표인 동시에 그 성공을 판단하는 심판이 될 수는 없다고 결론지었습니다. 가장 작은 오차를 최적화하면서 동시에 그 오차를 불확실성에 대한 정직한 척도로 신뢰할 수는 없습니다. 그들은 통계적 방법을 평가하기 위한 새로운 프로토콜을 제 제안했습니다. 연구자들은 서로 다른 방법들의 정밀도를 비교하기 전에, 먼저 보고된 불확실성이 실제 결과의 변동성과 일치하는지 확인해야 합니다. 그들은 이를 '교정 우선(calibration-first)' 접근법이라 불렀습니다. 만약 어떤 방법이 실제보다 너무 작은 오차를 보고한다면, 신뢰 구간이 아무리 좁아 보이더라도 즉시 거부되어야 합니다. 이 규칙은 선택 방법이 공정한 비교에서 승자로 나타나는 것을 방지할 것입니다.
이 연구는 데이터 과학의 특정한, 매력적인 아이디어에 대한 교정 작업입니다. 연구자들은 자신들이 이 선택 방법을 타당한 개선책이라고 믿고 이전에 직접 제안했음을 인정했습니다. 그들은 정답을 알고 있는 엄격한 시뮬레이션을 통해 자신들의 작업을 재검토함으로써, 그 방법이 근본적으로 결함이 있음을 입증했습니다. 그들은 이 실패가 사소한 기술적 문제가 아니라 통계적 추론을 무효화하는 구조적인 문제임을 강조했습니다. 그들이 제시하는 해결책은 간단합니다. 승자를 뽑지 마십시오. 대신, 모든 후보를 결합하십시오. 결과들을 통합함으로써, 이 방법은 필요한 불확실성을 보존하고 유효하며 신뢰할 수 있는 결론을 만들어냅니다. 이 연구는 정밀함을 추구하는 과정에서 가장 매력적인 지름길이 때로는 진리로부터 멀어지는 길일 수 있음을 상기시켜 줍니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.