📊 statistics

When the record makes the result: exposure-linked recording of a continuous outcome can manufacture a spurious treatment effect in real- world evidence

본 연구는 시각적으로 추정된 혈액 손실과 같은 연속형 결과값의 노출 연관 차등 기록이 실제 임상적 차이가 아닌 체계적인 측정 오차를 통해 실제 세계 근거 연구에서 크고 견고해 보이는 치료 효과를 조작할 수 있음을 입증하며, 이는 허위 결론을 피하기 위해 특정 진단 검사와 객관적 척치에 대한 의존이 필요함을 시사한다.

원저자: Chia-Wei Chen, Shih-Peng Mao

게시일 2026-08-06

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Chia-Wei Chen, Shih-Peng Mao

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

데이터 속에 숨겨진 함정: "추측"이 가짜 과학을 만드는 법

당신이 수많은 경찰 보고서를 가지고 미스터리를 풀려는 탐정이라고 상상해 보십시오. 당신은 새로운 종류의 잠금장치가 기존의 것보다 도둑질을 더 잘 예방하는지 알고 싶습니다. 현대 과학의 세계에서 연구자들은 이와 매우 유사한 일을 합니다. 경찰 보고서 대신, 그들은 병원의 전자 의무 기록과 같은 방대한 디지털 기록인 "실제 세상의 증거(Real-World Evidence)"를 사용하여 새로운 치료법이 실제로 효과가 있는지 확인합니다. 이는 통제된 실험실 속의 사람이 아니라 실제 생활 속의 환자들을 관찰하기 때문에 매우 강력한 도구입니다.

하지만 함정이 있습니다. 때때로 보고서를 작성하는 사람들은 자를 사용하는 것이 아니라 눈으로 보고 추측을 합니다. 만약 의사가 환자가 흘린 혈액량을 추측해야 하거나 상처의 크기를 가늠해야 한다면, 그들은 정확한 진실 대신 자신에게 "적절해 보이는" 숫자를 적어 넣을 수 있습니다. 이를 두고 과학자들은 "추정(estimation)"이라고 부릅니다. 보통 우리는 이러한 추측이 라디오의 잡음처럼 약간의 소음만을 더한다고 생각합니다. 하지만 만약 그 잡음이 무작위가 아니라면 어떨까요? 만약 의사가 추측하는 방식이 환자가 어떤 약을 복용했느냐에 따라 달라진다면 어떨까요? 그것이 바로 이 논문이 던지는 무서운 질문입니다. 이 논문은 우리가 결과를 "기록하는 방식"이 어떻게 실수로 존재하지도 않는 기적의 치료제를 발명해낼 수 있는지, 그 숨겨진 함정을 탐구합니다.

존재하지 않는 "마법의" 약 이야기

이 연구에서 연구자들은 대만 한 병원의 8년 치 방대한 병원 기록을 조사했습니다. 그들은 출산 후 출혈을 막는 데 사용되는 카르베토신(carbetocin)이라는 약물을 조사하고 있었습니다. 여기서 반전이 있습니다. 이 약물은 보험 적용이 되지 않아 환자들이 직접 비용을 지불해야 했습니다. 이는 의사들이 누가 약을 투여받았고 누가 받지 않았는지 정확히 알 수 있게 했으며, 약물이 실제로 효과가 있는지 확인할 수 있는 완벽한 "자연 실험(natural experiment)" 환경을 만들어 주었습니다.

연구자들은 한 가지 특정 결과에 집중했습니다. 바로 질식 분만 시 산모의 혈액 손실량입니다. 많은 병원에서 이 수치는 저울로 측정되지 않고, 의사나 간호사에 의해 시각적으로 추정됩니다. 그들은 혈액을 보고 "150 mL" 또는 "200 mL"와 같이 숫자를 적습니다.

연구자들이 "표준적인" 방식으로 수치를 돌려보았을 때, 결과는 놀라웠습니다. 데이터는 이 약물이 혈액 손실을 무려 **62%**나 줄였다고 나타냈습니다. 이 수치에 대한 신뢰도는 매우 높아서 마치 확실한 과학적 발견처럼 보였습니다. 약물을 투여받은 집단은 혈액을 거의 흘리지 않은 것처럼 보였고, 대조군은 많은 양을 흘린 것으로 나타났습니다.

하지만 이 논문의 저자들은 거기서 멈추지 않았습니다. 그들은 무언가 수상하다는 단서를 찾기 위해 탐정 놀이를 시작했습니다.

"반올림된 숫자"라는 단서

그들이 처음 발견한 것은 범죄 현장에 남겨진 지문처럼 숫자들 사이의 이상한 패턴이었습니다. 약물을 투과받은 집단에서는 기록된 혈액 손실 값의 약 **60%**가 정확히 30 mL 또는 50 mL였습니다. 반면, 대조군에서 이러한 낮은 수치가 나타난 비율은 단 **2.4%**에 불 불과했습니다.

의사들이 흔히 숫자를 보기 좋게 반올림하여 적는 습향이 있다는 사실은 알려져 있습니다. 하지만 여기서 의사들은 일종의 비밀 규칙을 가진 듯 보였습니다. 만약 환자가 약을 복용했다면, 실제 손실량이 그보다 높더라도 거의 항상 "50 mL"라고 적었습니다. 마치 "환자가 마법의 알약을 먹었다면 50이라고 적으시오"라는 템플릿이 있는 것 같았습니다. 이것을 "숫자 선호(digit preference)" 또는 "값의 뭉침(value heaping)"이라고 합니다. 투여군이 실제로 혈액을 적게 흘린 것이 아니라, 기록 습관 때문에 적게 흘린 것으로 기록된 것이었습니다.

"타임 트래블(시간 여행)" 테스트

이것이 단순한 우연이 아님을 확인하기 위해, 연구자들은 시간이 흐름에 따라 패턴이 변하는지 확인했습니다. 만약 약물이 정말 효과가 있다면, 그 효과는 해마다 일관되어야 합니다. 그리고 결과는 그러했습니다! 2019년부터 2025년까지 약물 투여군의 중앙값 혈액 손실량은 매년 정확히 50 mL에 고정되어 있었습니다. 반면 대조군은 150 mL에서 200 mL 사이를 맴돌았습니다.

이것은 매우 큰 위험 신호입니다. 실제 생물학적 효과는 보통 7년 연속으로 정확히 똑같은 숫자에 고정되지 않습니다. 그런 경직성은 생물학적 기적이 아니라 기록 규칙을 시사합니다. 연구자들은 연도나 환자의 건강 상태를 조정하는 표준적인 통계적 기법을 사용하여 데이터를 수정하려고 시도했지만, "62% 감소"라는 결과는 정확히 그대로 유지되었습니다. 이는 문제가 두 집단의 차이가 아니라, 결과를 기록하는 방식이 달랐다는 것을 증证明했습니다.

"임계값"을 통한 현실 점검

가장 결정적인 증거는 다른 관점에서 숫자를 바라보았을 때 나왔습니다. 그들은 다음과 같이 물었습니다. "실제로 위험한 수준의 출혈(산후 출혈, 500 mL 이상 손실)이 발생한 여성은 몇 명인가?"

이 "예/아니오" 형태의 이분법적 질문으로 접근했을 때, 마법은 사라졌습니다.

약물 투여군: 3.2%가 과다 출혈을 경험함.
대조군: 4.2%가 과다 출혈을 경험함.
결과: 유의미한 차이가 없었음.

"62% 감소"는 오직 모호하게 추정된 숫자들 속에서만 존재했습니다. 위험을 알리는 실제 임계값을 기준으로 보았을 때, 약물은 전혀 도움이 되지 않는 것처럼 보였습니다. 심지어 극단적인 상황(1,000 mL 이상 손실)에서는 약물 투여군이 대조군보다 오히려 약간 더 많은 사례를 보였는데, 이는 기적의 약이 보여야 할 모습과는 정반대였습니다.

시뮬레이션: 환상을 증명하다

이러한 기록 습관만으로 어떻게 이런 가짜 결과를 만들어낼 수 있는지 증명하기 위해, 연구자들은 컴퓨터 시뮬레이션을 구축했습니다. 그들은 약물의 효과가 전혀 없는(진정한 효과가 0인) 가상의 세계를 만들었습니다. 그리고 컴퓨터가 투여군의 혈액 손실을 동일한 편향을 가지고 기록하도록 프로그래밍했습니다. 즉, 투여군의 값은 30 또는 50 mL로 고정하고, 대조군은 좀 더 자연스럽게 기록하도록 설정했습니다.

결과는 어떠했을까요? 컴퓨터는 실제 데이터만큼이나 인상적이고 통계적으로 유의미해 보이는 가짜 "62% 감소"를 생성해 냈습니다. 이는 차별적인 기록 행위만으로도 아무것도 없는 상태에서 거대하고 설득력 있는 치료 효과를 제조해낼 수 있음을 확인시켜 주었습니다.

결론: 추측이 아닌 자를 믿으라

이 논문은 해당 약물이 반드시 효과가 없다고 말하는 것이 아닙니다. 다만 추정된 혈액 손실 수치에서 발견된 "62% 감소"는 의사들이 데이터를 기록하는 방식에 의해 만들어진 거짓일 가능성이 높다고 말하는 것입니다.

저자들은 우리가 실제 세상의 데이터를 사용할 때, 단순히 "추측"되거나 "추정"된 결과값에 대해 주의해야 한다고 결론짓습니다. 만약 데이터를 기록하는 방식이 누가 치료를 받았느냐에 따라 달라진다면, 우리는 실수로 치료제를 발명해낼 수 있습니다.

미래를 위한 교훈:

"반올림"을 확인하라: 추정된 데이터에서 큰 결과가 나왔다면, 이를 믿기 전에 한 집단이 숫자를 50이나 100으로 반올림하고 있는 것은 아닌지 확인하십시오.
"실제" 임계값을 보라: 평균 숫자만 믿지 마십시오. 치료가 실제로 위험한 선(예: 500 mL 출혈 임계값)을 넘지 않도록 도와주는지 확인하십시오.
객관적인 측정치를 사용하라: 가능한 한 인간의 추측보다는 기계가 측정하는 값(예: 헤모글로빈 혈액 검사)을 사용하십시오.

요약하자면, 추측에 기반한 연구에서 나타나는 크고 정밀해 보이는 효과는 환자의 몸이 아니라 의사의 펜 끝에서 나온 결과일 수 있습니다. "마법"은 약이 아니라 노트 안에 있었습니다.

기술 요약: 실제 임상 근거(Real-World Evidence)에서의 노출 연관 기록 아티팩트(Exposure-Linked Recording Artifacts)

문제 제기
실제 임상 근거(RWE)는 비교 효과 연구를 위해 전자 의무 기록(EMR)에 점점 더 많이 의존하고 있다. 혼란 변수(치료를 받는 대상의 차이)에 대해서는 광범的一한 문헌이 존재하지만, 결과값이 어떻게 기록되는지에 대해서는 주의가 덜 기울여지고 있다. 추정 혈액 손실량(EBL)과 같은 많은 중요한 임상 결과들은 객관적인 측정보다는 인간의 추정이나 템플릿 기반의 기본값에 의해 기록된다. "숫자 선호(digit preference)" 또는 "값 쏠림(value heaping)"이라 불리는 알려진 현상은 기록된 값들이 라운드 넘버(딱 떨어지는 숫자)에 집중되는 현상을 일으킨다. 그러나 특정 차별적 기록(differential recording)—즉, 기록되는 쏠림 패턴이나 추정 편향이 노출 집단 간에 체계적으로 다르게 나타나는 위험—은 여전히 충분히 인식되지 못하고 있다. 저자들은 이러한 차별적 결과 측정 오류가 통계적으로 견고하고 그럴듯해 보이는 거대한 치료 효과를 조작할 수 있으며, 이는 표준적인 공변량 조정(covariate adjustment)을 거친 후에도 살아남아 가짜 효능감을 만들어낼 수 있다고 주장한다.

연구 방법론
본 연구는 타이베이 의과대학교 쌍호 병원의 8년(2017~2025년) 단일 기관 코호트(n=3,575, 질식 분만)를 대상으로 하였다. 노출 변수는 카르베토신(carbetocin) 사용이며, 이는 자가 부담 제품으로서 명확하게 라벨링되어 있어 무작위 배정이 되지 않은 깨끗한 자연 실험(natural experiment) 환경을 제공했다.

저자들은 산과적 출혈(peripartum blood loss)의 세 가지 표현 방식을 비교하였다:

연속형 지표 필드(Continuous Index Field): 임상의가 시각적으로 추정한 혈액 손실량(EBL).
이진 임계값(Binary Threshold): EBL $\ge$ 500 mL로 정의된 산후 출혈(PPH).
객관적 측정치(Objective Measures): 기기 생성 데이터인 수술 전후 헤모글로빈 변화량(instrument-generated hemoglobin change). 이는 소수의 질식 분만 사례에서 사용되었으며, 제왕절개 분만 사례에서의 외부 비교군으로 활용되었다.

기록 아티팩트와 실제 효과를 구분하기 위해 저자들은 7가지 사전 지정된 진단법을 적용하였다:

군별 숫자 선호도(Per-arm digit preference): 거친 격자(50/100 mL 단위) 및 특정 비현실적인 낮은 값의 비율 분석.
층 내 궤적(Within-stratum trajectories): 중앙값의 차이가 달력 연도(calendar years)에 걸쳐 지속되는지 확인.
임계값 초과 곡선(Threshold-exceedance curves): 증가하는 혈액 손실 임계값(100 mL ~ 1000 mL)에 따른 양 군 간의 간격 조사.
삼각측량(Triangulation): 연속형 필드를 이진 임계값 및 객관적 헤모글로빈 측정치와 비교.
노출 대 시간 분해(Exposure-versus-time decomposition): 달력 연도 고정 효과(fixed effects) 및 성향 점수 가중치를 적용하여 효과 재추정.
명세 안정성(Specification stability): 통계 모델(로그-선형, 산술 평균, Gamma-log, 중앙값 비율 등)에 따라 효과 크기가 급격히 변하는지 테스트.
차별적 가용성 체크(Differential-availability check): 기록된 값의 존재 자체가 노출 집단에 따라 다른지 평가.

또한, **알려진 귀무 가설 하의 시뮬레이션(simulation under a known null)**을 수행하였다. 데이터는 실제 효과가 '0'인 상태로 생성되었으나, 처치군(treated cases)의 경우 높은 확률로 낮은 템플릿 값(30 또는 50 mL)에 "고정(pinned)"되도록 설정하여 관찰된 기록 행태를 모사하였다.

주요 결과

가짜 효과 생성(Spurious Effect Generation): 연속형 EBL 필드에 대한 전통적인 로그-선형 분석 결과, 카르베토신 군에서 혈액 손실이 62% 감소(비율 0.38, 95% CI 0.36–0.39)한 것으로 나타났다. 이 결과는 매우 정밀하고 견고해 보였다.
차별적 쏠림(Differential Heaping): 이 아티팩트는 노출과 연관된 기록 관행에 의해 발생했다. 처치군의 약 **60%**가 정확히 30 또는 50 mL로 기록된 반면, 대조군은 단 **2.4%**에 불 불과했다. 구체적으로 처치군의 33.9%가 정확히 50 mL에 고정되어 있었다. 처치군의 중앙값은 2019년부터 매년 50 mL로 고정되어 있었던 반면, 대조군의 중앙값은 150–200 mL를 유지하며 결코 수렴하지 않았다.
표준 방어 기제의 실패: 달력 연도 고정 효과 및 성향 점수 가중치를 적용한 후에도 62%의 감소 효과는 변함없이 유지되었다. 이는 편향이 환자의 특성 차이(혼란) 때문이 아니라, 모든 층 내에서의 차별적 측정 오류 때문이었기 때문이다.
임계값 및 삼각측량 실패:
- 두 군 사이의 간격은 임계값이 높아질수록 단조롭게 감소하였다: $\ge$ 100 mL에서 59.9 퍼센트 포인트였던 차이는, PPH 임계값( $\ge$ 500 mL)에서는 1.0 포인트로 줄어들었으며( $p=0.13$ ), $\ge$ 1000 mL에서는 역전되었다.
- 이진 PPH 종점(endpoint)은 유의미한 차이를 보이지 않았다(3.2% 대 4.2%).
- 객관적 헤모글로빈 변화량(소규모 질식 분만 및 외부 제왕절개 코호트)은 이와 유사한 효과나 훨씬 작은 신호를 보였으며, 분포는 쏠림 현상이 있는 EBL 데이터와 달리 매끄럽고 단봉형(unimodal)이었다.
추정치 불안정성(Estimator Instability): "효과"의 크기는 통계적 명세에 따라 극적으로 변했다(감소 폭이 49%에서 75%까지 다양함). 이는 결과가 생리학적 변화가 아닌 쏠림 분포의 형태에 의해 주도되었음을 나타낸다.
시뮬레이션 확인: 실제 효과 없이 차별적 기록만을 도입한 귀무 시뮬레이션은 거대한 가짜 감소 효과, 추정치 불안정성, 붕괴하는 임계값 간격이라는 전체적인 특징을 성공적으로 재현해 냈다.

핵적인 기여

독특한 편향의 식별: 본 논문은 "노출 연관 차별적 기록"을 RWE에서 거대한 용량-반응 유사 관계를 만들어낼 수 있는 특정한 형태의 정보 편향으로 규정한다. 이 편향은 일반적인 혼란 변수와 달리 표준적인 공변량 조정 및 성향 점수 가중치에 면역력을 가진다.
진단 도구 세트: 저자들은 실용적인 사전 지정 체크리스트(Box 1)를 제공한다. 이러한 진단법은 복잡한 모델링보다는 분포적 이상 징식(숫자 선호, 궤적 안정성, 임계값 행동 등)에 초점을 맞춘다.
기만적 견고성의 입증: 본 연구는 통계적 유의성, 좁은 신뢰 구간, 조정에 대한 견고성 등 모든 일상적인 피어 리뷰(peer-review) 검사를 통과하면서도, 실제로는 데이터 입력 관행에 의한 아티팩트일 수 있는 가짜 효과를 보여준다.

의의 및 주장
저자들은 이것이 추정이나 템플릿에 의해 기록되는 결과(예: 체액 균형, 상처 크기, 통증 척도)가 존재하는 실제 임상 비교 효과 연구에서 일반화 가능한 위험이라고 주장한다. 이 연구의 의의는 기록에 취약한 연속형 필드에 근거하여 추론해서는 안 된다는 점에 있다. 대신, 일차적인 추론은 객적인 기기 생성 결과나 이진 임상 임계값에 의존해야 한다.

본 논문은 카르베토신의 구체적인 임상적 효능을 판정하려는 것이 아니라 경고를 위한 데몬스트레이션 역할을 한다. 저자들은 (시각적 편향 대 템플릿 기본값이라는) 메커니즘은 추론된 것이지만, 아티팩트의 존재와 규모는 경험적으로 입증되었다고 강조한다. 또한, 편집자와 리뷰어들이 이러한 특정 편향을 방지하기 위해 노출별로 층화된 숫자 선호도 및 임계값 초과 표시를 정기적으로 요청할 것을 권고한다.