Methods for adjusting for covariate measurement error in flexible modelling of functional form: results of a blinded, controlled neutral comparison simulation study

당신이 흐릿한 사진을 바탕으로 산맥의 지도를 그리려고 한다고 상상해 보십시오. 여기서 산들은 위험 요인(예: 얼마나 먹는지)과 결과(예: 병에 걸리는 것) 사이의 진정한 관계를 나타냅니다. 흐릿함은 측정 오차(measurement error), 즉 당신의 데이터가 완벽하지 않다는 사실을 의미합니다. 아마도 저울이 약간 어긋났거나, 사람들이 음식 섭취량을 잘못 기억했을 수도 있습니다.

만약 당신이 흐릿한 사진을 보고 지도를 그리려 한다면, 선들은 구불구불해질 것이고, 산봉우리와 골짜기를 완전히 놓칠 수도 있습니다. 실제로, 당신은 가파른 산을 그저 완만한 언덕이라고 생각하게 될 수도 있습니다. 이 논문은 어떤 도구가 그 흐릿한 사진을 고쳐서 가장 정확한 지도를 그려낼 수 있는지 확인하기 위한 거대한 블라인드 "경연 대회"입니다. 특히 산의 모양이 단순한 직선이 아니라 복잡할 때 말이죠.

다음은 연구자들이 무엇을 했고 무엇을 발견했는지에 대한 분석입니다. 이해를 돕기 위해 쉬운 비유를 사용했습니다.

문제: 흐릿한 사진

의학 연구에서 우리는 식단, 오염, 또는 약물 복용량 같은 것들을 측정하곤 합니다. 하지만 이러한 측정값은 결코 완벽하지 않습니다.

• 오차: 누군가의 키를 안개가 낀 창문을 통해 보고 추측하는 것을 상상해 보십시오. 당신은 그 사람이 실제보다 더 크거나 작다고 생각할 수 있습니다.
• 결과: 만약 이 안개를 무시한다면, 키가 건강에 미치는 영향에 대한 당신의 결론은 틀리게 될 것입니다. 당신은 "임계점"(위험해지는 지점)이나 "J자형"(너무 적어도, 너무 많아도 나쁜 경우)을 놓칠 수 있습니다.

실험: 블라인드 테스트

연구자들(STRATOS라는 그룹의 일원)은 엄격한 블라인드(blinded) 시뮬레이션을 설정했습니다. 이것은 심사위원이 마지막까지 누가 만든 요리인지 모르는 채로 진행되는 요리 경연 대회와 같습니다.

• 설정: 그들은 1,500개의 가짜 데이터 세트를 만들었습니다. 각 데이터 세트에서 그들은 "진정한" 산의 모양(실제 관계)을 알고 있었습니다.
• 안개: 그들은 실제 세상의 실수들을 모방하기 위해 데이터에 의도적으로 "안개"(측정 오차)를 추가했습니다.
• 참가자: 그들은 23개의 서로 다른 팀(방법론)을 테스트했습니다. 각 팀은 그 안개를 제거하고 지도를 다시 그리기 위해 서로 다른 도구를 사용했습니다.
  • 도구: 그들은 오차를 수정하기 위해 여섯 가지 주요 전략(예: "회귀 교정(Regression Calibration)", "다중 대입법(Multiple Imputation)", "베이지안 방법(Bayesian methods)", "SIMEX")을 사용했습니다.
  • 그리기 스타일: 각 전략은 곡선을 그리는 네 가지 다른 방식(예: "스플라인(Splines)" 또는 "다항식(Polynomials)")과 결합되었습니다.

결과: 누가 경연에서 승리했는가?

연구자들은 다시 그린 지도가 실제 산과 얼마나 가까운지를 기준으로 성공 여부를 측정했습니다. 결과는 다음과 같습니다.

1. 우승자: 포인트와이즈 SIMEX (Pointwise SIMX)
우승자는 Pointwise SIMEX라고 불리는 방법이었습니다.

• 비유: 온도계가 약간 고장 난 상태에서 방의 온도를 추측하려고 한다고 상상해 보십시오. 이 방법은 단순히 추측하는 대신, "온도계가 더 고장 나고, 그다음엔 훨씬 더 고장 난다고 가정해 보자. 그런 다음 그 변화를 관찰하자. 그리고 수학적인 기술을 사용하여 온도계가 완벽했을 때의 수치가 무엇이었을지 역으로 계산해 보자"라고 말합니다.
• 결과: 이 "역으로 계산하는" 기술은 거의 모든 시나리오에서 가장 정확하고 견고한 방법이었습니다. 이 방법은 다른 그 어떤 방법보다 복잡하고 구불구불한 산의 모양을 더 잘 처리했습니다.

2. 준우승: 베이지안 방법 및 회귀 교정

• 베이지안 방법: 이것은 이전의 지식과 새로운 데이터를 결합하여 "최선의 추측"을 사용하는 것과 같습니다. 이 방법들은 특정 그리기 스타일(예: 페널티가 부여된 스플라인)을 사용할 때 성적이 좋았습니다.
• 회귀 교정: 이것은 흐릿한 사진을 가지고 몇 장의 선명한 사진을 바탕으로 이미지를 "선명하게" 만드는 것과 같습니다. 이 방법은 효과적이었지만, 우승자만큼 일관되지는 않았습니다.

3. 고전한 방법들: 다중 대입법 및 비페널티 스플라인

• 다중 대입법: 이 방법은 많은 "만약에" 시나리오를 만들어 평균을 냄으로써 누락된 흐릿한 부분들을 채우려고 노력합니다. 성능은 괜찮았지만, 아주 뛰어나지는 않았습니다.
• 최악의 결과: 가장 좋지 않은 결과는 베이지안 방법과 "비페널티(unpenalized)" B-스플라인을 함께 사용했을 때 나왔습니다.
  • 비유: 아이에게 종이를 한 장 주고 "규칙 없이 네 마음대로 산을 그려봐"라고 말하는 것을 상상해 보십시오. 아이는 산과는 전혀 상관없는 기괴하고 들쭉날쭉한 낙서를 그릴 수도 있습니다. "비페널티"라는 것은 그림이 이상해지는 것을 막을 규칙이 없었다는 뜻입니다. 여기에 측정 오차를 더하면, 그림은 완전히 궤도를 벗어나 버립니다.

일반 독자를 위한 핵심 요약

1. 마법의 탄환은 없다: 모든 상황에서 승리하는 단 하나의 방법은 없었습니다. 때로는 "선형(Linear)" 산을 그리는 것은 쉬웠지만, "J자형" 산(낮은 값과 높은 값 모두 위험한 경우)을 그리는 것은 매우 어려웠습니다. 이는 연구자들이 자신의 결과가 확실한지 확인하기 위해 항상 다른 방법들로 검증하는 "민감도 분석(sensitivity analysis)"을 수행해야 함을 의미합니다.
2. 그리기 스타일이 중요하다: 단순히 오차를 어떻게 수정하느냐뿐만 아니라, 곡선을 어떻게 그리느냐도 중요했습니다. 곡선이 너무 자유롭게 움직이도록 허용하는 방법(예: 비페널티 B-스플라인)은 데이터에 노이즈가 섞였을 때 처참하게 실패했습니다. 반면, 곡선을 매끄럽게 유지하기 위해 어떤 "규칙"을 더하는 방법(예: 페널티가 부여된 스플라인)은 훨씬 더 좋은 성과를 냈습니다.
3. 놀라운 우승자: 연구자들은 이론적으로 더 복잡한 베이지안 방법들보다 SIMEX("역으로 계산하는" 방법)가 이길 것이라고 예상했으나, 결과는 달랐습니다. 그들은 복잡한 방법들이 이길 것이라 기대했지만, SIMEX의 영리한 기술이 실제 세상과 유사한 테스트에서 더 잘 버텨냈습니다.

결론

이 연구는 우리가 불완전한 데이터와 복잡한 관계(예: 약물 용량이 부작에 미치는 영향)를 다룰 때, 오차를 그냥 무시해서는 안 된다는 것을 알려줍니다. 오차를 수정하기 위한 특별한 도구가 필요합니다. 이 연구는 Pointwise SIMX를 매끄럽고 규칙 기반인 그리기 기술과 결합하는 것이 현재 가장 좋은 선택이지만, 단 하나의 도구도 모든 상황에서 완벽하게 작동하지는 않으므로 연구자들은 항상 자신의 작업을 재검토해야 한다고 제언합니다.