How can the use of different modes of survey data collection introduce bias? A simple introduction to mode effects using directed acyclic graphs (DAGs)

당신이 특정 음식을 얼마나 좋아하는지 정말로 알아내려고 한다고 상상해 보세요. 이를 위해 사람들에게 설문조사를 요청합니다. 하지만 여기 반전이 있습니다. 당신은 사람들이 어떻게 답변할지를 직접 선택하게 했습니다. 어떤 이들은 종이 양식에 작성하고, 어떤 이들은 웹사이트에서 답변하며, 또 어떤 이들은 전화로 상담원과 대화합니다.

이 논문은 사람들이 답변하는 방법을 선택하게 하는 것이 실제로 두 가지 교묘한 방식으로 결과를 망칠 수 있다고 주장합니다. 저자들은 왜 이런 일이 발생하는지, 그리고 어떻게 속임을 피할 수 있는지를 설명하기 위해 "유향 비순환 그래프(Directed Acyclic Graphs, DAGs)"라는 도구를 사용합니다. 이는 기본적으로 원인과 결과 관계를 보여주는 간단한 순서도와 같습니다.

다음은 일상적인 비유를 사용한 문제점과 해결책의 요약입니다.

두 가지 큰 문제

1. "모드 효과" (가면 문제)
당신이 사람들에게 "채소를 드시나요?"라고 묻는다고 가정해 봅시다.

• 시나리오 A: 당신이 친절한 면접관과 함께 대면으로 묻습니다. 사람들은 인간 앞에서 나쁘게 보이고 싶지 않아서(사회적 예의를 지키기 위해) "네!"라고 답할 수 있습니다.
• 시나리오 B: 당신이 개인적인 컴퓨터 화면을 통해 묻습니다. 사람들은 안전하고 솔직하다고 느껴서 "아니오"라고 입력할 수 있습니다.

그들의 식습로에 대한 진실은 변하지 않았지만, 그들이 사용하는 "모드"(방법) 때문에 답변이 변했습니다. 이것을 **모드 효과(Mode Effect)**라고 합니다. 이는 보는 사람에 따라 얼굴이 바뀌는 가면을 쓰는 것과 같습니다.

2. "모드 선택" (자기 선택 문제)
이제, 누가 그 방법을 선택하는지가 중요합니다.

• 기술에 익숙한 젊은이들은 웹사이트를 선호할 수 있습니다.
• 고령층이나 인터넷이 없는 사람들은 전화 통화를 선호할 수 있습니다.

이것은 웹사이트로 답변하는 사람들의 집단이 전화로 답변하는 사람들의 집단과 다르다는 것을 의미합니다. 이것이 **모드 선택(Mode Selection)**입니다. 이것은 마치 자동차를 소유한 사람들에게만 운전 습관을 묻는 것과 같습니다. 자동차가 없는 사람들은 이미 제외되었으므로 표본 자체가 편향된 것입니다.

함정: "수정"하려는 시도가 상황을 악화시킬 수 있는 이유

이 논문의 주요 경고는 연구자들이 "자기 선택 문제"를 고려하지 않고 "가면 문제"를 고치려 할 때 어떤 일이 벌어지는지에 관한 것입니다.

나이브한 해결책 (단순한 해결책):
만약 웹사이트 이용자들은 채소에 대해 "아니오"라고 답하고 전화 이용자들은 "예"라고 답한다는 것을 알게 된다면, 연구자는 이렇게 생각할 수 있습니다. "좋아, 데이터를 분리해서 비교하면 되겠지." 또는 "수식에 '모드' 항목을 추가해서 그 차이를 상쇄해 버리자."

함정 (충돌 변수 편향 - Collider Bias):
저자들은 만약 사람의 유형(예: 연령이나 교육 수준)이 답변 방식과 답변 내용 모두에 영향을 미쳤다면, 이것이 위험하다고 말합니다.

이것은 **클럽의 가드(Bouncer)**와 같습니다:

• "가드"는 설문 모드(웹사이트 vs 전화)입니다.
• "VIP"는 웹사이트를 선택한 사람들입니다(아마도 더 젊을 것입니다).
• "일반 고객"은 전화를 선택한 사람들입니다(아마도 더 나이가 많을 것입니다).

만약 당신이 VIP와 일반 고객을 직접 비교하기 위해 데이터를 "수정"하려고 한다면, 당신은 의도치 않게 서로 관련이 없는 것들 사이에 가짜 연결 고리를 만들 수도 있습니다.

논문의 경고:
만약 사람들이 자신의 특성에 따라 설문 모드를 직접 선택했다면, 설문 모드를 "통제"하려고(데이터를 분리하거나 수학적으로 조정하려고) 노력하는 것은 오히려 새로운 오류(충돌 변수 편향)를 만들어낼 수 있습니다. 이것은 마치 빨간색 자동차를 소유한 사람들이 모두 피자를 좋아한다는 것을 보고, "빨간색 자동차가 피자를 사랑하게 만든다"라고 결론 내리는 것과 같습니다. 실제로는 두 가지를 모두 좋아하는 사람들이 우연히 빨간색 자동차 클럽을 선택했을 뿐인데 말입니다.

이 논문은 순서도(DAGs)를 사용하여 다음과 같이 보여줍니다:

• 만약 설문 모드가 단순히 "가면"(답변에는 영향을 주지만 사람의 특성에 의해 선택되지는 않는 것)이라면, 데이터를 분리하여 해결할 수 있습니다.
• 만약 설문 모드가 "가드"(사람의 특성에 의해 선택되는 것)라면, 데이터를 분리하여 해결하려는 시도는 오히려 새로운 오류를 생성합니다.

연구자는 무엇을 해야 하는가?

논문은 상황에 따라 세 가지 방법을 제안합니다:

1. 손대지 않기 (조건화 - Conditioning): 사람들이 자신의 특성에 따라 모드를 선택하지 않았다고 확신한다면, 모드별로 데이터를 단순히 분리할 수 있습니다. 하지만 만약 그들이 직접 선택했다면, 이 방법을 쓰지 마십시오!
2. 추측하고 채우기 (대치 - Imputation): "웹사이트 이용자"들이 만약 "전화 방식"을 사용했다면 무엇이라고 답했을지 추측하여 빈칸을 채울 수 있습니다. 논문은 이것이 위험하다고 경고하는데, 왜냐하면 이는 누락된 데이터가 무작위라고 가정하기 때문이며, 실제로는 그렇지 않은 경우가 많기 때문입니다. 이것은 친구에게 질문을 던지지 않았음에도 불구하고, 그 친구가 다른 모든 사람들과 똑같이 행동했을 것이라고 가정하며 답을 추측하는 것과 같습니다.
3. "만약 ~라면" 게임 (정량적 편향 분석 - Quantitative Bias Analysis): 저자들이 가장 권장하는 방법입니다. 데이터를 마법처럼 고치려 하는 대신, 데이터가 엉망이라는 점을 인정하십시오. "좋아, 모드 효과가 이 정도 크기라고 가정해 보자. 그렇다면 우리 결과가 어떻게 바뀔까?"라고 말하는 것입니다. 그다음 결과의 크기를 바꿔가며 테스트합니다. 만약 오류의 크기를 어떻게 가정하더라도 당신의 주요 결론이 변하지 않는다면, 당신의 발견을 신뢰할 수 있습니다.

결론

다양한 방식(전화, 웹, 종이 등)으로 수집된 설문 데이터를 혼합하여 사용할 때는 주의해야 합니다.

• 방법이 중요합니다: 그것은 사람들이 답변하는 방식을 바꿉니다 (가면).
• 사람이 중요합니다: 서로 다른 사람들이 서로 다른 방법을 선택합니다 (가드).

만약 "가드"가 있다는 사실을 모른 채 "가면" 문제를 해결하려 한다면, 당신은 실수로 가짜 이야기를 만들어낼 수 있습니다. 최선의 접근법은 당신의 가정을 순서도(DAGs)로 그려보고, 데이터를 완벽하게 고칠 수는 없다는 점을 인정하며, 대신 오류의 크기가 커지거나 작아질 때 당신의 결과가 어떻게 변하는지 테스트하는 것입니다.