Effects of interviewers on response to income and wealth items

이 논문은 유럽 건강·고령화·은퇴 조사 (SHARE) 데이터를 활용하여 인터뷰어의 소득 보고 기대치가 응답자의 실제 소득 및 자산 항목 응답 여부에 유의미한 영향을 미친다는 것을 규명함으로써, 민감한 재정 항목의 비응답을 이해하고 인터뷰어 훈련 및 조사 설계를 개선하는 데 중요한 시사점을 제공합니다.

핵심

🕵️‍♂️ 핵심 주제: "조사원의 마음가짐이 응답자를 바꾼다?"

이 연구는 유럽의 고령자 건강 및 은퇴 조사 (SHARE) 데이터를 분석했습니다. 연구자들은 **"조사원 (인터뷰어) 이 '이 사람들은 돈 얘기를 잘 해줄 거야'라고 생각하면, 실제로 응답자들이 돈을 더 잘 말해줄까?"**라는 의문을 가졌습니다.

1. 왜 돈 이야기는 어렵나요? (상자 속의 비밀)

사람들에게 "월급이 얼마예요?", "집값은 얼마예요?"라고 묻는 건 마치 상자 속의 비밀을 꺼내달라고 하는 것과 비슷합니다. 많은 사람이 부끄러워하거나, 기억나지 않는다며 "모르겠어요"라고 답하거나 아예 대답을 안 합니다. 이를 통계학에서는 **'항목 비응답 (Item Nonresponse)'**이라고 합니다.

2. 조사원의 역할: "기대감"이라는 마법 지팡이

연구자들은 조사원들이 조사 전에 "내게 온 사람들은 몇 % 가 돈 얘기를 해줄까?"라고 예상하게 했습니다.

• 낙관적인 조사원: "아, 우리 지역 사람들은 돈 얘기를 잘 할 거야!"라고 믿는 조사원.
• 비관적인 조사원: "아마도 돈 얘기는 안 해줄 거야"라고 걱정하는 조사원.

결과는 놀라웠습니다.

"기대감이 높은 조사원"을 만난 사람들은, 실제로 돈 정보를 더 많이 알려주었습니다.
마치 조사원이 "당신은 신뢰할 수 있고, 솔직하게 말해줄 거야"라는 무언의 메시지를 전한 것처럼, 응답자의 방어기제가 낮아진 것입니다. 반대로, 조사원이 "안 해줄 거야"라고 미리 생각하면, 응답자도 "아, 내가 말하기 싫은 거구나"라고 느끼며 입을 닫는 경향이 있었습니다.

3. 데이터 분석의 세 가지 방법 (요리법 비교)

이 논문에서는 이 현상을 분석할 때 결측치 (없는 데이터) 를 어떻게 처리할지 세 가지 방법을 비교했습니다.

• 방법 1: 완전한 데이터만 쓰기 (Complete-Case Analysis)

  • 비유: 요리할 때 상한 채소나 깨진 그릇은 다 버리고, 딱 좋은 재료만 골라 요리를 하는 겁니다.
  • 결과: 깔끔하지만, 버린 재료가 너무 많아서 요리 (분석) 의 정확도가 떨어질 수 있습니다.

• 방법 2: 추정해서 채워 넣기 (Multiple Imputation)

  • 비유: 없는 재료를 가상적으로 상상해서 채워 넣는 방법입니다. "아마도 이 채소가 있었을 거야"라고 추측해서 요리를 완성합니다.
  • 결과: 재료를 다 쓸 수 있어 좋지만, "상상한 재료"가 실제와 다를 수 있다는 불확실성이 생깁니다.

• 방법 3: 모든 가능성을 평균내기 (Model Averaging)

  • 비유: 위의 두 방법을 섞어서 여러 가지 레시피로 요리를 해보고, 그중 가장 맛있는 걸 골라 평균을 내는 방법입니다.
  • 결과: 논문에서는 이 복잡한 방법이 생각보다 단순한 방법 (방법 1 이나 2) 보다 훨씬 큰 장점을 주지 못한다고 결론 내렸습니다.

4. 연구의 결론과 시사점

이 연구는 단순한 통계 숫자를 넘어, 사람 심리의 중요성을 보여줍니다.

• 조사원의 기대는 현실이 됩니다. 조사원이 "당신은 돈 얘기를 잘 해줄 거야"라고 믿고 접근하면, 응답자도 그 기대에 맞춰 더 솔직하게 답합니다.
• 훈련이 중요합니다. 단순히 질문지를 잘 읽는 게 아니라, 조사원들에게 **"당신은 응답자를 신뢰하고, 그들이 협조할 것이라고 믿으라"**는 심리적 훈련을 해주는 것이 중요합니다.
• 실제 효과: 낙관적인 조사원을 배치한 곳에서는 돈 관련 질문의 응답률이 최대 26% 까지 높아지기도 했습니다. 이는 매우 큰 차이입니다.

💡 한 줄 요약

"조사원이 '당신은 돈 얘기를 잘 해줄 거야'라고 믿고 접근하면, 응답자도 그 믿음을 받아들이고 더 솔직하게 답한다."

이 연구는 설문조사를 할 때, 단순히 질문지를 잘 만드는 것보다 조사원의 마음가짐과 태도가 데이터의 질을 결정하는 핵심 열쇠임을 알려줍니다.

기술 요약

논문 개요

• 제목: Effects of interviewers on response to income and wealth items
• 저자: Moslem Rashidi (볼로냐 대학교 경제학과)
• 데이터: 유럽 건강, 노화 및 은퇴 조사 (SHARE) 제 6 파 (2015 년) 및 인터뷰어 조사 (SHARE_IWS)
• 표본: 12 개국의 41,934 명 응답자 및 808 명의 인터뷰어

---

1. 연구 문제 (Problem)

• 배경: 표본 조사에서 비표본 오차 (non-sampling error) 의 주요 원인 중 하나는 민감한 금융 질문 (소득, 자산 등) 에 대한 **항목 비응답 (item nonresponse)**입니다. 이는 데이터의 대표성과 품질을 저해합니다.
• 연구 동기: 기존 연구들은 인터뷰어의 인구통계학적 특성 (성별, 연령, 학력 등) 이 응답률에 미치는 영향을 주로 살펴보았으나, **인터뷰어의 심리적 특성 (기대감, 태도, 성격 등)**이 민감한 금융 질문의 응답에 미치는 영향은 상대적으로 덜 연구되었습니다.
• 핵심 질문: 인터뷰어가 응답자의 소득 보고 의지 (willingness to report) 에 대해 가지는 **기대치 (expectations)**가 실제 현장에서의 금융 항목 응답률과 어떤 연관이 있는가?

2. 연구 방법론 (Methodology)

가. 데이터 및 변수

• 종속 변수: 4 가지 금융 항목 (총 가구 소득, 연금, 은행 계좌, 주요 거주지 가치) 에 대한 응답 유무 (이진 변수).
• 주요 설명 변수: 인터뷰어의 기대 응답률. 인터뷰어는 현장 조사 전 "응답자의 몇 퍼센트가 소득 정보를 제공할 것으로 기대하는가?"라는 질문에 0~100% 로 답변합니다. 이를 국가별 중앙값을 기준으로 이진화 (높은 기대 vs 낮은 기대) 하여 분석합니다.
• 통제 변수:
  • 인터뷰어 수준: 인구통계학적 특성, 업무량, 건강 상태, 자신의 소득 보고 여부, 인터뷰 중 행동 (말속도, 질문 명확화 등).
  • 응답자 수준: 인구통계학적 특성, 인지 능력 (수리력, 유창성, 기억력), 건강 상태, 과거 조사 참여 이력 등.

나. 결측치 처리 기법 비교

인터뷰어 조사 (IWS) 와 본 조사 (CAPI) 모두에서 결측치가 발생하므로, 세 가지 접근법을 비교 분석합니다:

1. 완전 사례 분석 (Complete-Case Analysis, CCA): 결측치가 있는 관측치를 모두 제거하고 분석. (단점: 정보 손실로 인한 정밀도 저하)
2. 다중 대입법 (Multiple Imputation, FI): 결측치를 추정값으로 채워 넣는 방식. 본 연구에서는 완전 조건부 명세 (FCS) 와 2 단계 깁스 샘플러 (응답자 변수용, 인터뷰어 변수용) 를 사용하여 100 번의 대입 (imputations) 을 수행했습니다.
3. 일반화된 결측 지표 프레임워크 및 모델 평균화 (GMI & Model Averaging, MA):
   • Dardanoni et al. (2011, 2012, 2015) 의 '그랜드 모델 (Grand Model)'을 기반으로 결측 지표와 보조 변수를 포함하는 확장된 모델 공간을 설정합니다.
   • 모델 평균화 (Model Averaging): BIC (베이지안 정보 기준) 와 AIC (아카이케 정보 기준) 를 가중치로 사용하여 다양한 하위 모델들의 추정치를 평균화합니다. 이는 모델 불확실성을 고려하여 보다 견고한 추정을 목표로 합니다.

다. 통계 모델

• 로지스틱 회귀 (Logit Model) 를 사용하여 금융 항목 응답 확률을 모델링합니다.
• 인터뷰어 - 응답자 간의 계층적 구조 (Nested structure) 를 고려하지만, 표준 로지트 모델을 적용하고 표준 오차의 과소 추정 가능성에 대해 논의합니다.

3. 주요 결과 (Key Results)

1. 인터뷰어 기대치의 긍정적 영향:

   • 대부분의 모델 사양에서, 높은 응답률 기대치를 가진 인터뷰어가 담당할 경우, 응답자가 금융 정보를 제공할 확률이 유의미하게 높아집니다.
   • 구체적으로, 인터뷰어가 50% 이상 응답할 것으로 기대하는 경우, 소득 질문의 항목 비응답률이 최대 14%, 자산 질문에서는 최대 **26%**까지 감소하는 것으로 나타났습니다.
   • 이는 평균 응답률 (소득 80%, 자산 64%) 대비 상당한 효과입니다.

2. 국가별 이질성:

   • 대부분의 국가에서 긍정적 효과가 관찰되었으나, 그리스 (주거지 가치) 와 스페인 (연금) 등 일부 국가의 특정 모델에서는 통계적으로 유의한 부정적 효과가 관찰되기도 했습니다.

3. 분석 기법 비교:

   • 정밀도: 다중 대입법 (FI) 은 완전 사례 분석 (CCA) 보다 within-imputation 분산은 작지만, 대입으로 인한 불확실성 (between-imputation variance) 으로 인해 전체 표준 오차는 더 큰 경우가 많았습니다.
   • 모델 평균화 (MA) 의 한계: BIC 와 AIC 기반의 블록 베이지안 모델 평균화 (Block BMA) 는 CCA 와 FI_MI 의 두 극단적 사양 (extreme specifications) 과 매우 유사한 결과를 산출했습니다. 즉, 모델 평균화가 단순한 접근법 (CCA 또는 FI) 에 비해 명확한 이득 (gains) 을 제공하지는 못했습니다.

4. 주요 기여 (Key Contributions)

1. 심리적 요인의 실증적 규명: 인터뷰어의 인구통계학적 특성을 넘어, **'기대감 (expectations)'**이라는 심리적/태도적 요인이 민감한 금융 질문의 비응답에 중요한 설명 변수임을 입증했습니다.
2. 데이터 소스 확장: SHARE 제 5 파 (Friedel, 2020) 연구에서 제 6 파로 분석을 확장하고, 12 개국 데이터를 활용하여 국가별 이질성을 포괄적으로 분석했습니다.
3. 방법론적 엄밀성: 인터뷰어 조사 (IWS) 와 본 조사 (CAPI) 에서 동시에 발생하는 결측치 문제를 해결하기 위해 CCA, 다중 대입, 모델 평균화 등 세 가지 기법을 체계적으로 비교하고, 인터뷰어 특성 결측치를 처리하기 위해 핫-덱 (hot-deck) 다중 대입을 적용했습니다.

5. 의의 및 시사점 (Significance)

• 조사 설계 및 훈련: 인터뷰어의 기대감이 응답 행동에 영향을 미친다는 점은, 인터뷰어 선정 및 표적 훈련 (targeted training) 전략의 중요성을 시사합니다. 인터뷰어가 긍정적이고 자신감 있는 태도 (높은 응답 기대) 를 가지도록 교육하는 것이 민감한 금융 질문의 응답률을 높이는 데 효과적일 수 있습니다.
• 데이터 보정: 인터뷰어 특성은 응답 확률의 중요한 결정 요인이므로, 사후 보정 (가중치 조정, 대입 등) 시 이를 통제 변수로 포함하거나 배제 조건 (exclusion restrictions) 으로 활용하여 결측 데이터 메커니즘을 식별하는 데 유용할 수 있습니다.
• 정책적 함의: 고령 인구를 대상으로 한 조사에서 금융 정보의 정확성을 높이기 위해서는 단순한 질문지 개선뿐만 아니라, 인터뷰 과정과 인터뷰어 관리에 대한 전략적 개입이 필요함을 보여줍니다.

결론

본 연구는 인터뷰어가 응답자의 금융 정보 제공 의지에 대해 가지는 기대치가 실제 응답 행동을 예측하는 유의미한 지표임을 밝혔습니다. 이는 민감한 금융 항목의 비응답을 줄이기 위해 인터뷰어의 심리적 특성을 고려한 훈련과 관리 전략이 필수적임을 시사하며, 향후 설문 조사 방법론 및 데이터 품질 관리에 중요한 통찰을 제공합니다.