Separating the Inseparable: Dimension Linkage in Experimental Vignettes

기술 요약: 분리할 수 없는 것의 분리: 실험적 비네트에서의 차원 결합(Dimension Linkage)

문제 제기
실험 설계, 특히 컨조인트(conjoint) 및 요인(factorial) 설문조사는 현실 세계에서 함께 발생하는 속성들(예: 정당 지향성과 정책적 입장)의 인과적 효과를 격리하기 위해 자주 사용된다. 표준적인 논리는 한 속성을 고정시킨 채 다른 속성을 무작위로 변화시킴으로써, 다른 속성들을 제외한 해당 속성만의 고립된 효과를 추정할 수 있다는 것이다. 그러나 본 논문은 속성들이 응답자의 마음속에서 강력하게 연결되어 있을 때(예: 인지적 연상, 사회적 고정관념, 또는 논리적 제약), 이러한 목표는 부분적으로만 달ato할 수 있다고 주장한다.

핵심 문제는 **차원 결합(dimension linkage)**이다. 연구자가 연결된 한 속성(예: 프로필을 민주당원에서 공화당원으로 변경)을 조작하면서 다른 속성(예: 정책을 '친선택'으로 고정)을 일정하게 유지할 때, 연구자는 의도치 않게 프로필의 **비전형성(atypicality)**을 변화시킨다. "친선택 공화당원"은 "무엇이 무엇과 어울리는가"에 대한 응답자의 고정관념을 위반하는 반면, "친선택 민주당원"은 그 고정관념에 부합한다. 결과적으로, 관찰된 모든 차이는 속성 변화의 효과와 그 조합의 지각된 전형성 변화의 효과를 혼재시킨다. 본 논문은 한 차원을 고정하면서 다른 차원의 효과를 격리하기 위해 필요한 반사실(counterfactual)이 종종 구성 불가능하다고 주장하는데, 이는 "고정한다"는 조건 자체가 프로필의 심리적 실체를 변화시키기 때문이다.

연구 방법론
저자들은 차원 결합의 결과를 조사하기 위해 정파성과 정책 선호 사이의 관계를 사례 연구로 삼아 두 가지 연구를 통한 경험적 전략을 채택했다.

• 문헌 검토: 저자들은 2014~2024년 사이 American Political Science Review, American Journal of Political Science, Journal of Politics에 발표된 65개의 컨조인트 설계 연구를 수기 코딩하여 검토했다. 그 결과 34개의 연구가 비전형적인 속성 조합을 포함하고 있었으며, 그중 21개는 속성 간의 연결을 분리하는 것을 근거로 명시적으로 언급했다.
• 연구 1 (비전형성 할당): 사전 등록된 실험($N=1,152$)을 통해 응답자들에게 정당 정체성과 정책 입장의 일치도가 다양한 프로필을 보여주었다 (대조군: 일치함; 약한 처치: 하나의 불일치 이슈; 강한 처치: 완전히 불일치함). 결과 변수로는 지각된 현실성, 정서적 반응, 연구에 대한 신뢰도, 그리고 자기 보고된 차원 중요도가 포함되었다.
• 연구 2 (드러난 선택): 사전 등록된 컨조인트 실험($N=1,702$)에서 정파성과 정책 입장(기후 및 낙태)을 독립적으로 무작위 배정했다. 결정적으로, 저자들은 고정관념에 대한 사전 지식을 사용하여 잠재적인 "비전형성" 차원을 구축했다. 저자들은 다음을 분석했다:
  1. 신빙성: 비전형적인 프로필이 덜 현실적이라고 인식되는지 테스트하기 위해 표본의 일부($10\%$)를 사용했다.
  2. 선택 행동: 나머지 표본($90\%$)을 사용하여 비전형성에 대한 보편적 페널티를 테스트했다. 저자들은 보편적 성분(모든 고정관념 불일치 조합에 적용되는 페널티, 속성 상호작용으로 식별됨)과 조합 특정적 성분(특정 편차의 방향에 따라 달라지는 반응, 관찰적으로 주효과와 구별 불가능함)의 구분을 공식화했다.

주요 결과

• 지각 vs. 선택: 연구 1은 응답자들이 비전형적인 프로필을 인지하고 이를 싫어한다는 것을 보여준다. 비전형적인 조합에 노출되는 것은 지각된 현실성을 유의미하게 감소시키고, 부정적 정서를 증가시키며, 응답자들이 의사결정 과정에서 정당 지향성의 가중치를 낮추었다고 자기 보고하게 만들었다.
• 상호작용의 부재(The Null Interaction): 연구 2는 응답자들이 비전형성을 인지함에도 불구하고, 이것이 선택에서의 보편적 페널티로 이어지지는 않는다는 것을 보여준다. 추정된 정파성-정책 상호작용(비전형성 선호의 보편적 성분으로 식별됨)은 통계적으로 0과 구별할 수 없을 만큼 작았다.
• 가산성 및 방향성: 선택 데이터는 정파성과 정책에 대해 가산적(additive)이었다. 두 가지 비전형적 조합은 서로 반대 방향으로 움직였으며, 공유된 비전형성이 아니라 그것이 포함하고 있는 정책 내용에 따라 움직였다. 예를 들어, 민주당 응답자들 사이에서 "친생명주의 민주당원"(비전형적)은 전형적인 민주당원보다 적게 선택되었지만, "친선택 공화당원"(동등하게 비전형적)은 전형적인 공화당원보다 더 많이 선택되었다.
• 관찰적 동등성: 본 논문은 조합 특정적 반응(예: 특정 정책 입장을 선호하는 것)이 속성 자체의 주효과와 관찰적으로 구별 불가능하다는 점을 보여준다. 어떤 요인 설계도 응답자가 특정 조합을 싫어하는 이유가 그것이 '비전형적'이기 때문인지, 아니면 단순히 그 조합 내의 '속성'을 싫어하기 때문인지를 구분할 수 없다.

주요 기여

1. 이론적 명료화: 저자들은 확률적 연결(공존에 대한 고정관념)과 효과의 연결(상호작용 효과)을 구분하는 공식화된 틀을 제공한다. 저자들은 비전형성에 대한 선호/불호의 보편적 성분(상호작용)은 무작위화를 통해 식별 가능하지만, 조합 특정적 성분은 어떤 요인 설계에서도 근본적으로 식별 불가능하다고 주장한다.
2. 방법론적 비판: 본 논문은 연결된 차원이 존재하는 상황에서 평균 한계 성분 효과(AMCE)를 해석하는 방식에 이의를 제기한다. 저자들은 AMCE가 맥락으로부터 자유로운 "직접적" 효과를 회복하는 것이 아니라, 제시된 특정 조합에 불가분하게 묶여 있는 조건부 효과들의 평균을 회복하는 것이라고 주장한다.
3. 진단적 지침: 저자들은 연구자를 위한 "진단 청사진"을 제공한다:
   • 사전 단계(Ex ante): 고정관념적 연상의 강도를 평가하고, 연구 질문이 비전형적 프로필을 필요로 하는지 인정하라.
   • 사후 단계(Ex post): 비전형성에 대한 보편적 페널티를 테스트하기 위해 속성 상호작용을 정기적으로 추정하라.
   • 재구조화(Reframing): 고립된 효과를 얻는 것이 불가능할 때, 연구자는 연결된 차원을 분리하려고 시도하기보다 연결된 차원들의 상호작용을 이론화하고 테스트하는 데 초점을 맞춰야 한다.

의의 및 주장
본 논문은 연결된 다른 차원을 제외한 한 차원의 고립된 인과적 효과를 추구하는 것이, 차원들이 강력하게 고정관념화되어 있을 때 방법론적으로 불가능한 경우가 많다고 주장한다. 저자들은 "비전형성을 인지하는 것"(지각 체크나 자기 보고를 통해)이 비전형성이 선택을 주도한다는 증거는 아니라고 주장한다.

본 연구의 의의는 정파적 양극화에 관한 논쟁을 재구성하는 데 있다. 저자들은 양극화가 정당 정체성 또는 정책적 이견 중 무엇에 의해 발생하는지를 묻는 대신, 이 차원들이 어떻게 공동으로 평가를 형성하는지를 조사해야 한다고 제안한다. 본 논문은 연결된 차원의 "분리할 수 없는" 특성이 단순히 관리해야 할 방해 요소가 아니라 정치적 평가를 형성하는 실질적인 현상이며, 한 차원을 통제하면서 다른 차원을 조작하려는 시도는 의도한 반사실을 달성하는 데 자주 실패한다고 결론짓는다. 저자들은 자신들의 설계가 보편적 성분(이 설정에서는 null이었음)을 식별할 수 있지만, 조합 특정적 성분은 여alu 기존 문헌의 어떤 요인 테스트로도 도달할 수 없는 영역으로 남아있음을 언급하며 겸허한 태도를 유지한다. 즉, 연결된 속성의 고립된 효과에 대한 기존 문헌의 주장들은 검증 불가능하거나 오해되었을 수 있다는 것이다.