Unpacking the Eye of the Beholder: Social Location, Identity, and the Moving Target of Political Perspectives

기술적 요약: 관찰자의 눈을 해부하다

문제 제기
계산적 사회과학은 대규모 정치적 텍스트와 이미지를 분석하기 위해 기계 학습 도구를 점점 더 많이 채택하고 있습니다. 그러나 이러한 도구들은 주로 '현실 절대주의 (ground truth absolutism)'라는 패러다임에 기반을 두고 있는데, 이는 관찰자와 무관하게 모든 데이터 인스턴스에 대해 단일한 올바른 레이블이 존재한다고 가정합니다. 정치적 이미지의 감정이나 지각된 폭력성을 판단하는 것과 같은 평가적 과제에서 이러한 가정은 결함이 있습니다. 정치학 이론은 평가가 사회적 위치와 정체성에 의해 매개된다는 것을 확립합니다; 즉, 한 사람이 정치적으로 그리고 사회적으로 어디에 서 있느냐가 그들이 무엇을 보는지를 결정합니다. 표준 계산적 접근법은 서로 다른 정체성을 가진 주석자들 간의 불일치를 '잡음'으로 간주하여 다수결 투표를 통해 제거하려 합니다. 이러한 불일치를 평균화함으로써 기존 도구들은 정치학이 중요하게 여기는 바로 그 현상, 즉 정치적 불일치를 정의하는 구조화된 긴장선과 평가적 갈등을 폐기해 버립니다. 결과적으로 현재 모델들은 모든 사람에게 고정된 의미를 가진 미디어 조각으로 간주하는 단일 점수를 생성하여, 정치적 이미지가 시청자에 의존하는 '움직이는 표적'으로 기능하는 방식을 포착하지 못합니다.

방법론: 관점주의 시각적 정치적 감정 (PVPS) 분류기
이를 해결하기 위해 저자는 관점주의 시각적 정치적 감정 (Perspectivist Visual Political Sentiment, PVPS) 분류기를 개발했습니다. 단일 감정 점수를 예측하는 표준 분류기와 달리, PVPS 는 각 이미지에 대한 '평가 프로파일'을 예측하여 어떤 특정 청중 세그먼트가 이미지를 더 호의적으로 평가하는지, 그리고 정체성 라인 along 어디에서 분기가 발생하는지를 기록합니다.

• 데이터: 이 모델은 2022~2025 년 네 차례의 설문 조사에 걸쳐 5,575 명의 미국 성인이 제공한 1,264 개의 정치적 이미지에 대한 약 82,000 건의 평가를 기반으로 훈련되었습니다. 응답자들은 7 점 척도 태도 평가와 함께 당파, 이념, 연령, 성별, 교육, 소득, 인종 등 완전한 인구통계학적 정보를 제공했습니다. 2,000 명 이상의 작업자가 주석한 7,543 개의 이미지에 대한 보조 데이터셋이 준지도 자기 훈련을 통해 통합되었습니다.
• 아키텍처: 파이프라인은 각 이미지당 6 가지 소스에서 1,666 개의 특징 벡터를 추출합니다:
  1. 시각적 내용과 공간적 레이아웃을 위한 CLIP(512 차원) 과 DINOv2(768 차원).
  2. TF-IDF 벡터 (300 차원) 로 변환된 Gemini 캡션.
  3. 예측 단어의 존재를 나타내는 의미론적 특징(50 차원).
  4. 정치적 객체 (예: 경찰, 국기, 간판) 를 위한 개념 특징(24 차원).
  5. 정책 영역을 위한 정치적 주제 특징(12 차원).
     이러한 벡터들은 투영 레이어와 두 개의 잔여 블록을 통해 128 차원 표현으로 압축된 후, 소프트맥스 레이어를 통해 클래스 확률 (합의 vs. 분기) 로 매핑됩니다.
• 훈련 전략: 시스템은 당파, 이념, 온도계 (Thermometer) 와 같은 주요 정치적 분열, 연령, 성별, 교육, 소득, 히스패닉과 같은 사회인구학적 축, 그리고 그 교차점 (예: 젊은 민주당원 vs. 노년 공화당원) 을 포함하는 112 개의 서로 다른 축에 대해 별도의 분류기를 훈련합니다.
  • 정치적 축의 경우, 모델은 시각적 내용에서 직접 그룹 분기를 예측하도록 학습합니다.
  • 사회인구학적 축의 경우, 이미지별 간격이 잡음이 많으므로 확장된 파이프라인 (경로 B) 이 사용됩니다. 이 경로는 이미지 특징과 응답자 속성에 기반하여 개별 평가를 예측한 후 전형적인 응답자 간의 간격을 계산하고, 이를 메타러너를 통해 시각적 신호 (경로 A) 와 결합합니다.
• 검증: 서로 다른 데이터 분할과 무작위 시드에서 훈련된 10 개의 분류기 앙상블이 사용됩니다. 성능은 클래스 불균형에 대한 견고성을 보장하기 위해 클래스별 최소 정확도의 중앙값으로 측정됩니다.

주요 결과

• 분류 성능: 분류기는 세 가지 주요 정치적 축 (당파, 이념, 온도계) 에서 평가적 분기를 성공적으로 예측하며, 클래스별 최소 정확도 중앙값은 68.7% 에서 78.9% 사이입니다. 또한 많은 교당파 및 교차 축에서도 높은 정확도 (60~83%) 를 달성합니다.
• 사회인구학적 신호: 순수한 사회인구학적 축 (예: 연령, 성별) 은 이미지 수준 불일치에만 의존할 때 더 약한 신호를 보입니다 (50~58% 정확도). 그러나 응답자 속성에 조건을 둔 확장된 파이프라인은 연령 (68.9%), 성별 (62.0%), 교육 (61.0%) 에 대해 상당한 신호를 회복하여, 사회적 정체성이 평가를 형성하지만 종종 정치적 구조와 얽힌 방식으로 작용함을 보여줍니다.
• 기존 연구의 재분석:
  • Casas 와 Webb Williams(2019): PVPS 를 Black Lives Matter(BLM) 이미지에 적용한 결과, 감정의 동원 효과가 균일하지 않음이 드러났습니다. 열정은 민주당 여성에게 호의적인 이미지의 공유를 동원하는 반면, 공포와 혐오 공화당 남성에게 호의적인 이미지의 참여를 주도합니다. 평균화된 감정 점수는 이러한 분기된 메커니즘을 흐리게 합니다.
  • Won, Steinert-Threlkeld, Joo(2017): 이 연구는 주석자들이 '폭력적'으로 평가한 이미지들이 PVPS 에 의해 공화당원, 보수주의자, 공화당 성향 응답자에게 호의적으로 평가될 것으로 예측된 동일한 이미지임을 발견했습니다. 반면, 시위 간판이 있는 이미지 (원래 연구에서 지각된 폭력이 낮은 것으로 연관됨) 는 민주당원에게 호의적일 것으로 예측되었습니다. 이는 지각된 폭력이 중립적인 시각적 속성이 아니라 당파적 균열선을 따른다는 것을 시사합니다.

의의와 주장
이 논문은 정치학과 계산적 방법을 연결하는 두 가지 주요 기여를 주장합니다:

1. 정치학을 위해: 집단 매개 평가를 측정할 수 있는 확장 가능한 방법을 제공합니다. 이론은 오랫동안 정치적 판단이 정체성에 따라 분류되고 교차적임을 확립해 왔지만, 경험적 도구는 뒤처져 불일치를 다수 레이블로 축소하는 경향이 있었습니다. PVPS 는 구조화된 불일치를 관찰 가능하고 예측 가능하게 만들어, 연구자들이 단일한 청중 반응을 가정하는 대신 시각적 설득 효과가 특정 청중 세그먼트에 따라 어떻게 변하는지 측정할 수 있게 합니다.
2. 계산적 정치학을 위해: 정치적 이미지들에 대한 집단 갈등의 축이 시각적 내용에서 직접 모델링될 만큼 강력한 신호를 지니고 있음을 보여줍니다. 모델 아키텍처에 불일치를 잡음이 아닌 신호로 보는 관점주의 가정을 통합함으로써, 이미지가 어떻게 수용되는지에 대한 해석이 실질적으로 변화합니다. 이는 미디어 효과와 시각적 설득을 대규모로 재분석할 수 있게 하며, '정치적 이미지가 전달하는 바'는 시청자의 사회적 위치에 의존하는 움직이는 표적임을 인정하게 합니다.

이 논문은 정치적 이미지를 측정하려면 '누구를 움직이는지'를 알아야 한다고 결론지으며, 편향이나 일반화 문제를 모두 해결한다고 주장하지는 않습니다 (감정적 양극화에서 미국 맥락은 이례적임을 지적함). 하지만 관찰자의 눈이 평균화되어야 할 오류의 원천이 아니라 분석의 중심 대상이 되는 프레임워크를 확립합니다.