💻 computer science

Bilder ohne Worte: Can AI Identify Political Parties via Unspoken Visual Signatures in the 2025 German Election?

이 논문은 지각적 단서들을 언어화함으로써 2025년 독일 선거 캠페인 미디어로부터 정당 소속을 성공적으로 분류하고, 명시적인 브랜딩을 제거한 후에도 정당 정체성이 어느 정도까지 지속되는지를 정량화하며, 블랙박스 임베딩과 대등한 성능을 달성하는 해석 가능한 시각-언어 모델인 PREF를 소개한다.

원저자: Ali Abusaleh, Alexander Mehler, Mevlut Bagci

게시일 2026-08-31

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ali Abusaleh, Alexander Mehler, Mevlut Bagci

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 정치 무대에서 가장 강력한 메시지는 종종 결코 입 밖으로 나오지 않는 것들이다. 선거 운동은 여전히 정책 연설과 서면 선언문에 의존하고 있지만, 정치적 소통의 일상적인 리듬은 소셜 미디어에 공유되는 짧은 영상과 이미지로 이동했다. 이러한 시각적 조각들은 화면 위의 단어 그 이상의 풍부한 정보를 담고 있다. 사람의 자세, 의복, 목소리의 톤이 그 사람의 기분이나 배경을 드러낼 수 있는 것처럼, 정치 캠페인의 시각적 스타일은 그 정체성을 신호할 수 있다. 연구자들은 인간이 짧은 시각적 단서만으로도 한 개인의 정치적 성향을 빠르고 놀라울 정도로 정확하게 추측할 수 있다는 사실을 오래전부터 알고 있었다. 이제 질문은 컴퓨터가 텍스트를 읽는 것이 아니라, 이미지 자체의 침묵하는 언어를 이해함으로써 똑같은 일을 할 수 있는지 여부이다.

이것은 괴테 대학교 프랑크푸르트의 연구팀이 직면한 과제였다. 그들은 인공지능이 독일 정치 정당들을 그들의 캠페인 미디어의 시각적 및 청각적 특징만을 보고 식별할 수 있는지 알아보기 위해 연구를 시작했다. 그들은 개인 유권자나 정치인의 사적인 신념을 추측하는 데 관심이 없었다. 대신, 그들은 정당의 공식 게시물들이 보여주는 조율된 스타일—샷을 프레임 안에 담는 방식, 선택하는 색상, 의복의 격식, 그리고 목소리의 톤—이 기계가 인식할 수 있는 고유한 지문을 만들어내는지 알고 싶었다. 이를 테스트하기 위해, 그들은 2025년 독일 연방 선거 기간 동안 정치인들이 게시한 15,000개 이상의 이미지와 영상을 수집했다. 이 게시물들은 보수 진영부터 진보적인 녹색당, 자유주의적인 자유민주당에 이르기까지 주요 정당들로부터 나왔다.

연구진은 PREF라고 부르는 시스템을 구축했는데, 이는 지각-언어 특징(Perceptual-Verbal Feature) 모델의 약자이다. 이미지를 복잡하고 불투명한 '블랙박스'처럼 작동하는 복잡한 컴퓨터 프로그램에 직접 입력하는 대신, 그들은 먼저 고급 AI에게 자신이 보고 들은 것을 평이한 언어로 묘란하도록 요청했다. 이 시스템은 영상과 이미지를 분석하여 관찰 가능한 세부 사항 목록을 생성했다: 프레임 안에 몇 명의 사람이 있는지, 배경이 실내인지 실외인지, 화자가 정장을 입었는지 혹은 캐주얼한 옷을 입었는지, 목소리의 감정적 톤은 어떠한지, 그리고 깃발이나 차트와 같은 특정 물체가 존재하는지 등이다. 이러한 묘사들은 그 후 어떤 정당이 콘텐츠를 게시했는지 결정하기 위해, 명확하고 이해 가능한 규칙에 기반하여 결정을 내리는 유형의 컴퓨터 프로그램인 투명한 분류기(classifier)로 전달되었다.

결과는 놀라웠다. 이 시스템은 게시물의 배후에 있는 정당을 거의 85%의 확률로 정확하게 식별해 냈다. 이 수준의 정확도는 숨겨진 수학적 패턴에 의존하는 훨씬 더 복잡한 '블랙박스' 시스템의 성능과 일치했다. 더 중요한 것은, 연구진이 이 성공이 정당 로고, 깃발, 또는 캠페인 색상과 같은 명시적인 브랜딩에 얼마나 의존하고 있는지 알고 싶었다는 점이다. 이를 알아내기 위해, 그들은 AI의 설명에서 그러한 명시적인 상징들을 모두 제거하여 스타일과 행동의 미묘한 단서들만 남긴 두 번째 테스트를 실행했다. 로고나 특정 캠페인 색상이 없더라도, 시스템은 여로 약 84%로 약간 하락했을 뿐 여전히 높은 정확도로 정당을 식별해 냈다. 이는 정치 정당들이 구별되는, 말하지 않는 시각적 언어를 발전시켜 왔음을 시사한다. 보수 정당은 일관되로 격식 있는 복장, 진지한 톤, 그리고 연단 설정을 사용하는 반면, 진보 정당은 캐주얼한 의복, 다양한 군중, 그리고 더 절제된 톤을 선호할 수 있다. 이러한 패턴은 매우 일관적이어서 정체성의 명백한 징후들이 제거되더라도 여전히 인식 가능하다.

연구 결과가 단순히 컴퓨터의 산물이 아님을 확인하기 위해, 연구진은 또한 자원봉사자들에게 동일한 이미지와 영상의 작은 샘 샘플을 살펴보도록 요청했다. 인간들은 시각적 단서만을 바탕으로 정치 정당을 높은 수준의 일치도를 보이며 식별해 냈으며, 이는 기계가 탐지한 신호가 사람들이 실제로 관찰할 수 있는 실재하는 것임을 확인해 주었다. 또한 이 연구는 시각적 및 청각적 단서가 보통 이러한 게시물에 수반되는 텍스트 캡션만큼이나, 혹은 그보다 약간 더 효과적이라는 것을 보여주었다. 이는 캠페인의 시각적 전략이 대중의 인식을 형성하는 데 있어 그 자체로 상당한 무게감을 가진다는 것을 나타낸다.

연구는 정치적 정체성이 텍스트에 의존하지 않고도 해독될 수 있는 구조화된 지각적 서명 속에 인코딩되어 있다고 결론짓는다. 이 연구에 사용된 기술은 공적인 공식 캠페인 자료를 분석하기 위해 설계되었지만, 이러한 패턴을 자동적으로 탐지하는 능력은 정치적 소통의 미래에 중요한 질문을 던진다. 연구진은 자신들의 작업이 개인의 사적인 이데올로기가 아닌 정당의 제도적 브랜딩에 초점을 맞추고 있음을 강조하며, 이러한 도구가 개인의 프로파일링이나 정치적 메시지 조작에 사용되는 것을 방지하기 위한 엄격한 윤리적 안전장치를 촉구한다. 궁극적으로, 이 작업은 디지털 시대에 정당이 어떻게 보이고 들리는지가 그들이 선택하는 단어만큼이나 그들의 메시지의 일부라는 점을 입증한다.

기술 요약: "말 없는 이미지: AI는 2025년 독일 선거의 무언의 시각적 서명을 통해 정당을 식별할 수 있는가?"

문제 제기
계산 정치 커뮤니케이션 연구는 X(구 트위터)와 같은 플랫폼에서 숏폼 비디오와 이미지로 정치 캠페인이 이동했음에도 불구하고, 역사적으로 텍스트 중심에 머물러 왔습니다. 기존의 멀티모달 접근 방식은 종종 해석 가능성과 투명성이 결여된 블랙박스 임베딩(예: CLIP, 표준 VLM 임베딩)에 의존하는데, 이는 정치 분석에 있어 필수적인 요구사항입니다. 더욱이, 임베딩 기반 방법론은 의미론적 불투명성, 해석 가능성 부족, 그리고 "합치 불일치(congruence blindness)"(교차 모달 정렬 모델링의 미흡함) 문제로 어려움을 겪습니다. 저자들은 두 가지 핵심 질문을 던집니다: (1) 해석 가능한 표현 방식이 캠페인 미디어의 정당 소속을 분류하는 데 있어 블랙박스 임베딩의 성능과 대등할 수 있는가? (2) 명시적인 브랜딩(로고, 깃발, 색상, 텍스트)이 제거되어 미묘하고 조율된 미학적 및 행동적 단서만이 남았을 때, 정당 식별성은 어느 정도까지 지속되는가?

방법론: PREF 프레임워크
저자들은 원시 미디어를 구조화되고 인간이 읽을 수 있는 특징 스키마로 변환하도록 설계된 모듈형 파이프라인인 PREF(Perceptual–Verbal Feature model)를 소개합니다. 이 프레임워크는 세 단계로 작동합니다:

멀티모달 특징 추출: Qwen2.5-VL 시각-언어 모델(VLM)을 사용하여 시스템은 이미지와 비디오 프레임을 처리하여 구조화된 의미론적 설명을 생성합니다. 이 설명은 세 가지 모달리티를 다룹니다: 시각(무엇이 제시되는가), 청각(비디오에서 무엇이 들리는가), 시간적(프레임이 어떻게 결합되는가). 출력은 엄격한 JSON 스키마를 준수합니다.
하이브리드 특징 도출: 특징 분류 체계가 이론적으로 근거가 있으면서도 데이터 중심적이 되도록 하고 연구자의 편향을 완화하기 위해, 저자들은 다중 모델 합의(Multi-Model Consensus) 전략을 채택합니다. GPT-5, Llama3.2, DeepSeek-R1, Mistral, Phi-4, GPT-OSS를 포함한 6개의 최첨단 LLM 앙상블이 독립적으로 관찰 가능한 시청각적 특징을 제안합니다. 특징은 적어도 두 개 이상의 모델이 합의했을 경우(제안된 경우)에만 유지되어 객관적인 스키마를 형성합니다.
해석 가능한 분류: 추출된 지각-언어적 특징은 투명한 분류기(의사결정 나무, 랜덤 포레스트, 로지스틱 회귀 등)에 입력됩니다. 저자들은 모델의 추론 과정을 감사할 수 있도록 특징 중요도와 결정 경로를 제공하는 능력을 갖춘 랜덤 포레스트를 우선시합니다.

실험 설정
본 연구는 2025년 독일 연방 선거 기간(2024년 11월 6일 ~ 2025년 2월 23일) 동안 수집된 39,546개의 트윗 데이터셋인 PolTweetCorpus를 활용합니다. 분석은 7개 주요 독일 정당의 검증된 대표자들이 게시한 15,043개의 레이블링된 미디어 항목(이미지 및 비디오)에 집중합니다(그룹 A~G로 레이블링됨).

데이터 분할: 훈련용 80%(12,034개 샘-플), 테스트용 20%(3,009개 샘플).
절제 연구(Ablation Study, H2): "통제된 디브랜딩(de-branding)" 절차를 통해 명시적인 브랜딩 특징(그룹 G1: 로고, 깃발, 캠페인 색상, 텍스트 오버레이)을 체계적으로 제거하여, 모델이 미묘한 단서(그룹 G2: 복장, 장면 설정, 톤, 움직임)만으로 여전히 정당을 분류할 수 있는지 테스트합니다.
인간 검증: $n=140$ 의 무작위 표본을 대상으로 한 연구에서는 인간 주석가들이 PREF 스키마의 12가지 의미적 차원을 레이블링하여 주석가 간 일치도(IAA)와 LLM-인간 정렬을 측정했습니다.

주요 결과

베이스라인 대비 성능: PERF 프레임워크는 랜덤 포레스트 분류기를 사용하여 84.98%의 정확도와 0.9219의 AUC를 달절했습니다. 이 성능은 텍스트 기반 모델 및 불투명한 임베딩 기반 베이스라인(예: 원시 임베딩 상의 k-NN, 신경망)의 성능과 대등하거나 이를 능가하며, 베이스라인들은 소수 클래스 민감도 문제로 인해 더 낮은 AUC(예: 원시 임별 상의 RF는 0.8267)를 기록했습니다.
디브랜딩 강건성(H2): 결정적으로, 명시적 브랜딩 특징(G1)을 제거했을 때 모델의 정확도는 84.11%(AUC 0.8977)로 미미하게만 하락했습니다. 이는 정당이 로고 없이도 지속되는 구별 가능하고 측정 가능한 미학적 및 행동적 "서명"(G2)을 보유하고 있음을 확인시켜 줍니다.
인간 검증: 인간 주석가들은 PREF 스키마에 대해 상당한 일치도를 보였습니다(전체 Krippendorff's $\alpha = 0.67$ ; 시각적 정당 식별에 대해 $\alpha = 0.78$ ). VLM(Qwen2.5-VL)은 인간과 중간 정도의 정렬을 보였으나( $\alpha = 0.50$ ), 정당 관련 차원에서는 높은 일치도( $\alpha = 0.73$ )를 보여, 모델의 단서가 인간에 의해 검증 가능하며 단순히 VLM 내부 기하학의 산물이 아님을 확인했습니다.
모델 효율성: 본 연구는 3B 파라미터 규모의 Qwen2.5-VL 모델이 더 큰 32B 및 72B 변형 모델과 유사한 성능을 보인다는 "포화 효과"를 발견하였으며, 이는 더 작은 모델이 이 특정 도메인에 필요한 지식을 효율적으로 추출할 수 있음을 시사합니다.

의의 및 주장
본 논문은 세 가지 주요 기여를 주장합니다:

해석 가능한 동등성: 투명하게 언어화된 특징 프레임워크가 정치적 분류에서 블랙박스 임베딩의 예측력을 대등하게 구현할 수 있음을 입증하여, 민감한 사회정치적 영역에서 감사 가능한 AI를 향한 경로를 제시합니다.
브랜딩과 스타일의 분해: 디브랜딩 절제 연구를 통해, 명시적 상징을 제거했을 때 정당 정체성이 얼마나 생존하는지를 최초로 정량화했습니다. 연구는 정당 소속이 로고뿐만 아니라, 경험적으로 탐지 가능한 조율된 미학(복장, 톤, 설정)의 "시각적 언어"에 인코딩되어 있다는 결론을 내립니다.
편향이 완화된 특징 도출: 다중 모델 합의를 사용하여 특징 스키마를 정의함으로써, 저자들은 연구자의 주관성을 해결하고 정치 미디어 분석을 위한 더욱 견고하고 객적인 분류 체계를 구축했습니다.

저자들은 자신의 연구를 개인의 사적인 이데올로기를 추론하는 것이 아니라, 기관 캠페인 브랜딩과 조율된 제작 가치를 분석하는 것으로 명확히 규정합니다. 그들은 식별된 "무언의 시각적 서명"이 커뮤니케이션 전략 자체의 속성임을 강조하며, 탈언어화된 멀티모달 담론 시대에 정치적 정체성을 해독하는 방법을 제공합니다.

유사한 논문