기술적 요약: 밈은 메시지다: 2024 년 미국 대통령 선거에서의 생성적 밈미시스와 AI 시각 콘텐츠

문제 제기

소셜 미디어의 시각 콘텐츠는 정치적 담론을 크게 형성하지만, 역사적으로 높은 제작 비용을 부과하여 시민 참여를 제한해 왔습니다. 생성형 AI(GenAI) 의 등장으로 이러한 장벽이 낮아지면서 해결책이 제시되었으나, 허위 정보와 정보 환경 조작에서의 역할에 대한 우려는 지속되고 있습니다. 기존 연구는 소셜 봇과 자동화된 배포의 영향을 살펴보았으나, 중요한 정치적 사건 동안 GenAI 콘텐츠의 생산과 선별을 분석한 문헌은 부족합니다. 구체적으로, GenAI 가 전쟁, 이민, 정치인 등 주제적 객체 탐지, 밈 형식 식별, 게시물의 생성 가능성 확률 추정 등을 포함한 제로샷 라벨링 방식을 통해 이미지를 분류하는 데 활용된 GPT-4o-mini 와 같은 기존 바이럴 형식인 밈과 어떻게 상호작용하는지, 다양한 이념적 집단이 이러한 도구를 어떻게 활용하는지, 그리고 합성 콘텐츠가 인간 중재 없이도 본질적으로 참여를 유도하는지 여부는 여전히 불분명합니다.

방법론

저자들은 2024 년 4 월 5 일부터 8 월 9 일까지 수집된 239,526 개의 인스타그램 이미지 데이터셋을 분석하여 2024 년 미국 대통령 선거를 다루었습니다. 데이터는 선거와 관련된 키워드와 해시태그에 대한雪球 샘플링 전략을 사용하여 메타의 CrowdTangle API 를 통해 검색되었습니다.

이 연구는 컴퓨터 비전, 대규모 언어 모델 (LLM), 그리고 얼굴 감정 분석을 결합한 멀티모달 워크플로우를 활용했습니다:

1. 시각 요소 식별: 팀은 이미지를 분류하기 위해 제로샷 라벨링 방식을 적용한 GPT-4o-mini 를 활용했습니다. 여기에는 전쟁, 이민, 정치인과 같은 주제적 객체 탐지, 밈 형식 식별, 게시물이 합성일 확률 추정이 포함되었습니다.
2. 합성 탐지: OpenAI 가 개발한 도구인 Provenance 를 사용하여 AI 생성 이미지를 플래그로 표시했습니다. 500 개의 무작위 표본에 대한 수동 검증을 통해 자동 라벨링 정확도가 약 85~92% 임이 확인되었습니다.
3. 감정 분석: 얼굴 표정을 분석하기 위해 저자들은 얼굴 행동 코딩 시스템 (FACS) 기반의 오픈소스 도구인 Py-Feat 를 사용했습니다. 이를 통해 이미지 내 인간 얼굴의 특정 감정 (예: 행복, 분노) 을 결정하기 위해 구체적인 얼굴 행동 단위 (AUs) 를 정량화할 수 있었습니다.
4. 주도적 의견 형성자 식별: 게시물 수와 평균 조회수 가중치에 따라 상위 139 개의 콘텐츠 제작 계정이 식별되었습니다. 이러한 계정은 외부 사실 확인 자원을 사용하여 미디어 편향에 대해 수동으로 라벨링되었습니다.
5. 통계적 분석: 연구는 팔로워 수와 주제적 주제를 통제하면서 콘텐츠 형식 (밈 대 비밈), 제작 방식 (AI 대 비 AI), 그리고 이들의 상호작용을 함수로 하여 참여도 (좋음 및 댓글) 를 모델링하기 위해 최소제곱법 (OLS) 회귀를 사용했습니다.

주요 기여

이 논문은 정치 커뮤니케이션 및 AI 관련 문헌에 세 가지 주요 기여를 합니다:

1. 형식 대 생산: 연구는 AI 생성 콘텐츠의 존재 여부보다 밈 형식이 참여도의 더 강력한 예측 변수임을 입증했습니다. 순수 합성 콘텐츠는 본질적으로 바이럴성을 높이지 않지만, AI 생성과 밈 형식 간의 상호작용은 참여도에서 시너지 효과를 가져옵니다.
2. 이념적 분화: 연구는 AI 사용에 있어 뚜렷한 당파적 전략을 특징으로 합니다. 민주당 성향 사용자는 주로 내집단 지지 (긍정적 캠페인) 를 위해 GenAI 를 사용하는 반면, 공화당 성향 사용자는 외집단 공격 (부정적 캠페인) 을 위해 이를 더 빈번하게 활용합니다.
3. 생성적 밈미시스: 저자들은 **"생성적 밈미시스 (generative memesis)"**라는 새로운 사회기술적 현상을 정의합니다. 이는 기존 프레임을 편집하여 사람 대 사람으로 전달되던 밈이 AI 를 통해 맞춤형 시각 콘텐츠로 매개되는 소통 방식을 설명합니다. 이 개념은 생산 (자동화) 과 선별 (인간) 간의 생산 과정 분기를 강조합니다.

결과

• 참여 역학: 밈 형식은 좋아요와 댓글 모두를 크게 증가시켰습니다. 밈 형식 없이 순수 AI 생성된 콘텐츠는 선거 관련 콘텐츠 일반 풀에 비해 바이럴성이 낮았습니다. 그러나 AI 생성이면서 밈 형식으로 포맷된 게시물은 특히 좋아요 측면에서 유의미한 긍정적 상호작용 효과를 보여주었습니다.
• 시간적 상관관계: AI 생성 밈의 양은 비 AI 밈과 상관관계를 보였으며, 트럼프 암살 시도 및 해리스 -바이든 교체 발표와 같은 주요 선거 사건 동안 정점을 찍었습니다. 그러나 트럼프의 유죄 판결 동안은 AI 밈 (8%) 보다 비 AI 밈 (14%) 이 우세하여 두드러진 격차가 발생했는데, 이는 근본적인 사건들이 합성 콘텐츠의 공급을 조절함을 시사합니다.
• 얼굴 감정: 사용자는 일반적으로 실제 사진보다 합성 얼굴을 더 행복하고 중립적으로 보이도록 선별했습니다. 이는 인간이 AI 콘텐츠를 선별할 때 긍정적 감정에 대한 심리적 편향을 시사합니다.
• 주도적 의견 형성자: 상위 139 명의 주도적 의견 형성자들은 일반 사용자 평균 (13.7%) 의 두 배인 **27.6%**의 비율로 밈을 활용했으며, AI 생성 이미지는 8.4% 비율로 사용했습니다. 비전통 미디어 및 엔터테인먼트 기반 계정이 밈과 AI 콘텐츠의 주요 동력이었던 반면, 전통 미디어는 전통적인 정치인 이미지에 더 집중했습니다.
• 당파적 비대칭: 민주당 성향 계정은 긍정적 메시지 (16% 대 14% 부정) 를 위해 AI 를 사용할 가능성이 더 높았으며, 공화당 성향 계정은 부정적 메시지 (11% 긍정 대 15.5% 부정) 로 치우쳤습니다.

중요성 및 주장

이 논문은 생성형 AI 가 인간의 주체성을 대체함으로써가 아니라 이를 재구성함으로써 정치 정보 환경을 재편하고 있다고 주장합니다. 저자들은 다음과 같이 주장합니다:

• 주체성의 변화: 정보 깔때기의 배포 계층에서 작동했던 이전의 AI 개입 (예: 소셜 봇) 과 달리, GenAI 는 공급 계층에서 작동합니다. 이는 "누가 공유하는가?"라는 질문에서 "누가 말하는가?"라는 질문으로 중요한 쟁점을 이동시키고 출처의 신뢰성에 도전합니다.
• 인간 선별의 필수성: 합성 정치 콘텐츠의 "확산 가능성"은 여전히 인간 개입에 달려 있습니다. AI 는 원자재를 생성하지만, 인간 행위자는 인식 가능한 정치적 서사와 밈 관습에 부합하도록 콘텐츠를 선택, 맥락화, 프레임하는 문화적 중개자 역할을 합니다.
• 생산의 분기: 연구는 GenAI 가 생산과 선별 사이의 분기를 만든다고 가정합니다. AI 가 생산 비용을 낮추지만, 참여 가치는 이러한 시각 콘텐츠를 문화적으로 중요한 프레임에 통합하는 인간 선별에서 비롯됩니다.
• 생성적 밈미시스: "생성적 밈미시스" 개념은 기존 프레임의 단순 복제가 아닌 맞춤형 AI 시각 콘텐츠에 의해 아이디어 전달이 매개되는 시각 커뮤니케이션 시스템의 새로운 사회기술적 층위로 작용합니다.

저자들은 GenAI 가 생산 장벽을 낮춤으로써 시민 참여를 강화하지만, 그 커뮤니케이션 효과는 알고리즘적 생성과 인간 선별 간의 상호작용에 크게 의존한다고 결론지었습니다. 향후 연구는 다양한 커뮤니티가 합성 선별에 관한 규범을 어떻게 발전시키는지, 그리고 플랫폼의 affordance 가 AI 매개 콘텐츠의 확산에 어떤 영향을 미치는지 이해하는 데 필요합니다.