Investigating Vaccine Buyer's Remorse: Post-Vaccination Decision Regret in COVID-19 Social Media Using Politically Diverse Human Annotation

이 논문은 정치적 다양성을 고려한 인간 주석과 대규모 언어 모델을 활용하여 COVID-19 백신 구매 후 후회 (vaccine buyer's remorse) 를 분석한 결과, 공적 담론에서 그 비율이 2% 미만임에도 불구하고 백신 회의론자 커뮤니티에 집중되어 있으며 주로 개인적 건강 부작용을 이유로 한 1 인칭 서사로 나타난다는 점을 규명했습니다.

핵심

이 논문은 **"코로나 백신을 맞고 나서 후회하는 사람들 (백신 구매 후 후회, Vaccine Buyer's Remorse)"**에 대한 연구를 다룹니다. 마치 새 스마트폰을 사서 "아, 차라리 안 샀으면 좋았을 텐데"라고 생각하게 되는 것과 비슷하죠.

연구팀은 유튜브 댓글이라는 거대한 데이터 바다에서 이 '후회' 감정을 찾아내고, 왜 그런 감정이 생기는지, 그리고 누가 주로 그런 말을 하는지 분석했습니다.

이 복잡한 연구를 쉽게 이해할 수 있도록 4 가지 핵심 이야기로 나누어 설명해 드릴게요.

---

1. 연구의 목적: "거대한 데이터 바다에서 진주 찾기"

연구팀은 유튜브 뉴스 채널과 유명 인플루언서들의 댓글 8 천만 개 이상을 모았습니다. 하지만 이 바다에서 '백신 후회'라는 진주를 찾으려면, 그냥 무작위로 건져올리는 건 비효율적이었습니다.

그래서 그들은 **AI(대형 언어 모델)**를 '수색 로봇'으로 활용했습니다. 먼저 AI 가 댓글을 빠르게 훑어보며 "이건 백신 이야기인가?"를 걸러내고, 그중에서 "아, 이 사람은 후회하는구나"라고 느낄 만한 글들을 찾아냈습니다.

2. 편견을 없애기 위한 '다양한 심판단'

가장 흥미로운 점은 어떻게 '후회'를 정의했는지입니다. 백신 문제는 정치적 성향에 따라 해석이 매우 다를 수 있습니다. (예: 어떤 사람은 "부작용이 무서워서 후회한다"고 하고, 다른 사람은 "강제성 때문에 후회한다"고 할 수 있죠.)

연구팀은 이 편향을 줄이기 위해 민주당, 공화당, 무소속 등 정치적 성향이 다양한 200 명 이상의 일반인들을 '심판단'으로 모았습니다. 마치 법정에 다양한 배경을 가진 배심원들을 모아 공정한 판결을 내리는 것처럼, 이들도 댓글을 읽고 "이건 진짜 후회인가?"를 투표로 결정했습니다. 이를 통해 AI 가 편향되지 않도록 검증했습니다.

3. 주요 발견: "후회는 드물지만, 특정 장소에 몰려있다"

연구 결과, 놀라운 사실이 드러났습니다.

• 후회는 드뭅니다: 전체 백신 관련 댓글 중 후회하는 말은 **약 1.1%**밖에 되지 않았습니다. 즉, 대부분의 사람들은 백신에 대해 중립적이거나 긍정적인 태도를 보이고 있다는 뜻입니다.
• 하지만 특정 '방'에 몰려있습니다: 후회하는 말은 뉴스 채널보다는 유튜버 (인플루언서) 채널에서 훨씬 더 많이 발견되었습니다. 특히 '백신 회의론자 (skeptic)' 유튜버들의 댓글에서는 후회 비율이 **2.9%**로, 일반 뉴스의 0.7% 보다 훨씬 높았습니다.
  • 비유하자면: 전체 학교 학생들 중 후회하는 학생은 드물지만, 특정 '불만 그룹'이 모인 방 안에서는 후회하는 목소리가 유독 크게 들리는 것과 같습니다.

4. 왜 후회할까? "나쁜 경험" vs "강제된 느낌"

후회하는 이유를 분석한 결과, 두 가지 주요 원인이 있었습니다.

1. 건강상의 부작용 (가장 흔함): "맞고 나서 병이 생겼다", "몸이 안 좋다"는 이야기입니다. 이는 1 인칭 (본인 경험) 과 3 인칭 (지인 이야기) 모두에서 가장 큰 이유였습니다.
2. 강제된 느낌 (1 인칭 특이점): "강제로 맞았기 때문에 후회한다"는 말은 주로 **본인 경험 (1 인칭)**에서 더 많이 나왔습니다. "직장이나 학교에서 안 맞으면 안 된다고 해서 어쩔 수 없이 맞았는데, 그게 후회스럽다"는 식이죠.

5. 결론: "소수의 목소리가 크게 들리는 이유"

이 연구는 중요한 교훈을 줍니다.
우리는 소셜 미디어에서 "백신을 맞고 후회한다"는 이야기를 자주 들어서, 마치 많은 사람이 후회하는 것처럼 느낄 수 있습니다. 하지만 실제로는 **전체 대화의 아주 작은 부분 (1% 미만)**에 불과합니다.

그런데 왜 그렇게 크게 들릴까요?

• 확증 편향의 방: 후회하는 사람들은 주로 특정 유튜버들의 커뮤니티에 모여 서로의 이야기를 공유하며 그 감정을 더 크게 부풀립니다 (에코 챔버 효과).
• AI 의 역할: 이 연구는 AI 를 이용해 이러한 '작지만 강력한' 목소리를 정량적으로 측정하고, 그 원인을 파악함으로써 공중보건 당국이 어떻게 소통해야 할지 (예: 부작용에 대한 정확한 정보 제공, 강제성에 대한 우려 해소 등) 에 대한 방향을 제시합니다.

한 줄 요약:

"백신 후회라는 감정은 전체론 드물지만, 특정 온라인 커뮤니티에서 크게 부각되고 있습니다. AI 와 다양한 사람들이 함께 분석한 결과, 이 후회는 주로 '부작용'과 '강제성'에서 비롯되며, 공중보건 당국은 이 작은 목소리들이 왜 커지는지 이해하고 신뢰를 회복하는 소통이 필요합니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: COVID-19 백신 접종 캠페인은 심각한 정치적 양극화와 정보 과부하 (Infodemic) 환경에서 진행되었습니다. 기존 연구는 주로 백신 접종 전의 'hesitancy (주저함)'에 집중했으나, 접종 후 발생하는 **'백신 구매 후 후회 (Vaccine Buyer's Remorse)'**에 대한 데이터와 이해는 크게 부족합니다.
• 문제: 백신 후회 (Regret) 는 개인적 경험이나 타인의 경험을 통해 형성되며, 이는 공중보건 커뮤니케이션과 제도적 신뢰에 부정적인 영향을 미칩니다. 그러나 소셜 미디어상의 방대한 비공식적 데이터 (유튜브 댓글 등) 를 분석할 때, 다음과 같은 방법론적 난제가 존재합니다.
  1. 주관성: 후회라는 감정은 정치적 신념에 따라 해석이 달라질 수 있어 편향된 라벨링이 발생할 위험이 큽니다.
  2. 서사 구분: 1 인칭 (자신의 경험) 과 3 인칭/간접 경험 (타인의 이야기) 을 구분하는 것이 어렵습니다.
  3. 모델 편향: 대규모 언어 모델 (LLM) 이 복잡한 감정과 맥락을 정확히 파악하는 데 한계가 있을 수 있습니다.

2. 데이터셋 및 방법론 (Methodology)

2.1 데이터 수집 및 구성

• 소스: 미국 주요 케이블 뉴스 (Fox News, CNN, MSNBC) 의 공식 유튜브 채널 65,886 개 영상과 백신 논의에 참여하는 유명 인플루언서 (Pro-vaccine 및 Vaccine-skeptic) 채널 981 개에서 수집된 댓글.
• 규모: 총 8000 만 개 이상의 댓글 중, 백신 관련 키워드로 필터링하여 137 만 개의 관련 댓글을 확보했습니다.
• 벤치마크 데이터셋 (Dbench): 후회가 포함된 댓글을 효율적으로 찾기 위해 LLM 을 활용한 0-shot/ Few-shot 프롬핑과 정규식을 사용하여 잠재적 '후회' 댓글을 선별했습니다. 최종적으로 2,000 개의 댓글을 벤치마크 세트로 구성했습니다.
• 야생 데이터셋 (Dwild): 60 만 개의 댓글을 뉴스 (30 만 개) 와 인플루언서 (30 만 개) 로 균형을 맞춰 분석에 사용했습니다.

2.2 주석 (Annotation) 전략

• 정치적 다양성: 정치적 편향을 최소화하기 위해 공화당, 민주당, 무소속으로 구성된 201 명의 다양한 주석가 패널을 모집했습니다.
• 주석 항목:
  1. 후회 (Regret): 명시적 후회 vs 암시적 후회 (Positive for Regret) vs 비후회/중립 (Negative for Regret).
  2. 서사 관점 (Narrative Perspective): 1 인칭 (Self), 3 인칭/간접 경험 (Other), 미지정 (Unspecified).
  3. 백신 접종 여부: 접종함/접종 안 함/불명.
• 합의: 각 댓글은 세 그룹의 주석가 각각 한 명씩이 독립적으로 라벨링했으며, 다수결 (Majority Vote) 로 최종 라벨을 결정했습니다.

2.3 모델 및 파이프라인

• 하이브리드 추론 파이프라인:
  1. 1 단계 (Relevance Filter): NLI (Natural Language Inference) 모델을 사용하여 백신 관련성이 없는 대량의 댓글을 선별하여 제거합니다. (효율성 극대화)
  2. 2 단계 (Expert Reasoner): 필터를 통과한 댓글에 대해 **LLM (Llama-3.1:70b 등)**을 사용하여 다중 레이블 분류 (주체, 접종 여부, 후회 여부) 를 수행합니다.
• 모델 평가: Zero-shot, Few-shot, 그리고 LoRA 를 이용한 Supervised Fine-tuning (SFT) 을 다양한 LLM (Mistral, Llama, Mixtral, GPT-4o-mini 등) 에 적용하여 성능을 비교했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 데이터셋: 정치적 다양성을 고려하여 주석된 COVID-19 백신 후회 관련 벤치마크 데이터셋 (2,000 개 댓글) 을 최초로 공개했습니다.
2. 방법론적 혁신: 정치적 편향을 통제하기 위한 주석 전략과, 대규모 소셜 미디어 데이터를 분석하기 위한 2 단계 하이브리드 LLM 파이프라인을 제안했습니다.
3. 실증적 분석: 1 인칭과 간접 경험의 후회 양상, 그리고 뉴스 vs 인플루언서 채널 간의 차이를 정량화했습니다.

4. 주요 결과 (Results)

4.1 후회의 발생률 (Prevalence)

• 전체 관련 댓글 중 백신 후회를 표현하는 댓글은 **약 1.1%**로 매우 드뭅니다.
• 출처별 차이: 인플루언서 채널 (1.9%) 이 뉴스 채널 (0.7%) 보다 후회 비율이 훨씬 높았습니다. 특히 백신 회의론자 (Skeptic) 인플루언서 채널에서는 **2.9%**로, 백신 지지 인플루언서 (1.0%) 보다 약 3 배 높았습니다. 이는 '에코 챔버 (Echo Chamber)' 효과가 후회 감정을 증폭시킴을 시사합니다.

4.2 서사 및 원인 분석

• 서사 관점: 후회 댓글의 **67.9%**가 1 인칭 (자신의 경험) 서사였습니다.
• 주요 원인:
  • 부작용 (Adverse Health Event): 전체 후회 사례의 **55.0%**를 차지하며 가장 큰 원인입니다. 인플루언서 채널에서는 이 비율이 64.2% 로 더 높았습니다.
  • 효능 부족 (Lack of Efficacy): 뉴스 채널에서 두 번째로 큰 원인 (26.9%) 이었습니다.
  • 강제성 인식 (Perceived Coercion): 1 인칭 서사에서 간접 경험보다 2 배 이상 많이 언급되었습니다 (11.6% vs 4.9%).
• 간접 경험 관계: '가족 (29.6%)'이 가장 많이 언급된 관계였으며, 이는 사회적 네트워크가 건강 서사에 미치는 영향을 보여줍니다.

4.3 모델 성능 및 편향

• 모델 성능: Fine-tuned Llama-3.1:70b가 후회 분류 (F1-score 0.83) 및 접종 여부 분류에서 가장 우수한 성능을 보였습니다.
• 정치적 편향: 모델의 예측이 특정 정치적 성향 (민주당, 공화당, 무소속) 주석가의 의견과 체계적으로 일치하지는 않았습니다 (통계적 유의미성 없음). 이는 모델이 정치적 편향 없이 중립적으로 작동함을 시사합니다.
• 주석자 간 일치: 정치적 신념에 따라 '주체 (Subject)' 분류에서 유의미한 차이가 있었으나, '후회'나 '접종 여부'와 같은 사실적/감정적 판단에서는 큰 차이가 없었습니다.

5. 의의 및 시사점 (Significance)

• 공중보건 모니터링: 이 연구는 소셜 미디어 데이터를 대규모로 분석하여 백신 후회의 원인과 분포를 실시간으로 모니터링할 수 있는 확장 가능한 프레임워크를 제공합니다.
• 커뮤니케이션 전략: 후회의 주요 원인이 '부작용', '강제성', '효능 부족'임을 파악함으로써, 공중보건 당국은 각기 다른 온라인 생태계 (뉴스 vs 인플루언서) 에 맞춘 타겟팅된 커뮤니케이션 전략을 수립할 수 있습니다.
• 신뢰 회복: 정치적 양극화 환경에서도 객관적인 데이터 기반의 분석이 가능함을 보여주며, 향후 건강 위기 대응 시 신뢰 회복을 위한 중요한 통찰을 제공합니다.

결론

이 논문은 소셜 미디어상의 '백신 구매 후 후회' 현상을 정치적 편향을 통제된 인간 주석과 정교한 LLM 파이프라인을 통해 정량적으로 분석했습니다. 결과는 후회가 전체 담론의 소수 (<2%) 를 차지하지만, 특정 커뮤니티 (회의론자 인플루언서) 에서 집중적으로 발생하며, 주로 부작용과 강제성에 대한 인식에서 비롯됨을 밝혔습니다. 이는 미래의 공중보건 위기 대응 및 신뢰 구축을 위한 데이터 기반 접근법의 중요성을 강조합니다.