🤖 AI

Paying Attention to Deflections: Mining Pragmatic Nuances for Whataboutism Detection in Online Discourse

원저자: Khiem Phi, Noushin Salek Faramarzi, Chenlu Wang, Ritwik Banerjee

게시일 2026-06-24

📖 4 분 읽기☕ 가벼운 읽기

원저자: Khiem Phi, Noushin Salek Faramarzi, Chenlu Wang, Ritwik Banerjee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 문제: "그럼 ~은 어때?"라는 함정

친구와 격렬한 논쟁을 하고 있다고 상상해 보세요. 당신이 "너 회의에 늦었어"라고 말했습니다. 그러자 친구는 "미안해"라고 말하는 대신, "그럼 작년에 네가 늦었던 건 어때?"라고 되받아칩니다.

이것이 바로 **'왓아바우티즘(Whataboutism, 피장파장의 오류)'**입니다. 이는 상대방의 비판을 무력화하기 위해, 원래의 비판을 덜 중요하게 보이게 하거나 청중을 혼란스럽게 만들 목적으로 관련이 없거나 다른 문제를 지적하며 화제를 돌리는 수사적 기법입니다. 마치 마술사가 왼쪽 손으로 빨간 천을 흔들어 시선을 끄는 동안, 오른손으로는 당신의 시계를 훔치는 것과 같습니다.

오랫동안 이 기술을 탐지하려던 컴퓨터(AI)들은 매우 순진했습니다. 그들은 단순히 "What about?"이라는 특정 문구만을 찾았습니다. 만약 이 두 단어가 보이면, 그것을 속임수로 간데이션(flag)했습니다.

이 논문의 위대한 발견:
저자들은 이것이 마치 '빨간 모자를 쓴 사람만 잡는 보안 요원'과 같다는 점을 깨달았습니다. 하지만 만약 속임수를 쓰는 사람이 파란 모자를 쓰고 있다면 어떨까요? 혹은 누군가 속이려는 의도 없이 정말 궁금해서 "날씨는 어때요?"라고 묻는 것이라면 어떨까요?

이 논문은 "What about?"이 카멜레온과 같다고 주장합니다. 때로는 프로파간다의 무기(화제 전환)가 되기도 하지만, 때로는 유효한 논증(도전이나 제안)의 일부가 되기도 합니다. 컴퓨터는 단순히 단어를 보는 것이 아니라, 맥락과 의도를 이해해야 합니다.

새로운 데이터셋: 대화에 대한 새로운 시각

컴퓨터에게 이러한 미묘한 차이를 가르치기 위해, 연구진은 YouTube와 Twitter에서 가져온 실제 댓글을 사용하여 두 개의 새로운 "훈련 체육관(데이터셋)"을 구축했습니다.

YouTube 체육관: 연구진은 논쟁적인 주제(우크라이나 전쟁이나 미국 정치 등)의 뉴스 영상 아래 달린 댓글들을 살펴보았습니다. 그들은 YouTube 댓글이 마치 붐비는 경기장에서 사람들이 소리를 지르는 것처럼 혼란스럽고 서로 단절되어 있다는 것을 발견했습니다.
Twitter 체육관: 이들은 답글 스레드(reply threads)를 살펴보았습니다. 이는 한 사람이 말을 하면 다른 사람들이 직접 답하는, 좀 더 구조화된 토론과 같습니다.

연구진은 인간 전문가를 고용하여 이 대화들을 읽고 라벨을 붙였습니다: "이것은 화제 전환을 위한 속임수인가?" 아니면 "이것은 타당한 논점인가?" 연구진은 기존의 데이터셋들이 너무 작고, 모든 "What about"을 속임수로 가정하고 있다는 점을 발견했습니다. 그들의 새로운 데이터는 많은 "What about"이 사실은 타당한 논증임을 보여줍니다.

기존 방식의 실패: "코사인 유사도"의 사각지대

연구진은 가짜 뉴스를 탐지하거나 문장의 의미를 이해하는 데 매우 효과적인 표준적인 고성능 AI 도구들을 사용해 보았습니다. 그들은 **코사인 유사도(Cosine Similarity)**에 기반한 방법들을 사용했습니다.

비유:
당신이 미술관에서 "가짜" 그림을 찾으려고 한다고 상상해 보세요. 기존의 방식은 가짜 그림이 진짜 그림과 얼마나 닮았는지를 측정합니다. 만약 가짜 그림이 진짜와 매우 다르다면, 컴퓨터는 "좋아, 이건 가짜임에 틀림없어!"라고 생각합니다.

하지만 왓아바우티즘은 까다롭습니다. 화제 전환은 겉보기에 매우 타당한 논증과 매우 비슷해 보일 수 있습니다. 두 문장은 같은 단어와 문법을 사용합니다. 기존의 AI 도구들은 의미론적 유사성(두 문장이 같은 의미를 갖는가?)이 아니라 화용론적 차이(두 문장이 서로 다른 '역할'을 수행하는가?)를 놓쳤기 때문에 혼란을 겪었습니다.

논문은 이러한 표준적인 도구들이 속임수를 포착하는 데 형편없었다는 것을 보여주었습니다. 그들은 속임수를 계속 놓치거나, 무고한 질문을 속임수로 잘못 분류했습니다.

해결책: MINA (Attention을 이용한 Negative Mining)

저자들은 MINA(Mining Negatives with Attention)라는 새로운 방법을 발명했습니다.

비유:
당신이 군중 속에서 스파이를 찾아내려 한다고 상상해 보세요.

기존 방식: 당신은 한 사람을 보고 "저 사람이 스파이처럼 보이는가?"라고 묻습니다.
MINA 방식: 당신은 그 사람을 본 다음, 방 안의 다른 모든 사람을 봅니다. 그리고 묻습니다. "이 사람은 다른 누구와 가장 다르게 행동하고 있는가?"

MINA는 특수한 "어텐션 메커니즘"(AI가 문장의 특정 부분에 집중하게 하는 방법)을 사용하여 작동합니다. 단순히 댓글을 일반적인 "좋은" 또는 "나쁜" 예시와 비교하는 것이 아닙니다. 대신, 댓글과 주변 대화를 살펴본 뒤 다음과 같이 묻습니다. "이 대화에서 이 댓글과 화용론적으로 가장 반대되는 다른 댓글은 무엇인가?"

이 방식은 대화의 미묘한 변화에 주목함으로써 "부정적 샘플(negative sample, 이것이 속임수가 아님을 증명하는 예시)"을 찾아냅니다. 이는 마치 용의자만 보는 것이 아니라, 용의자가 누구를 무시하거나 모순되게 행동하는지를 관찰하여 그들의 진정한 의도를 파악하는 탐정과 같습니다.

결과: 커다란 도약

이 새로운 "Attention" 방식의 성능을 테스트했을 때:

YouTube에서는 기존의 가장 우수한 방법들보다 탐지 정확도가 10% 향상되었습니다.
Twitter에서는 정확도가 4% 향상되었습니다.

이것이 중요한 이유:
이 논문은 화제 전환을 잡아내기 위해서는 단어만 봐서는 안 된다는 것을 보여줍니다. 당신은 대화의 춤사위를 이해해야 합니다. 새로운 방법인 MINA는 단어를 암기하는 대신, 화제 전환을 나타내는 "춤 동작"을 포착하는 법을 성공적으로 학습했습니다.

이 논문이 언급하지 않는 것

이 논문은 이것이 인터넷상의 모든 허위 정보를 해결할 것이라고 주장하지 않습니다.
챗봇의 기반이 되는 거대 언어 모델(LLM)이 쓸모없다고 주장하는 것이 아닙니다. 오히려 이러한 특정한 "attention" 기법 없이는 그들이 이 유형의 미묘한 차이를 다루는 데 어려움을 겪는다는 것을 발견한 것입니다.
의료 진단이나 임상적 용도로 사용하는 것을 제안하지 않습니다. 이는 엄격히 온라인 텍스트 분석에 관한 것입니다.

요약

이 논문은 컴퓨터에게 단순한 "단어 매칭기"가 아닌 "맥락 독해자"가 되는 법을 가르치는 것에 관한 것입니다. 서로 다른 댓글들이 대화 속에서 어떻게 다른지를 주목하는 새로운 기술을 사용함으로써, 연구진은 "What about?"이라는 화제 전환 속임수를 더 잘 잡아내는 탐지기를 구축했습니다. 이는 단어 그 자체보다 단어 뒤에 숨겨진 의도를 이해하는 것이 더 중요하다는 것을 입증합니다.

기술 요약: 편향(Deflections)에 주목하기: 온라인 담론에서의 왓아바우티즘(Whataboutism) 탐지를 위한 화용론적 뉘앙스 마이닝

문제 제기
본 논문은 정량적 자연어 처리(NLP) 분야에서 아직 충분히 연구되지 않은 과제인 '왓아바우티즘(whataboutism)' 탐지를 다룬다. 왓아바우티즘은 비판을 회피하거나 불리한 이슈를 피하기 위해, 다른 (흔히 더 유리한) 문제를 제기하거나 역공격을 가하는 담론적 기법으로 정의된다. 저자들은 현재의 탐지 방식이 "what about"이라는 명시적인 어구의 존재에 너무 의존하고 있다고 주장하며, 이는 다음을 구분하지 못한다:

선전적 회피(Propagandist deflection): 서사를 탈선시키고 불신을 조장하기 위해 이 구조를 사용하는 경우.
타당한 논증(Valid argumentation): 합리적인 담론 내에서 주장에 이의를 제기하거나, 해결책을 제시하거나, 구체화를 더하기 위해 이 구조를 사용하는 경우.

핵심적인 어려움은 이 구조의 "화용론적 유연성(pragmatic flexibility)"에 있다. 통사적 및 의미적으로 유사한 문장이라 할지라도, 담론적 맥락(즉, 논의 중인 질문인 QUD, Question Under Discussion)에 따라 유해한 선전이 될 수도 있고 타당한 논증이 될 수도 있다. 기존의 선전 탐지 및 의미적 유사성 관련 최첨단 모델들은 이러한 화용론적 뉘앙스를 포착하지 못하여, 타당한 논증을 선전으로 오분류하거나 미묘한 회피를 놓치는 경우가 빈번하다.

방법론
저자들은 새로운 데이터셋, 주제 분석, 그리고 부정적 샘플 마이닝(negative sample mining)을 위한 특정 아키텍처 혁신을 포함하는 새로운 프레임워크를 제 제안한다.

데이터셋 구축 (TQ+):
저자들은 두 가지 새로운 데이터셋인 TQ+(Tu Quoque and beyond)를 도입한다. 이는 다음으로 구성된다:

TQ+YT: 6개의 사회적 분열 주제를 다루는 1,642개의 유튜브 댓글.
TQ+TW: 8개의 주제를 다루는 1,202개의 트위터 답글 쌍.
모든 사례가 선전적이라고 가정했던 이전 코퍼스들과 달리, 이 데이터셋은 타당한 논증과 왓아바우티즘을 구분한다. 주석 작업은 세 명의 영어 원어민에 의해 수행되었으며, 높은 검토자 간 일치도( $\kappa = 0.65$ YouTube, $\kappa = 0.75$ Twitter)를 보였다. 주석 작성자들은 화용론적 설정을 이해하기 위해 전체 영상 맥락이나 대화 스레드를 검토해야 했다.

베이스라인 실험:
연구는 먼저 표준적인 접근 방식들을 평가한다:

전이 학습(Transfer Learning): 레이블링된 데이터를 바탕으로 BERT와 RoBERTa(아이러니 탐지 변형 포함)를 미세 조정(fine-tuning)한다.
의미적 유사성(Semantic Similarity): 양의 샘플과 음의 샘플을 구별하기 위해 코사인 유사도를 활용하는 SBERT, "Correct and Smooth"(C&S)를 적용한 대조 학습(Contrastive Learning), 그리고 SimCSE를 활용한다.
결과: 이러한 베이스라인들은 특히 유튜브 데이터에서 성능이 저조했다. 이들은 다수 클래스(비-왓아바우티즘)로 강한 편향을 보이며, 화용론적 차이를 포착하지 못하고 표면적인 의미 유사성에 의존하는 경향을 보였다.

제안된 방법: MINA (Attention을 이용한 부정적 샘플 마이닝):
고차원 공간(벡터들이 거의 직교하는 경향이 있음)에서의 코사인 유사성의 한계와 화용론적 변화를 포착하지 못하는 문제를 극복하기 위해, 저자들은 MINA를 제안한다.

메커니즘: 코사인 유사성을 사용하여 부정적 샘플을 선택하는 대신, MINA는 트랜스포머 인코더의 **교차 주의 집중 가중치(cross-attention weights)**를 사용한다.
과정: 대상 댓글 $t$ 에 대해, 모델은 $t$ 와 동일한 스레드/영상 내의 $c$ 개 댓글로 구성된 맥락 튜플을 구축한다. 모델은 교차 주의 집중을 사용하여 맥락 내에서 (대조를 위한 가장 효과적인 부정적 샘플로서) 화용론적으로 가장 이질적인 댓글을 식별한다.
아키텍처: 대상 댓글의 텍스트와 선택된 "가장 이질적인" 맥락 댓글을 결합하여 다층 퍼셉트론(MLP)에 입력한다. 이를 통해 모델은 단순한 전역적 분포 의미론에 의존하는 것이 아니라, 주변의 사회적 담론 내에서 화용론적 근거를 학습할 수 있다.

주요 결과
저자들은 MINA 접근 방식을 사용하여 기존의 최첨단 방법들보다 유의미한 개선을 보고했다:

유튜브 (TQ+YT): MINA는 차순위 결과보다 10% 향상된 F1 점수를 달성했다. 구체적으로, SBERT에 MINA를 적용했을 때 F1 점수가 0.07에서 0.58로 증가했고, RoBERTa 아이러니 모델에 적용했을 때는 F1이 0.30에서 0.52로 증가했다.
트위터 (TQ+TW): MINA는 최적의 베이스라인보다 4% 향상된 성과를 보였다. MINA를 적용한 SBERT는 0.75의 F1을 기록하여, 일반 SBERT(0.69)와 RoBERTa(0.71)를 능가했다.
절제 연구(Ablation Studies): 최적의 구성은 2개의 인코더 레이어, 32개의 어텐션 헤드, 그리고 1의 컨텍스트 크기로 나타났다. 인코더 레이어나 어텐션 헤드를 이 값보다 늘리는 것은 이득이 없음을 확인했다.
LLM 성능: 저자들은 대규모 언어 모델(Llama-2, GPT-3.5-turbo)을 테스트했으며, 이들이 일반적인 능력에도 불구하고 미묘하게 재구성된 왓아바우티즘 사례를 포착하는 데 어려움을 겪으며 BERT 베이스라인보다 낮은 성능(F1 점수)을 보임을 발견했다.

의의 및 주장
본 논문은 왓아바우티즘의 탐지가 순수한 의미적 또는 통사적 분석에서 화용론적 분석으로 전환되어야 한다고 주장한다.

선전과의 구분: 본 연구는 왓아바우티즘이 선전과 동의어가 아님을 입증한다. 둘은 겹치는 부분이 있지만, 도전하거나 주의를 집중시키는 것과 같은 타당한 논증 도구로서의 기능도 수행한다.
유사성 측정의 한계: 연구는 전통적인 의미적 유사성 측정 방식(예: 코사인 유사도)이 사회적 담론 내의 왓아바티즘을 탐지하는 데 필요한 화용론적 차이를 포착하기에 부적절하다는 실증적 근거를 제공한다.
MINA의 참신함: 주의 집중 가중치를 활용한 부정적 샘플 마이닝의 도입은 화용론적 대조를 성공적으로 모델링하는 새로운 기여로 제시된다. 이 접근 방식은 표준적인 대조 학습보다 (주의 집중을 통해 가장 이질적인 맥락에 근거를 두는 것이) 복잡한 담론적 기법을 다루는 데 더 효과적임을 시사한다.
자원 기여: 기존의 선전 코퍼스보다 더 크고 정교한 TQ+ 데이터셋의 공개는 오정보 및 오류 탐지에 있어 화용론의 역할에 대한 추가 연구를 촉진하기 위함이다.

저자들은 데이터셋의 불균형(실제 상황을 반영함), 감정적인 주제가 레이블링에 미칠 수 있는 영향, 그리고 MINA에서 무작위 튜플 배치를 사용하는 데 따른 미세한 변동 가능성 등을 언급하며 연구의 한계에 대해 겸허한 태도를 유지한다. 결론적으로, 현재의 모델들이 어려움을 겪고 있지만, 제안된 MINA 프레임워크는 오정보를 둘러싼 복잡한 담론을 이해하는 데 있어 실행 가능한 경로를 제공한다.