Content Fuzzing for Escaping Information Cocoons on Digital Social Media

논문 제목: 소셜 미디어의 정보 코코온 탈출을 위한 콘텐츠 퍼징 (Content Fuzzing for Escaping Information Cocoons on Social Media)

1. 문제 정의 (Problem)

소셜 미디어 플랫폼은 사용자의 선호도에 기반한 추천 알고리즘을 통해 사용자를 특정 견해 집단 (Affinity clusters) 에 가두는 정보 코코온 (Information Cocoons) 현상을 심화시킵니다.

• 원인: 현대 플랫폼은 추천 및 랭킹 파이프라인에서 의견 감지 (Stance Detection) 모델을 핵심 신호로 활용합니다. 이 모델들은 게시물의 정치적/이념적 성향을 분류하여 사용자에게 유사한 견해의 콘텐츠만 노출시킵니다.
• 결과: 이로 인해 이질적인 견해 (Cross-cutting exposure) 에 대한 노출이 차단되고, 사회적 양극화가 심화되며, 콘텐츠 제작자의 메시지가 기존 동조 집단 밖으로 전파되는 것이 어려워집니다.
• 기술적 난제: 기존 연구는 플랫폼 측의 알고리즘 개입 (예: 다양성 기반 재랭킹) 에 집중했으나, 이는 플랫폼이 통제하는 영역이므로 일반 사용자와 콘텐츠 제작자가 접근할 수 없습니다. 또한, 추천 시스템은 블랙박스이므로 콘텐츠의 미세한 수정이 노출에 미치는 영향을 파악하기 어렵습니다.

2. 방법론 (Methodology): CONTENTFUZZ

저자들은 콘텐츠 제작자의 관점에서, 의미는 유지하되 기계가 인식하는 의견 (Stance) 레이블은 변경하는 콘텐츠를 생성하여 정보 코코온을 탈출하는 새로운 프레임워크인 CONTENTFUZZ를 제안합니다. 이는 소프트웨어 테스트 기법인 **퍼징 (Fuzzing)**을 언어 모델에 적용한 것입니다.

• 핵심 아이디어:

  • Gray-box 접근법: 타겟 의견 감지 모델의 내부 구조를 알지 못하더라도, 모델이 출력하는 **신뢰도 점수 (Confidence Score)**를 피드백으로 활용합니다.
  • 의도 유지: 인간의 해석에 따른 원래의 의견 (Stance) 은 변하지 않도록 하면서, 기계가 분류하는 레이블 (예: 찬성 $\to$ 반대/중립) 만 변경하는 리라이팅 (Rewriting) 을 수행합니다.

• 구체적 프로세스 (Algorithm 1):

  1. 피드백 유도 (Feedback Guidance):
     • 타겟 모델 (BERT, RoBERTa, LLM 등) 이 입력된 게시물에 대해 예측한 의견과 그 **신뢰도 (Confidence)**를 획득합니다.
     • 분류기 (Classifier) 의 경우 Softmax 확률을, 생성형 LLM 의 경우 생성된 토큰의 로그 확률 (Logprobs) 합을 신뢰도 점수로 사용합니다.
     • 목표는 원래 의견 레이블이 바뀌면서 동시에 모델의 신뢰도를 낮추는 (Decision boundary 에 가까워지는) 변형을 찾는 것입니다.
  2. 시드 스케줄링 (Seed Scheduling):
     • 퍼징 과정에서 생성된 후보 게시물들 중 신뢰도 점수가 가장 낮은 (가장 불확실한) 게시물을 다음 변형 (Mutation) 의 시드 (Seed) 로 선택합니다. 이는 모델의 결정 경계 (Decision Boundary) 에 가장 가까운 데이터를 우선적으로 탐색하기 위함입니다.
  3. 변형 (Mutation) 및 LLM 활용:
     • LLM 기반 리라이팅: 지시형 LLM (Gemini-2.5-Flash-Lite 등) 을 사용하여 원본 게시물을 재작성합니다. 프롬프트는 "의미와 어조를 유지하되, 문장 구조만 변경하라"는 엄격한 제약을 둡니다.
     • Temperature Scheduling: 생성의 다양성을 확보하기 위해 고정된 Temperature 대신, 과거 성공률에 기반하여 동적으로 Temperature 를 조절하는 전략을 사용합니다.

3. 주요 기여 (Key Contributions)

1. 콘텐츠 측면의 첫 번째 접근법: 정보 코코온 탈출을 위해 플랫폼 알고리즘이 아닌 콘텐츠 제작자 측에서 적용 가능한 계산적 방법론을 최초로 제안했습니다.
2. 신뢰도 기반 퍼징 프레임워크: 소프트웨어 퍼징 기법을 LLM 기반 텍스트 리라이팅에 적용하여, 기계의 분류 레이블을 우회하면서도 의미적 무결성을 유지하는 시스템을 구축했습니다.
3. 모델 및 언어 무관성: 다양한 의견 감지 모델 (Encoder 기반, Zero-shot LLM, Prompt Engineering 기반) 과 영어/중국어 등 다양한 언어 환경에서 유효성을 입증했습니다.

4. 실험 결과 (Results)

세 가지 데이터셋 (SemEval2016, VAST, C-STANCE) 과 네 가지 타겟 모델에 대한 실험 결과는 다음과 같습니다.

• 탈출 성공률 (Escape Success Rate, ESR):
  • CONTENTFUZZ 는 대부분의 모델에서 높은 성공률을 보였습니다. 특히 BERT/RoBERTa 기반 모델에서는 67%~91% 의 성공률을 기록했습니다.
  • Zero-shot LLM (Gemini 등) 은 가장 강력하여 성공률이 상대적으로 낮았으나 (약 48%~77%), 여전히 상당수의 게시물을 탈출시켰습니다.
  • Chinese (C-STANCE) 데이터셋이 영어보다 리라이팅이 더 용이하게 성공했습니다.
• 의미적 무결성 (Semantic Integrity):
  • BERTScore: 원본과 리라이팅된 텍스트 간의 의미적 유사성이 높게 유지되었습니다 (평균 0.75~0.89).
  • NLI (Natural Language Inference): 원본과 리라이팅된 텍스트가 모순 (Contradiction) 되지 않고 함의 (Entailment) 관계에 있음을 확인하여, 의미의 왜곡이 없음을 입증했습니다.
• 유창성 (Fluency):
  • Perplexity Ratio (PPLr): 리라이팅된 텍스트의 불확실성이 원본 대비 낮거나 유사하게 유지되어 (0.16~0.74), 자연스러운 문장이 생성되었음을 확인했습니다.
• 교차 모델 전이성 (Cross-model Transferability):
  • 한 모델에서 생성된 리라이팅이 다른 아키텍처의 모델에서도 효과적이었습니다 (특히 BERT 와 RoBERTa 간 전이성 높음).
• 기타 분석:
  • Temperature Scheduling과 Priority Seed Scheduling 전략이 고정된 설정보다 더 높은 성공률과 효율성을 보였습니다.
  • 기존 적대적 공격 (Adversarial Attack) 방법 (BERT-Attack 등) 과 비교 시, CONTENTFUZZ 는 더 높은 성공률과 **훨씬 더 낮은 퍼플렉시티 (더 자연스러운 텍스트)**를 보여주었습니다.

5. 의의 및 결론 (Significance)

• 책임 있는 AI 연구: 이 연구는 콘텐츠가 알고리즘적 편향에 의해 어떻게 차단되는지를 탐구하고, 이를 우회하여 정보의 다양성을 확보할 수 있는 실용적인 도구를 제공합니다.
• 시스템 투명성 증대: 콘텐츠 제작자가 자신의 메시지가 어떻게 필터링되는지 이해하고, 의도하지 않은 편향을 완화할 수 있는 가능성을 제시합니다.
• 윤리적 고려: 이 도구는 허위 정보나 악의적 조작을 위한 것이 아니라, **의미는 유지한 채 기계적 분류의 한계를 탐구 (Diagnostic)**하고 정보의 다양성을 증진하기 위한 목적으로 설계되었습니다.

요약하자면, CONTENTFUZZ 는 소셜 미디어의 알고리즘적 편향으로 인한 정보 코코온 문제를 해결하기 위해, LLM 을 활용한 지능형 콘텐츠 변형 기술을 통해 기계가 인식하는 의견 레이블을 변경하면서도 인간의 의도는 보존하는 혁신적인 접근법을 제시한 연구입니다.