🤖 AI

Evaluating Online Moderation Via LLM-Powered Counterfactual Simulations

이 논문은 대규모 언어 모델 (LLM) 을 활용한 에이전트 기반 시뮬레이션을 통해 온라인 사회 네트워크의 콘텐츠 중재 전략을 병행 반사실적으로 평가할 수 있는 새로운 프레임워크를 제시하고, 이를 통해 개인화된 중재 전략의 우수성을 입증했습니다.

원저자: Giacomo Fidone, Lucia Passaro, Riccardo Guidotti

게시일 2026-04-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Giacomo Fidone, Lucia Passaro, Riccardo Guidotti

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"온라인 사회의 독을 어떻게 해결할지 실험실 안에서 미리 시뮬레이션해 본다"**는 매우 흥미로운 연구를 소개합니다.

기존의 방식은 실제 SNS 에서 독성 발언 (욕설, 혐오 표현 등) 을 막기 위해 어떤 조치를 취하는지 지켜보면서 효과를 평가했는데, 이는 데이터를 모으기 어렵고 통제하기 힘들다는 문제가 있었습니다.

이 연구팀은 **LLM(거대 언어 모델) 을 이용해 가상의 '디지털 인간'들을 만들어, 실제 SNS 와 똑같은 환경을 재현한 뒤 다양한 규제 정책을 시험해 보는 '가상 실험실'**을 만들었습니다.

이 내용을 쉽게 이해할 수 있도록 몇 가지 비유로 설명해 드리겠습니다.

1. COSMOS: 거대한 '가상 도시'의 실험실

이 연구에서 만든 도구 이름은 COSMOS입니다. 이를 **'가상 도시'**라고 상상해 보세요.

디지털 주민들 (에이전트): 이 도시에는 AI 가 만든 30 명의 가짜 주민들이 살고 있습니다. 이들은 단순히 로봇이 아니라, 성격, 나이, 정치적 성향, 교육 수준까지 실제 사람들과 비슷하게 설정된 '디지털 인간'들입니다. 어떤 이는 성격이 급하고 화를 잘 내고, 어떤 이는 온화하고 논리적인 사람으로 설정되어 있습니다.
두 개의 평행 세계: COSMOS 는 놀라운 기능을 하나 더 가지고 있습니다. 바로 **'평행 우주'**입니다.
1. 실제 세계 (Fact): 아무런 규제 없이 주민들이 자유롭게 이야기하는 세계입니다.
2. 가상 세계 (Counterfactual): 주민들의 성격과 상황은 완전히 똑같지만, 여기에 '규제 메시지'가 하나 더 추가된 세계입니다.

이 두 세계를 동시에 돌려보면, **"규제를 안 했을 때와 했을 때, 주민들의 반응이 어떻게 달라지는지"**를 정확히 비교할 수 있습니다. 마치 의약품 실험에서 한 그룹은 약을 주고 다른 그룹은 가짜 약 (위약) 을 주는 것과 같습니다.

2. 실험 내용: "규제 메시지"의 종류를 바꿔보다

연구팀은 이 가상 도시에서 세 가지 다른 규제 방식을 시험해 보았습니다.

방식 A: "일괄 통보" (One-Size-Fits-All)
- 모든 주민에게 똑같은 경고 문구를 보냅니다.
- 비유: "모두들 조용히 하세요!"라고 방송을 하는 것과 같습니다.
방식 B: "맞춤형 상담" (Personalized Moderation)
- 주민의 성격과 상황에 맞춰 메시지를 바꿉니다.
- 비유: 화를 잘 내는 사람에게는 "조금 진정해 보시죠"라고 부드럽게, 논리적인 사람에게는 "규칙을 지키는 게 좋습니다"라고 이성적으로 말합니다.
방식 C: "추방 (Ban)"
- 규칙을 위반하면 아예 도시에서 쫓아냅니다.
- 비유: 시끄러운 사람을 밖으로 내쫓는 것입니다.

3. 주요 발견: 무엇이 가장 효과적일까?

이 가상 실험을 통해 놀라운 결과들이 나왔습니다.

맞춤형 메시지가 가장 효과적입니다:
- 모든 사람에게 똑같은 말을 하는 것보다, 각자의 성격에 맞춰 말을 건네는 것이 독성 발언을 줄이는 데 훨씬 효과적이었습니다.
- 비유: 화난 아이에게 "울지 마"라고 하는 것보다, 그 아이의 기분에 맞춰 "화난 거야? 왜 그래?"라고 물어보는 것이 더 잘 통하는 것과 같습니다.
독성은 전염됩니다:
- 한 사람이 독성 발언을 하면, 그 말을 본 다른 사람들도 따라 화를 내거나 독한 말을 하게 되는 '독성 전염' 현상이 발생했습니다.
- 비유: 한 사람이 기침을 하면 주변 사람들이 따라 기침하는 것처럼, 악의적인 말도 퍼져나갑니다.
추방 (Ban) 은 양날의 검입니다:
- 독한 사람을 쫓아내면 독성 발언은 확실히 줄어듭니다. 하지만 문제는 좋은 사람까지 함께 쫓아낼 수 있다는 점입니다.
- 비유: 시끄러운 사람을 내쫓으려고 문을 닫으면, 조용히 책을 읽던 사람도 함께 밖으로 나가게 되는 꼴이 됩니다. 연구팀은 "너무 엄격하게 추방하면 건강한 대화까지 잃게 된다"고 경고했습니다.

4. 왜 이 연구가 중요한가요?

지금까지 SNS 운영진들은 "어떤 규제를 해야 할까?"를 고민할 때, 실제 데이터를 모으느라 시간을 많이 썼고, 그마저도 완벽한 통제 하에 실험하기 어려웠습니다.

하지만 이 COSMOS라는 도구를 사용하면:

비용 절감: 실제 사람을 대상으로 실험할 필요 없이, AI 로만 실험할 수 있습니다.
안전한 실험: 실제로 혐오 발언이 퍼지는 위험 없이, 다양한 규제 정책을 미리 테스트해 볼 수 있습니다.
과학적 근거: "어떤 성격의 사람에게 어떤 메시지가 잘 통하는지"에 대한 과학적인 데이터를 얻을 수 있습니다.

요약

이 논문은 **"AI 로 만든 가상의 인간들을 모아, 실제 SNS 와 똑같은 환경에서 규제 정책을 미리 시험해 보는 실험실"**을 만들었습니다. 그 결과, **"사람의 성격을 고려한 맞춤형 경고"**가 가장 효과적이며, 무조건적인 추방은 오히려 건강한 대화를 해칠 수 있다는 사실을 밝혀냈습니다.

이는 앞으로 우리가 온라인 세상을 더 건강하게 만들기 위해, 데이터와 과학을 바탕으로 더 똑똑한 규제 정책을 만들 수 있음을 보여줍니다.

논문 개요

제목: LLM 기반 반사실적 (Counterfactual) 시뮬레이션을 통한 온라인 콘텐츠 중재 평가
저자: Giacomo Fidone, Lucia Passaro, Riccardo Guidotti (피사 대학교, ISTI-CNR)
발표: AAAI 2026 (수락 예정)

1. 문제 제기 (Problem)

배경: 온라인 소셜 네트워크 (OSN) 에서 독성 (toxic) 콘텐츠와 혐오 발언의 확산은 심각한 사회적 문제입니다. 플랫폼들은 이를 막기 위해 사후 (ban, 삭제) 또는 사전 (경고 메시지) 중재 전략을 도입하고 있습니다.
한계: 기존 중재 전략의 효과성을 평가하는 것은 매우 어렵습니다.
- 데이터 수집의 어려움: 실제 OSN 의 API 제한과 독성 행동 데이터의 희소성으로 인해 대규모 실증 데이터를 얻기 힘듭니다.
- 실험 통제 부족: 현장 관찰 (field observation) 은 실험 변수를 완전히 통제할 수 없어, 혼란 변수 (confounders) 를 배제하기 어렵습니다.
목표: 실제 데이터를 수집하는 대신, 생성형 AI 를 활용하여 비용은 최소화하고 통제력은 극대화할 수 있는 새로운 평가 프레임워크가 필요합니다.

2. 방법론 (Methodology): COSMOS

저자들은 COSMOS (COunterfactual Simulations of MOderation Strategies) 라는 새로운 시뮬레이터를 제안합니다. 이는 LLM 기반 에이전트 모델링 (ABM) 을 활용하여 OSN 대화 환경을 재현하고 중재 전략을 평가하는 도구입니다.

핵심 구조:
- 이중 시뮬레이션: 각 실행에서 사실적 (Factual) 시뮬레이션 (중재 없음) 과 반사실적 (Counterfactual) 시뮬레이션 (중재 적용) 을 병렬로 실행합니다. 두 시나리오의 모든 조건 (에이전트 프로필, 주제 등) 을 동일하게 유지하고 오직 중재 여부만 다르게 설정하여 '기타 조건 동일 (ceteris paribus)' 원칙을 준수합니다.
- LLM 에이전트:
  - 프로파일 모듈: 인구통계학적 정보 (나이, 성별, 정치적 성향 등) 와 심리학적 특성 (Big Five: 개방성, 성실성, 외향성, 친화성, 신경증) 을 기반으로 에이전트를 생성합니다. 실제 데이터 (GSS, PANDORA) 를 기반으로 프로파일을 구성하여 현실성을 높였습니다.
  - 감각 (Sensory) 모듈: 현재 보고 있는 게시물이나 댓글의 텍스트를 입력받습니다.
  - 메모리 (Memory) 모듈: 과거의 중재 메시지 (경고 등) 를 기억하고 이를 바탕으로 미래 행동을 조정합니다.
- 행동 선택: 에이전트는 '게시물 작성', '댓글 작성', '아무 일도 안 함' 중 하나를 확률에 따라 선택합니다.
- 중재 전략 구현:
  - 사후 (Ex Post): 독성 콘텐츠가 감지되면 일정 횟수 이상 위반 시 계정을 정지 (Ban) 시킵니다.
  - 사전 (Ex Ante): 독성 콘텐츠가 생성되기 전이나 직후에 경고 메시지를 전송합니다.
    - OSFA (One-Size-Fits-All): 모든 사용자에게 동일한 표준 메시지 전송.
    - PMI (Personalized Moderation Intervention): 사용자의 심리 프로필과 위반 상황에 맞춰 LLM 이 생성한 맞춤형 메시지 전송 (공감형, 권위형, 중립형 등).
기술적 세부사항:
- LLM 모델: 오픈소스이며 검열이 없는 SOLAR-10B를 사용 (인간 심리 특성 모방 능력과 퍼플렉시티가 우수함).
- 독성 탐지: Google Perspective API 를 사용하여 독성 점수 (0~1) 를 산출하고 임계값 (THR=0.6) 을 설정합니다.
- 프롬프트 엔지니어링: 에이전트의 행동과 중재 메시지 생성을 위해 다양한 프롬프트 템플릿을 최적화했습니다.

3. 주요 기여 (Key Contributions)

최초의 중재 평가 시뮬레이터: OSN 대화의 역동성을 반영하면서 중재 전략을 비교 평가할 수 있는 최초의 LLM 기반 반사실적 시뮬레이터인 COSMOS 를 개발했습니다.
심리적 현실성 검증: 시뮬레이션된 독성 행동이 실제 데이터 (PANDORA) 와 통계적으로 유의미한 상관관계를 보이며, Big Five 성격 특성과 일치하는 것을 입증했습니다.
사회적 전염 현상 발견: 에이전트 간의 상호작용을 통해 독성이 전염 (contagion) 되는 현상이 시뮬레이션 내에서 자연스럽게 발생함을 관찰했습니다.
맞춤형 중재의 효과 입증: 기존 연구들보다 정교한 실험 설계를 통해 맞춤형 중재 전략의 우수성을 입증했습니다.

4. 실험 결과 (Results)

현실성 평가:
- 시뮬레이션된 독성 행동은 친화성 (저), 신경증 (고), 성실성 (저) 과 강한 상관관계를 보여 실제 심리학적 연구 결과와 일치합니다.
- 부모 노드와 자식 노드 간의 독성 상관관계 ( $\rho=0.39$ ) 를 통해 독성 전염 현상이 발생함을 확인했습니다.
중재 전략 비교:
- 맞춤형 중재 (PMI) 의 우위: 모든 실험에서 PMI (특히 중립적/공감적 톤) 가 일괄 적용형 (OSFA) 보다 독성 감소 효과 ( $\Delta M$ ) 가 statistically significant 하게 컸습니다. 이는 사용자의 심리 프로필에 맞춘 메시지가 더 효과적임을 시사합니다.
- 정지 (Ban) 전략의 한계: 낮은 허용도 (e=1) 로 정지 조치를 취하면 독성 감소 효과는 크지만, 콘텐츠 손실 비율 (CLR) 이 45% 에 달해 건강한 콘텐츠까지 함께 삭제되는 부작용이 발생했습니다.
- 심리적 특성에 따른 민감도: 중재 효과는 에이전트의 성격 특성에 따라 다르게 나타났으며, 특히 전형적인 독성 사용자 (친화성 낮음, 신경증 높음) 를 대상으로 할 때 효과가 두드러졌습니다.
- 극단적 독성 타겟팅: 중재는 주로 극단적인 독성 행동 ( $q \ge 0.8$ ) 에 가장 큰 영향을 미쳤습니다.

5. 의의 및 의의 (Significance)

연구적 의의: 사회과학 분야에서 중재 전략의 가설을 검증하고, 실제 OSN 에서 실험하기 어려운 변수들을 통제하여 인과관계를 규명할 수 있는 강력한 도구로 활용될 수 있습니다.
산업적 의의: 플랫폼 운영자들은 실제 시스템을 변경하기 전에 COSMOS 를 통해 다양한 중재 알고리즘 (특히 맞춤형 경고 시스템) 의 효과를 사전에 테스트하고 최적화할 수 있습니다.
한계 및 향후 과제:
- LLM 의 환각 (hallucination) 문제 (약 7% 발생) 와 편향성 문제.
- 현재는 대화 (텍스트) 만을 시뮬레이션하며, '좋아요', '팔로우' 등 소셜 그래프 기반의 복잡한 상호작용은 포함되지 않음.
- 대규모 OSN 인구 규모로 확장하는 데 따른 계산 비용 문제.

결론

이 논문은 LLM 기반 에이전트 시뮬레이션을 통해 온라인 중재 전략의 효과를 정량적으로 평가하는 새로운 패러다임을 제시합니다. 특히 맞춤형 중재 (Personalized Moderation) 가 일괄 처리 방식보다 효과적이며, 심리적 프로필을 고려한 접근이 독성 확산을 억제하는 데 핵심적임을 실증적으로 보여주었습니다. COSMOS 는 향후 온라인 플랫폼의 안전 정책 수립과 사회과학 연구에 중요한 기여를 할 것으로 기대됩니다.