Power Echoes: Investigating Moderation Biases in Online Power-Asymmetric Conflicts

이 논문은 온라인 권력 불균형 갈등 상황에서 인간 중재자가 보이는 권력 편향과 AI 제안이 이에 미치는 영향을 실증적으로 분석하여, 인간과 AI 의 협력적 중재 시스템에 대한 통찰을 제시합니다.

핵심

📢 "권력의 메아리": 온라인 분쟁 중재의 숨겨진 편견을 찾아서

이 논문은 우리가 매일 사용하는 앱 (배달, 쇼핑, 리뷰 사이트 등) 에서 벌어지는 '강한 자 vs 약한 자'의 싸움을 중재할 때, 사람들이 (또는 AI 가) 어떻게 편견을 가지고 판단하는지 연구한 내용입니다.

이해하기 쉽게 가상의 식당 상황과 비유를 들어 설명해 드릴게요.

---

1️⃣ 연구의 배경: 왜 이 연구가 필요할까요?

상황:
어떤 식당에 손님이 와서 "음식이 맛없어요!"라고 리뷰를 남겼습니다. 식당 주인은 "저희는 플랫폼 규정을 따르고 있습니다. 고객님이 불만족하시면 환불해 드릴게요"라고 답합니다.

이때 **중재인 (모더레이터)**은 누구의 말을 믿어야 할까요?

• 손님 (약한 자): 감정적이고 경험이 부족할 수 있음.
• 주인 (강한 자): 전문 용어를 쓰고, 플랫폼 규칙을 인용하며, 환불 같은 '보상'을 제시함.

기존 연구들은 중재자가 편견을 가질 수 있다고 했지만, '권력 차이 (Power Asymmetry)'가 있는 상황에서 어떤 식으로 편견이 생기는지, 그리고 AI 가 도와주면 그 편견이 사라지는지는 잘 몰랐습니다.

---

2️⃣ 실험: 50 명의 중재자를 불러모았습니다

연구진은 50 명의 일반인을 모집해 실제 식당 분쟁 사례를 중재하게 했습니다. 두 가지 방식으로 실험을 진행했습니다.

1. 사람만 중재하는 그룹: 오직 사람만의 판단으로 결정.
2. 사람 + AI 가 도와주는 그룹: AI 가 "이런 점은 의심해 보세요"라고 조언을 해줌.

그리고 실험을 위해 **10 가지의 '권력 무기'**를 숨겨 넣었습니다.

• 규칙 인용: "플랫폼 규정에 따르면..." (법적 근거)
• 처벌 위협: "신고할 거예요!" (공포 심리)
• 보상 제안: "할인해 드릴게요." (돈)
• 전문 지식: "식품 위생 기준에 부합합니다." (지식)
• 긴 글: 말이 길면 더 믿을 것 같다는 착각.

---

3️⃣ 핵심 발견: 사람들은 '강한 자'를 무조건 믿는다?

🧑‍⚖️ 사람 중재자의 편견 (RQ1)

사람들만 판단했을 때, 중재자들은 무의식적으로 '강한 자 (주인)'를 지지하는 경향이 있었습니다. 마치 무거운 추를 달아놓은 저울처럼, 주인이 가진 '권력 무기'들이 중재자의 판단을 기울게 했습니다.

• 규칙을 인용하면? "아, 규칙을 아는 사람이니까 맞겠지." (편향 발생)
• 위협을 하면? "손님은 감정적인 말만 하고, 주인은 실제로 신고할 수 있겠지." (편향 발생)
• 할인을 제안하면? "성실하게 문제를 해결하려는 거야." (편향 발생)
• 전문 용어를 쓰면? "이 사람은 전문가야." (편향 발생)

결론: 사람들은 논리보다 **'권력 신호 (규칙, 위협, 보상)'**에 더 쉽게 넘어갑니다.

🤖 AI 가 도와주면 어떻게 될까? (RQ2)

여기서 재미있는 반전이 일어납니다. AI 가 조언을 해주면 대부분의 편견은 사라지지만, 몇 가지는 오히려 더 심해집니다.

• ✅ 좋아진 점 (편견 완화):

  • AI 가 "위협적인 말은 감정일 뿐입니다"라고 알려주면, 사람들은 위협에 넘어가지 않게 됩니다.
  • AI 가 "전문 용어는 사실과 다를 수 있습니다"라고 알려주면, 전문 용어에 현혹되지 않습니다.
  • 비유: AI 는 중재자의 '안경'을 닦아주는 역할을 합니다. 흐릿했던 시야를 명확하게 만들어주어, 약한 자 (손님) 의 말을 더 공정하게 듣게 해줍니다.

• ❌ 나빠진 점 (편견 심화):

  • 규칙 인용 편향: AI 가 "이 규칙은 맞습니다"라고 말해주면, 사람들은 "AI 가 확인했으니 더 확실한 규칙이겠지"라고 믿고, 오히려 주인을 더 강력하게 지지하게 됩니다.
  • 권위 인용 편향: AI 가 "이 웹사이트를 보세요"라고 링크를 주면, 사람들은 그 링크가 진짜라고 믿고 편하게 판단합니다.
  • 비유: AI 는 때로 마법 지팡이처럼 작용합니다. AI 가 "이건 진짜예요"라고 말하면, 사람들은 그 말을 의심하지 않고 맹신해버립니다.

---

4️⃣ 중요한 통찰: AI 의 조언은 '양날의 검'입니다

이 연구는 AI 가 만능 해결사가 아님을 보여줍니다.

1. AI 는 편견을 줄여주지만, 새로운 편견을 만들기도 합니다.
   • AI 가 "규칙을 인용했으니 믿으세요"라고 하면, 사람들은 AI 를 통해 그 규칙이 '진짜'라고 믿어버립니다. 이를 **'AI 의 정당화 효과'**라고 부릅니다.
2. 어떻게 말하느냐가 중요합니다.
   • AI 가 "상대방의 논리적 허점을 지적해 주세요"라고 조언하면, 중재자는 약한 자 (손님) 를 더 지지하게 됩니다.
   • 하지만 AI 가 "현재 당사자의 입장을 지지해 주세요"라고 하면, 오히려 중재자는 혼란을 느끼거나 기존 편견에 머무르게 됩니다.

---

5️⃣ 우리가 배울 점: 더 나은 시스템을 위해

이 연구를 바탕으로 저자들은 다음과 같은 제안을 합니다.

• 가면 쓰기 (Anonymization): 중재자가 "손님"과 "주인"이라는 이름을 보지 못하게 하고, "A 와 B"로만 표시하면 편견이 줄어들 수 있습니다.
• AI 는 '참고용'일 뿐: AI 가 규칙을 인용했다고 해서 무조건 믿지 말고, "이것은 확인이 필요합니다"라는 표시를 해줘야 합니다.
• AI 의 말투를 바꾸자: AI 는 상대방을 비난하는 방식보다는, "여기 논리적 모순이 있습니다"라고 차분하게 지적하는 방식이 더 공정합니다.

📝 한 줄 요약

"온라인 분쟁에서 중재자들은 무의식적으로 '강한 자'를 믿는 경향이 있는데, AI 는 이 편견을 고쳐주기도 하지만, 때로는 AI 가 '진짜'라고 말해주면 오히려 편견을 더 깊게 만들어버립니다. 따라서 AI 는 맹신하지 말고, 공정하게 판단할 수 있도록 도와주는 '조력자'로 사용해야 합니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 트위터, Yelp, 쿠팡 등 다양한 디지털 플랫폼에서 사용자 간 갈등이 빈번하게 발생하고 있습니다. 특히 소비자와 상인, 또는 근로자와 의뢰자와 같은 권력 불균형 (Power Asymmetry) 관계에서의 갈등은 구조적인 특성을 가집니다. 한쪽 (상인/고용주) 은 정보, 자원, 규칙 해석 능력을 보유하고 있는 반면, 다른 쪽 (소비자/근로자) 은 상대적으로 약한 위치에 서 있습니다.
• 문제: 기존 콘텐츠 중재 연구는 주로 혐오 발언이나 프라이버시 침해에 집중했으나, 권력 불균형 상황에서의 중재 편향은 충분히 연구되지 않았습니다.
  • 인간 중재자는 주관적 판단, 정책의 모호성, 업무 압박 등으로 인해 특정 집단 (주로 권력 있는 쪽) 에 편향된 결정을 내릴 수 있습니다.
  • 최근 AI(특히 LLM) 가 중재 보조 도구로 도입되고 있으나, AI 의 제안이 인간의 편향을 어떻게 변화시키는지 (완화 vs 증폭) 에 대한 연구는 부재합니다.
• 연구 질문 (RQ):
  1. 인간 중재자는 권력 불균형 갈등 중재 시 어떤 유형의 권력 관련 편향을 보이는가?
  2. AI 가 생성한 제안은 이러한 편향에 어떤 영향을 미치는가 (완화 또는 증폭)?

2. 방법론 (Methodology)

연구는 혼합 설계 (Mixed Design) 실험을 통해 진행되었으며, 총 50 명의 참가자가 참여했습니다.

• 데이터 수집 및 태도론 (Taxonomy):

  • 중국 현지 생활 플랫폼인 ' Dianping(디엔핑)'의 실제 소비자 - 상인 분쟁 데이터 100 건을 수집했습니다.
  • 사회심리학의 '사회적 권력의 기초 (Bases of Social Power)' 이론 (Legitimate, Coercive, Reward, Expert, Referent, Informational) 을 기반으로 10 가지 권력 표현 유형 (Power Manifestations) 을 도출했습니다.
    • 예: 정당한 주장 (Legitimate claim), 처벌 위협 (Punishment threat), 보상 (Compensation), 전문가 지식 (Expert knowledge) 등.
  • 각 유형에 대해 실제 데이터를 변형 (Perturbation) 하여 실험 자료를 구성했습니다. (예: 상인 답변에 "플랫폼 규칙"이라는 문구를 삽입).

• 실험 설계:

  • 피험자 간 변수 (Between-subjects): 두 그룹으로 나뉩니다.
    1. 인간 중재 그룹: 외부 제안 없이 독립적으로 판단.
    2. 인간-AI 중재 그룹: 'AI 가 생성한 제안'을 제공받고 판단. (실제 LLM 대신 연구자가 crowdsourced 데이터를 기반으로 고품질의 제안을 작성하여 'AI'인 것처럼 제공하는 Wizard-of-Oz 방식을 사용).
  • 피험자 내 변수 (Within-subjects): 각 참가자는 초기 버전 (Original) 과 변형된 버전 (Perturbed) 의 갈등 사례를 무작위로 접합니다.
  • 작업: 70 개의 갈등 사례에 대해 "상인 지지", "소비자 지지", "중립" 등 5 점 리커트 척도로 지지 여부를 선택합니다.
  • 추가: 실험 후 15 명을 대상으로 반구조화 인터뷰를 진행하여 심층적인 인식을 분석했습니다.

3. 주요 결과 (Key Results)

RQ1: 인간 중재의 편향

인간 중재자는 권력 있는 당사자 (상인) 를 지지하는 5 가지 주요 편향을 보였습니다.

1. 정당한 주장 편향 (Legitimate claim bias): 규칙이나 플랫폼 정책을 인용할 때 상인을 지지하는 경향이 강해짐.
2. 처벌 위협 편향 (Punishment threat bias): 상인의 위협적 표현이 오히려 신뢰할 수 있는 신호로 인식됨.
3. 보상 편향 (Compensation bias): 상인의 보상 제안은 성실함으로, 소비자의 요구는 이기적으로 해석됨.
4. 전문 지식 편향 (Expert knowledge bias): 상인의 전문 용어 사용은 신뢰로, 소비자의 사용은 과장된 것으로 인식됨.
5. 길이 차이 편향 (Length difference bias): 상인의 긴 설명은 상세한 과정으로, 소비자의 긴 설명은 감정적/불필요한 것으로 간주됨.

RQ2: AI 보조의 영향

AI 제안은 인간 중재자의 편향에 양면적 (Double-edged sword) 영향을 미쳤습니다.

• 편향 완화 (Alleviation): 처벌 위협, 보상, 전문 지식, 길이 차이 편향 등 4 가지 편향은 AI 제안으로 인해 완화되었습니다. AI 가 핵심 갈등 포인트를 명확히 제시함으로써 인간이 휴리스틱 (직관) 에 의존하는 것을 줄여주었습니다.
• 편향 증폭 및 신규 편향 (Amplification & Introduction):
  • 정당한 주장 편향 증폭: AI 가 규칙을 인용하면, 인간은 이를 "검증된 사실"로 믿어 상인 지지 편향이 더 강화되었습니다.
  • 권위 인용 편향 (Authority citation bias) 신규 발생: AI 가 빈 링크나 외부 기관을 인용할 때, 인간은 이를 신뢰할 수 있는 증거로 오인하여 상인을 지지하는 새로운 편향이 나타났습니다.
• 제안 관점의 중요성: AI 제안이 "상대방을 지지하지 않는 이유 (Unsupporting the opposite party)"를 제시할 때, 중재자는 약자 (소비자) 를 지지하는 경향이 유의미하게 증가했습니다.

4. 주요 기여 (Key Contributions)

1. 최초의 연구: 권력 불균형 갈등 상황에서의 인간 중재 및 인간-AI 협업 중재 편향을 체계적으로 조사한 최초의 연구입니다.
2. 이론적 프레임워크 구축: 사회적 권력 이론을 기반으로 온라인 갈등 맥락에 맞는 10 가지 권력 관련 편향 태도론 (Taxonomy) 을 개발했습니다.
3. 실증적 발견: AI 가 중재 편향을 단순히 줄이는 것이 아니라, 특정 상황 (규칙 인용 등) 에서는 오히려 편향을 증폭시키거나 새로운 편향을 유발할 수 있음을 밝혔습니다.
4. 설계 시사점:
   • 권력 불균형 완화: 역할 익명화, 대칭적 정보 제공, 편향 경고 시스템 도입 필요.
   • AI 의 '정당화' 효과 제어: AI 제안에 불확실성 표시 (Confidence intervals) 및 증거 추적 기능을 추가하여 맹신 방지.
   • 개인차 고려: 중재자의 경험, 가치관, AI 리터러시 수준을 고려한 맞춤형 인터페이스 설계 필요.

5. 의의 및 결론 (Significance)

이 연구는 AI 기반 중재 시스템이 효율성만 높이는 것이 아니라, 인간의 인지적 편향과 상호작용하여 예상치 못한 결과를 초래할 수 있음을 경고합니다. 특히 "AI 가 인용한 규칙은 신뢰할 수 있다"는 인간의 선입견 (Legitimizing effect) 이 편향을 강화할 수 있다는 점은 향후 HCI 및 AI 윤리 분야에서 중요한 시사점을 제공합니다.

결론적으로, 권력 불균형 갈등을 해결하기 위한 중재 시스템 설계 시에는 AI 의 효율성과 편향 완화 메커니즘을 동시에 고려해야 하며, AI 를 단순한 도구가 아닌 인간의 판단에 영향을 미치는 '사회적 행위자'로 인식하고 설계해야 함을 강조합니다.