Mod-Guide: An LLM-based Content Moderation Feedback System to Address Insensitive Speech toward Indigenous Ethnic and Religious Minority Communities

개요: 문화적 감수성을 위한 번역기

인터넷이 거대하고 시끌벅한 마을 광장이라고 상상해 보세요. 이 광장에는 두 그룹의 사람들이 있습니다: 다수자(가장 흔한 목소리들)와 소수자(규모는 작지만 종종 간과되는 집단들)입니다.

때때로 다수자들은 기술적으로 "혐오 표현"(예: 욕설을 내뱉는 것)은 아니더라도, 여전히 상처를 주는 말을 합니다. 그들은 농담을 하거나, 가정을 하거나, 혹은 의도치 않게 소수자의 문화, 종교, 또는 역사를 지우거나 무시하는 발언을 할 수 있습니다. 이는 마치 누군가가 "왜 저렇게 이상한 모자를 써? 못생겼어"라고 말하는 것과 같습니다. 그 모자가 착용자에게는 신성한 왕관이라는 사실을 깨닫지 못한 채 말이죠.

문제는 이 마을 광장의 "경비원"(콘텐츠 중재 시스템)들이 주로 다수자에 의해 훈련되었다는 점입니다. 그들은 소수자의 관점을 이해하지 못하기 때문에 이러한 미묘한 상처를 놓치곤 합니다. 소수자는 깊은 상처를 입었음에도 불구하고, 경비원들은 "이 댓글은 괜찮습니다"라고 말할 수 있습니다.

이 논문은 경비원들이 소수자의 관점을 이해할 수 있도록 돕기 위해 설계된 새로운 도구인 Mod-Guide를 소개합니다.

문제점: "베일"과 "잃어버린 사전"

저자들은 왜 이런 일이 발생하는지 설명하기 위해 두 가지 강력한 은유를 사용합니다.

1. 베일(The Veil): 다수자와 소수자를 가로막고 있는 두껍고 투명한 커튼을 상상해 보세요. 다수자는 소수자의 진정한 감정을 볼 수 없고, 소수자는 이해받지 못한다고 느낍니다.
2. 해석학적 불의(Hermeneutical Injustice): 이것은 소수자에게 '사전'이 없다는 것을 멋지게 표현한 말입니다. 그들에게는 경험과 감정이 있지만, 인터넷(그리고 AI)의 "공식 언어"에는 왜 그 경험들이 고통스러운지를 설명할 단어가 없습니다.

이 때문에, 현재 소셜 미디어 사이트에서 사용되는 표준 AI 모델들은 "무례한 발언(insensitive speech)"을 포착하는 데 자주 실패합니다. 그들은 단어는 보지만, 그 뒤에 숨겨진 의미는 놓칩니다.

해결책: "커뮤니티 도서관" 구축하기

이를 해결하기 위해 연구진은 단순히 AI에게 추측하라고 시키지 않았습니다. 대신, 그들은 근원을 찾아갔습니다.

1단계: 이야기꾼들 (코퍼스/말뭉치)
연구진은 방글라데시의 두 특정 소수자 집단인 힌두 공동체(종교적 소수자)와 차크마(Chakma) 공동체(토착 소수 민족)의 구성원 22명을 모았습니다.

• 연구진은 이 공동체 구성원들에게 자신들을 상처 입혔던 온라인 댓글의 사례를 공유해 달라고 요청했습니다.
• 결정적으로, 공동체 구성원들은 단순히 "이것은 나쁘다"라고만 말하지 않았습니다. 그들은 설명을 덧붙였습니다. 그들은 자신들의 종교 경전, 역사, 그리고 삶의 경험을 사용하여 그것이 왜 나쁜지를 설명했습니다.
• 비유: 단순히 "나쁜 단어"의 목록만 있는 도서관이 아니라, 상처를 입은 사람들이 특정 문장이 왜 가슴을 치는 듯한 통증을 주었는지 정확하게 설명해 놓은 책들이 서가에 꽂혀 있는 도서관을 상상해 보세요.

2단계: 도구 (Mod-Guide)
연구진은 Mod-Guide라는 도구를 만들었습니다. 이것을 콘텐츠 중재자를 위한 스마트 비서라고 생각하세요.

• 두뇌: 강력한 AI(GPT-4)를 사용합니다.
• 기억력 (RAG): 이것이 핵심 비법입니다. AI가 일반적인 훈련 데이터를 바탕으로 추측하게 하는 대신, Mod-Guide는 AI가 답변하기 전에 반드시 커뮤니티 도서관(1단계에서 만든 코퍼스)을 펼쳐보도록 강제합니다.
• 역할극: AI는 피드백을 주기 위해 다양한 "모자"(페르소나)를 쓰도록 요청받습니다. 때로는 교육하려는 **교사(Teacher)**처럼, 때로는 갈등을 중재하려는 **중재자(Mediator)**처럼, 혹은 판결을 내리는 **판사(Judge)**처럼 행동합니다.

실생활에서의 작동 방식

논문에 나온 예시를 살펴보겠습니다:

• 무례한 댓글: 한 사용자가 "나는 우상을 수호하는 것을 믿지 않는다. 나는 신앙을 지키기 위해 온 것이지, 조각상을 보호하기 위해 온 것이 아니다"라는 글을 올립니다. (이는 우상을 신성시하는 힌두교도들에게 매우 모욕적입니다.)
• 표준 AI: "이것은 단지 의견일 뿐이므로 괜찮습니다"라고 말할 수 있습니다.
• Mod-Guide (도서관과 함께할 때): AI는 힌두 공동체 구성원들의 설명을 찾아봅니다. AI는 그들에게 우상이 단순한 조각상이 아니라 신에게 닿는 통로임을 확인합니다.
• 결과: Mod-Guide는 사용자에게 다음과 같이 말합니다. "이 댓글은 많은 사람에게 우상의 신성한 성격을 부정한다는 점에서 상처가 될 수 있습니다. 더 존중하는 방식으로 표현하려면 다음과 같이 수정할 수 있습니다."

연구 결과

연구진은 Mod-Guide를 표준 AI와 비교 테스트했으며 다음과 같은 결과를 얻었습니다.

1. 출력의 변화: AI가 "커뮤니티 도서관"(RAG)을 사용하면, 표준 AI와는 완전히 다른 답변을 내놓습니다. 훨씬 더 문화적 뉘앙스에 민감해집니다.
2. 더 높은 정확도: 소수자 공동체의 전문가들이 답변을 검토했습니다. 그들은 표준 AI가 종종 "피상적"이거나 핵심을 놓친다고 평가했습니다. 반면 Mod-Guide의 답변은 더 깊이 있고, 그들의 문화에 대해 사실적으로 더 정확했습니다.
3. 누가 만족했는가?
   • 민족성이 중요함: 토착 소수 민족(차크마) 사람들은 다수자 사람들보다 이 피드백을 훨씬 더 유용하다고 느꼈습니다.
   • 종교는 큰 차이가 없음: 흥-미롭게도, 사용자가 힌두교도인지 무슬림인지에 따라 도구의 유용성이 달라지지는 않았습니다. 중요한 것은 그들의 민족적 배경이었습니다.
   • "교사"와 "중재자"의 역할: AI가 엄격한 판사보다는 교사나 중재자처럼 행동할 때 피드백이 가장 도움이 되었습니다.

한계점 (주의할 점)

저자들은 이 도구가 아직 할 수 없는 부분에 대해서도 솔직하게 밝히고 있습니다.

• 규모가 작음: 그들이 구축한 "도서관"은 132개의 사례로 작습니다. 이는 마치 몇 페이지밖에 안 되는 사전을 가진 것과 같습니다. 연구된 특정 집단에는 잘 작동하지만, 세상의 모든 모욕이나 다른 모든 소수 집단을 다 다룰 수는 없습니다.
• 마법이 아님: 이 도구는 여전히 인간의 감독이 필요합니다. 특히 매우 복잡하거나 시각적인 콘텐츠(텍스트가 포함된 이미지 등)의 경우, 인간의 판단을 완전히 대체할 수는 없습니다.
• 방글라데시에 특화됨: 이 연구 결과는 방글라데시의 힌두 및 차크마 공동체에 특화되어 있습니다. 이것이 다른 나라의 소수자 문제를 자동으로 해결해주지는 않지만, 그 방법론은 복제될 수 있습니다.

핵심 결론

이 논문은 인터넷을 공정하게 만들기 위해서 단순히 크고 일반적인 AI 모델에만 의존해서는 안 된다고 주장합니다. 우리는 지역적이고, 공동체 특화적인 지식의 도서관을 구축해야 합니다.

AI에게 실제로 상처를 받는 사람들이 직접 쓴 "사전"을 제공함으로써, 우리는 AI가 단순한 댓글과 깊은 모욕 사이의 차이를 이해하도록 도울 수 있습니다. 이는 단순히 처벌(사람을 차단하는 것)에서 벗어나 회복적 정의(사람들이 서로를 이해하고 관계를 회복하도록 돕는 것)로 나아가는 과정입니다.

요약하자면, Mod-Guide는 AI가 무엇이 필요한지 단순히 추측하는 것이 아니라, 보호해야 할 사람들의 목소리에 귀를 기울이도록 가르치는 도구입니다.