Leveraging Argument Structure to Predict Content Hatefulness

인터넷을 아이디어를 외치는 거대하고 시끄러운 시장으로 상상해 보세요. 때로는 이러한 아이디어가 단순히 잘못되었을 수 있습니다 (허위 정보), 그리고 때로는 특정 집단을 해치거나 모욕하도록 설계되기도 합니다 (혐오 발언). 종종 이 두 가지 문제가 섞입니다. 악의적인 행위자는 논리적인 것처럼 보이는 포장에 혐오 메시지를 감싸서 심각한 논쟁처럼 보이게 하여 당신이 그것을 믿기를 바랍니다.

이 논문은 마치 탐정처럼, 단어만 읽는 것이 아니라 논리가 어떻게 구성되었는지 살펴봄으로써 그 '혐오적인 포장'을 식별하는 방법을 찾아내려 합니다.

구성 요소: 전제와 결론

논리를 집처럼 생각해 보세요.

• 전제는 벽돌과 모르타르입니다. 이는 사람이 기반으로 삼는 사실이나 주장입니다.
• 결론은 지붕입니다. 이는 그들이 증명하려는 주요 지점입니다.

보통 우리가 혐오 발언을 탐지할 때는 집 전체를 보고 "이게 무섭게 보이나요?"라고 묻습니다. 하지만 이 논문은 다른 질문을 던집니다: "벽돌이 어떻게 쌓였는지와 지붕이 무엇을 말하고 있는지만 보면 집이 위험한지 알 수 있을까요?"

실험: 백인 우월주의 포럼

연구자들은 백인 우월주의 포럼 (혐오 콘텐츠로 알려진 곳) 에서의 특정 메시지 모음을 살펴보았습니다. 그들은 227 개의 혐오 메시지와 136 개의 비혐오 메시지를 가지고 있었습니다.

그들은 단순히 텍스트를 읽지 않았습니다. 대신 모든 메시지를 '벽돌'(전제) 과 '지붕'(결론) 으로 분해했습니다. 또한 각 부분에 두 가지 특별한 라벨을 붙였습니다:

1. 혐오성: 이 특정 문장이 비꼬거나 모욕적인가?
2. 팩트체크 가능성: 이는 사실 확인이 가능한 주장인가 (예: "하늘은 파랗다") 아니면 단순한 의견인가 (예: "나는 하늘이 예쁘다고 생각한다")?

탐정 작업: 어떻게 테스트했는지

연구자들은 메시지가 혐오적인지 예측하는 컴퓨터 모델 (스마트 분류기) 을 구축했습니다. 그들은 모델에 다양한 유형의 단서를 입력해 보았습니다:

1. 청사진만 (구조): 그들은 모델에게 "여기 벽돌과 지붕의 순서가 있지만, 그들이 무엇을 말하는지에 대한 세부 사항은 없다"고 말했습니다.

   • 결과: 그것은 괜찮게 작동했습니다. 논리의 '형태'만 아는 것만으로도 모델이 약 70% 의 확률로 올바르게 추측하는 데 도움이 되었습니다. 벽을 보지 않더라도 기초가 비뚤어진 집이 나쁜 집일 가능성이 더 높다는 것을 아는 것과 같습니다.

2. 청사진 + 팩트체크 라벨: 그들은 '팩트체크 가능성' 태그를 추가했습니다 (모델에게 어떤 부분이 사실이고 어떤 부분이 의견인지 알려줌).

   • 결과: 놀랍게도, 이는 모델을 더 나쁘게 만들었습니다. 탐정에게 너무 많은 혼란스러운 노이즈가 있는 지도를 주는 것과 같습니다. 이 특정 소규모 메시지 그룹에서는 단순한 구조가 실제로 더 신뢰할 수 있었습니다.

3. 청사진 + 혐오 라벨: 그들은 모델에게 정확히 어떤 벽돌과 지붕이 혐오적인지 알려주었습니다.

   • 결과: 이것이 '결정적 증거'였습니다. 모델이 어떤 특정 부분이 혐오적인지 알았을 때, 그것은 놀라울 정도로 정확해져 약 96% 의 확률로 올바른 답을 얻었습니다.

큰 교훈

이 논문은 두 가지 주요 사실을 발견했습니다:

• 구조가 중요합니다: 결론으로 이어지는 전제의 순서와 같이 논리가 조직되는 방식은 전체 메시지가 혐오적인지에 대한 많은 단서를 담고 있습니다. 강한 힌트를 얻기 위해 항상 모든 단어를 읽을 필요는 없습니다.
• '벽돌'이 이야기를 전합니다: '벽돌'(전제) 의 혐오적인 성격은 종종 전체 '집'이 위험하다는 것을 알려주기에 충분합니다. 무언가가 잘못되었음을 알기 위해 '지붕'(결론) 을 볼 때까지 기다릴 필요는 항상 없습니다.

미래에 대한 경고

연구자들은 또한 함정을 지적했습니다. 부분들의 '혐오 라벨'을 아는 것이 모델을 매우 정확하게 만들었지만, 현실 세계에서는 그런 라벨이 준비되어 있지 않습니다. 우리는 직접 찾아야 합니다.

그들은 또한 '팩트체크 가능성'(팩트체크 태그) 을 추가하는 것이 그들의 작고 단순한 모델에는 도움이 되지 않았음을 발견했습니다. 거대하고 복잡한 지도를 읽기 위해 작은 돋보기를 사용하는 것과 같습니다; 그 도구는 추가 정보를 처리하기에 충분히 크지 않았습니다. 그들은 더 크고 강력한 컴퓨터 (대규모 언어 모델과 같은) 가 이러한 팩트체크 태그를 효과적으로 사용할 수 있을 것이라고 제안하지만, 현재로서는 단순한 구조가 그들이 찾은 가장 신뢰할 수 있는 단서입니다.

간단히 말해: 혐오 발언을 건물처럼 취급하고 그 부분들이 어떻게 결합되었는지 분석함으로써 우리는 위험을 더 쉽게 식별할 수 있습니다. 논리 자체의 형태는 강력한 신호입니다.