Polarization Detection: A Hybrid Approach with AfroXLMR-Social and DeBERTa for Low- and High-Resource Settings

인터넷을 사람들이 서로 소리를 지르고 있는 거대하고 시끄러운 광장이라고 상상해 보십시오. 때때로 그 외침은 단순히 화를 내는 것이 아니라, 서로를 이해하기를 거부하는 두 개의 적대적인 진영으로 군중을 나누려는 목적을 가집니다. 이 논문은 텍사트(text)에서 이러한 특정한 "우리 대 그들" 식의 싸움을 포착해낼 수 있는 초지능형 탐정을 구축하는 것에 관한 것입니다. 특히 영어와 서아프리카의 주요 언어인 하우사어(Hausa)를 대상으로 합니다.

저자인 무함마드 압둘라히 사이드(Muhammad Abdullahi Said)와 그의 팀은 단순히 하나의 큰 그물을 던져 문제를 해결하려 하지 않았습니다. 대신, 그들은 한 가지 작업에 적합한 방식이 다른 작업에도 항상 통하는 것은 아니라는 점을 깨닫고, 두 명의 매우 다른 전문가로 구성된 하이브리드 탐정 팀을 구축했습니다.

두 명의 탐정

첫 번째 탐정인 DeBERTa를 생각해보면, 이 탐정은 완벽한 영어를 구사하는 날카롭고 격식 있는 변호사와 같습니다. 이 탐정은 "이 게시물은 양극화되었는가, 아닌가?"라는 단순한 "예/아니오" 질문을 포착하는 데 탁ًا합니다. 영어 텍스트의 경우, 팀은 이 특화된 단일 언어 변호사가 이진 신호를 잡아내는 데 가장 효과적이라는 것을 발견했습니다.

두 번째 탐정인 AfroXLMR-Social은 아프리카의 소셜 미디어 시장에서 자라난 거리의 생리에 밝은 현지 가이드와 같습니다. 이 가이드는 슬랭, 해시태그, 엉망인 타이핑, 그리고 나이지리아 같은 곳에서 사람들이 온라인상에서 논쟁하는 특유의 방식을 이해합니다. 논문은 정치적, 종교적, 인종적 갈등과 같은 '무엇'에 관한 싸움인지, 혹은 비인간화(dehumanizing)나 스테레오타이핑(stereotyping)처럼 사람들이 '어떻게' 못되게 구는지와 같은 까다롭고 세밀한 작업을 수행할 때 이 거리의 생리에 밝은 가이드가 필수적이라고 제안합니다.

팀은 "하나의 크기로 모든 것을 해결하는(one-size-fits-all)" 접근 방식에 명시적으로 반대합니다. 그들은 범용 다국어 모델(일반론적인 탐정들)이 너무 희석되어 있어 실패하는 경우가 많다는 것을 발견했습니다. 이들은 너무 많은 언어를 동시에 말하려고 노력하다가 아프리카 방언과 소셜 미디어 슬랭의 미묘하고 시끄러운 뉘앙스를 놓치게 됩니다. 아프리카 소셜 미디어 콘텐츠에 특화되어 사전 학습된 모델을 사용함으로써, 그들은 다른 모델들이 놓쳤던 양극화의 속삭임을 들을 수 있었습니다.

도구 모음: 데이터 확장하기

팀이 직면한 큰 문제 중 하나는 훈련 데이터, 특히 하우사어와 "비인간화"와 같은 특정 유형의 못된 행동에 대한 데이터가 부족하다는 점이었습니다. 이는 마치 아주 희귀한 장난감의 예시를 단 하나만 가지고 강아지에게 그 장난감을 가져오도록 가르치는 것과 같습니다.

이를 해결하기 위해 그들은 두 가지 영리한 기술을 사용했습니다:

1. LoRA (Low-Rank Adaptation): 당신이 들고 다니기 너무 무거운 거대한 백과사전(AI 모델)을 가지고 있다고 상상해 보십시오. 책 전체를 새로 쓰는 대신, LoRA는 책에 필요한 새로운 지식만을 가르쳐주는 몇 장의 포스트잇을 붙이는 것과 같습니다. 이를 통해 팀은 모델의 원래 지식을 온전히 유지하면서도 슈퍼컴퓨터 없이 일반 컴퓨터 하드웨어에서 모델을 훈련할 수 있었습니다.
2. 데이터 증강 (nlpaug): 이것은 당신의 희귀한 장난감 예시들을 약간씩 변형하는 복사기와 같습니다. 그들은 단어를 유의어로 교체하거나 문장에 무작위 단어를 추가하는 nlpaug라는 도구를 사용했습니다. 이를 통해 모델이 문구의 표현이 약간 바뀌더라도 양극화를 인식할 수 있도록 도왔습니다. 그러나 저자들은 이 방법이 완벽하지는 않다고 언급합니다. 예를 들어, "정권(regime)"이라는 단어를 "정부(government)"로 바꾸면 의도치 않게 화가 난 게시물이 너무 차분하게 들리는 것처럼 되어, 이 방법에도 한계가 있음을 보여주었습니다.

결과: 얼마나 잘 해냈는가?

팀은 세 단계의 난이도로 시스템을 테스트했습니다:

1. 단계 1 (단순 확인): "이것은 양극화되었는가?"

   • 영어의 경우, 격식 있는 변호사(DeBERTa)를 사용하여 0.7917의 F1-Score를 얻었습니다.
   • 하우사어의 경우, 거리의 생리에 밝은 가이드(AfroXLMR-Social)가 0.8133을 기록했습니다.
   • 논문은 특화된 영어 모델로 전환하는 것이 초기 시도보다 결과를 개선했다는 점을 시사합니다.

2. 단계 2 ("무엇" 질문): "주제가 무엇인가?" (정치, 종교 등)

   • 여기서 거리의 생리에 밝은 가이드는 영어에 대해 0.3976, 하우사어에 대해 0.3276의 점수를 기록하며 두 언어 모두를 잘 처리했습니다.

3. 단계 3 ("어떻게" 질문): "어떻게 못되게 구는가?" (스테레오타이핑, 비인간화 등)

   • 이것이 가장 어려운 부분이었습니다. 가이드는 영어에 대해 0.4979, 하우사어에 대해 0.2367의 점수를 기록했습니다.
   • 저자들은 이러한 낮은 점수가 부분적으로는 이러한 특정 악의적 행동에 대한 데이터가 매우 희소하기 때문이며, 이는 어떤 AI에게도 힘든 도전 과제라고 제안합니다.

결론

논문은 단 하나의 마법 같은 해결책은 없다고 결론짓습니다. 최선의 전략은 맞춤형 접근 방식입니다. 즉, 단순한 탐지에는 특화된 영어 모델을 사용하되, 하우사어와 같은 저자원 언어에서의 복잡하고 미묘한 작업을 위해서는 도메인에 적응된 소셜 미디어 학습 모델에 의존하는 것입니다.

그들은 이 결과를 **5-Fold 교차 검증(5-Fold Cross-Validation)**을 통해 측정했는데, 이는 결과가 단순히 운이 아니라는 것을 확인하기 위해 다섯 번의 서로 다른 그룹을 대상으로 탐정을 다섯 번 테스트하는 것과 같습니다. 결과가 경쟁력이 있고 이 하이브리드 전략이 작동함을 보여주지만, 저자들은 낮은 점수를 방법론의 실패가 아닌 데이터의 어려움을 반영하는 것으로 간데이션하며 신중하게 접근했습니다. 그들은 향arian 가장 희귀한 유형의 온라인 적대감을 다루기 위해 미래에는 더 똑똑한 훈련 예시 생성 방식이 필요할 수 있다고 제안합니다.