Hate Speech Classification In Roman Urdu: A Comparative Study On Parameter Efficient Fine-Tuning And Prompt Engineering

인터넷은 모든 문화권의 사람들이 자신의 생각을 공유하는 거대하고 글로벌한 광장이 되었지만, 이 열린 공간은 해로운 말들이 놀라운 속도로 퍼지게 하기도 합니다. 이러한 해로운 메시지, 즉 혐오 표현을 탐지하는 것은 컴퓨터에게 매우 어려운 작업인데, 이는 단어 그 자체뿐만 아니라 그 뒤에 숨겨진 의도와 맥락을 이해해야 하기 때문입니다. 이는 엄격한 규칙을 따르지 않거나 컴퓨터가 학습할 수 있는 미리 작성된 예시 라이브러리가 풍부하지 않은 언어들의 경우 특히 그러합니다. 라틴 알파벳을 사용하여 우르두어를 표기하는 방식인 로만 우르두(Roman Urdu)가 바로 그러한 언어의 대표적인 예입니다. 이는 파키스탄과 전 세계의 우르두어 사용자들 사이에서 수백만 명에 의해 사용되지만, 매우 비공식적이며 누가 타이핑하느냐에 따라 철자와 문법이 일관되지 않고 변합니다. 표준 컴퓨터 프로그램은 이러한 구조의 부재로 인해 어려움을 겪기 때문에, 연구자들은 방대한 양의 데이터나 값비싼 슈퍼컴퓨터를 필요로 하지 않고도 이러한 무질서한 실제 텍스트에서 혐오 표현을 찾아내도록 기계를 가르치는 새롭고 더 가벼운 방법들을 찾고 있습니다.

토니마 주베이르(Toneema Zubair)라는 연구자는 어떤 방법이 컴퓨터에게 로만 우르두어의 혐오 발언과 무해한 댓글을 구분하도록 가장 잘 가르칠 수 있는지 알아보기 위해 세 가지 서로 다른 방법을 테스트하며 이 과제에 도전했습니다. 이 연구는 소셜 미디어에서 수집된 72,000개 이상의 댓글이 포함된 특정 데이터셋에 초점을 맞추었으며, 대다수는 무해했지만 적은 부분에는 독성 언어가 포함되어 있었습니다. 첫 번째로 테스트한 방법은 대규모의 사전 학습된 컴퓨터 모델에게 추가적인 훈련 없이 정답을 추측하도록 단순히 요청하는 것이었는데, 이는 제로샷 프롬프팅(zero-shot prompting)이라고 알려진 기술입니다. 두 번째 방법은 모델에게 추측을 요청하기 전에 무엇을 찾아야 하는지에 대한 몇 가지 예시를 제공하는 것으로, 이를 퓨샷 프롬프팅(few-shot prompting)이라 부릅니다. 세 번째 방법은 매개변수 효율적 미세 조정(parameter-efficient fine-tuning)이라고 알려진 더 기술적인 접근 방식으로, 연구자들은 모델 전체를 처음부터 다시 훈련시키는 대신 로만 우르두어 혐오 표현의 특정 패턴을 학습할 수 있도록 모델의 내부 설정에 매우 작고 표적화된 조정을 가했습니다.

결과에 따르면, 아무런 도움 없이 컴퓨터에게 추측하도록 하는 것은 종종 신뢰할 수 없는 것으로 나타났습니다. 모델이 스스로 판단하게 내버려 두면, 언어가 매우 비공식적이고 데이터셋이 비독성 댓글 쪽으로 크게 치우쳐져 있었기 때문에 무해한 댓글을 독성 있는 것으로 잘못 분류하거나 실제 혐오 표현을 놓치는 경우가 빈번했습니다. 그러나 연구자들이 모델을 안내하기 위해 몇 가지 예시를 제공했을 때 성능은 눈에 띄게 향상되었습니다. 가장 일관되고 신뢰할 수 있는 결과를 낸 방법은 모델에 작고 정밀한 조정을 가한 방법이었습니다. 이러한 경량 업데이트를 통해 모델을 미세 조정함으로써, 컴퓨터는 예시를 주거나 도움 없이 추측할 때보다 로만 우르두어의 미묘한 뉘앙스를 훨씬 더 잘 인식하게 되었습니다. 이 접근 방식은 모델이 다른 방법들이 따라올 수 없는 균형을 갖추어 독성 댓글과 비독성 댓글을 모두 정확하게 식별하며 높은 수준의 정확도를 달ように 했습니다.

또한 이 연구는 특정 문장 구조를 사용하거나 프롬프트에 보이지 않는 학습 가능한 토큰을 추가하는 등 컴퓨터에 던지는 질문의 형식을 다르게 하는 방법들을 탐구했습니다. 이러한 변형들은 유망함을 보여주었고 때때로 적은 양의 데이터로도 좋은 성능을 보였지만, 모델의 내부 설정을 조정하는 방법을 지속적으로 능가하지는 못했습니다. 이 연구는 강력한 컴퓨터 모델에게 몇 가지 예시를 바탕으로 추측하도록 요청하는 것이 빠르고 자원 친화적인 옵션이 될 수는 있지만, 예측 불가능할 수 있음을 시사합니다. 반면, 모델 자체에 작고 효율적인 변화를 주는 것은 로만 우서와 같은 저자원 언어에서 혐오 표현을 탐지하기 위한 더 안정적이고 견고한 솔루션을 제공합니다. 이러한 발견은 데이터가 부족하고 컴퓨 계산 능력이 제한적인 지역에서 온라인 콘텐츠를 중재하기 위한 실질적인 경로를 제시하며, 막대한 에너지를 소비하는 훈련 과정 없이도 해로운 발언을 식별할 수 있도록 보장한다는 점에서 중요합니다.