Beyond the pale: Assessing prevalence and contents of extremist speech in LLM training data
이 논문은 Dolma 학습 코퍼스 내 극단주의적 발언의 유병률을 조사하여, 해당 코퍼스가 혐오 표현과 폭력 선동을 담은 수십만 개의 문서를 포함하고 있을 가능성을 밝힘으로써 데이터 큐레이션 및 LLM 안전성에 대한 중대한 시사점을 강조한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
대규모 언어 모델은 질문에 답하는 챗봇부터 코드 작성을 돕는 시스템에 이르기까지, 오늘날 우리가 사용하는 많은 인공지능 도구의 엔진 역할을 합니다. 이 기계들은 교실에서 규칙을 배우며 학습하는 것이 아니라, 인터넷, 책, 그리고 기타 디지털 소스에서 얻은 방대한 양의 텍스트를 읽음으로써 학습합니다. 이 과정을 '훈련(training)'이라고 합니다. 모델이 유창하고 박식해지기 위해서는 인간이 평생을 읽어도 다 못 읽을 만큼 거대한 텍스트 도서관을 소비해야 합니다. 연구자들은 오랫동안 이러한 모델이 어떻게 구축되는지, 그리고 초기 학습 후 모델이 안전하고 유익하도록 어떻게 미세 조정(tuning)되는지에 초점을 맞춰왔습니다. 그러나 핵심적인 질문 하나가 오랫동안 거의 제기되지 않은 채 남아 있었습니다. 바로 모델이 애초에 어떤 종류의 자료를 읽고 있는가 하는 점입니다. 만약 훈련 도서관에 해롭거나 증오를 담았거나 위험한 아이디어가 포함되어 있다면, 제작자들이 나중에 더 나은 행동을 가르치려 노력하더라도 모델은 이를 반복할 수 있습니다. 이는 단순한 기술적 결함이 아니라 공공 안전의 문제입니다. 이러한 시스템이 모든 연령대의 사람들, 특히 경고 없이 위험한 관점에 노출될 수 있는 아이들이 사용하는 경우가 점점 늘어나고 있기 때문입니다.
맨체스터 대학교의 연구팀은 과학계에서 이용 가능한 가장 중요한 오픈 소스 텍스트 컬렉션 중 하나인 돌마(Dolma)의 훈련 데이터 내용을 조사하기 위해 나섰습니다. 이 컬렉션은 돌마(Dolma)로 알려져 있으며, 올모(OLMo)라고 불리는 일련의 고급 언어 모델의 토대가 됩니다. 연구진은 이 거대한 도서관에 극단주의적 발언—폭력, 증오, 또는 민주적 체제의 전복을 조장하는 텍스트—이 포함되어 있는지 알고 싶었습니다. 이를 위해 그들은 단순히 추측하거나 단일 컴퓨터 프로그램에 의존하지 않았습니다. 대신, 이 문서들을 찾아내기 위한 세심한 다단계 프로세스를 구축했습니다. 그들은 먼저 모델이 학습한 3조 단어의 아주 작지만 통계적으로 의미 있는 조각을 나타내는 돌마 컬렉션의 무작위 샘서플 20만 개 문서를 추출했습니다. 그런 다음 여러 가지 서로 다른 컴퓨터 모델을 사용하여 이 문서들을 스캔하며, 각 모델에게 극단주의의 특정 정의와 일치하는 텍스트를 식별하도록 요청했습니다. 이 정의들은 영국의 공식 정부 지침과 테러리즘 및 정치적 폭력을 연구하는 학술 전문가들로부터 가져온 것입니다.
이 과정은 매우 보수적으로 설계되었습니다. 즉, 연구진은 무언가를 극단주의라고 라벨을 붙이기 전에 매우 확신하고자 했습니다. 그들은 컴퓨터 모델이 극단주의의 여러 정의 중 하나라도 일치하면 문서를 표시하도록 요청하는 '유니언 체크(union check)' 기법을 사용했습니다. 이는 모델이 작업을 제대로 이해하고 있는지 확인하는 데 도움이 되었습니다. 컴퓨터가 잠재적 일치 항목을 표시하면, 연구진은 이를 추가적인 정밀 조사에 부쳤습니다. 그들은 더 강력한 인공지능 시스템을 사용하여 오탐(false alarms)을 걸러냈고, 마지막으로 극단주의 발언 연구 전문가를 투입하여 표시된 텍스트의 작은 샘플을 면밀히 검토하게 했습니다. 이 인간 검토는 매우 중요했는데, 야생의 텍스트는 종종 지저도(messy)하고, 암호화된 언어로 가득 차 있거나, 기계가 해석하기 어려운 방식으로 작성되어 있기 때문입니다. 전문가는 연구진이 찾고자 했던 위험한 내러티브가 실제로 포함되어 있는지 확인하기 위해 이 문서들을 정독했습니다.
이 조사 결과는 명확하고 우려스러웠습니다. 연구진은 돌마 훈련 컬렉션에 극단적인 콘텐츠를 담은 문서가 거의 확실히 수십만 개 포함되어 있다는 것을 발견했습니다. 보수적인 추정치를 바탕으로, 그들은 무작위 샘플 내의 문서 2,000개 중 약 1개가 극단주의적 내러티브나 혐오 발언을 포함하고 있다고 계산했습니다. 이 비율을 수십억 개의 문서로 구성된 전체 데이터셋에 투영했을 때, 그 수치는 방대한 양의 해로운 자료가 존재함을 가리켰습니다. 연구는 직접적인 폭력 호출, 특정 인종이나 종교 집단을 겨냥한 혐오 발표, 그리고 민주적 제도를 약화시키려는 내러티브를 포함한 다양한 유형의 위험한 콘텐츠를 식별했습니다. 흥미롭게도, 연구진은 데이터를 검색하는 데 사용된 구체적인 정의에 따라 결과가 달라진다는 것을 발견했습니다. '내집단(in-groups)'과 '외집단(out-groups)' 사이의 갈등에 초점을 맞춘 한 정의는 매우 넓은 그물을 던져, 정치적 의미에서의 극단주의는 아니더라도 혐오를 담은 많은 텍스트를 포착했습니다. 정부 기준에 기반한 또 다른 정의는 더 정밀했지만, 여전히 상당한 양의 해로운 자료를 식별해 냈습니다.
놀라운 발견 중 하나는 샘플에서 특정 유형의 극단주의가 부재했다는 점입니다. 인터넷의 글로벌한 특성에도 불구하고, 연구진은 샘-플에서 지하디스트 테러리즘과 관련된 텍스트를 거의 찾지 못했으며, 관련 뉴스 기사는 단 하나만 나타났습니다. 이는 테러 조직에 대한 엄격한 규제와 기업 정책이 이러한 특정 유형의 콘텐츠를 모델에 공급되는 공개 데이터셋에서 성공적으로 제거했을 수 있음을 시사합니다. 그러나 연구는 우익 극단주의 내러티브가 훨씬 더 널리 퍼져 있으며, 주로 정치 블로그, 포럼 댓글, 음모론의 형태로 나타난다는 것을 발견했습니다. 연구진은 또한 발견된 콘텐츠 중 상당수가 '경계선(borderline)' 상의 것, 즉 매우 양극화되어 있고 폭력적이거나 혐오적이지만 항상 엄격한 법적 극단주의 정의에 부합하지는 않는 텍스트라는 점에 주목했습니다. 이 회색 지대는 매우 위험한데, 필터링하기가 더 어렵지만 모델이 읽었을 때 극단적인 견해를 정상화할 수 있기 때문입니다.
이러한 발견의 함의는 모델이 어떻게 구축되는지에 대한 기술적 세부 사항을 넘어 확장됩니다. 연구진은 모델이 이미 이 데이터를 통해 학습한 후에 단순히 수정하는 것만으로는 문제를 해결할 수 없다고 주장합니다. 만약 모델이 폭력을 촉구하거나 증오를 조장하는 수천 개의 문서를 암기했다면, 추가적인 안전 훈련을 거치더라도 그 패턴을 지우는 데 어려움을 겪을 수 있습니다. 이 연구는 훈련 데이터의 구성이 긴급한 주의를 요하는 근본적인 문제임을 강조합니다. 모델이 출시된 후 어떻게 행동하는지에만 집중하는 것으로는 부족합니다. 최종 제품의 안전성은 초기 학습 단계에서 무엇을 입력했느냐에 크게 달려 있습니다. 연구진은 인공지능의 훈련 도서관에 포함되는 데 적절한 콘텐츠가 무엇인지에 대해, 특히 그 도서관들이 매일 대중과 상호작용하는 도구를 만드는 데 사용될 때 더 광범위한 논의가 필요하다고 결론짓습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.