What Are They Filtering Out? An Experimental Benchmark of Filtering Strategies for Harm Reduction in Pretraining Datasets

이 논문은 유해 콘텐츠 제거를 위한 데이터 필터링 전략이 취약 계층의 표현 부족을 심화시키는 부작용을 초래할 수 있음을 실험적 벤치마크를 통해 체계적으로 평가하고 있음을 보여줍니다.

핵심

🍎 비유: "유기농 사과밭과 나쁜 사과"

생각해 보세요. 우리가 AI 를 훈련시키기 위해 인터넷에서 엄청난 양의 텍스트 (데이터) 를 모으고 있습니다. 이는 마치 거대한 사과밭에서 사과를 수확하는 것과 같습니다.

하지만 이 사과밭에는 **썩은 사과 (혐오, 폭력, 차별적인 내용)**가 섞여 있습니다. AI 가 이 썩은 사과를 먹으면 독이 되어 나쁜 말을 하거나 편견을 갖게 되죠. 그래서 연구자들은 **"썩은 사과를 골라내는 필터"**를 개발했습니다.

이 논문은 바로 **"그 필터가 정말 썩은 사과만 골라내는지, 아니면 착한 사과까지 버리지는 않는지"**를 확인한 실험 보고서입니다.

---

🔍 연구의 핵심 질문 2 가지

연구자들은 두 가지 큰 의문을 품고 시작했습니다.

1. 어떤 필터를 쓰고 있나? (55 개의 AI 개발 보고서 분석)

   • 현재 AI 회사들은 썩은 사과를 걸러내기 위해 다양한 방법을 쓰고 있습니다.
   • 방법의 예:
     • 나쁜 단어 사전 (규칙 기반): "이 단어는 나쁘니까 삭제" (예: 욕설 목록)
     • 나쁜 냄새 맡는 개 (분류기): AI 가 "이 문장은 독이 있어 보여"라고 판단하면 삭제.
     • 명품 사과만 고르기 (품질 기반): 위키백과 같은 '명품' 사과밭과 비교해서 품질이 낮은 건 다 버리기.
     • 사람이 직접 확인 (휴먼 인 더 루프): 사람이 직접 "이건 위험해"라고 표시하기.

2. 이 필터들이 누구를 가장 많이 다치게 하나? (실험)

   • 필터를 통과하다 보니, 어떤 사람의 이야기 (이름, 직업 등) 가 가장 많이 사라지는지를 숫자로 세어봤습니다.

---

📉 실험 결과: "나쁜 사과만 골라냈다고 생각했는데..."

연구 결과가 매우 놀랍고 씁쓸합니다.

1. 필터마다 골라내는 '나쁜 내용'이 다릅니다.

• 어떤 필터는 '섹스'나 '폭력' 관련 단어를 주로 걸러냈고,
• 다른 필터는 **'인종 차별'**이나 '여성 비하' 단어를 더 많이 걸러냈습니다.
• 즉, **"어떤 필터를 쓰느냐에 따라, AI 가 배울 수 있는 '나쁜 내용'의 종류가 달라진다"**는 뜻입니다.

2. 가장 큰 피해자는 '여성'입니다.

• 필터를 적용했을 때, 남성에 대한 언급은 비교적 잘 남았지만, 여성에 대한 언급은 훨씬 더 많이 사라졌습니다.
• 특히 서구권 여성이나 식민지 경험 국가의 여성에 대한 언급이 가장 많이 삭제되었습니다.
• 왜일까요? 필터가 "나쁜 내용"을 걸러내려다 보니, 여성과 관련된 특정 직업 (예: 배우, 모델) 이나 상황들이 "위험하다"는 오해를 받아 함께 삭제되었기 때문입니다.

3. "품질이 좋은 자료"가 항상 "안전한 자료"는 아닙니다.

• 많은 회사가 "위키백과나 유명 웹사이트 같은 고품질 자료만 모아서 필터링하자"고 합니다.
• 하지만 실험 결과, 고품질 자료라고 해서 나쁜 내용 (혐오 표현 등) 이 없는 게 아니었습니다. 오히려 고品質 자료만 고집하면, 특정 집단의 목소리가 더 줄어들 수 있었습니다.

---

💡 결론: "나쁜 걸 빼려고 하다가, 좋은 것도 잃어버렸다"

이 논문의 핵심 메시지는 다음과 같습니다.

"AI 를 안전하게 만들기 위해 나쁜 내용을 필터링하는 것은 중요하지만, 현재 우리가 쓰는 방법들은 '여성'이나 '소수자' 같은 취약 계층의 목소리를 실수로 지워버리고 있습니다."

마치 썩은 사과를 골라내려다, 너무 예쁘지 않거나 특이한 모양의 건강한 사과까지 다 버리는 상황과 같습니다. 그 결과, AI 는 더 이상 다양하지 않고, 특정 집단 (주로 남성) 에 치우친 세상을 보게 됩니다.

🚀 앞으로의 과제

연구자들은 앞으로 다음과 같이 해야 한다고 말합니다.

• 단순히 나쁜 단어를 지우는 게 아니라, 누구의 목소리가 사라지는지 꼼꼼히 체크해야 합니다.
• AI 개발 과정에서 다양한 사람들이 참여해서 "이게 정말 나쁜 걸까?"를 함께 판단해야 합니다.
• 필터링 기술이 공정하게 작동하는지 계속 검증해야 합니다.

한 줄 요약:

"AI 를 깨끗하게 만들려고 필터를 썼더니, 오히려 여성과 소수자들의 이야기가 더 적게 남게 되었습니다. 우리는 더 정교하고 공정한 필터가 필요합니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 의 안전성을 확보하기 위해 사전 학습 (Pretraining) 데이터셋에서 유해한 콘텐츠를 제거하는 데이터 필터링 전략은 필수적입니다. 그러나 현재 연구는 다음과 같은 심각한 공백을 가지고 있습니다:

• 취약 계층에 대한 영향 부재: 필터링 전략이 인종, 성별 등 차별에 취약한 그룹 (Vulnerable Groups) 에 미치는 실제 영향에 대한 체계적인 연구가 부족합니다.
• 의도치 않은 편향 증폭: 유해 콘텐츠를 제거하려는 필터링 과정이 오히려 특정 그룹의 데이터 표현 부족 (Underrepresentation) 을 심화시켜, 모델이 해당 그룹에 대해 편향되거나 소외된 결과를 낳을 수 있음이 우려됩니다.
• 투명성 부족: 많은 LLM 기술 보고서에서 필터링 전략의 구체적인 구현 방식이나 데이터셋의 공개가 미흡하여 재현성이 낮습니다.

2. 연구 방법론 (Methodology)

저자들은 두 가지 핵심 연구 질문 (RQ) 을 설정하고 이를 해결하기 위해 정량적 분석과 실험적 벤치마크를 수행했습니다.

A. 문헌 조사 및 분류 체계 수립 (RQ 1)

• 데이터 수집: SuperGLUE, SQuAD, MMLU-pro, Chatbot Arena, ALERT 등 6 개의 리더보드에 포함된 55 개의 LLM 기술 보고서를 수집했습니다.
• 분석: 데이터셋 설명, 필터링 전략, 유해 콘텐츠 처리 방식을 분석하여 기존 필터링 전략을 8 가지 범주로 분류했습니다:
  1. 권위 있는 출처 (Authoritative sources)
  2. 문서 시딩 (Document seeding)
  3. 품질 기반 (Quality-based)
  4. 유해성 분류기 (Toxicity classifier)
  5. 규칙 기반 (Rule-based)
  6. URL 블랙리스트
  7. 인간 개입 (Human-in-the-loop)
  8. 안전 정책 (Safety policy)
• 트렌드 분석: 최근 모델들은 필터링 전략의 구체적인 스크립트나 결과를 공개하지 않는 '비공개화' 경향이 강해지고 있음을 발견했습니다.

B. 실험적 벤치마크 (RQ 2)

• 실험 설계: Common Crawl(2024 년 8 월 스냅샷) 에서 추출한 5 개의 문서 샘플을 사용하여 7 가지 필터링 전략의 영향을 측정했습니다.
• 교차성 접근 (Intersectional Approach): 성별 (남성/여성) 과 기원 (서구/식민지 이후) 의 교차로 4 가지 그룹을 정의했습니다.
  • 서구 남성 (Western men)
  • 서구 여성 (Western women)
  • 식민지 이후 남성 (Post-colonial men)
  • 식민지 이후 여성 (Post-colonial women)
• 데이터베이스 구축: 위키데이터 (Wikidata) 와 CaLiGraph 를 기반으로 1,080 만 개의 인물 엔티티 (성별, 국적, 직업 등) 를 포함하는 'People Dataset'을 구축했습니다.
• 엔티티 링크링 (Entity Linking): SpaCy 와 위키데이터 API 를 활용하여 문서 내 언급된 인물을 위 그룹으로 매핑했습니다.
• 필터링 전략 적용: 규칙 기반 (Shutterstack, HateBase), 분류기 기반 (Perspective API, FastText, profanity-check), 품질 기반 (Wikipedia, OpenWebText 기반 유사도) 전략을 적용하여 제거된 언급 (Named Entities) 의 비율을 측정했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 체계적 조사: 사전 학습 데이터셋의 해악 감소를 위한 데이터 필터링 전략에 대한 최초의 체계적인 개요와 분류 체계를 제시했습니다.
2. 벤치마크 파이프라인 개발: 필터링 전략의 영향을 평가하기 위한 엔티티 링크링 파이프라인과 리소스 (People Dataset) 를 구축하고 오픈했습니다.
3. 실증적 결과 도출: 다양한 필터링 전략이 유해 콘텐츠 제거라는 긍정적 효과와 동시에, 취약 계층 (특히 여성) 의 데이터 표현 부족을 심화시킨다는 부정적 영향을 실증적으로 증명했습니다.

4. 주요 결과 (Results)

A. 필터링의 규모와 패턴

• 규칙 기반 및 분류기 기반: HateBase 나 Perspective API 와 같은 전략은 전체 문장의 1% 미만을 제거하는 미미한 영향을 미쳤습니다.
• 품질 기반 (Quality-based): 위키백과나 OpenWebText 와의 유사도를 기준으로 한 전략은 11.2% ~ 44.6% 의 콘텐츠를 제거하는 가장 공격적인 필터링을 수행했습니다.
• 유해 콘텐츠 제거의 비효율성: 품질 기반 필터링은 유해한 문장을 제거하는 데 효과적이지 않았습니다. 예를 들어, 위키백과 기반 품질 필터는 유해 문장의 90.5% 를 여전히 남겼습니다. 즉, '고품질'이 반드시 '안전'을 의미하지는 않습니다.

B. 취약 계층에 대한 영향 (Who gets filtered out?)

• 여성의 과도한 제거: 규칙 기반 및 분류기 기반 전략에서 여성 (특히 서구 여성) 이 남성보다 훨씬 높은 비율로 언급이 제거되었습니다.
  • 예: Shutterstack 사전은 'pornographic actor'와 같은 직업이 언급된 서구 여성의 문장을 집중적으로 제거했습니다.
• 직업별 편향: 필터링된 데이터에서 여성의 경우 '배우', '모델', '포르노 배우' 등 특정 직군이 disproportionately(비례적으로) 많이 제거되었습니다. 이는 특정 형태의 유해성 (예: 포르노그래피) 을 제거하려는 시도가 특정 여성 집단의 표현을 불균형하게 축소시킴을 의미합니다.
• 남성에 대한 영향: 품질 기반 필터링은 남성 언급을 더 많이 제거했으나, 이는 유해 콘텐츠 제거의 부작용이라기보다는 품질 기준 (위키백과 등) 의 편향에 기인한 것으로 분석되었습니다.

C. 필터링 전략의 선택적 편향

• 서로 다른 필터링 전략 (예: HateBase vs Shutterstack) 은 서로 다른 유형의 유해 콘텐츠 (인종차별 vs 포르노그래피) 를 대상으로 합니다. 따라서 하나의 전략을 선택한다는 것은 특정 유형의 해악을 제거하는 대신 다른 유형의 해악이나 특정 그룹의 표현을 희생한다는 것을 의미합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 역설적 발견: LLM 의 안전성을 높이기 위한 필터링 전략은 의도치 않게 취약 계층 (특히 여성) 의 데이터 표현 부족을 심화시켜, 오히려 모델의 편향을 악화시킬 수 있음을 밝혔습니다.
• 투명성 위기: 많은 최신 LLM 기술 보고서가 필터링 전략의 구체적인 구현을 공개하지 않아, 편향의 원인을 파악하고 개선하기 어렵다는 점을 지적했습니다.
• 향후 방향: 단순한 유해 콘텐츠 제거를 넘어, 취약 계층의 표현을 보존하면서 해악을 줄이는 정교한 (fine-grained) 필터링 전략과 참여형 평가 방법론의 개발이 시급합니다.

이 논문은 LLM 개발 과정에서 데이터 필터링이 단순한 기술적 단계가 아니라, 사회적 형평성과 직결된 중요한 윤리적 결정임을 강조하며, 향후 연구가 취약 계층의 관점에서 필터링 전략을 재평가해야 함을 촉구합니다.