💬 NLP

Epistemic Injustice in Language Models: An Audit of Pretraining Filters and Guardrails

이 논문은 언어 모델의 사전 학습 필터와 추론 단계의 가드레일을 감사하여, 이들이 실제 혐오 표현이나 개인정보를 포착하는 데는 실패하면서도 단순한 어휘적 단서에 의존함으로써 소외 계층에 대한 언급을 불균형적으로 삭제하고 있으며, 결과적으로 인간의 판단과 모순되는 일종의 인식적 불의를 초래한다는 점을 밝혀낸다.

원저자: Marco Antonio Stranisci, A Pranav, Rossana Damiano, Christian Hardmeier, Anne Lauscher

게시일 2026-06-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Marco Antonio Stranisci, A Pranav, Rossana Damiano, Christian Hardmeier, Anne Lauscher

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 초지능 로봇에게 세상에 대해 말하고 이해하는 법을 가르치기 위해 거대한 책 도서관을 구축하고 있다고 상상해 보세요. 이 로봇은 '대규모 언어 모델(LLM)'이라고 불리며, 학습을 위해 인터넷에서 수십억 개의 문장을 읽어야 합니다.

하지만 로봇이 읽기 시작하기 전, 인간들은 "나쁜" 책들을 골라내기 위해 (엄격한 사서처럼) 필터를 설치합니다. 그 후 로봇이 사람들과 대화를 시작할 때, 인간들은 로봇이 "안전하지 않은" 말을 하지 못하도록 (안전 검사관처럼) 가드레일을 설치합니다.

이 논문은 이 사서들과 안전 검사관들이 자신의 직무를 얼마나 잘 수행하고 있는지에 대한 감사(audit)—즉, 심층적인 조사—입니다. 연구진은 이들이 로봇을 안전하게 유지하려고 노력하는 과정에서, 의도치 않게 소외된 집단(트랜스젠더, 여성, 중앙아메리카 사람들 등)의 목소리를 지워버리고 있으며, 인간의 판단을 경직되고 종종 잘못된 규칙들로 대체하고 있다는 사실을 발견했습니다.

다음은 이들의 연구 결과를 쉬운 비유를 사용하여 정리한 내용입니다.

1. "금지어"의 함정

연구진은 이러한 안전 시스템 중 상당수가 **아이들의 "나쁜 말 목록"**처럼 작동한다는 것을 발견했습니다.

작동 방식: 문장에 특정 "나쁜" 단어(욕설이나 성적인 용어 등)가 포함되어 있으면, 시스템은 문맥을 살피지 않고 즉시 해당 문장을 삭제합니다.
문제점: 이는 마치 사서가 신체 부위를 언급했다는 이유만으로 의료 절차에 관한 책을 버리거나, "섹스(sex)"라는 단어를 사용했다는 이유만으로 성 노동자의 권리에 관한 이야기를 삭제하는 것과 같습니다.
결과: 이 시스템들은 자신의 "나쁜 말 목록"에 있는 단어를 잡아내는 데는 매우 뛰어나지만, 개인정보 유출, 저작권 침해, 또는 특정 단어를 사용하지 않는 실제 혐오 표현과 같은 실질적인 해악을 포착하는 데는 매우 서툽니다.

2. "과잉 보호" 필터

연구는 이러한 필터들이 특정 집단에 대해 과잉 보호적이며, 마치 특정 종류의 모자를 쓴 사람을 의심하는 경비원처럼 행동한다는 것을 발견했습니다.

트랜스젠더: 트랜스젠더 정체성을 언급하는 문장은 시스젠더(non-trans)를 언급하는 문장보다 훨씬 더 자주 삭제 대상으로 분류되었습니다.
여성: 여성에 대한 언급은 남성에 대한 언급보다 현저히 더 많이 차단되었습니다.
중앙아메리카 사람들: 중앙아메리카 사람들을 언급하는 콘텐츠는 거의 항상 삭제 대상으로 분류된 반면, 서유럽 사람들에 대한 콘텐츠는 거의 손을 대지 않았습니다.
비유: 박물관의 보안 요원이 특정 동네에서 온 사람들을 제외한 나머지 사람들은 모두 통과시키지만, 그 동네 사람들은 수상히 여겨 막아서는 상황을 상상해 보세요. 보안 요원이 악의를 가진 것은 아닙니다. 단지 특정 동네의 사람들은 "위험하다"고 가정하는 결함 있는 규칙을 따르고 있을 뿐입니다. 이로 인해 AI(박물관)는 그 동네의 문화를 배울 기회를 잃게 됩니다.

3. 로봇 대 인간

연구진은 인간 자원봉사자들에게 시스템이 분류한 문장들을 보여주며 다음과 같이 물었습니다. "이 문장을 유지해야 할까요, 아니면 삭제해야 할까요?"

충격적인 통계: 사전 학습 필터가 삭제하고자 했던 문장에 대해 인간들은 **88.5%**의 확률로 **"유지하라"**고 답했으며, 가드레일이 차단하려 했던 문장에 대해서는 **91.3%**의 확률로 "유지하라"고 답했습니다.
비유: 이것은 마치 로봇 요리사가 국물 맛을 보고 특정 허브가 들어갔다는 이유로 "독이 들었다"고 판단하여 냄비 전체를 버리는 것과 같습니다. 반면 인간 요리사는 맛을 보고 그것이 그저 매콤한 국물임을 깨달으며, "아니, 이건 맛있고 안전하게 먹을 수 있어"라고 말하는 것과 같습니다.
갈등: 자동화된 시스템은 인간이 실제로 가치 있고 교육적이며 무해하다고 생각하는 콘텐츠를 삭제하고 있습니다. 이러한 문장들을 삭제함으로써, AI는 해당 집단과 그들의 경험을 이해할 능력을 상실하게 됩니다.

4. "침묵의 삭제"

논문은 이를 **"인식론적 삭제(Epistemic Erasure)"**라고 부릅니다.

의미: "인식론적(Epistemic)"은 지식과 관련이 있으며, "삭제(Erasure)"는 무언가를 지워 없애는 것을 의미합니다.
비유: AI가 세계 지도를 그리고 있다고 상상해 보세요. 필터가 트랜스젠더나 중앙아메리카 사람들에 관한 문장을 계속 삭제하기 때문에, AI가 그리는 지도에는 그들이 있어야 할 자리에 텅 빈 흰색 공간이 생기게 됩니다. AI는 데이터가 삭제되기 전의 모습을 배울 수 없으므로, 그들이 존재한다는 사실이나 그들의 삶이 어떠한지를 문자 그대로 "알지 못하게" 됩니다.

논문의 주장 요약

시스템 간의 불일치: 서로 다른 필터와 가드레일은 종종 서로 충돌합니다. 어떤 것들은 다른 것들이 놓치는 것을 잡아내기도 하며, 문맥보다는 단순한 단어 목록에 크게 의존합니다.
체계적인 편향: 이것은 단순한 오류가 아니라 하나의 패턴입니다. 서로 다른 기업과 대륙의 시스템들이 모두 동일한 소외 계층을 과도하게 차단하는 경al을 보입니다.
인간의 판단과 다름: 인간은 일반적으로 이러한 문장들을 안전하거나 중요하다고 보지만, 기계는 이를 위험하다고 간주합니다.
결과: 이러한 자동화된 시스템에 의존함으로써, 우리는 AI가 트랜스젠더, 여성, 특정 지역 사람들의 현실에 눈멀도록 적극적으로 형성하고 있으며, 결과적으로 디지털 세상에서 그들의 목소리를 침묵시키고 있습니다.

논문은 이를 해결하기 위해 단순히 자동화된 "나쁜 말 목록"에 의존해서는 안 된다고 결론짓습니다. 대신, 영향을 받는 당사자들을 의사 결정 과정에 참여시켜야 하며, 단순히 단어 수를 세는 것이 아니라 문맥을 이해하는 시스템을 만들어야 합니다.

기술 요약: 언어 모델의 인식론적 불의 (Epistemic Injustice)

문제 정의

현대 대규모 언어 모델(LLM)은 유해한 콘텐츠를 완화하기 위해 두 가지 주요 메커니즘에 의존한다: 학습 코퍼스에서 바람직하지 않은 콘텐츠를 제거하는 **사전 학습 필터(pretraining filters)**와 배포 중 안전하지 않은 출력을 억제하는 **추론 시 가드레일(inference-time guardrails)**이다. 이러한 시스템은 AI 파이프라인의 표준이지만, 소외된 사회 집단에 미치는 영향은 여전히 제대로 이해되지 않고 있다. 기존 연구는 주로 혐오 표현 탐지나 벤치마크 성능에 초점을 맞추어 왔으며, 필터링과 중재의 더 넓은 **표상적 효과(representational effects)**를 이해하는 데에는 공백이 존재한다. 구체적으로, 이러한 시스템들이 서로 일치하는지, 인간의 판단과 일치하는지, 그리고 소외된 공동체의 정체성과 관점을 체계적으로 삭제하여 인식론적 불의를 초해하는지 여부는 불분명하다.

방법론

저자들은 네 가지 사전 학습 필터와 세 가지 추론 시 가드레일을 Common Crawl 문장 샘ark을 사용하여 감사(audit)하였다. 본 연구는 편향 문헌의 핵심 요소이자 큐레이션된 어휘집 및 개체명 인식(NER)을 통해 추출 가능한 성별(gender) 및 **지역적 기원(regional origin)**과 관련된 정체성 언급에 집중하였다.

데이터 및 시스템

코퍼스: 필터링된 Common Crawl의 하위 집합 (영어, 5문장 이상, 문장당 10단어 이상)으로 100,000개 이상의 문서 확보.
정체성 추출: NER을 사용하여 엔티티를 추출하고 Wikidata와 연결하였다. 성별은 다섯 그룹(남성, 여성, 논바이너리, 퀘스셔닝, 젠더플루이드)으로 분류하였으며, 트랜스/시스(trans/cis) 양상을 포함하였다. 지역적 기원은 17개 UN 거시 지역으로 매핑하였다.
감사된 필터:
- HATEBASE: 인종 및 여성 혐오 비속어를 위한 규칙 기반 어휘집.
- SHUTTERSTOCK: 성적 어휘 차단 목록 (C4/T5에서 사용됨).
- DOLMA: Jigsaw 독성 데이터를 기반으로 학습된 FastText 분류기.
- HATEBERT: 금지된 커뮤니티의 Reddit 게시물을 기반으로 재학습된 BERT.
감사된 가드레드:
- Llama-Guard-3-8B: Meta의 사용 정책(14개 위험 카테고리)에 따라 미세 조정됨.
- MD-Judge-v0.1: SALAD-Bench(6개 도메인, 66개 카테고리)를 기반으로 미세 조정된 LLM 기반 판사.
- Qwen3Guard-Gen-8B: "논란의 여지가 있는(controversial)" 라벨을 포함한 다국어 유해 분류 체계를 학습한 생성형 변체.
인간 주석(Human Annotation): 두 명의 언어학 전공 학생이 직접 주석을 달았던 계층화된 500개 문장의 하위 집합을 활용하였다. 주석 작업은 유해 탐지를 콘텐츠를 유지할 것인지 제거할 것인지 사이의 비용 간의 트레이드오프로 프레임화하였으며, 플래그가 지정된 텍스트를 유지하거나 제거하는 것에 대한 근거를 모두 포착하였다.

분석 프레 framework

본 연구는 두 가지 분석 분할을 사용하였다:

플래그 지정 세트(Flagged Set): 적어도 하나의 필터에 의해 플래그가 지정된 문장들 (72,659개 문장). 시스템 간 정렬 및 정체성 조건부 플래그 비율 분석을 수행함.
미지정 세트(Unflagged Set): 동일한 소스 문서에서 어떤 필터도 작동하지 않은 문장들 (257,210개 문장). 가드레일 전용 분석을 수행함.
통계적 유의성은 합의 정도를 측정하기 위해 Cohen's $\kappa$ 를, 플래그 비율을 위해 Wilson 신뢰 구간을 사용하였으며, 다중 비교를 위해 Benjamini–Hochberg 보정을 적용하였다.

주요 결과

1. 필터와 가드레일 간의 불일치

어휘 의존성: 가드레일은 SHUTTERSTOCK 차단 목록(성적 어휘)과 강한 상관관계를 보였으나, 다른 필터(HATEBASE, DOLMA, HATEBERT)와는 약한 상관관계를 보였다.
누락된 유해 카테크고리: 사전 학습 필터는 가드레일이 자주 플래그를 지정하는 카테고리, 특히 지식 재산(IP), 개인정보 보호, 정치적 콘텐츠를 감지하는 데 대부분 실패하였다. 예를 들어, 미지정 문장에서 Llama-Guard의 유해 판정 중 68.6%는 IP 및 개인정보 보호에 관한 것이었으며, 이는 어떤 사전 학습 필터도 탐지하도록 설계되지 않은 카테고리이다.
가드레일의 이질성: MD-Judge와 Qwen3Guard는 상당한 합의( $\kappa \approx 0.60$ )를 보였으나, Llama-Guard는 일반적인 학술적 유해 분류 체계보다는 Meta의 특정 사용 정책에 의존하기 때문에 다른 모델들과 낮은 합의를 보이며 아웃라이어로 작용하였다.

2. 소외된 정체성의 인식론적 삭제

감사 결과, 서로 다른 분류 체계와 대륙을 기반으로 학습되었음에도 불구하고 모든 시스템에서 특정 정체성 그룹에 대한 체계적인 과잉 플래그 지정이 발견되었다:

트랜스젠더 정체성: 트랜스젠더 언급은 시스젠더 언급보다 훨씬 더 자주 플래그가 지정되었다 (예: SHUTTERSTOCK 플래그 비율이 48.5%에서 76.8%로 상승).
여성: 모든 가드레드와 대부분의 필터에서 여성에 대한 언급은 남성에 대한 언급보다 훨씬 더 자주 플래그가 지정되었다.
중앙아메리카인: 이 그룹은 가장 높은 편차를 보였는데, Llama-Guard, Qwen3Guard, SHUTTERSTOCK는 기준선인 ~26%에 비해 거의 96–99%의 언급을 플래그 지정하였다.
서구 지역: 반대로, 서유럽, 서아시아, 북유럽 기원에 대한 언급은 과소 플래그 지정되었다.

3. 콘텐츠 중재의 긴장 관계 (인간 vs. 기계)

인간 주석가들은 대다수의 경우 자동화된 시스템과 의견이 일치하지 않았다:

유지율: 주석가들은 필터에 의해 플래그가 지정된 콘텐츠의 **88.5%**를, 가드레드에 의해 플래그가 지정된 콘텐츠의 **91.3%**를 유지하겠다고 답했다.
표상적 해악: 제거가 해악을 일으키는 구체적인 긴장 관계가 식별되었다:
- 성 노동(Sex Work): 콘텐츠를 제거하는 것은 성 노동자의 직업적 가시성을 박탈하는 반면, 유지하는 것은 성적 대상화를 영속시킬 수 있다.
- 정치: 플래그가 지정된 정치적 견해를 제거하는 것은 모델 출력에서 다양한 정치적 표상을 상실하게 한다.
- 건강/실용 정보: 의료적 "방법(how-to)" 정보(예: 종기 검사)를 과잉 플래그 지정하는 것은 건강 도메인에서의 모델 능력을 저하시킬 위험이 있다.
- 인종적 대상화: 시스템은 유해한 인종적 대상화와 정당한 집단 표상 사이를 구분하는 데 자주 실패한다.

의의 및 주장

본 논문은 현대 언어 모델의 사전 학습 단계에서 정체성이 과도하게 제거되고, 추론 단계에서 다시 억제되는 형태의 **인식론적 삭제(epistemic erasure)**를 기록하고 있다고 주장한다. 저자들은 이러한 시스템이 단순히 유해한 콘텐츠를 줄이는 것을 넘어, 누구의 정체성, 관점, 경험이 가시적으로 남을지를 능동적으로 결정한다고 주장한다.

연구 결과는 현재의 필터링 및 중재 접근 방식이 **다원적 정렬(pluralistic alignment)**에 불충분함을 시사한다. 저자들은 인식론적 정의를 달성하기 위해 다음을 제안한다:

투명성: 정체성 그룹별 플래그 비율에 대한 문서화를 포함하여 필터 어휘집을 공개할 것.
성찰성: "무색무취의 관점(view from nowhere)"을 강요하기보다, 유해 분류 체계와 주석가 풀을 정의하는 과정에 영향을 받는 공동체를 참여시킬 것.
데이터 주권: 데이터 수집 및 소유권의 근원에서 발생하는 편향을 해결할 것.

결론적으로, 인간 평가자들은 자동화된 시스템과 체계적으로 불일치를 보였으며, 플래그가 지정된 많은 콘텐츠의 제거를 불필리하며 특정 범주에 대한 편향의 원인으로 간주하였다. 저자들은 이 작업을 단순한 기술적 해악 감소를 넘어, 소외된 공동체의 인식론적 다양성을 보존하기 위한 사회-기술적 솔루션으로 나아가라는 촉구로 규정한다.