💬 NLP

Subjective Multi-Bias Detection with Large Language Models

이 논문은 4,000개 이상의 위키피디아 편집 쌍으로 구성된 WIKIBIAS 데이터셋을 활용하여 부적절한 태도와 왜곡을 식별함으로써, 텍스트 내 세 가지 유형의 주관적 편향인 프레이밍, 인식론적, 인구통계학적 편향을 탐지하고 분류하기 위해 거대언어모델을 활용하는 프로젝트를 제시한다.

원저자: Ruiyu Li, Zhiying Zhu

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ruiyu Li, Zhiying Zhu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

뉴스 피드를 스크롤하거나 위키피디아 문서를 읽다가, 무언가 아주 약간 어색하다고 느껴지는 문장을 발견했다고 상상해 보세요. 아마도 특정 집단을 대놓고 말하지는 않으면서 은근히 악당처럼 묘사하거나, 불확실한 주장을 절대적인 사실처럼 보이게 하려고 화려한 단어를 사용했을 수도 있습니다. 이것이 바로 **주관적 편향(subjective bias)**의 세계입니다. 이는 단순히 거짓말을 하는 것이 아닙니다. 글쓴이가 단어 선택, 어조, 그리고 '사실' 안에 자신의 의견을 교묘하게 숨기거나 진실을 왜곡하는 미묘하고도 은밀한 방식에 관한 것입니다. 이를 탐지하는 것은 컴퓨터에게 매우 큰 도전 과제입니다. 왜냐하면 명확한 정답이 있는 수학 문제와 달리, 편향은 종eyse 어조, 단어의 선택, 그리고 말하지 않은 전제 속에 숨어 있기 때문입니다.

오랫동안 과학자들은 BERT와 같은 모델을 사용하여 컴퓨터가 이러한 속임수를 찾아내도록 가르치려 노력해 왔습니다. BERT는 수백만 권의 책을 읽었지만 여전히 문장의 '분위기'를 놓치곤 하는 매우 똑똑한 학생과 같습니다. 더 최근에는 **대규모 언어 모델(LLM)**이라는 새로운 세대가 등장했습니다. 이들은 단순히 단어를 읽는 것을 넘어 인간의 언어, 문화, 그리고 맥락이 이루는 복잡한 춤을 이해하는 초강력 AI 두뇌라고 할 수 있습니다. 연구자들이 던지는 핵심 질문은 이것입니다. 이 거대한 AI 두뇌들이 마침내 기존 모델들이 계속 놓쳐왔던 그 교묘하고 주관적인 편향들을 잡아낼 수 있을 것인가?

이 논문은 이 새로운 AI 두뇌들을 시험대에 올리기로 결정한 한 연구팀의 이야기입니다. 그들은 WIKIBIAS라는 까다로운 데이터셋을 다루었는데, 여기에는 위키피디아 편집본에서 가져온 4,000쌍 이상의 문장이 포함되어 있습니다. 이 쌍들은 누군가가 특정한 유형의 편향을 추가하기 위해 문장을 수정한 '전과 후'의 스냅샷과 같습니다. 연구진은 세 가지 구체적인 속임수를 찾고 있었습니다. 바로 프레이밍 편향(특정 관점을 밀어붙이기 위해 한쪽으로 치우친 단어를 사용하는 것), 인식론적 편향(이야기를 실제보다 더 혹은 덜 믿을 만하게 만드는 미묘한 언어 사용), 그리고 인구통계학적 편향(사람의 성별, 종교, 배경에 대해 가정하는 단어들)입니다.

먼저, 그들은 전통적인 방식인 표준 BERT 모델을 시도했습니다. 이는 마치 성실하지만 근시안적인 학생에게 답안지를 채점하게 하는 것과 같았습니다. 결과는 어땠을까요? 이 모델은 '매크로-F1(macro-F1)'이라고 불리는 척도(모델이 모든 카테고리에 대해 얼마나 잘 수행하는지를 측정하는 방법)에서 0.33이라는 점수를 받았습니다. 이 모델은 특히 더 까다롭고 흔치 않은 유형의 편향을 파악하는 데 어려움을 겪었으며, 종종 이를 혼동하거나 아예 놓치기도 했습니다. 기존의 도구들이 이 작업을 수행하기에는 충분히 날카롭지 못하다는 것이 분명해졌습니다.

그래서 연구팀은 새로운 것을 구축했습니다: EnsembleLlama. 단 하나의 AI에 의존하는 대신, 그들은 '전문가 팀'을 만들었습니다. 그들은 LLaMA2(구체적으로는 70억 개의 파라미터를 가진 버전)라는 강력한 오픈 소스 모델을 가져와 특별한 임무를 부여했습니다. 세 가지 편향 유형을 한꺼번에 추측하려고 하면 일부 편향이 희귀하여 모델이 혼란을 겪을 수 있었기에, 그들은 세 명의 별도 '미니 전문가'를 훈련시켰습니다. 한 전문가는 프레이밍 편향만을 보고, 다른 전문가는 인식론적 편향만을 보며, 세 번째 전문가는 인구통계학적 편향만을 보도록 했습니다. 그런 다음 이 세 전문가를 쌓아 올려, 최종 답변에 대해 투표하도록 했습니다.

결과는 판도를 바꾸어 놓았습니다. 이 팀 접근 방식을 사용함으로써, 새로운 모델은 점수를 0.33에서 무려 0.59까지 끌어올렸습니다. 이는 기존 베이스라인 대비 26%의 향상입니다. 이 모델은 쉬운 작업만 잘하게 된 것이 아니라, 기존 모델이 계속 놓쳤던 희귀하고 어려운 편향을 잡아내는 능력을 크게 개선했습니다. 예를 들어, 기존 모델이 사망한 IRA 활동가에 대한 문장을 보고 단순히 '프레이밍'이라고 생각했을 때, 새로운 팀은 이를 '인식론적 편향'이라고 정확히 식별해 냈습니다.

하지만 연구진은 이것이 완벽한 해결책이라고 부르는 데 신중합니다. 그들은 자신들의 모델이 훨씬 더 낫기는 하지만, 여전히 완벽하지는 않다는 점을 인정합니다. 문장이 '편향 없음'으로 잘못 분류된 사례, 예를 들어 부모가 설립한 학교에 대한 문장이 '프레이밍 편향'을 가지고 있음에도 불구하고 잘못 분류된 경우 등이 있었습니다. 그들은 모델의 성공이 여전히 텍스트를 얼마나 잘 이해하는지와 모델에 입력된 지식에 달려 있다고 제안합니다. 또한, 전문가를 쌓아 올리는 방식이 도움이 되긴 했지만, 향후에는 이들을 결합하는 더 스마트한 방법이 있을 수 있다고 언급했습니다.

요약하자면, 이 논문은 어려운 문제를 작은 조각으로 나누고 강력한 새로운 AI 두뇌를 사용하여 각 조각을 공략함으로써, 이전보다 주관적 편향을 훨씬 더 잘 잡아낼 수 있음을 보여줍니다. 이는 큰 진전이지만, 텍스트 속의 인간적 편향을 완벽하게 이해하려는 여정은 여전히 진행 중입니다.

기술 요약: 대규모 언어 모델을 이용한 주관적 다중 편향 탐지

문제 정의
본 프로젝트는 텍스트 내의 **주관적 편향(subjective bias)**을 탐지하는 광범위한 과제에 대응한다. 여기서 주관적 편향이란 실제 진실과 모순되어 오해와 사회적 갈등을 초래할 수 있는 부적절한 태도나 진술로 정의된다. 구체적으로, 본 연구는 위키피디아 편집 데이터에서 추출된 4,000개 이상의 문장 쌍을 포함하는 WIKIBIAS 코퍼스 내의 세 가지 뚜렷한 주관적 편향 유형을 식별하는 데 집중한다:

프레이밍 편향 (Framing Bias): 특정 관점을 전달하기 위해 일방적인 단어나 구절을 사용하는 것.
인식론적 편향 (Epistemological Bias): 텍스트의 신뢰도에 영향을 미치는 미묘한 언어적 특징.
인구통계학적 편향 (Demographic Bias): 특정 인구통계학적 요소(예: 성별, 종교)에 대한 전제를 바탕으로 한 단어 또는 구절 사용.

이 과제는 소수 편향 유형(인식론적 및 인구통계학적 편향)이 빈번하게 오분류되는 심각한 클래스 불균형(class imbalance) 문제와, 인간 주석가에게도 깊은 텍스트 이해를 요구할 때가 있는 본질적인 난이도로 인해 복잡하다.

방법론
저자들은 먼저 BERT-base 모델을 베이스라인으로 설정하였다. 이 1억 1천만 개의 파라미터를 가진 트랜스포머 모델은 WIKIBIAS 학습 세트에서 3 에포크(epoch) 동안 미세 조정되었다. 그러나 베이스라인은 매크로-F1(macro-F1) 점수가 0.33에 불과했으며, 특히 편향 유형의 불균형한 분포를 처리하는 데 어려움을 겪었다.

BERT의 모델링 능력과 데이터 불균형의 한계를 극려하기 위해, 저자들은 대규모 언어 모델(LLM)과 앙상블 학습을 활용한 새로운 접근 방식인 EnsembleLlama를 제안하였다:

LLM 백본 (LLM Backbone): 인컨텍스트 학습(in-context learning)을 위해 자원 소모가 큰 GPT-3.5나 LLaMA2-70B와 같은 디코더 전용 모델을 사용하는 대신, 오픈 소스인 LLaMA2-7B 모델을 미세 조정하였다. 팀은 사전 학습된 LLaMA2의 가중치를 동결하고, 아키텍처 끝에 선형 레이어(MLP 분류기)를 추가하여 분류를 수행하도록 설계했다. 이 설계는 LLaMA2의 우수한 언어 이해 능력을 활용하면서도 계산 효율성을 유지한다.
프롬프트 엔지니어링 (Prompt Engineering): 추론 과정에서 모델을 가이드하기 위해 각 편향 유형의 개념을 설명하고 예시(예: 프레이밍 편향을 정의하는 예시 문장 제공)를 제공하는 특정 시스템 프롬프트를 설계하였다.
불균형 해결을 위한 앙상블 전략: 단일 다중 클래스 분류기를 학습시키는 것이 클래스 불균형 문제를 효과적으로 해결하지 못한다는 점을 인식하고, 저자들은 문제를 재구성하였다. 이들은 각각의 전문가가 특정 편향 유형(프레이밍, 인식론적 또는 인구통계학적 편향)을 탐지하는 데만 집중하는 세 개의 별도 LLaMA-MLP 분류기를 학습시켰다.
스태킹 (Stacking): 이 세 명의 특화된 전문가로부터 나온 출력값을 스태킹하여 최종 다중 레이블 탐지 결과를 생성하였다. 이 접근 방식은 각 분류기가 다수 클래스인 "편향 없음(no bias)"이나 다른 편향 유형에 의해 압도되지 않고, 자신의 타겟 클래스에 해당하는 특정 분포를 처리할 수 있도록 하였다.

핵심 기여

새로운 아키텍처: 표준적인 BERT 기반 접근 방식을 넘어, 주관적 편향 탐지에 특화되도록 미세 조정된 LLaMA2-MLP 분류기를 개발하였다.
앙상블 솔루션: WIKIBIAS 데이터셋에 내재된 클래스 불균형 문제를 해결하기 위해, 단순히 포컬 로스(focal loss)와 같은 손실 함수 조정을 사용하는 대신 특화된 전문가들의 스택 앙상블을 구현하였다.
최첨단 성능 (SOTA): 까다롭고 세밀한 편향 탐지 벤치마크에서 기존 베이스라인을 크게 상회하는 성능을 보여주는 방법을 제안하였다.

결과
WIKIBIAS 테스트 세트에서 평가한 결과, EnsembleLlama 모델은 BERT 베이스라인에 비해 상당한 개선을 보였다:

매크로-F1 점수: 0.33(베이스라인)에서 0.59(EnsembleLlama)로 증가하였으며, 이는 0.26(26 퍼센트 포인트)의 향상이다.
클래스별 F1 점수: 모든 카테고리에서 유의미한 상승이 관찰되었다:
- 프레이밍 편향 (F-class): 0.49 $\rightarrow$ 0.75
- 인식론적 편향 (E-class): 0.25 $\rightarrow$ 0.52
- 인구통계학적 편향 (D-class): 0.25 $\rightarrow$ 0.49
학습 효율성: 모델은 두 대의 NVIDIA 80GB H100 GPU에서 학습되었으며, 3 에포크를 완료하는 데 약 1시간이 소요되었다. 학습 중 과적합(overfitting)은 관찰되지 않았다.

의의 및 주장
본 논문은 제안된 EnsembleLlama 방식이 WIKIBIAS 벤치마크에서 새로운 최첨단(state-of-the-art) 결과를 달성했다고 주장한다. 저자들은 이 방법이 지배적인 편향 유형이 소수 편향 유형에 미치는 영향을 성공적으로 완화하여, 저평가된 편향 범주에 대한 탐지 능력을 향상시켰음을 강조한다.

그러나 저자들은 모델의 한계에 대해 신중한 입장을 유지한다. 그들은 성능이 여전히 LLaMA2 모델 고유의 텍스트 이해력과 지식 베이스에 의존한다는 점을 인정한다. 오차 분석 결과, 모델은 여전히 다음과 같은 부분에서 어려움을 겪는 것으로 나타났다:

복잡한 문장에서 프레이밍 편향과 인식론적 편향을 구분하는 것.
단일 문장 내에 존재하는 다중 편향을 동시에 탐지하는 것.
깊은 도메인 지식이나 단어 수준의 분석이 필요한 미묘한 편향을 식별하는 것.

따라서 저자들은 본 연구를 편향 탐지의 정밀도를 높이는 중요한 진전으로 규정하며, 향-후 더 발전된 앙상블 알고리즘, 데이터 증강, 그리고 단일 단어 단위의 편집 수준에서의 탐지를 더욱 정교화하기 위한 도메인 특화 지식 통합 가능성을 향후 연구 방향으로 제시하였다.

기술 요약: 대규모 언어 모델을 이용한 주관적 다중 편향 탐지

유사한 논문