Bias Ahead: Sensitive Prompts as Early Warnings for Fairness in Large Language Models

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 이 소프트웨어 시스템에 통합되면서 편향과 불공정한 행동에 대한 우려가 커지고 있습니다. 기존의 공정성 평가 벤치마크 (예: StereoSet, BBQ 등) 는 주로 고정관념 (stereotype) 기반의 연관성에 초점을 맞추고 있습니다. 그러나 이러한 접근법은 다음과 같은 한계가 있습니다:

• 예측의 어려움: 개발자가 실제 사용 환경에서 발생할 수 있는 모든 고정관념을 미리 예측하기 어렵습니다.
• 반응적 접근: 편향이 발생한 후 이를 감지하는 '반응적 (reactive)'인 방식에 그쳐, 배포 전 예방적 설계가 어렵습니다.
• 맥락적 민감성 부족: LLM 은 자유 형식의 생성형 출력을 제공하므로, 고정관념이 명시적이지 않더라도 주제 자체의 민감성 (감정, 윤리, 사회적 관계 등) 으로 인해 편향된 응답이 발생할 수 있습니다.

이에 따라 본 논문은 **편향된 프롬프트가 아닌, '민감한 프롬프트 (Sensitive Prompts)'**를 새로운 평가 단위로 제안합니다. 민감한 프롬프트는 본질적으로 차별적이지는 않지만, 주제의 민감성으로 인해 LLM 이 편향적이거나 부적절한 응답을 유도할 가능성이 높은 입력을 의미합니다.

2. 연구 방법론 (Methodology)

연구는 크게 세 가지 단계로 진행되었습니다:

A. 데이터셋 구축 (SENSY)

• 목적: 민감한 프롬프트와 편향된 출력 간의 상관관계를 분석하고, 자동 분류기를 훈련하기 위한 데이터 확보.
• 구성: 총 12,801 개의 프롬프트로 구성된 SENSY 데이터셋을 공개했습니다.
  • 소스: 합성 생성 (ChatGPT 활용) 및 실제 사용자 입력 (Chatbot Arena) 을 혼합.
  • 카테고리: 7 가지 주요 도메인 (종교/철학, 정치/사회, 관계/감정, 건강/정신건강, 정체성/다양성, 성, 보안) 으로 분류.
  • 레이블링: 민감 (Sensitive) 과 비민감 (Non-sensitive) 으로 이진 분류되었으며, 두 명의 어노테이터가 합의 (consensus) 과정을 거쳐 라벨링했습니다.

B. RQ1: 민감한 프롬프트가 LLM 의 편향된 출력으로 이어지는가?

• 실험 설정: 500 개의 샘플 프롬프트를 3 개의 오픈소스 LLM (Llama-3.1-8B, DeepSeek-7B, Qwen2-7B) 에 3 번씩 총 4,500 회 쿼리했습니다.
• 평가 기준: 응답의 **적절성 (Adequacy)**을 평가했습니다. 이는 사실적 정확성뿐만 아니라, 윤리적, 관계적, 맥락적 적절성을 포함합니다.
• 분석: 수동 평가를 통해 응답이 '적절 (1)' 또는 '부적절 (0)'인지 분류했습니다.

C. RQ2: 프롬프트 민감성을 자동으로 예측할 수 있는가?

• 모델: Random Forest 분류기를 사용하여 프롬프트의 민감성을 예측했습니다.
• 특징 추출:
  • 구문적 특징 (Syntactic): 단어 수, 동사/명사/형용사 수, 민감 키워드 수.
  • 의미론적 특징 (Semantic): 감정 분석 점수, BERT 임베딩.
• 평가: SENSY 데이터셋과 기존 벤치마크인 SQuARe 데이터셋을 사용하여 교차 검증 (Cross-validation) 및 교차 데이터셋 평가 (Cross-dataset evaluation) 를 수행했습니다.

3. 주요 결과 (Key Results)

RQ1 결과: 민감성과 부적절함의 상관관계

• 사실적 정확성 vs. 소통적 책임: LLM 들은 민감한 주제에 대해 사실적으로 정확한 답변을 제공하는 경우가 많았으나, 감정적 취약성, 윤리적 함의, 맥락적 세심함을 고려하지 못하는 경우가 빈번했습니다.
• 주요 취약 도메인:
  • 관계 및 감정: 이별, 불륜 등 도덕적으로 모호한 요청에 대해 경고 없이 단계별 조언을 제공.
  • 건강 및 정신건강: 자살이나 심각한 질환 관련 질문 시 전문가 상담을 권유하지 않고 자기 진단을 정상화하는 경향.
  • 정체성 및 다양성: 성별 고정관념 (의사=남자, 간호사=여자) 을 재생산하거나 비판적 인식 없이 답변.
• 결론: 모델들은 언어적 능력은 뛰어나지만, 위험한 요청을 식별하고 적절한 경계선을 설정하는 **소통적 책임 (Communicative Responsibility)**이 부족합니다.

RQ2 결과: 자동 민감성 분류기의 성능

• SENSY 기반 모델: SENSY 데이터셋으로 훈련된 분류기는 높은 성능을 보였습니다 (정확도 0.91, 민감 클래스 F1-score 0.84). 민감한 프롬프트를 효과적으로 탐지할 수 있음을 입증했습니다.
• SQuARe 기반 모델: 기존 벤치마크인 SQuARe 로만 훈련된 모델은 높은 정확도 (0.96) 를 보였으나, 이는 데이터의 클래스 불균형 (민감한 데이터 과다) 으로 인한 통계적 착시였습니다. 실제 민감하지 않은 프롬프트를 탐지하는 능력 (Recall) 이 매우 낮았습니다.
• 교차 검증: SENSY 로 훈련된 모델이 SQuARe 에서, 혹은 그 반대의 경우 성능이 급격히 저하되었습니다. 이는 **데이터 분포의 차이 (Distributional Shift)**가 민감성 탐지 모델의 일반화 능력에 결정적 영향을 미친다는 것을 보여줍니다.

4. 주요 기여 (Key Contributions)

1. 새로운 추상화 (Sensitive Prompts): 고정관념 중심의 테스트에서 벗어나, 프롬프트의 민감성을 공정성 위험의 조기 경고 신호로 활용하는 새로운 관점을 제시했습니다.
2. SENSY 데이터셋 공개: 12,801 개의 민감/비민감 프롬프트로 구성된 대규모 데이터셋과 7 가지 도메인 분류 체계를 공개하여 재현성을 보장했습니다.
3. 실용적 도구 (자동 분류기): 민감한 프롬프트를 자동으로 탐지하는 분류기를 개발하여, 개발자가 LLM 배포 전 위험을 사전에 차단할 수 있는 예방적 설계 (Preventive Design) 메커니즘을 제공했습니다.
4. 공정성 평가 패러다임 전환: 사후 대응 (Reactive) 에서 예방적 (Preventive) 접근으로의 전환을 촉진하여, 소프트웨어 공학 라이프사이클 초기 단계에서 편향 리스크를 관리할 수 있는 기반을 마련했습니다.

5. 의의 및 시사점 (Significance)

• 개발자 가이드: 개발자는 모델의 내부 구조를 알지 못하더라도, 입력 프롬프트의 민감성을 사전에 탐지하여 필터링하거나 안전 장치를 적용함으로써 편향된 출력을 예방할 수 있습니다.
• 안전성 강화: 특히 정신건강, 관계, 정체성 등 민감한 도메인에서 LLM 이 윤리적 책임을 다하지 못할 때 발생할 수 있는 사회적 피해를 줄일 수 있습니다.
• 데이터의 중요성: 공정성 관련 분류기를 훈련할 때, 대표성 있고 균형 잡힌 다중 도메인 데이터셋 (SENSY 와 같은) 이 필수적이며, 기존 편향된 벤치마크만으로는 신뢰할 수 있는 모델을 구축할 수 없음을 시사합니다.

이 연구는 LLM 의 공정성 문제를 단순한 '편향 제거'를 넘어, 사용자 입력의 맥락과 민감성을 이해하고 사전에 관리하는 시스템적 접근의 중요성을 강조합니다.