SCOPE: A Dataset of Stereotyped Prompts for Counterfactual Fairness Assessment of LLMs

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 대화형 어시스턴트부터 의사결정 지원 도구까지 다양한 분야에서 핵심 역할을 수행하고 있습니다. 그러나 LLM 은 입력된 프롬프트에 언급된 인구통계학적 그룹 (인종, 성별 등) 에 따라 결과가 달라지는 편향 (Bias) 을 보일 수 있습니다.

기존의 편향 탐지 및 평가 리소스 (CrowS-Pairs, StereoSet, WinoBias, BBQ 등) 는 다음과 같은 한계를 가지고 있습니다:

• 제한된 언어적 다양성: 고정된 템플릿이나 소수의 수동 작성 예제에 의존함.
• 좁은 주제 범위: 특정 도메인 (예: 직업, 성별) 에만 국한된 경우가 많음.
• 의도 (Intent) 고려 부재: 사용자의 의사소통 의도 (질문, 추천, 지시 등) 가 모델 행동에 미치는 영향을 분석할 수 있는 데이터가 부족함.
• 반사실적 (Counterfactual) 비교의 미흡: 의미와 의도는 동일하지만 민감한 속성 (그룹) 만이 다른 쌍을 체계적으로 제공하지 못함.

이러한 한계로 인해 LLM 의 공정성, 강건성, 그리고 반사실적 일관성을 포괄적으로 평가하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 SCOPE (Stereotype-Conditioned Prompts for Evaluation) 라는 대규모 데이터셋을 구축하기 위해 다단계 생성 파이프라인을 설계했습니다.

A. 지식베이스 구축 (Knowledge Base Construction)

• 기반 데이터: 널리 사용되는 편향 데이터셋인 CrowS-Pairs(1,508 개의 문장 쌍) 를 기반으로 함.
• 추출 과정: CrowS-Pairs 의 문장 쌍을 분석하여 9 가지 편향 차원 (인종, 성별, 성적 지향, 종교, 연령, 국적, 장애, 외모, 사회경제적 지위) 에 대한 구조화된 트리플 (Triple) 로 변환했습니다.
  • 형식: <주제 (Topic), 소외된 그룹 (Disadvantaged Group), 우세한 그룹 (Advantaged Group)>
• 검증: GPT-4O Mini 를 사용하여 개념과 그룹을 추출한 후, 연구자들이 합의 절차를 통해 1,508 개의 트리플에 대한 정확성과 일관성을 엄격하게 검증했습니다.

B. 반사실적 프롬프트 생성 (Counterfactual Prompts Generation)

• 의도 조건부 생성 (Intent Conditioning): 4 가지 의사소통 의도 (Question, Recommendation, Direction, Clarification) 를 정의하여 실제 사용자 - LLM 상호작용을 반영했습니다.
• 생성 프로세스:
  • 각 트리플과 의도 조합에 대해 GPT-4O Mini 를 활용하여 프롬프트를 생성했습니다.
  • 소외된 그룹과 우세한 그룹을 참조하는 20 개의 프롬프트 쌍 (각 그룹당 10 개) 을 생성하여, 의미와 의도는 동일하지만 민감한 속성만 다른 대조군을 만들었습니다.
  • 제약 조건: 두 변형 간의 엄격한 의미적 동등성, 구문 및 어휘적 다양성, 과정의 재현성을 보장하기 위해 프롬프트를 반복적으로 정제했습니다.

C. 데이터셋 포맷

• 생성된 데이터는 내부 처리를 위한 표 형식에서, 하위 분석 및 배포를 용이하게 하는 구조화된 JSONL 형식으로 변환되었습니다.
• 각 레코드는 하나의 반사실적 쌍과 해당 메타데이터 (편향 유형, 의도, 주제, 그룹 정보) 를 포함합니다.

3. 주요 기여 (Key Contributions)

SCOPE 데이터셋은 다음과 같은 규모와 다양성을 통해 기존 리소스를 압도합니다:

• 규모: 총 241,280 개의 프롬프트로 구성되며, 이는 120,640 개의 반사실적 쌍에 해당합니다.
• 범위:
  • 1,438 개의 다양한 주제 (Topics)
  • 9 가지 편향 차원 (Bias Dimensions)
  • 1,536 개의 고유한 인구통계학적 그룹 레이블
  • 4 가지 의사소통 의도 (Question, Recommendation, Direction, Clarification)
• 균형 잡힌 분포: 모든 편향 유형과 의도 내에서 프롬프트가 균등하게 분포되어 있어, 편향 없는 비교 분석이 가능합니다.
• 의도 인식 (Intent-Aware): 기존 데이터셋이 간과했던 '의사소통 의도'가 모델의 편향적 행동에 미치는 영향을 체계적으로 연구할 수 있는 기반을 제공합니다.

4. 결과 및 실험 (Results & Experiments)

• 데이터 통계: 인종 - 색채 (Race-Color) 와 성별 (Gender) 편향에 가장 많은 프롬프트가 할당되었으나, 모든 차원에서 수천 개의 고유 그룹을 포함하여 세분화된 분석이 가능합니다.
• 실증 실험 (Gemini 모델):
  • gemini-2.5-flash 모델을 사용하여 소규모 실험을 수행했습니다.
  • 시나리오: '질문 (Question) + 인종' 및 '추천 (Recommendation) + 성별' 조합으로 프롬프트 쌍을 입력했습니다.
  • 결과: 주제와 의도가 동일함에도 불구하고, 모델은 참조된 사회적 그룹에 따라 답변의 길이, 초점, 구조, 그리고 가정에서 차이를 보였습니다.
  • 예시: 인종 관련 질문에서는 그룹에 따라 설명의 강조점이 달랐으며, 성별 관련 추천에서는 재작성 및 해석 선택에서 대칭성이 깨지는 현상이 관찰되었습니다. 이는 모델이 의도적으로 통제된 상황에서도 미세한 편향을 보일 수 있음을 시사합니다.

5. 의의 및 활용 (Significance)

SCOPE 데이터셋은 다음과 같은 분야에서 중요한 역할을 할 것으로 기대됩니다:

1. 반사실적 공정성 평가 (Counterfactual Fairness Assessment): LLM 이 민감한 속성만 변경되었을 때 출력의 비대칭적 행동을 체계적으로 탐지하고 정량화할 수 있는 표준 벤치마크 제공.
2. 강건성 및 안전성 감사 (Robustness & Safety Audits): 민감한 속성 교란에 대한 모델의 일관성을 모니터링하여, 모델 버전 간 회귀 테스트나 안전성 평가에 활용.
3. 의도 기반 편향 분석: 편향이 특정 상호작용 스타일 (예: 질문 vs. 지시) 에 따라 어떻게 발현되는지 연구하여, 편향 완화 전략을 개발하는 데 기여.
4. 재현 가능한 연구: 통제된 의미적 정렬과 의도 조건부 입력을 제공함으로써, LLM 의 편향 연구에 대한 재현 가능한 과학적 기반을 마련합니다.

결론적으로, SCOPE 는 LLM 의 공정성 문제를 단순한 이진 분류를 넘어, 다양한 주제, 의도, 그리고 세분화된 인구통계학적 그룹을 아우르는 심층적이고 체계적인 분석을 가능하게 하는 혁신적인 리소스입니다.