PluriHarms: Benchmarking the Full Spectrum of Human Judgments on AI Harm

기술 요약: PLURIHARMS – AI 유해성에 대한 인간 판단의 전체 스펙트럼 벤치마킹

문제 정의

현재의 AI 안전 프레임워크는 유해성을 이진 분류(무해함 대 유해함)로 취급하는 경향이 있습니다. 이러한 단일적 접근 방식은 인간 공동체와 개인이 다양한 가치와 관점을 지니고 있는 "모호한 중간 지대"를 다루지 못합니다. 명확하게 갈리는 극단적인 사례에만 집중함으로써, 기존의 안전 데이터셋은 시스템이 가장 실패하기 쉬운 경계선 사례들을 가려버립니다. 더욱이, 현재의 관행은 이러한 경계 사례에서 발생하는 주석가 간의 불일치를 단순한 통계적 노이즈로 간주하여 평균화하려 하지만, 이는 사실 정당하고 다양한 관점의 신호입니다. 이러한 이진 전략은 복잡하고 맥락 의존적인 안전 고려 사항을 탐색할 수 있는 다원적 AI 개발에 장벽을 형성합니다.

방법론

저자들은 유해성 축(benign에서 harmful까지)과 합의 축(consensus에서 disagreement까지)이라는 두 가지 핵심 차원을 통해 인간의 유해성 판단을 체계적으로 연구하도록 설계된 벤치마크인 PLURIHARMS를 소개합니다.

1. 데이터 큐레이션 프레임워크

데이터셋은 확장 가능한 다단계 자동화 프레널워크를 사용하여 구축되었습니다:

• 프롬프트 생성: AIR-Bench 2024의 5,692개 시드 프롬프트에서 시작하여, 저자들은 DeepSeek-V3를 사용하여 각 시드당 11개의 변형을 생성하였으며, 이는 0.0(완전 무해)에서 1.0(명백히 유해)에 이르는 서수적 유해도 척도를 포괄합니다. 이를 통해 총 62,612개의 후보 프롬프트가 생성되었습니다.
• 특징 추출: 해석 가능한 특징을 추출하기 위해 특화된 모델들이 사용되었습니다:
  • SafetyAnalyst는 프롬프트를 16가지 유해 행동 카테고리와 7가지 유해 효과 카테고리로 분해하는 "harm trees"를 생성했습니다.
  • KALEIDO는 프롬프트에 39가지의 뚜렷한 인간 가치 카테고리(예: 권리, 의무, 자유 등)를 주석 처리했습니다.
• 전략적 큐레이션: 유전 알고리즘을 사용하여 최종 150개의 프롬프트를 선정했습니다. 선정 기준은 불일치율을 극대화하기 위해 중간 단계의 유해 수준(0.4–0.8)을 오버샘플링하는 것을 우선시했으며, 동시에 행동, 효과, 가치 전반에 걸친 다양성을 확보했습니다.

2. 인간 주석 작업 (Human Annotation)

• 참여자: Prolific을 통해 모집된 100명의 인간 주석가.
• 작업: 각 주석가는 150개의 모든 프롬프트에 대해 0–100 연속 척도(0 = 무해, 100 = 최대 유해)로 평가했습니다.
• 주석가 특성: 연구에서는 인구통계학적 데이터(연령, 성별, 인종, 교육, 소득, 정치적 성향 등)와 심리학적 척도(Schwartz 가치 조사, 도덕적 기반 질문지, 대인 반응성 지수, AI 리터러시)를 포괄적으로 수집했습니다.

3. 분석 및 평가

• 통계 모델링: 프롬프트 특징(행동, 효과, 가치)과 주석가 특성(인구통계, 심리)이 유해성 판단에 기여하는 바를 분석하기 위해 Lasso 정규화가 적용된 혼합 효과 선형 회귀 모델을 사용했습니다. 특성과 프롬프트 특징 간의 상호작용을 명시적으로 모델링했습니다.
• AI 벤치마킹: 다양한 AI 안전 모델(WildGuard, SafetyAnalyst, GPT-4.1, Claude, Qwen)과 정렬 방법(zero-shot, 가치 프로필 스티어링, k-shot 스티어링)이 인간의 평가를 예측하는 능력을 평가했습니다. 비교는 집계된(mean) 평가와 개인화된(individual) 평가에 정렬된 모델 간에 이루어졌습니다.

주요 결과

1. 유해 스펙트럼의 검증

인간의 평가는 생성 과정에서 할당된 합성 유해도와 강한 상관관계를 보였습니다 (Spearman $r = 0.59$). 결정적으로, 중간에서 높은 유해 수준(0.4–0.8)은 유의미하게 높은 응답 분산과 엔트로피를 나타냈으며, 이는 본 데이터셋이 높은 인간 불일치를 유발하는 사례를 성공적으로 타겟팅했음을 확인시켜 줍니다.

2. 유해 판단의 동인

• 프롬프트 특징: 임박한 위험 및 실질적 유해와 관련된 특징(예: 아동 해악, 자해, 범죄 활동, 신체적 해악)이 인지된 유해성에 가장 강력한 양(+)의 영향을 미쳤습니다. 반면, 간접적이고 비물리적이거나 제도적인 영역(예: 심리적 해악, 사회적 해악, 문화적 다양성)과 관련된 특징은 낮은 인지 유해성과 연관되었습니다.
• 주석가 특성: 주석가 특성은 평가를 유의미하게 예측했습니다. 온라인 독성에 대한 노출 및 소셜 미디어 사용 빈도가 높을수록 유해성 평가가 높았습니다. 반대로, 높은 교육 수준, 남성 성별, 자유주의적 정치 성향은 더 낮은 평가와 상관관계가 있었습니다.
• 상호작용: 불일치는 단순히 가산적인 것이 아니라 구조화된 상호작용으로부터 발생합니다. 예를 들어, 친사회적 성향의 영향력은 교육에 의해 증폭되었으며, 정치적 차이는 온라인 독성 경험과 결합될 때 더욱 뚜렷해졌습니다. 특정 인구통계 그룹(예: 비이성애자, 소수자)은 아동 해악과 같은 특정 유해 유형에 대해 높은 민감도를 보였습니다.

3. AI 모델 성능

• 개인화 vs 집계: 개인화된 정렬 방법이 집계된 방법보다 일관되게 우수한 성능을 보였습니다. 모델을 평균 인간 평가가 아닌 개별 주석가 평가에 정렬하는 것이 평균 인간 평가에 정렬했을 때보다 평균 절대 오차(MAE)를 유의미하게 감소시켰습니다.
• 방법론 비교: k-shot 스티어링(문맥 내에 프롬프트-평가 쌍을 제공하는 방식)이 가치 프로필 요약보다 더 강력한 성능을 보였습니다. 이는 자연어 가치 프로필이 인간의 판단을 이끄는 잠재적 요인을 완전히 포착하지 못함을 시사합니다.
• 모델 역량: 범용 모델(예: GPT-4.1, Claude)은 특화된 안전 모델(예: WildGuard, SafetyAnalyst)보다 미묘한 유해도 평가를 예측하는 데 종종 더 뛰어난 성능을 보였으나, 특화된 모델은 거절/완료 실패가 적었습니다.

핵심 기여

1. 프레임워크: 서수적 유해 스펙트럼을 가로지르며 특히 불일치가 발생하기 쉬운 경계 사례를 강조하는, 정교하게 조정된 프롬프트를 생성하기 위한 확장 가능한 프레임워크.
2. 벤치마크 (PLURIHARMS): 주석가 특성(인구통계/심리)과 해석 가능한 프롬프트 수준의 특징(행동, 효과, 가치)이 풍부하게 포함된 150개의 프로프트 및 15,000개의 인간 평가 데이터셋.
3. 통찰: 프롬프트 특징이 실질적 유해와 결러될 때 인지된 유해성을 증폭시키며, 주석가 특성과 그 상호작용이 체계적인 불일치를 설명한다는 경험적 증거를 제시하여 다원적 관점의 역할을 강조함.
4. 평가: 개인화된 정렬이 합의 기반 접근 방식보다 예측 정확도를 유의미하게 향면시킨다는 점을 보여주는 동시에, 현재 시스템의 한계를 드러내는 안전 모델 벤치마크.

의의 및 주장

본 논문은 "하나의 크기로 모두에게 적용되는(one-size-fits-all)" 안전을 넘어, 불일치를 합의로 붕괴시키는 것이 아니라 불일치 자체를 모델링하는 다원적으로 안전한 AI로 나아가야 한다고 주장합니다. PLURIHARMS는 이러한 전환을 위한 원칙적인 벤치마크를 제공합니다.

저자들은 다음과 같이 주장합니다:

• 안전 판단은 객관적 사실이 아니라, 콘텐츠와 다원적인 인간의 관점에 의해 함께 형성됩니다.
• 주석가 간의 불일치를 노이즈로 취급하는 것은 안전 시스템이 가장 실패하기 쉬운 "모호한 중간 지대"를 가리는 행위입니다.
• 개인화된 정렬은 인간의 유해성 판단의 미묘함을 포착하기 위한 필수적인 단계이며, 집계된 모델은 다양한 사회적 정체성과 가치 지향에서 비롯되는 체계적인 차이를 필연적으로 흐리게 만듭니다.

본 연구는 규모, 인구통계학적 범위(미국 기반, 영어 전용), 그리고 프롬프트가 아닌 전체 인간-AI 상호작용에 대한 초점 등의 한계를 인정하며 그 범위를 겸허하게 설정하고 있습니다. 그러나 인간의 유해성 판단 전체 스펙트럼을 이해하고 모델링하기 위한 기초적인 발판을 마련하였습니다.