💬 NLP

SHARP: Social Harm Analysis via Risk Profiles for Measuring Inequities in Large Language Models

이 논문은 스칼라 평균을 넘어 리스크 프로파일과 CVaR와 같은 꼬리 민감형 지표를 사용하여 대규모 언어 모델의 사회적 위해를 측정함으로써, 기존 벤치마크가 가리는 심각한 잠재적 불평등과 최악의 경우 발생하는 실패를 드러내는 다차원적이고 분포 인지적인 평가 프레임워크인 SHARP를 소개한다.

원저자: Alok Abhishek, Tushar Bandopadhyay, Lisa Erickson

게시일 2026-01-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alok Abhishek, Tushar Bandopadhyay, Lisa Erickson

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 문제: 왜 "평균" 점수는 거짓말을 하는가?

당신이 자동차를 사고 있다고 상상해 보세요. 판매원이 이렇게 말합니다. "이 차의 평균 속도는 시속 60마일입니다." 아주 좋아 보이죠, 그렇죠?

하지만 만약 그 "평균"이 비밀을 숨기고 있다면 어떨까요? 만약 이 차가 보통은 시속 10마일로 달리다가, 가끔 아무 이유 없이 갑자기 시속 200마일로 가속하여 충돌한다면 어떨까요? 평균은 여전히 60이지만, 최악의 시나리오는 공포스럽습니다.

이것이 바로 이 논문이 대규모 언어 모델(LLM)에서 일어나고 있다고 주장하는 현상입니다. 현재의 테스트들은 주로 AI의 "평균적" 성능을 측정합니다. 그들은 AI가 얼마나 "안전"하거나 "공정"한지를 말하기 위해 단 하나의 숫자(스칼라 점수)를 부여합니다. 저자들은 이것이 위험하다고 말합니다. 왜냐하면 채용, 의료, 또는 사법 시스템과 같은 고위험 상황에서 실질적인 해를 끼칠 수 있는 드물지만 심각한 실패 사례들을 숨기기 때문입니다.

해결책: SHARP ("AI를 위한 일기 예보")

저자들은 SHNF라고 불리는 새로운 프레임워크를 소개합니다. "이 AI가 평균적으로 어떻게 작동하는가?"라고 묻는 대신, SHARP는 **"이 AI가 최악의 경우 어디까지 나빠질 수 있으며, 그런 일이 얼마나 자주 발생하는가?"**라고 묻습니다.

SHARP를 단순한 성적표가 아니라 폭풍을 대비한 일기 예보라고 생각해보세요.

기존 방식: "오늘 평균 풍속은 10mph입니다." (안전하고 지루하며, 허리케인은 놓칩니다.)
SHARP 방식: "평균은 10mph이지만, 나무를 쓰러뜨릴 수 있는 100mph의 돌풍이 불 확률이 5% 있습니다."

SHARP의 작동 원리: 네 가지 "위험 구역"

이 논문은 "해악(harm)"을 우주선의 네 가지 서로 다른 센서처럼 네 가지 특정 카테고리로 분류합니다.

편향성 (Bias): AI가 특정 집단에 대해 편견을 가지고 있는가?
공정성 (Fairness): 답변에서 사람들을 불평등하게 대우하는가?
윤리 (Ethics): 도덕적으로 잘못된 것을 말하고 있는가?
인식적 신뢰성 (Epistemic Reliability): 거짓말을 하거나 지어내고 있는가(환각 현상)?

이 모든 것을 하나의 커다란 "안전" 수치로 섞어버리는 대신, SHARP는 이들을 각각 별도로 측정합니다. 이는 단순히 "차가 80% 좋다"라고 말하는 대신 엔진, 브레이크, 타이어를 각각 따로 점검하는 것과 같습니다.

핵심 비결: "꼬리(Tail)"를 살펴보기

SHARP에서 가장 중요한 부분은 CVaR95라고 불리는 지표입니다.

비유: 100명의 사람들이 줄을 서 있다고 상상해 보세요.
- 평균 위험도: 모든 사람의 키를 보고 평균을 구합니다.
- SHARP (CVaR95): 처음 95명은 무시합니다. 오직 가장 키가 큰 5명(분포의 "꼬리" 부분)만을 봅니다. 그런 다음, 그 5명만의 평균 키를 계산합니다.

왜 그럴까요? 고위험 AI의 경우, "가장 키가 큰 5명"(최악의 5% 답변)이 바로 재앙을 일으키는 원인이 되기 때문입니다. 만약 어떤 AI가 평소에는 예의 바르지만 가끔 혐오 발언을 내뱉는다면, "평균"은 괜찮아 보일지 몰라도 "꼬리"는 위험해 보일 것입니다. SHARP는 전적으로 그 위험한 꼬리에 집중합니다.

연구 결과: "숨겨진" 위험들

저자들은 현존하는 가장 똑똑한 11개의 AI 모델을 테스트했습니다. 여기서 SHARP가 기존 테스트에서 놓쳤던 것들을 밝혀냈습니다.

"쌍둥이"의 착각: 두 AI 모델이 정확히 동일한 "평균" 안전 점수를 가질 수 있습니다. 하지만 그들의 최악의 5% 답변을 살펴보면, 한 모델은 약간 위험한 수준이지만, 다른 모델은 3~4배 더 나쁠 수 있습니다. 표준 성적표에서는 동일해 보이지만, 위기 상황에서는 매우 다릅니다.
서로 다른 결함: 어떤 모델은 공정성에는 뛰어나지만 거짓말(환각)을 하지 않는 데는 형편없을 수 있습니다. 반대로 어떤 모델은 거짓말은 안 하지만 편향성에는 취약할 수 있습니다. 단순히 "모델 A가 모델 B보다 낫다"라고 말할 수 없습니다. "모델 A는 이 특정 위험에 대해서는 더 안전하지만, 모델 B는 저 특정 위험에 대해서는 더 안전하다"라고 말해야 합니다.
편향성이 가장 치명적: 전반적으로, "꼬리"(최악의 경우)를 유발하는 가장 흔한 원인은 편향성이었습니다. 상황이 정말 최악으로 치달을 때, 그것은 대개 AI가 편견을 가졌을 때였습니다.

결론: 평균에 의존하는 것을 멈춰라

이 논문은 AI 안전을 단 하나의 정답이 있는 단순한 수학 문제처럼 취급하는 것을 멈춰야 한다고 결론짓습니다.

기존 방식: "이 AI는 90% 안전합니다." (너무 단순하며, 위험을 숨깁니다.)
SHARP 방식: "이 AI는 보통 안전하지만, 최악의 5% 사례에서는 편향성과 거짓말 문제로 인해 심각하게 실패합니다."

SHARP를 사용함으로써 규제 기관과 기업은 더 나은 결정을 내릴 수 있습니다. 가장 높은 "평균" 점수를 가진 AI를 선택하는 대신, 가장 안전한 최악의 시나리오를 가진 AI를 선택할 수 있습니다. 이는 자동차의 최고 속도를 기준으로 차를 고르는 것이 아니라, 비상 상황에서 브레이크가 얼마나 잘 작동하는지를 기준으로 차를 고르는 것과 같습니다.

요약하자면: SHARP는 우리가 "좋은 평균값"에 속지 않도록 하며, 실제로 중요한 무섭고 드문 실수들을 직시하게 만드는 새로운 도구입니다.

기술 요약: SHARP – 리스크 프로파일을 통한 사회적 위해 분석 (Social Harm Analysis via Risk Profiles)

문제 정의

대규모 언어 모델(LLM)은 드물지만 치명적인 실패가 돌이킬 수 없는 피해를 초 입힐 수 있는 고위험 영역(예: 의료, 금융, 형사 사법)에 점점 더 많이 배치되고 있습니다. 현재의 평가 벤치마크는 주로 평균 중심의 스칼라 점수(예: 평균 정확도, 총합 편향 점수)에 의존합니다. 본 논문은 이러한 지표들이 다음과 같은 이유로 불충분하다고 주장합니다:

분포 구조를 은폐함: 이들은 이질적인 행동들을 점 추정치로 붕괴시켜, 모델 응답의 변동성을 숨깁니다.
꼬리 부분의 행동(Tail behavior)을 무시함: 평균적인 성능은 유사하더라도, 최악의 경우 발생하는 행동(상위 꼬리 이벤트)은 극명하게 다를 수 있으며, 이는 고위가치 설정에서 실질적인 리스크를 지배합니다.
차원 간 상호작용을 혼동함: 다양한 실패 모드(편향, 공정성, 윤리, 인식론적 신뢰성)가 어떻게 상호작용하고 결합되는지를 포착하지 못합니다.

결과적으로, 기존의 평가 관행은 배포 리스크와 제대로 정렬되지 않으며, 거버넌스 메커니즘은 고수준의 원칙을 감사 가능하고 리스크에 민감한 지표로 변환하는 데 어려움을 겪습니다.

방법론: SHARP 프레임워크

저자들은 다차원적이고 분포를 고려한 사회적 위해 평가를 위해 설계된 SHARP(Social Harm Analysis via Risk Profiles) 프레임워크를 소개합니다. SHARP는 사회적 위해를 단순한 스칼라 양이 아니라, 고정된 프롬프트 분포 위의 다변량 확률 변수로 취급합니다.

1. 평가 프로토콜

코퍼스(Corpus): 평가는 Bias Evaluation and Assessment Test Suite (BEATS) 및 BBQ 벤치마크에서 유래한 $n=901$ 개의 사회적으로 민감한 프롬프트 코퍼스를 대상으로 수행됩니다.
판정(Judging): 11개의 프런티어 LLM으로부터 나온 응답은 세 명의 블라인드 처리된 LLM 기반 판정자(Claude Sonnet 4.5, Gemini 2.5 Pro, GPT-5.1)에 의해 평가됩니다.
집계(Aggregation): 판정 결과(불리언 지표 및 서열 점수)는 $[0, 1]$ 범위로 정규화됩니다. 불일치를 고려하면서도 심각한 평가를 강조하기 위해, 점수는 온도 매개변수 $\tau=0.20$ 를 가진 Log-Sum-Exp (LSE) 연산자를 사용하여 집계됩니다. 이는 평균 풀링(mean pooling)과 최대값 풀링(max pooling) 사이를 보간하여, 최악의 평가에 대한 민감도를 유지합니다.

2. 차원 분해

SHARP는 사회적 위해를 다음과 같은 네 가지 별도의 하위 인덱스로 분해합니다:

편향 (Bias, B): 영향을 받는 범주의 폭, 위해의 강도, 그리고 증폭 요인(명시성, 교차성)을 측정합니다.
공정성 (Fairness, F): 응답 내의 불평등한 대우 단서(인구통계학적 격차, 기회 균등의 격차, 집단 간 격차)를 포착합니다.
윤리 (Ethics, E): 가치 불일치 지표(윤리적 불일치, 가치 갈등, 위해 위험, 문화적 비감수성, 배제 위험)를 집계합니다.
인식론적 신뢰성 (Epistemic Reliability, K): 불확실성(인식론적 부적절성, 인식론적 리스크)을 측정합니다.

3. 리스크 민감 집계

결합된 위해를 모델링하기 위해, SHARP는 신뢰성 분석에서 영감을 얻은 실패의 합집합(union-of-failures) 공식을 채택합니다.

결합된 위해: 모든 차원에서 발생할 수 있는 위해의 확률은 $H = 1 - \prod (1 - h_i)$ 로 모델링됩니다.
가산 로그-리스크 (Additive Log-Risk): 1 근처에서의 포화 현상을 방지하고 분해 가능성을 확보하기 위해, SHARP는 음의 로그 변환을 사용하여 잔여 안전성을 재매개변수화합니다. 누적 로그-리스크 $L$ 은 다음과 같이 정의됩니다:
$L = -\log(1 - H + \epsilon) = \sum_i -\log(1 - h_i + \epsilon)$
이는 유계(bounded)인 위해 강도를 무계(unbounded)인 리스크 단위로 변환하며, 개별 차원의 가산적 기여는 결합된 리스크 압력을 나타냅니다.

4. 분포 프로파일링

단일 평균 점수를 보고하는 대신, SHARP는 각 모델에 대한 프롬프트 수준의 누적 로그-리스크 값의 경험적 분포를 다음을 통해 특징짓습니다:

기대 로그-리스크 ( $\mu_L$ ): 중심 경향성.
리스크 변동성 ( $\sigma_L$ ): 프롬프트 전반의 리스크 분산.
조건부 가치 위험 (Conditional Value at Risk, $CVaR_{0.95}$ ): 주요 지표로서, 최악의 성능을 보이는 상위 5%의 프롬프트에 대한 기대 로그-리스크를 나타냅니다. 이는 꼬리 부분의 심각성을 명시적으로 포착합니다.

주요 결과

프레임워크는 11개의 프런티어 LLM(오픈 웨이트 및 독점 시스템 포함)에 적용되었습니다.

1. 평균과 꼬리 리스크 간의 괴리

평균 리스크 프로필이 유사한 모델들도 꼬리 부분의 행동에서는 뚜렷한 차이를 보였습니다.

예시: Claude Sonnet 4.5는 $CVaR_{0.95}$ 가 1.69인 반면, DeepSeek-Chat과 Mistral-Large는 각각 5.73과 5.99에 도달했습니다. 이는 상대적으로 유사한 평균 로그-리스크 값에도 불구하고, 최악의 경우 발생하는 결합된 위해가 3배 이상 높음을 의미합니다.
의미: 평균 기반 요약은 극단적인 행동을 체계적으로 과소평가합니다. LLaMA-3 405B는 가장 낮은 리스크를 가진 모델보다 4배 이상 높은 $CVaR_{0.95}$ 를 보였습니다.

2. 차원적 이질성

한계 꼬리 심각도 (Marginal Tail Severities): 편향 관련 위해는 모든 모델에서 일관되게 가장 강력한 꼬리 심각성을 나타냈습니다. 인식론적 및 공정성 리스크는 중간 영역을 차지했으며, 윤리적 불일치는 일관되게 낮았습니다.
결합된 꼬리 귀속 (Compounded Tail Attribution): 최악의 결합 실패를 유발하는 동인은 모델마다 달랐습니다. 일부 시스템(예: Claude 3.5 Sonnet, GPT-4o)의 경우 인식론적 불확실성이 꼬리 리스크의 주요 기여 요인이었습니다. 다른 시스템(예: 리스크가 높은 오픈 웨이트 모델)의 경우 편향 관련 메커니즘이 지배적이었습니다. 이는 단일 차원이 모든 모델에서 최악의 결과를 균일하게 유도하지 않음을 나타냅니다.

3. 통계적 타당성

안정성: 부트스트랩 리샘플링 및 Leave-one-judge-out 분석을 통해 $CVaR_{0.95}$ 에 기반한 모델 순위가 판정자 구성 및 집계 매개변수의 변화에 대해 안정적이고 견고함을 확인했습니다.
프롬프트 의존성: 분산 분해 결과, 프롬프트 정체성(prompt identity)이 모델 정체성(model identity)보다 더 큰 총 분산(25.8% vs 13.9%)을 설명하였으며, 이는 사회적 위해의 맥락 의존성과 점 추정치보다 분포 분석이 필요한 이유를 뒷받침합니다.

의의 및 주장

본 논문은 SHARP를 절대적이고 교정된 실제 세계의 위해율의 원천이라기보다 방법론적 진보로 규정합니다.

스칼라에서 분포로의 전환: 주요 기여는 사회적 위해를 스칼라 양으로 적절히 특징지을 수 없다는 논증입니다. 효과적인 평가는 사회적 위해의 분포적 기하학과 차원 간 상호작용을 명시적으로 모델링하는 방법이 필요합니다.
리스크 제약적 선택: SHARP는 평균 성능에 의한 전체 순위 결정에서 리스크 제약적 모델 선택으로의 전환을 가능하게 합니다. 이해관계자들은 평균 성능과 관계없이 수용 불가능한 최악의 노출을 가진 모델을 제외하기 위해 꼬리 민감형 임계값(예: $CVaR_{0.95}$ )을 사용할 수 있습니다.
타겟팅된 완화: 차원 분해는 특정 실패 모드(예: 편향 주도형 vs 인식론적 주도형 꼬리 리스크의 구분)를 진단할 수 있게 하여, 균일한 개선이 아닌 타겟팅된 개입을 지원합니다.
한계: 저자들은 SHARP가 인구 통계학적 수준의 공정성 보장이나 실제 세계 위해에 대한 교정된 확률을 제공하는 것이 아님을 명시합니다. 본 프레임워크는 고정된, 주로 영어 기반의 프롬프트 분포 하에서의 내재적, 단일 턴 행동을 평가합니다. 측정된 낮은 리스크는 안전한 작업 수행보다는 거절 또는 회피를 반영할 수 있으며, 결과는 선택된 판정자 앙상블에 종속적입니다.

요약하자면, SHARP는 비교 가능하고 꼬리에 민감한 평가를 위한 재현 가능한, 분포 인지적 토대를 제공하며, LLM 리스크의 유의미한 평가를 위해서는 스칼라 평균을 넘어 최악의 행동에 대한 다차원적 프로파일링으로 이동해야 함을 입증합니다.