Evaluating Human-AI Safety: A Framework for Measuring Harmful Capability Uplift

1. 문제 제기 (Problem)

현재 최첨단 AI(프런티어 모델) 안전성 평가는 주로 정적 벤치마크 (Static Benchmarks), 제 3 자 주석 (Third-party annotations), 레드팀 (Red-teaming) 에 의존하고 있습니다. 그러나 이러한 기존 접근 방식에는 다음과 같은 치명적인 한계가 존재합니다.

• 실제 위험과의 괴리: 벤치마크 점수가 높더라도 실제 환경에서는 유해한 행동을 유발할 수 있습니다. 예를 들어, 독성 필터를 통과한 모델이 창의적인 프롬프트로 극단주의적 담론을 증폭시킬 수 있습니다.
• 안전 세척 (Safetywashing) 의 위험: 모델의 일반적 능력 (General Capability) 이 향상되면서 안전 벤치마크 점수도 함께 오르는 경우가 많아, 실제 안전성 개선이 아닌 단순 성능 향상이 '안전 진전'으로 오인될 수 있습니다.
• 인간 -AI 상호작용의 부재: 기존 평가는 인간을 외부의 심판자 (Judge) 로만 배치합니다. 하지만 실제 위험은 인간이 AI 를 '공범 (Co-conspirator)'으로 활용하여 악의적인 작업을 수행할 때 발생합니다. 즉, 기존 도구만으로는 불가능했던 유해한 행동이 AI 의 도움으로 얼마나 가능해졌는지 (Harmful Capability Uplift) 를 측정하지 못합니다.

2. 핵심 개념 및 방법론 (Methodology)

저자들은 AI 안전성 평가의 초점을 "모델이 위험한 내용을 생성하는가?"에서 "모델이 사용자의 유해한 행동 능력을 얼마나 증폭시키는가?" 로 전환할 것을 제안하며, 이를 유해한 능력 향상 (Harmful Capability Uplift) 이라고 정의합니다. 이를 측정하기 위한 체계적인 방법론을 제시합니다.

A. 실험 설계 가이드라인 (3 가지 필수 조건)

유해한 능력 향상을 정확히 측정하기 위해 다음 3 가지 조건의 실험이 필수적입니다.

1. 인간 단독 (Human Alone): AI 없이 기존 도구 (웹 검색, 문서 등) 만을 사용하여 사용자가 수행할 수 있는 작업의 기준선 (Baseline).
2. AI 단독 (AI Alone): 인간 개입 없이 AI 가 작업을 수행하는 능력.
3. 인간 -AI 협업 (Human-AI): 실제 배포 환경과 유사한 인터페이스로 AI 와 협업하여 작업을 수행하는 경우.

B. 프록시 태스크 (Proxy Task) 와 유효성 검증

생물학적 무기 개발이나 사이버 공격 등 직접적인 유해 태스크 수행은 윤리적, 보안상 불가능하므로, 안전한 프록시 태스크를 사용합니다.

• 작업 유사성 프레임워크 (Task Similarity Framework): 프록시 태스크와 실제 위험 태스크 간의 관계를 정량화하기 위해 다차원 임베딩 (Cognitive, Domain Knowledge, Resource, Risk dimensions) 을 사용합니다.
• 예측 타당성: 프록시 태스크의 성능이 실제 위험 태스크의 능력을 예측할 수 있는지 통계적 상관관계 (예: $R^2 > 0.25$) 를 통해 검증해야 합니다.

C. 지표 (Metrics): 유해한 능력 향상 비율 (Uplift Ratio)

주요 지표로 $U = \frac{H_{AI}}{H}$ (인간 -AI 성능 / 인간 단독 성능) 비율을 제안합니다.

• 해석: $U=1.0$은 향상 없음, $U>1.0$은 능력 증폭을 의미합니다.
• 무한대 ($U \to \infty$): 사용자가 AI 도움 없이는 전혀 수행할 수 없었던 작업 ($H=0$) 을 AI 와 함께 수행할 수 있게 되는 경우로, 이는 새로운 능력 획득 (Novel Capability) 을 의미하며 가장 높은 수준의 경계 신호입니다.
• 시너지 (Synergy): 인간과 AI 가 각각 단독으로 할 때보다 더 높은 성과를 내는 경우를 측정하기 위해 $S = \frac{H_{AI}}{\max(H, AI)}$ 비율도 제안합니다.

D. 통계적 접근 및 예측 모델

• 통계적 설계: 안전 평가에서는 '위험을 놓치는 것 (False Negative)'이 '경고하는 것 (False Positive)'보다 치명적이므로, 통계적 검정력 (Power) 을 높이고 다중 가설 보정을 완화하여 실제 위험을 숨기지 않도록 설계해야 합니다.
• 예측 모델 (Forecasting): 매번 인간 실험을 수행하는 것은 비효율적이므로, 기존 벤치마크 점수 ($BM$) 와 유해 능력 향상 ($U$) 간의 회귀 모델을 구축하여 새로운 모델의 위험을 예측하는 서로지 (Surrogate) 모델을 개발합니다.

3. 주요 기여 (Key Contributions)

1. 기존 평가의 맹점 규명: 정적 벤치마크, 인간 평가자, 레드팀이 유해한 능력 향상 (Human-AI 협업에 의한 위험 증폭) 을 측정하지 못하는 체계적 한계를 지적했습니다.
2. 방법론적 프레임워크 제시: HCI(인간 - 컴퓨터 상호작용) 및 행동과학의 기법을 차용하여, 인간 -AI 협업의 유해한 능력 향상을 체계적으로 측정하는 실험 설계, 프록시 태스크 검증, 통계적 기준을 구체화했습니다.
3. 구체적 지표 제안: '유해한 능력 향상 비율 (Uplift Ratio)'을 도입하여 정성적 평가를 정량화하고, 다양한 도메인 간 비교를 가능하게 했습니다.
4. 이해관계자별 실행 로드맵: 개발자, 연구자, 자금 지원자, 규제 기관 (및 AI 안전 연구소) 에게 구체적인 행동 지침을 제시했습니다.

4. 결과 및 시사점 (Results & Significance)

• 현재 연구 현황: 현재 Anthropic, OpenAI, Meta 등 주요 기업에서 수행한 일부 유해 태스크 평가 연구들은 표본 크기가 부족하거나 통제 집단이 부재하여 과학적 비교가 어렵다는 분석이 제시되었습니다 (부록 Table 1 참조).
• 정책적 함의:
  • 개발자: 개발 주기 내 인간 -AI 협업 실험을 통합하고, 시스템 카드에 '인간 단독', 'AI 단독', '협업' 점수 및 향상 비율을 투명하게 공개해야 합니다.
  • 규제 기관: AI 안전 연구소 (AISIs) 를 통해 안전한 프리레지스터 (Preregistration) 트랙을 운영하고, 유해 능력 향상 비율이 임계치를 초과할 경우 단계적 감독을 강화해야 합니다.
  • 연구계: 프록시 태스크와 실제 위협 간의 인과적 메커니즘을 규명하는 이론적 프레임워크를 구축해야 합니다.

5. 결론

이 논문은 AI 안전성 평가가 단순한 모델 출력의 검열을 넘어, 인간의 의도와 AI 의 능력이 결합되어 발생하는 실제 위험 (유해한 능력 향상) 을 측정하는 패러다임 전환을 요구합니다. 정적 벤치마크와 레드팀만으로는 포착할 수 없는 동적 위험을 체계적으로 평가하기 위해, 인간 중심의 실험, 검증된 프록시 태스크, 그리고 통계적으로 엄격한 방법론을 기반으로 한 새로운 표준이 필요하다고 주장합니다. 이는 AI 기술의 급속한 발전 속에서 사회적 통제가 가능한 범위 내에서 혁신을 지속하기 위한 필수적인 조치입니다.