🤖 AI

What AI Red-Team Evaluations Can and Cannot Prove

이 논문은 현재의 벤치마크가 고빈도 위해에 대해서는 안전성을 효과적으로 인증할 수 있지만, 내재적인 통계적 한계로 인해 희귀하고 치명적인 위험에 대한 안전성을 입증하는 데에는 근본적으로 불충분함을 입증하며, AI 레드팀 평가를 위한 계산 가능한 '증거적 천장(evidential ceiling)'을 설정한다.

원저자: Bandana Kaur

게시일 2026-07-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bandana Kaur

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미스터리를 해결하려는 탐정이라고 상상해 보십시오. "이 새로운 로봇을 실제 세상에 풀어놓아도 안전할까?"라는 미스터리 말입니다. 이를 알아내기 위해, 당신은 단순히 로봇에게 "나는 착해요"라고 말하라고 시키는 대신, 로봇이 못되거나 위험한 말을 하도록 유도하는 레드팀(red-team) 훈련처럼 까다로운 일련의 테스트를 거치게 할 것입니다. 이것이 바로 AI 안전성 평가의 세계입니다. 하지만 여기서 문제가 발생합니다. 로봇이 안전하다고 확신하기 위해 얼마나 많은 속임수를 시도해야 할까요? 만약 10번의 시도 중 모두 통과했다면 그것으로 충분할까요? 만약 로봇이 백만 번 중 단 한 번만 위험한 행동을 한다면 어떻게 될까요?

여기에서 통계학이 등장합니다. 이것을 어두운 방 안의 손전등이라고 생각해 보십시오. 작은 손전등(작은 테스트)은 바닥에 있는 크고 명백한 돌(빈번한 실수)은 쉽게 보여줄 수 있습니다. 하지만 만약 그 위험이 아주 가끔 나타나는, 거의 보이지 않는 미세한 먼지라면, 동일한 작은 손전등은 그 먼지가 존재하더라도 완전히 놓쳐버릴 수 있습니다. 과학자들은 오랫동안 이러한 AI "안전 테스트"가 실제로 유용한지, 아니면 그저 시간 낭비인지에 대해 논쟁해 왔습니다. 어떤 이들은 그것이 아무것도 증명하지 못한다고 말하고, 다른 이들은 그것이 모든 것을 증명한다고 말합니다. 이 논문은 매우 구체적인 작업을 수행함으로써 이 논쟁을 종결시키고자 합니다. 바로 서로 다른 크기의 먼지를 보기 위해 손전등이 얼마나 밝아야 하는지를 정확히 계산하는 것입니다.

APIsec Research Labs의 반다나 카우르(Bandana Kaur)가 작성한 이 논문은, 안전 테스트가 쓸모없는 것은 아니지만 마법의 지팡이도 아니라고 주장합니다. 테스트에는 엄연한 한계가 있으며, 그 한계는 의견의 문제가 아니라 수학의 문제입니다. 저자는 "증거적 천장(evidential ceiling)"이라는 개념을 사용합니다. 물을 담을 수 있는 용량이 정해진 양동이가 있다고 상상해 보십시오. 만약 당신이 누출이 '작다'는 것을 증명하려 한다면, 깨끗한 테스트 결과(실패 사례가 0인 경우)로 채워진 가득 찬 양동이는 매우 설득력이 있습니다. 하지만 만약 당신이 누출이 '극도로 미미하다'는 것(예: 드물게 발생하는 치명적인 실패)을 증명하려 한다면, 동일한 양동이는 확신을 줄 만큼 충분한 증거를 포착하기에는 너무 작을 수 있습니다.

이 논문의 주요 발견은 계산 가능한 "교차점(crossing point)"이 존재한다는 것입니다. 만약 특정 유형의 해악이 충분히 자주 발생한다면(예: 1%의 확률로), 약 520개의 프롬프트로 구성된 표준 테스트는 "좋아, 이 모델은 배포하기에 충분히 안전해 보인다"라고 말하기에 충분합니다. 사실, 520번의 테스트를 실행하여 문제가 하나도 발견되지 않았다면, 이는 단 하나의 문제라도 발견되는 것보다 더 강력한 증거가 됩니다. 이것은 깨끗한 방을 찾는 것과 같습니다. 만약 세균이 도처에 있을 것이라고 예상했는데 방이 깨끗하다면, 그것은 엄청난 놀라움이며 무언가가 제대로 작동하고 있음을 증명하는 것입니다.

하지만 논문은 희귀한 사건들에 대해 명확한 선을 긋습니다. 만약 해로운 행동이 극도로 드물다면(예: 0.001% 미만의 확률로 발생), 합리적인 예산 범위 내에서 아무리 많은 프롬프트를 시도하더라도 "깨끗한 결과(zero failures)"는 거의 아무것도 알려주지 못합니다. 수학적으로 볼 때, 이러한 희귀하고 치명적인 위험에 대해서는 깨끗한 테스트 결과가 약한 증거가 됩니다. 이 영역에서는 단 한 번의 관찰된 실패가 오히려 깨끗한 테스트보다 더 많은 정보를 제공하는데, 왜냐하면 깨끗한 테스트 결과는 그저 운이 좋았던 것일 수도 있기 때문입니다. 논문은 이러한 희귀한 사건들에 대해 현재의 공개 벤치마크들이 "수 자릿수(orders of magnitude)만큼 부족하다"라고 계산했습니다. 즉, 안전을 증명하기에는 수천 배나 작다는 의미입니다.

저자는 또한 이러한 테스트가 구축되는 방식도 중요하다고 지적합니다. 만약 테스트 질문들이 모두 매우 유사하다면(예: 같은 질문을 약간씩 다른 단어로 바꾸어 묻는 경우), 그것은 마치 건더기 더미에서 바늘을 찾으면서 방의 한 구석만 확인하는 것과 같습니다. 논문은 현재의 테스트들이 종종 서로 밀집되어 있어, 서류상에 보이는 것보다 효과가 떨어진다고 제안합니다. 더욱이, 논문은 단순히 테스트를 "더 많이" 하는 것이 답이 아니라는 점을 강조합니다. 대신, 우리는 더 똑똑한 테스트, 즉 안전한 모델과 안전하지 않은 모델을 더 잘 구별해 낼 수 있는 테스트가 필요합니다. 만약 어떤 테스트가 나쁜 모델을 90% 확률로 속일 수 있고 좋은 모델은 10% 확률로만 속인다면, 그것은 강력한 도구가 됩니다. 하지만 두 모델을 똑같이 속인다면, 그것은 아무리 여러 번 실행하더라도 무용지물입니다.

결론적으로, 이 논문은 AI 연구소들이 결과를 보고하는 방식에 대한 새로운 규칙을 제안합니다. 단순히 "우리는 500번의 테스트를 실행했고 나쁜 것을 발견하지 못했다"라고 말하는 대신, 그들의 테스트가 무엇을 증명할 수 있는지를 정확하게 보고해야 합니다. 해악의 비율이 높다면 안전하다고 주장할 수 있습니다. 하지만 해악의 비율이 낮고 희귀하다면, 자신들의 테스트가 안전을 증명할 수 없었음을 인정하고 다른 종류의 증거가 필요함을 밝혀야 합니다. 이 논문은 테스트를 중단하라고 말하는 것이 아닙니다. 다만 우리의 테스트가 수학적으로 증명할 수 없는 것을 증명할 수 있다고 가장하는 것을 멈추라고 말하는 것입니다. 그것은 정직함에 대한 촉구입니다. 자신의 손전등의 한계를 알고, 방의 한 구석만 비추고 있으면서 방 전체가 보인다고 주장하지 마십시오.

기술 요약: AI 레드팀 평가가 증명할 수 있는 것과 없는 것

문제 정의
현재의 AI 안전 관행은 정교하게 큐레이션된 적대적 프롬프트를 사용하여 모델의 유해한 출력을 테스트하는 레드팀 평가에 크게 의존하고 있다. 이러한 결과는 규제 감독 및 배포 결정을 위한 주요 경험적 근거로 점점 더 많이 사용되고 있다. 그러나 이러한 비판적 시각은 이러한 벤치마크의 정량적 출력이 통계적 정밀도가 부족하고, 의미론적으로 동일한 프롬프트 전반에 걸쳐 일반화되지 못하며, 유의미한 시스템 간 비교를 지원할 수 없다는 점을 지적한다. 이러한 비판은 타당하지만, 본 논문은 안전 벤치마크가 "가치가 없다"는 결론에는 반대한다. 대신, 핵심적인 문제는 이 분야에 특정 평가가 어떤 구체적인 명제를 뒷받침할 수 있는지 결정하는 공식적인 프레임워크가 부족하다는 것이다. 이를 설정하지 못하면, 실험실들은 희귀하고 파괴적인 위해(harm)에 대해 과도하게 안전성을 주장하거나, 빈도가 높은 위해에 대해 벤치마크를 활용하지 못하는 문제를 겪게 된다.

방법론
본 논문은 평가의 "증거적 천장(evidential ceiling)"을 정의하기 위한 공식적인 통계적 프레임워크를 도입한다. 이 천장은 두 가설, 즉 $H_0$ (수용 가능한 위험)와 $H_1$ (고조된 위험) 사이의 사후 오즈(posterior odds)를 단일 결과가 변화시킬 수 있는 최대 계수를 나타낸다.

증거적 천장 도출: 저자들은 고정된 자원 예산( $N_{max}$ )과 위해율( $p$ )이 주어졌을 때, 벤치마크의 무결 결과(zero observed harms)가 제공할 수 있는 최대 증거를 로그 우도비 접근 방식을 사용하여 폐쇄형(closed form)으로 정의한다.
경계 계산: 논문은 두 영역을 구분하는 임계 경계인 $p_{min}$ $p_{min}$ 을 도출한다.
- $p_{min}$ 상위 영역: 실행 가능한 규모의 벤치마크는 명시된 증거 표준에 따라 특정 범주를 인증할 수 있다. 이 영역에서는 '깨끗한 성적표(clean sheet)'가 단 한 번의 실패 사례보다 더 강력한 증거가 된다.
- $p_{min}$ 하위 영역: 실행 가능한 규모의 수동적 벤치마크는 지정된 증거를 통해 안전성을 입증할 수 없다. 이 영역에서는 단 한 번의 실패 사례가 깨끗한 성적표보다 더 큰 증거력을 갖는다.
적응형 유도(Adaptive Elicitation)로의 일반화: 이 프레임워크는 정적 벤치마크를 넘어 적응형 레드팀 테스팅으로 확장된다. 저자들은 원시 위해율을 "가설 조건부 유도율"( $H_1$ 에 대한 $q_1$ 및 $H_0$ 에 대한 $q_0$ )로 대체한다. 저자들은 증거의 가치가 단순히 공격 성공률이 아니라, 두 비율 사이의 식별력(discrimination)( $\kappa = |\log_2((1-q_1)/(1-q_0))|$ )에 의해 결정됨을 입증한다.
경험적 감사: 저자들은 8개의 널리 사용되는 평가 세트(예: AdvBench, HarmBench, SafetyBench)를 이러한 이론적 경계에 따라 감사한다. 이들은 통계적 검정력, 허위 인증 확률, 그리고 분포적 타당성(벤치마크 프롬프트와 LMSYS-Chat-1M의 실제 사용자 쿼리 비교)을 분석한다.

주요 기여

폐쇄형 경계: 논문은 인증 가능한 위해율과 인증 불가능한 위해율 사이의 경계를 계산할 수 있는 식을 제공한다. 이 경계는 $1/n$ 에 따라 감소하며, 이는 더 큰 벤치마크가 인증 가능한 위해의 범위를 확장할 수는 있지만, 극도로 희귀한 사건에 대한 근본적인 한계를 극복할 수는 없음을 의미한다.
증거 강도의 역전: 저자들은 "깨끗한 성적표"와 "단일 실패 사례"의 상대적 증거 강도가 절대적이지 않음을 증명한다. 교차율( $p_\times$ ) 위에서는 깨끗한 성적표가 더 강력한 증거가 되지만, 그 아래에서는 단일 실패 사례가 더 강력한 증거가 된다. 이 교차점 또한 계산 가능하다.
성공률보다 식별력: 적응형 또는 자동화된 레드팀 테스팅의 경우, 가치의 척도는 원시 공격 성공률이 아니라 안전한 가설과 안전하지 않은 가설 하에서의 유도율 간의 식별력임을 확립한다. 안전한 모델과 안전하지 않은 모델 모두에서 동일하게 트리거되는 절차는 증거를 전혀 제공하지 못한다.
보고 템플릿: 실험실이 결과의 증거적 가치를 가늠할 수 있도록 특정 매개변수(예: 유효 샘플 크기, 클러스터 내 상관관계, $H_0$ 및 $H_1$ 하에서의 유도율)를 공개하도록 요구하는 최소 보고 템플릿(표 5)을 제안한다.

결과

고빈도 위해에 대한 적절성: 위해율이 $10^{-2}$ (1%) 정도인 위해 범주의 경우, 기존의 공개 벤치마크(예: $n=520$ 인 AdvBench)는 주문 단위(order-of-magnitude)의 안전성 개선을 뒷받침하기에 적절하다.
희귀/파괴적 위해에 대한 부적절성: 희귀한 범주(예: $p = 10^{-4}$ 또는 $10^{-5}$ )의 경우, 현재의 벤치마크는 몇 차례의 차수(orders of magnitude)만큼 미치지 못한다. 논문은 실행 가능한 규모( $N_{max} \approx 10^5$ )의 어떤 벤치마크도 이러한 비율에서 위해의 부재를 인증할 수 없음을 발견했다.
분포적 격차: 경험적 분석 결과, 벤치마크 프롬프트는 일반적인 배포 트래픽과 측정 가능한 수준으로 분리되어 있다(거리 지표에서 3.1~3.5배의 초과 발생). 이는 적대적 트래픽과의 거리를 제한하는 것은 아니지만, 벤치마크가 일반적인 사용자 분포를 나타내지 않음을 확인시켜 준다.
클러스터링 효과: 실제 벤치마크는 클러스터링(템플릿에서 유도된 프롬프트) 현상을 보이며, 이는 유효 샘플 크기( $n_{eff}$ )를 감소시키고 인증 가능한 경계를 상향 조정하여, 현재의 세트들이 희귀한 사건에 대한 유용성을 더욱 제한하게 만든다.

의의 및 주장
본 논문은 안전 벤치마크가 정보가 없는 것이 아니라, "구체적이고 계산 가능한 일련의 명제"에 대해 정보를 제공한다고 주장한다. 그 의의는 이 학문의 초점을 벤치마크가 작동하는지 여부에서, 벤치마크가 무엇을 증명할 수 있는지를 정의하는 것으로 전환하는 데 있다.

저자들은 무엇을 증명할 수 있고 없는지에 대한 경계는 전문가의 판단이 아닌 계산의 문제라고 주장한다. 이 경계를 공식화함으로써, 본 논문은 실험실이 평가를 실행하기 전에 자신들의 설계가 특정 인증 주장을 지원하는지 결정할 수 있는 체계를 제안한다. 만약 특정 위해 범주가 계산된 경계 아래에 있다면, 해당 분야는 무결 결과 벤치마크를 통해 이를 인증하려는 시도를 중단하고 대신 비(非) 벤치마크 증거에 의존해야 한다. 논문은 벤치마크가 가치가 없다는 현재의 "과잉 수정"적 주장이 틀렸다고 결론짓는다. 오히려 벤치마크는 명시적으로 밝혀져야 하는 계산 가능한 해상도를 가진 정밀한 도구라는 것이다.

유사한 논문