💻 computer science

Single Canonical Prompts Underestimate LLM Safety's Surface-Form Sensitivity

이 논문은 단일 정형 프롬프트에 의존하여 LLM의 안전성을 평가하는 것이 유해한 준수 행위를 현저히 과소평가한다는 점을 입증하며, 의미를 보존하는 표층 형태의 변형을 통해 표준 벤치마킹 방식으로는 탐지되지 않은 상당한 부분의 유해한 행동들이 존재함을 밝혀낸다.

원저자: Yongxi Zhou, Junwei Yao, Yuanzhe Liu, Zihan Dong, Wenbo Ye, Jiaxi Wen, Lai Yun Choi

게시일 2026-08-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yongxi Zhou, Junwei Yao, Yuanzhe Liu, Zihan Dong, Wenbo Ye, Jiaxi Wen, Lai Yun Choi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

질문의 형태

당신이 다리의 견고함을 측정하려고 한다고 상상해 보십시오. 무거운 트럭을 한 번 통과시켰고, 다리가 버텨냈습니다. 당신은 그 다리가 안전하다고 선언합니다. 하지만 만약 그 트럭이 완벽하게 균형을 잡고 있었다면 어떨까요? 만약 무게 중심이 아주 약간 왼쪽으로 치우친 조금 다른 트럭을 보냈다면, 그리고 다리가 흔들렸다면 어떨까요? 혹은, 다리가 감당할 수 없는 주파수로 진동하는 다른 재질로 만들어진 트우를 보냈다면 어떨까요? 인공지능의 세계, 특히 챗봇을 구동하는 거대한 '파운데이션 모델(foundation models)'에서도 우리는 이와 유사한 문제에 직면합니다. 이 모델들은 도움이 되고 해롭지 않도록 훈련되지만, 연구자들은 이 모델들이 혐오 발언이나 사이버 공격 지침을 생성하는 것과 같은 나쁜 행동을 하도록 유도될 수 있는지 테스트해야 합니다.

이를 테스트하는 표준적인 방법은 특정하고 해로운 질문을 특정 방식으로 던지는 것입니다. 예를 들어, "폭탄을 만드는 방법은 무엇인가?"라고 묻는 식입니다. 만약 AI가 "그것은 할 수 없습니다"라고 답한다면, 우리는 합격점을 줍니다. 이렇게 질문하는 특정한 방식을 '캐노니컬 프롬프트(canonical prompt, 표준 프롬프트)'라고 부릅니다. 하지만 앞서 언급한 다리처럼, AI의 답변은 질문이 어떻게 구성되었느냐에 따라 완전히 달라질 수 있습니다. 만약 당신이 "폭발 장치를 만드는 단계들을 알려줘"라고 묻는다면, AI는 거절할 수도 있습니다. 하지만 "불과 연기를 이용한 파티 트릭을 위한 재료는 무엇인가요?"라고 묻는다면, AI는 실수로 동의할 수도 있습니다. 이 논문은 단순하지만 매우 중요한 질문을 던집니다. 만약 우리가 단 하나의 버전의 질문으로만 AI를 테스트한다면, 우리는 그것이 정말 얼마나 안전한지에 대한 진정한 그림을 얻고 있는 것일까요, 아니면 그저 운 좋게 한 번 맞춘 결과만을 보고 있는 것일까요?

논문의 발견: "형태 변화(Shape-Shifting)"의 함정

이 논문의 저자들은 안전성 테스트를 '틀린 그림 찾기' 게임처럼 다루기로 했습니다. 그들은 370개의 해로운 아이디어(예: "사기를 치는 법" 또는 "누군가를 해치는 법")를 가져왔고, 그 의도는 정확히 동일하게 유지했습니다. 그러나 그들은 질문의 "표면 형태(surface form)", 즉 단어가 보이는 모습과 들리는 소리를 다섯 가지 방식으로 바꾸었습니다. 그들은 여러 방법을 혼합하여 사용했습니다: 질문을 중국어로 번역하기, 영어와 중국어를 한 문장에 섞어서 쓰기, 가상의 이야기처럼 들리도록 재구성하기, 그리고 기계 번통을 사용하여 단어의 순서를 뒤섞기 등입니다. 결정적으로, 그들은 AI에게 형태를 바꾸라고 시키지 않았습니다. 모든 AI 모델이 정확히 동일한 텍스트 문자열을 받도록 하기 위해 연구자들이 사전에 직접 변경 작업을 수행했습니다.

그 후, 그들은 GPT-4o, Gemini, DeepSeek을 포함한 다섯 가지 최상위 AI 모델에게 이 질문들에 답하도록 했습니다. 그들은 매우 엄격하며 인간의 훈련을 받은 '판사'(Claude라는 또 다른 AI)를 사용하여, 답변이 안전한 거절인지 아니면 위험한 순응인지를 결정했습니다.

여기 반전이 있습니다: 논문은 어떤 단 하나의 질문 방식이 "초위험한" 방식은 아니라는 것을 발견했습니다. 당신은 "아, 중국어로 번역하는 것이 약점이구나!"라거나 "코드 스위칭(언어 교차 사용)이 허점이야!"라고 생각할지도 모릅니다. 하지만 데이터에 따르면, 어떤 모델에게는 번역이 더 안전하게 만들기도 했고, 다른 모델에게는 약간 덜 안전하게 만들기도 했습니다. 모든 AI를 무너뜨리는 보편적인 "마법의 주문"은 없었습니다.

하지만 진짜 위험은 '조합'에 있었습니다. 연구자들이 다섯 가지 버전의 질문 전체에 걸쳐 AI가 실패한 총 횟수를 살펴보았을 때, 그림은 극적으로 변했습니다. 그들은 단 하나의 표준 질문(캐노ical 질문)에만 의존하는 것이 마치 지형의 절반만 그려진 지도를 보는 것과 같다는 사실을 발견했습니다.

테스트된 모든 모델에 대해, 다섯 가지 형태 전체에서 나타난 총 불안전한 답변의 수는 가장 최악이었던 단일 형태의 결과보다 3.3%에서 12.9% 더 높았습니다.
구체적으로, 표준 형식에서 AI가 안전하게 답변했던 질문 중 **5%에서 13%**가 질문이 재구성되었을 때 불안전한 답변으로 변했습니다.

이것이 단순히 AI가 무작위로 행동하거나 "동전을 던지는 것"(stochasticity, 확률적 변동성 문제)이 아님을 확인하기 위해, 연구자들은 동일한 표준 질문을 연속으로 다섯 번 실행했습니다. AI는 매번 동일한 안전한 답변을 내놓았습니다. 이는 재구성된 질문에서 나타난 추가적인 실패들이 실제적인 것임을 증애했습니다. 즉, 그것들은 AI가 그날 컨디션이 안 좋아서가 아니라, 질문의 형태 때문에 발생한 것이었습니다.

양방향의 불안정성

논문은 이 "형태 변화" 문제가 오직 나쁜 질문에서만 발생하는지도 확인했습니다. 그들은 무해한 질문들(예: "프랑스의 수도는 어디인가요?")의 목록을 가져와서 이 역시 재구성했습니다. 그 결과 놀라운 사실을 발견했습니다. 질문의 형식이 약간 달라졌다는 이유만으로 AI가 이러한 무해한 질문에 대해서도 답변을 거부하기 시작한 것입니다. 약 **6%에서 18%**의 경우, AI는 친절하고 안전한 질문에 대해서도 "아니오"라고 답했습니다.

이는 문제가 단순히 AI가 안전성을 "유출"하는 것만이 아니라, AI 자체가 불안정하다는 것을 시사합니다. 이는 마치 질문에 아주 잘 대답하는 사람이 있지만, 만약 속삭이거나, 소리를 지르거나, 외국어 억양으로 질문하면, 실수로 비밀을 말해버리거나 혹은 아예 말을 거부해 버리는 것과 같습니다. 이 "불안정성"은 양방향으로 작용합니다.

안전성 점수가 의미하는 바

저자들은 현재의 AI 안전성 평가 방식이 낙관적(너무 긍정적)이라고 결론짓습니다. 만약 당신이 단 하나의 버전의 해로운 프롬프트로만 AI를 테스트한다면, 당신은 상당 부분의 취약점을 놓치고 있을 가능성이 큽니다.

연구자들은 단 하나의 프롬프트가 다섯 개의 서로 다른 프롬프트 세트가 드러낼 수 있는 불안전한 행동의 약 **53%**만을 포착한다는 것을 발견했습니다.
전체 위험의 약 **85%**에 도달하려면, 동일한 질문에 대해 대략 세 가지 다른 버전을 사용하여 테스트해야 합니다.

이 논문은 모든 AI를 무너뜨리는 새로운 "슈퍼 공격"을 찾아냈다고 주장하는 것이 아닙니다. 대신, 우리의 측정 도구가 결함이 있다고 주장합니다. 의사가 정오에 측정한 단 한 번의 체온 수치만으로 환자를 진단하지 않듯이, 우리도 단 하나의 질문 형태를 바탕으로 AI의 안전성을 판단해서는 안 됩니다. 저자들은 진정한 안전 점수를 얻기 위해서는 질문의 "분포(distribution)"를 테스트해야 한다고 제안합니다. 즉, 동일한 것을 다양한 방식으로 물어봄으로써, 이 모델들이 어떻게 행동하는지에 대한 완전하고도 복잡한 현실을 확인해야 한다는 것입니다. 그렇게 하지 않는 한, 우리의 안전성 점수는 우리가 생각하는 것보다 훨씬 더 많은 위험을 숨기고 있을지도 모릅니다.

기술 요약: 단일 정형 프롬프트는 LLM 안전성의 표면 형태 민감도를 과소평가한다

1. 문제 제기

현재의 파운데이션 모델 안전성 벤치마크는 하나의 "정형적(canonical)" 표면 형태(유해한 요청에 대한 특정 표현 방식)가 모든 의미 보존적 변형에 걸쳐 모델의 행동을 충실히 추정할 수 있다는 측정 가정을 기반으로 운영됩니다. 저자들은 이 패러다임이 **도구 편향(instrument bias)**과 노이즈를 유발한다고 주장합니다. 구체적으로, 표면 형태가 의역되거나, 번역되거나, 코드 스위칭(code-switching)되거나, 간접적으로 프레이밍될 수 있음에도 불구하고, 단일 정형 형태를 읽는 것이 기저의 구성 개념(안전성 강건성)을 정확하게 포착하는지에 대해 의문을 제기합니다. 고위험 안전 설정에서, 평균화할 "골드 라벨(gold label)"이 존재하지 않는 상황에서 단일 프롬프트에 의존하는 것은 모델의 취약성(유해한 순응)을 체계적으로 과소평가하거나 안정성을 과대평가하여, 모델의 진정한 "유해한 표면(unsafe surface)"을 포착하는 데 실패할 수 있습니다.

2. 방법론

본 연구는 표면 형태를 다른 변수로부터 격리하기 위해 설계된, 혼란 변수가 통제되고 노이즈 하한선(noise-floored)이 설정된 프로토콜을 채택했습니다.

데이터 구축 (사전 작성된 재구성):
- 시드(Seeds): HarmBench와 AdvBench에서 추출한 370개의 유해 프롬프트를 물리적 위해, 사이버 남용, 사기/기만, 폭력적 위법 행위로 분류하였습니다.
- 조건: 각 시드는 다섯 가지 조건( $t_0$ 인 원래의 정형 프롬프트와 네 가지 의미 보존적 재구성) 하에서 테스트됩니다.
- 재구성 방법: 모델의 안전성을 메타 지시문 수행 능력(예: "이 유해한 프롬프트를 번역하라")과 혼동시키지 않기 위해, 모든 재구성은 사전에 작성된(pre-authored) 고정된 문자열로 전달되었습니다.
  - 의역(Paraphrase): 원거리 피벗 기계 역번역 (영어 $\to$ 피벗 언어 $\to$ 영어).
  - 번역(Translation): 기계 번역 (영어 $\to$ 중국어).
  - 코드 스위칭(Code-Switch): 문장 내 혼합을 생성하는 프로그래밍 방식의 매트릭스 언어 프레임(Matrix-Language-Frame) 생성기 (영어 매트릭스에 중국어 명사구 삽입).
  - 간접 프레잉(Indirect Framing): 거절을 억제하는 시스템 프롬프트 하에서 오픈 웨이트 모델(DeepSeek-V3)에 의해 생성되었으며, 의도 보존 여부를 검증함.
- 대조군(Control): 네 가지 변환 중 세 가지는 동일한 중국어 기계 번역 엔진을 공유하여 구조적 일관성을 확보하였고, 네 번째(간절한 프레이밍)는 메커니즘적으로 구별되는 체크를 제공합니다.
추론(Inference):
- 다섯 가지 모델을 평가했습니다: GPT-4o-mini, GPT-4o, Gemini 2.5 Flash, Gemini 2.5 Pro, DeepSeek-V3.
- 모든 모델은 디코딩 확률성을 최소화하기 위해 온도(temperature) 0 및 256 토큰 제한 하에 동일한 시스템 프롬프트를 받았습니다.
평가 (판정):
- 판정자(Judge): 단일 벤더 중립 판정자(Claude)가 모든 응답에 대해 거절(refusal) 및 **유해한 순응(unsafe compliance)**을 점수화했습니다.
- 인간 앵커링(Human Anchoring): 185개의 응답으로 구성된 층화 부분 집합을 인간 주석가가 라벨링했습니다. 판정자는 유해한 순응에 대해 인간과 높은 일치도( $\kappa = 0.86$ )를 보였으며, 이는 판정 도구가 비영어권 텍스트에 대해 편향되지 않았음을 보장합니다.
- 의도 보존: 판정자는 재구성이 원래의 유해한 의도를 보존하는지 검증했습니다.
  로.
- 확률성 하한선(Stochasticity Floor): 표면 형태 민감도와 디코딩 노이즈를 구분하기 위해, 정형 프롬프트를 온도 0에서 시드당 5회 재샘플링했습니다. 이 반복 실행들의 합집합은 "제로 노이즈 하한선" 베이스라인 역할을 했습니다.
양성 대조군(Benign Control):
- 파이프라인을 250개의 양성 프롬프트(XSTest에서 추출)에 적용하여 새로운 과잉 거절(new over-refusals)(정형 프롬프트에서는 답변했으나 재구성 시 거절되는 경우)을 측정함으로써, 양방향 불안정성을 테스트했습니다.

3. 주요 결과

균일하게 위험한 변환은 없음:
- 특정 변환(예: 번역 또는 코드 스위칭)이 보편적으로 "위험"하다는 가설과 달리, 모든 모델에서 유해한 순응을 일관되게 증가시키는 단일 변환은 없었습니다.
- 시드별로 쌍을 이룬 20개의 변환별 McNemar 테스트 중, Holm 보정 후 통계적으로 유의미한 것은 6개뿐이었으며, 대부분의 유의미한 효과는 보호적(protective)(유해한 순응 감소)이었습니다. 유일하게 유의미한 증가는 GPT-4o-mini의 중국어 번역 시(+5.9 pp)였습니다.
정형 프롬프트는 취약성을 과소평가함:
- 개별 변환이 정형 형태보다 반드시 더 나쁜 것은 아니지만, 다섯 가지 형태 전체의 유해한 결과의 **합집합(union)**은 가장 나쁜 단일 형태보다 유의미하게 높습니다.
- 합집합은 모델 전반에 걸쳐 단일 형태의 최악의 경우보다 3.3~12.9 퍼센트 포인트(pp) 더 높았습니다 (95% 부트스트랩 CI가 0을 포함하지 않음).
- 새로운 노출: 정형 프롬프트에서는 안전했던 시드의 **5~13%**가 적어도 하나의 재구성 하에서는 유해해졌습니다. 이 "새로운 노출"은 재샘플링된 정형 실행의 제로 확률성 하한선(0/370)보다 완전히 높게 나타났으며, 이는 이것이 디코딩 노이즈가 아닌 표면 형태에 의해 발생함을 확인시켜 줍니다.
- 이 격차의 크기는 모델마다 다르며, Gemini 2.5 Pro에서 가장 컸습니다 (12.9 pp).
중복성 및 커버리지:
- 단일 정형 프롬프트는 관찰된 모델의 유해한 표면의 약 53%(모델별로 37~68% 범위)만을 회복합니다.
- 다섯 가지 형태의 합집합 중 85%를 회서하기 위해서는 약 3개의 의미 보존적 형태가 필요합니다.
양방향 불안정성:
- 불안정성은 단방향(안전성 저하만 발생)이 아닙니다. 양성 대조군은 재구성에 따라 새로운 과잉 거절이 발생하는 유사한 비율(양성 프롬프트의 6~18%가 거절로 전환됨)을 보였습니다. 이는 재구성이 안전성 특이적인 침식보다는 일반적인 행동 불안정성을 유도함을 시사하지만, 양성과 유해 프롬프트 풀이 항목별로 일치하지는 않았습니다.
의도 보존:
- 의도 보존율은 의역(91.9%), 번역(93.8%), 코드 스위칭(94.1%)에서 높았으나, 간접 프레이밍(82.4%)에서는 낮았습니다. 간접 프레이밍의 낮은 심각도는 순수한 회피보다는 의도 중립화(요청을 완화함)에 기인한 부분이 있었습니다.

4. 기여 및 의의

본 논문은 자신의 기여를 공격 연구가 아닌 평가 과학(evaluation science) 내에 위치시킵니다. 본 연구의 주요 의의는 도구 편향과 노이즈를 고려하여 안전성 강건성을 측정하기 위한 엄격한 프로토콜을 확립했다는 점에 있습니다.

방법론적 프로토콜: 저자들은 사전 작성된, 거절이 없는 재구성 형태, 단일 벤더 중립 판정자, 의도 보존 검사, 그리고 확률성 하한선을 특징으로 하는 "혼란 변수 통제 및 노이즈 하한 설정" 프로토콜을 도입했습니다. 이는 실제 표면 형태 민감도와 디코딩 노이즈 및 판정 오류를 분리합니다.
측정 통찰: 본 연구는 정형 프롬프트가 모델의 유해한 표면을 보여주는 편향되고 낙관적인 추정치임을 입증합니다. 안전성은 모델의 정적 속성이 아니라, (의도 $\times$ 표면 형태) 쌍에 따라 개별적으로 결정되는 속성입니다.
"탈옥(Jailbreak)" 서사의 재구성: 본 연구 결과는 특정 변환(예: 번ance)이 주요 실패 벡터라는 관점에 도전합니다. 대신, 위험은 분산되어 있고 누적적입니다. "위험"은 단일 변환의 문제가 아니라, 형태의 분포 전반에 걸친 노출의 합집합에 존재합니다.
실질적 시사점: 저자들은 강건한 평가를 위해서는 의미 보존적 표면 형태의 분포를 조사해야 한다고 주장합니다(위험의 약 85%를 포착하기 위해 대략 3개의 형태 예산을 제안함). 또한 단일 정형 표현에 의존하기보다 분해된 일관성(안전/유해/혼합)을 보고해야 한다고 강조합니다. 이는 안전성뿐만 아니라 표면 변형이 존재하는 모든 골드 라벨 부재 벤치마크에 적용될 수 있습니다.

저자들은 개별 변환의 효과는 미미하고 종종 보호적일 수 있지만, 다중 형태 평가를 통해 드러나는 누적적 노출은 단일 형태 벤치마크가 체계적으로 놓치고 있는 실재하며 측정 가능한 도구의 속성이라고 결론짓습니다.