Systematic Scaling Analysis of Jailbreak Attacks in Large Language Models

이 논문은 다양한 공격 방법과 모델에 걸쳐 FLOPs(연산량) 를 기준으로 한 체계적인 스케일링 분석을 통해, 최적화 기반 공격보다 프롬프트 기반 공격이 더 높은 계산 효율성과 은폐성을 가지며, 특히 허위정보 관련 해악이 다른 유형의 해악보다 더 쉽게 유발됨을 규명했습니다.

핵심

이 논문은 **"거대 인공지능 (LLM) 을 어떻게 하면 더 쉽게, 더 빠르게, 그리고 더 효과적으로 속일 수 있는가?"**에 대한 체계적인 연구를 다룹니다.

여기서 '속이다'는 것은 AI 가 안전 장치를 무시하고 해로운 명령을 수행하게 만드는 '재일브레이크 (Jailbreak)' 공격을 의미합니다. 연구진은 이 공격들이 얼마나 많은 '컴퓨터 힘 (연산 능력)'을 들였을 때 성공하는지, 그리고 어떤 방법이 가장 효율적인지 분석했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드리겠습니다.

---

1. 핵심 비유: "AI 금고 뚫기 대회"

이 연구를 **'AI 금고 뚫기 대회'**라고 상상해 보세요.

• 목표: AI 라는 강력한 금고의 문을 열어 해로운 명령을 수행하게 만드는 것.
• 참가자: 금고 문을 여는 다양한 방법들 (공격법).
• 비용: 문을 여는 데 들어가는 '에너지 (전력/컴퓨터 힘)'.

과거에는 "어떤 방법이 가장 잘 뚫었나?"만 봤다면, 이 연구는 **"얼마나 많은 에너지를 썼을 때 성공했나?"**를 그래프로 그려서 비교했습니다. 마치 "100 칼로리를 먹으면 배가 부르지만, 500 칼로리를 먹으면 배가 터질까?"를 분석하는 것과 비슷합니다.

2. 주요 발견 3 가지

① "에너지"를 늘리면 성공률도 오르지만, 결국 한계가 온다 (포화 현상)

모든 공격 방법들은 초기에는 에너지를 조금만 써도 성공률이 급격히 올라갑니다. 하지만 어느 정도 지점 이후로는 에너지를 아무리 많이 써도 성공률이 거의 오르지 않는 **'포화 상태'**에 빠집니다.

• 비유: 처음에는 물통에 물을 조금만 부어도 물이 차오르지만, 물통이 거의 다 차면 물을 쏟아부어도 물이 넘치지 않는 것과 같습니다. 연구진은 이 곡선을 수학적으로 분석하여 "이 정도 에너지면 충분하다"는 기준을 세웠습니다.

② "똑똑한 대화" vs "무작위 시전" (가장 큰 차이)

네 가지 주요 공격 방법을 비교했을 때, 놀라운 결과가 나왔습니다.

• GCG (기존 방법): AI 의 내부 코드를 수학적으로 분석해 문장을 조금씩 고치는 방법입니다. 마치 자물쇠를 열기 위해 열쇠 구멍을 미세하게 다듬는 것처럼 정교하지만, 에너지를 많이 써도 효과가 느리게 나타납니다.
• PAIR (새로운 방법): AI 에게 "이렇게 말해봐"라고 자연스럽게 대화하듯 지시하는 방법입니다. 마치 자물쇠를 열기 위해 경비원 (AI) 과 친하게 지내서 문을 열어달라고 부탁하는 것 같습니다.
• 결과: PAIR(대화형) 이 GCG(수학적) 보다 훨씬 적은 에너지로 훨씬 더 높은 성공률을 거뒀습니다. 즉, "무식하게 힘으로 부수는 것보다, 영리하게 대화하는 것이 훨씬 효율적"이라는 결론입니다.

③ "위험한 말"과 "속임수"의 차이 (목표에 따른 난이도)

공격하려는 목표에 따라 난이도가 다릅니다.

• 가장 쉬운 목표: 허위 정보 (Misinformation). 예를 들어 "사기성 뉴스"를 만들어달라고 하는 것은 AI 가 쉽게 넘어갑니다.
• 가장 어려운 목표: 실제 해악 (Harmful Instructions). 예를 들어 "폭탄 만드는 법"이나 "해킹 코드"를 요구하는 것은 AI 의 안전 장치가 더 단단하게 작동합니다.
• 비유: AI 는 "거짓말을 해줘"라는 요청에는 쉽게 넘어가지만, "누군가를 해치는 방법을 알려줘"라는 요청에는 훨씬 더 경계심을 가집니다.

3. 숨겨진 특징: "은밀함"과 "성공"의 관계

공격이 성공했더라도, AI 가 "이게 공격이야!"라고 눈치채면 소용없습니다. 그래서 **'은밀함 (Stealthiness)'**도 중요합니다.

• **PAIR(대화형)**는 자연스러운 문장을 만들어내므로 성공률도 높고, AI 가 눈치채기에도 매우 어렵습니다. (고성능 스포츠카처럼 빠르고 조용함)
• **GCG(수학적)**는 문장이 어색하고 기계적으로 변형되는 경우가 많아, 성공은 할지라도 AI 가 "이상하다"고 느낄 확률이 높습니다. (소음 나는 오토바이처럼 성공은 하지만 눈에 띔)

4. 이 연구가 왜 중요한가?

이 연구는 단순히 "어떤 해킹이 잘 되나?"를 넘어, **"AI 의 안전 장치가 얼마나 튼튼한지, 그리고 해커들이 얼마나 적은 비용으로 AI 를 무너뜨릴 수 있는지"**를 예측할 수 있는 지도를 제공했습니다.

• 안전 설계자 (AI 개발자) 에게: "아, 대화형 공격 (PAIR) 이 가장 위험하니까 이 부분을 더 강화해야겠다"라고 방어 전략을 세울 수 있습니다.
• 일반인 에게: AI 가 아무리 똑똑해져도, 적절한 질문 (공격) 을 하면 여전히 속을 수 있다는 사실을 경고하며, AI 의 한계를 이해하는 데 도움을 줍니다.

요약

이 논문은 **"AI 를 속이는 것은 무작정 힘 (컴퓨터 자원) 을 쓰는 것보다, 영리하게 대화하는 것이 훨씬 쉽고 효율적이며, 특히 거짓말을 요구할 때 가장 취약하다"**는 사실을 체계적인 데이터로 증명했습니다. 마치 AI 라는 성을 뚫을 때, 거대한 망치 (과도한 계산) 보다 지혜로운 대화 (적절한 프롬프트) 가 더 효과적이라는 교훈을 줍니다.

기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 여전히 재일브레이크 (jailbreak) 공격에 취약합니다. 재일브레이크는 안전 장치를 우회하여 해롭거나 금지된 행동을 유도하는 프롬프트를 생성하는 공격입니다. 기존 연구들은 방어 메커니즘의 발전에 집중해 왔으나, 공격자의 노력 (컴퓨팅 비용) 이 증가함에 따라 공격 성공률이 어떻게 변화하는지에 대한 체계적인 이해가 부족했습니다.

기존의 '스케일링 법칙 (Scaling Laws)' 연구는 모델의 성능이 데이터, 연산량 (Compute), 파라미터 수와 어떻게 상관관계를 가지는지 분석하는 데 초점을 맞췄지만, 적대적 공격 (Adversarial Attacks) 의 성공률이 유사한 규칙성을 따르는지, 혹은 서로 다른 공격 패러다임 (예: 최적화 기반 vs 프롬프트 기반) 간에 비교 가능한 스케일링 행동이 존재하는지는 명확하지 않았습니다. 또한, 공격의 '은폐성 (Stealthiness)'과 성공률 간의 관계나 모델 가족 (Family), 목표 유형 (Harm Type) 에 따른 차이도 체계적으로 분석되지 않았습니다.

2. 방법론 (Methodology)

저자들은 재일브레이크 공격을 컴퓨팅에 제한된 최적화 절차 (compute-bounded optimization procedure) 로 간주하고, 이를 공통의 FLOPs (부동소수점 연산 횟수) 축에서 측정하는 새로운 스케일링 프레임워크를 제안했습니다.

• 실험 설정:

  • 공격 대상: Llama-3.1-8B, Qwen3 (1.7B, 4B, 8B), Gemma-3 등 다양한 모델 패밀리와 크기.
  • 공격 기법 (4 가지 대표 패러다임):
    1. GCG: 그래디언트 기반 이산 프롬프트 최적화 (White-box).
    2. PAIR: 모델이 생성한 제안과 피드백을 기반으로 한 반복적 프롬프트 재작성 (Black-box).
    3. BoN (Best-of-N): 다수의 후보를 샘플링하여 가장 좋은 것을 선택하는 방식.
    4. AutoDAN: 유전 알고리즘을 활용한 자동화된 적대적 프롬프트 생성 및 정제.
  • 데이터셋: 200 개의 해로운 목표 (Goals) 를 포함하는 통합 평가 세트 (AdvBench, HarmBench, ClearHarm 혼합).
  • 평가 지표:
    • 성공률: GPT-5 기반 저지 (Judge) 가 매긴 'Red-Team Score'(안전 위반 정도 및 의도 반영도).
    • 연산량: 공격 실행 중 소비된 총 FLOPs (Victim 모델의 전향/역방향 통과 및 Attacker 모델의 추론 포함).
    • 은폐성: GPT-2 기반 퍼플렉시티 (Perplexity) 를 사용하여 프롬프트의 자연스러움 측정.

• 스케일링 분석:

  • 공격 성공률 (ASR) 대 FLOPs 관계를 포화 지수 함수 (Saturating Exponential Function) 로 피팅하여 분석했습니다.
  • $ASR(B) = a + b(1 - e^{-cB})$ 형태를 사용하여 초기 성능 ($a$), 최대 한계 ($a+b$), 접근 속도 ($c$) 를 정량화했습니다.

3. 주요 기여 (Key Contributions)

1. FLOPs 정규화 스케일링 곡선: 다양한 재일브레이크 공격을 공통의 연산량 축 위에 배치하고, 성공률과 FLOPs 의 관계를 포화 지수 함수로 요약하는 체계를 정립했습니다.
2. 공격 효율성 비교 분석: 피팅된 파라미터를 기반으로 어떤 공격이 최소 연산량으로 높은 성공률을 달성하는지 비교했습니다. 특히, 프롬프트 기반 방법이 최적화 기반 방법보다 훨씬 효율적임을 밝혔습니다.
3. 성공 - 은폐성 (Success-Stealthiness) 운영점 분석: 각 공격 기법이 성공률과 은폐성이라는 두 차원에서 서로 다른 운영점 (Operating Point) 을 차지함을 발견했습니다.
4. 메커니즘적 분석: 프롬프트 기반 업데이트를 최적화 관점에서 해석하여, PAIR 이 GCG 보다 프롬프트 공간 (Prompt Space) 에서 더 효과적으로 최적화 방향을 찾음을 증명했습니다.
5. 목표 유형별 이질성 분석: 해악의 유형 (Misinformation, Offensive 등) 에 따라 기본 난이도와 연산량에 대한 한계 수익 (Marginal Returns) 이 크게 다름을 규명했습니다.

4. 주요 결과 (Results)

A. 스케일링 행동 및 효율성

• 포화 현상: 모든 공격 기법에서 연산량이 증가함에 따라 성공률이 빠르게 상승하다가 포화되는 (Saturation) 패턴을 보였습니다.
• 효율성 격차: PAIR(프롬프트 기반 재작성) 가 GCG(최적화 기반) 보다 연산 효율성이 월등히 높았습니다.
  • PAIR 은 더 낮은 FLOPs 에서 더 높은 점 asymptote(최대 한계) 에 도달했습니다.
  • GCG 는 같은 FLOPs 예산 하에서 더 느리게 성장하고 더 낮은 성공률 한계를 가졌습니다.
• 원인 분석: PAIR 의 우월성은 단순히 목표 함수의 차이 때문이 아니라, 프롬프트 공간에서의 최적화 방향을 더 효과적으로 탐색하기 때문입니다. 동일한 상태 (Same-state) 에서 비교 시, GCG 의 그래디언트 업데이트는 방향성이 약하거나 잘못된 경우가 많았으나, PAIR 은 일관되게 유망한 업데이트 방향을 찾았습니다.

B. 성공률 vs 은폐성 (Stealthiness)

• 각 공격 기법은 성공률 - 은폐성 평면에서 서로 다른 영역을 차지했습니다.
  • PAIR: 높은 성공률과 높은 은폐성 (자연스러운 텍스트) 을 동시에 달성하는 우측 상단 영역에 위치했습니다.
  • GCG: 기본 프롬프트 템플릿을 사용하지 않은 경우 매우 낮은 은폐성을 보였으며, 템플릿을 사용하더라도 PAIR 에 비해 효율성이 낮았습니다.
  • BoN: 높은 성공률을 보였으나 은폐성은 상대적으로 낮았습니다.

C. 모델 및 목표 유형별 차이

• 모델 패밀리: 모델 패밀리 (Family) 에 따라 초기 성능과 최대 한계가 크게 달라졌습니다. (예: Gemma-3 는 높은 초기 성능, Llama-3.2 는 낮은 초기 성능). 모델 크기 (Size) 는 주로 포화 도달 속도에 영향을 주었으나, 동일 패밀리 내에서는 최대 한계는 비슷했습니다.
• 목표 유형 (Goal Categories): 가짜 뉴스/오정보 (Misinformation) 관련 목표가 다른 해악 유형 (물리적 해악, 악성 코드 생성 등) 보다 재일브레이크가 훨씬 쉬웠습니다. 이는 안전 훈련이 명시적인 해악 지시보다는 미묘한 허위 정보 생성에 덜 강력하게 적용되었음을 시사합니다.

5. 의의 및 결론 (Significance)

이 연구는 재일브레이크 위험을 단일 예산의 성공률 (ASR) 스냅샷으로만 평가하는 기존 관행의 한계를 지적합니다.

• 실용적 시사점: 방어 메커니즘을 설계할 때, 특정 공격 기법 (예: PAIR) 이 다른 기법보다 훨씬 효율적이라는 점을 고려해야 합니다. 또한, 'Misinformation'과 같은 특정 유형의 해악이 상대적으로 취약하므로 이에 대한 방어 우선순위를 재조정해야 합니다.
• 이론적 기여: 공격을 연산량 관점에서 체계적으로 분석하는 프레임워크를 제시함으로써, 향후 적대적 공격의 예측 가능성과 모델의 취약점 한계를 이해하는 새로운 기준을 마련했습니다.
• 향후 방향: 연산량 축을 넘어 모델 패밀리, 언어, 목표 유형 등을 고려한 계층적 스케일링 모델 개발과 은폐성, 유용성 손실 등 다목적 최적화 관점의 연구가 필요함을 제안합니다.

요약하자면, 본 논문은 재일브레이크 공격이 무작위적인 실패가 아니라 예측 가능한 스케일링 법칙을 따르며, 프롬프트 기반 공격이 최적화 기반 공격보다 훨씬 효율적이고 은폐성도 더 높음을 체계적인 데이터로 증명했습니다.