🤖 machine learning

Risk Under Pressure: Compute-Aware Evaluation of Adversarial Robustness in Language Models

이 논문은 고정된 쿼리 예산 대신 누적 FLOPs를 사용하여 적대적 위험을 측정하는 연산량 인지 평가 프레임워크를 제안하며, 이를 통해 정렬 학습과 모델 스케일링이 거대 언어 모델을 탈옥하는 데 필요한 계산 노력에 비단조적이고 범주 의존적인 영향을 미친다는 점을 밝혀낸다.

원저자: Malikeh Ehghaghi, Boglárka Ecsedi, Marsha Chechik, Colin Raffel

게시일 2026-06-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Malikeh Ehghaghi, Boglárka Ecsedi, Marsha Chechik, Colin Raffel

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 단순히 '뚫을 수 있는가'가 아니라, '얼마나 많은 비용이 드는가'의 문제

당신이 고도의 보안을 갖춘 은행 금고를 소유하고 있다고 상상해 보세요. 한 보안 업체가 이를 테스트하러 왔습니다. 그들은 이렇게 보고합니다. "우리는 100%의 확률로 금고를 뚫는 데 성공했습니다."

LLM(대규모 언어 모델)의 세계에서 보통 이야기는 여기서 끝납니다. 연구자들은 "공격자가 성공했으므로 이 모델은 안전하지 않다"라고 말하곤 합니다.

하지만 이 논문은 그것이 마치 "도둑이 결국 들어왔다는 이유만으로 은행이 안전하지 않다고 말하는 것"과 같다고 주장합니다. 그 도둑이 얼마나 힘들게 작업했는지는 묻지 않은 채 말이죠.

시나리오 A: 도둑이 종이 클립 하나로 5초 만에 자물쇠를 따는 경우.
시나리오 B: 도둑이 10일 동안 시간을 쓰고, 레이저 커터를 사용하며, 콘크리트를 뚫기 위해 엔지니어 팀을 고용하는 경우.

두 시나리오 모두 결과적으로 금고는 "뚫린" 상태입니다. 하지만 시나리오 B는 현실 세계에서 일어날 가능성이 훨씬 낮습니다. 너무 비싸고 어렵기 때문입니다.

이 논문은 **"압력 하의 리스크(Risk Under Pressure)"**라는 새로운 방식의 안전성 측정법을 도입합니다. 단순히 AI가 얼마나 자주 실패했는지를 세는 대신, 공격자가 AI로부터 나쁜 말을 끌어내기 위해 **얼ের 만큼의 컴퓨터 자원(노력)**을 들여야 했는지를 측정합니다.

새로운 도구: "컴퓨터의 땀" 측정하기

저자들은 컴퓨터 연산 능력을 하나의 예산처럼 취급하는 프레임워크를 만들었습니다. 그들은 공격자가 쏟아야 하는 "땀"을 FLOPs(부동 소수점 연산 횟수)를 사용하여 측정합니다. 이는 기본적으로 컴퓨터가 얼마나 많은 수학적 계산을 수행했는지를 나타내는 수치입니다.

이들은 이를 시각화하기 위해 두 가지 주요 도구를 사용합니다.

"리스크-컴퓨트 곡선" (언덕): 언덕을 상상해 보세요. 바닥은 "뚫기 쉬움", 꼭대기는 "뚫기 어려움"을 의미합니다.
- 어떤 모델은 작은 언덕과 같습니다. 몇 걸음만 옮겨도 꼭대기(안전성 파괴)에 도상할 수 있습니다.
- 다른 모델은 에베레스트 산과 같습니다. 중간 지점에 가기 위해서도 엄청난 에너지를 써야 합니다.
"가격표" (C@τ): 이것은 "모델을 50% 확률로 뚫는 데 얼마만큼의 컴퓨터 자원이 드는가?"라는 질문에 답합니다.
- 가격표가 낮다면 그 모델은 취약한 것입니다.
- 가격표가 매우 높다면, 설령 이론적으로 뚫릴 수 있다 하데라도 그 모델은 견고한 것입니다.

발견된 사실: 놀라운 결과들

연구진은 다양한 AI 모델과 공격 방법을 테스트했습니다. 그들이 발견한 내용을 일상적인 용어로 번내면 다음과 같습니다.

1. 학습이 항상 더 안전하게 만들지는 않는다 ( "과잉 학습"의 함정)

AI를 더 안전하게 만들기 위해 더 많이 학습시키면 더 안전해질 것이라고 생각할 수 있습니다. 하지만 논문은 이것이 항상 사실은 아니라고 밝혔습니다.

비유: 아이에게 낯선 사람에게 "안 돼요"라고 말하도록 가르치는 상황을 상상해 보세요.
- 1단계 (Base): 아이는 모든 것에 "네"라고 답합니다.
- 2단계 (SFT): 당신은 아이에게 예의 바르게 행동하도록 가르칩니다. 아이는 "안 돼요"라고 말하는 데 매우 능숙해집니다.
- 3단계 (DPO/RL): 당신은 보상을 통해 아이를 더욱 미세 조정(fine-tuning)하려고 합니다. 놀랍게도, 아이는 까다로운 질문에 대해 때때로 "안 돼요"라고 말하는 능력이 오히려 나빠지기도 합니다.
발견: 때때로 모델의 "중간" 버전이 실제로 가장 뚫기 어려웠습니다. 최종적으로 가장 "정렬(aligned)"된 버전들이 오히려 속이기 더 쉬워지거나, 적어도 뚫기 더 어려워지지는 않았습니다.

2. 모델이 커진다고 항상 더 안전한 것은 아니다 ( "큰 표적" 문제)

모델의 크기(파라미터 수)를 키우는 것은 더 큰 성을 쌓는 것과 같습니다.

발견: 만약 공격자가 "스마트한" 방법(완벽한 경로를 계산하는 그래디언트 공격 등)을 사용한다면, 더 큰 성은 뚫기가 훨씬 더 어렵습니다. 이는 1층 집을 뚫는 것과 100층 타워를 뚫는 것의 차이와 같습니다.
함정: 만약 공격자가 "멍청한" 방법(단순히 무작위 템플릿을 시도하거나 나쁜 프롬프트를 복사해서 붙여넣는 방식)을 사용한다면, 성의 크기는 중요하지 않습니다. 그들은 여전히 똑같이 쉽게 침입할 수 있습니다.
시사점: 큰 모델은 "스마트한" 해커들은 막아내지만, "게으른" 해커들은 막지 못합니다.

3. "대리인(Surrogate)" 기술 (열쇠 훔치기)

공격자들은 종서 자신이 해킹하려는 폐쇄형 소스 모델에 접근할 수 없습니다.

비유: 특정 은행을 털고 싶지만, 그 근처에 갈 수 없다고 상상해 보세요. 그래서 당신은 근처에 있는 비슷하게 생긴 다른 은행으로 가서, 그곳의 자물쇠를 따고 두 은행 모두에 통하는 마스터 키를 찾아냅니다.
발견: 연구진은 공격자들이 작고 공개된 무료 AI 모델을 사용하여 자신들의 "자물쇠 따기" 도구를 훈련할 수 있음을 보여주었습니다. 일단 그 트릭을 터득하면, 그들은 똑같은 트릭을 거대하고 비싼 폐쇄형 AI 모델에 사용할 수 있습니다. 이는 공격자의 비용과 노력을 엄청나게 절감해 줍니다.

4. 안전성은 불균형하다 ( "스위스 치즈" 효과)

전반적으로 안전해 보이는 모델이라도 구멍이 있을 수 있습니다.

발견: AI가 "괴롭힘(bullying)"에 대해 말하지 못하게 만드는 데는 많은 노력이 들 수 있지만, "사이버 범죄"나 "불법 약물"에 대해 말하게 만드는 데는 아주 적은 노력만 들 수도 있습니다.
비유: 북쪽 면에는 두꺼운 돌벽(뚫기 어려움)이 있지만, 남쪽 면에는 얇은 나무 문(뚫기 쉬움)이 있는 요새를 상상해 보세요. 벽의 평균 두께만 측정한다면 당신은 요새가 안전하다고 생각할 것입니다. 하지만 영리한 공격자는 그냥 나무 문을 통해 들어올 것입니다.

이것이 왜 중요한가

이 논문은 우리가 단순히 "AI가 뚫렸는가?"를 묻는 것을 멈추고, **"그것을 뚫는 데 비용이 얼마나 들었는가?"**를 묻기 시작해야 한다고 주장합니다.

만약 AI를 속이기 위해 일주일 동안 슈퍼컴퓨터를 돌려야 한다면, 그 AI는 대부분의 사람들에게 실질적으로 안전한 것입니다. 하지만 5초 만에 가능하다면 그것은 재앙입니다. 공격의 "비용"을 측정함으로써, 우리는 AI의 실제 안전성을 훨씬 더 명확하게 파악할 수 있습니다.

요약하자면, 이 논문은 AI의 안전성을 진정으로 이해하기 위해서는 "성공률" 점수판이 아니라 "필요한 노력" 점수판을 보아야 한다고 말합니다.

기술 요약: 압박 속의 위험: 언어 모델의 적대적 강건성에 대한 컴퓨트 인지적 평가 (Risk Under Pressure: Compute-Aware Evaluation of Adversarial Robustness in Language Models)

문제 정의

현재 대규모 언어 모델(LLM)에 대한 적대적 강건성 평가는 주로 고정된 쿼리 예산(query budget) 하에서 측정된 공격 성공률(Attack Success Rate, ASR)에 의존하고 있다. 이러한 접근 방식은 모든 공격 단계가 동일한 비용을 갖는다고 암묵적으로 가정하는데, 이는 서로 다른 공격 전략(예: 그래디언트 기반 최적화 vs. 템플릿 기반 프롬프팅)이 수 차수의 차이가 나는 계산 비용을 발생시킨다는 사실을 간과한다. 결과적으로, 저렴한 템플릿 공격으로 실패하는 데 100회의 쿼리가 필요한 모델은 즉시 실패하는 모델과 동일하게 점수가 매겨지며, 이는 시스템을 돌파하는 데 필요한 진정한 "작업 계수(work factor)" 또는 적대적 노력을 은폐한다. 이러한 한계는 공격의 계산 비용이 그 보상(payoff)을 정당화할 수 있는지 판단하는 것을 방해하며, 동일한 공격자 지출 하에서 모델들을 비교하는 것을 어렵게 만든다.

방법론

저자들은 쿼리 횟수를 대신하여 적대적 노력의 대리 지표로서 누적 부동 소수점 연산(FLOPs)으로 측정되는 **컴퓨트 인지적 평가 프레임워크(compute-aware evaluation framework)**를 제안한다.

핵심 프레임워크

예산 기반 반복 정제(Budgeted Iterative Refinement): 공격은 공격 정책 $\pi$ 가 프롬프트를 제안하고, 대상 모델 $M$ 이 응답을 생성하며, 안전 판별기 $E$ 가 결과를 평가하는 반복 프로세스로 모델링된다. 이 루프는 성공을 찾거나 쿼리 예산 $\lambda$ 가 소진될 때까지 지속된다.
FLOPs 계측: 프레임워크는 다음을 포함한 각 단계의 누적 FLOPs를 계산한다:
- 대상 모델의 순전파(forward pass) 과정 (생성 및 평가).
- 그래디언트 기반 공격(화이트박스)을 위한 역전파(backward pass) 과정.
- 보조 공격자 모델(블랙박스 정제)의 순전파 과정.
- 안전 판별기의 순전파 과정.
- 비용은 하드웨어 불가지론적 비교를 보장하기 위해 표준 트랜스포머 FLOP 근사치( $C_{fwd} \approx 2NL$ )를 사용하여 도출된다.
리스크-컴퓨트 곡선(Risk-Compute Curves): 단일 ASR 지점 대신, 프레임워크는 누적 FLOPs(x축)를 경험적 리스크(y축)에 매핑하는 곡선을 생성한다.
요약 지표:
- C@ $\tau$ ( $\tau$ -리스크에 도달하는 컴퓨트): 공격이 특정 리스크 임계값(예: 50%)에 처음 도달할 때까지 소요된 평균 누적 FLOPs. 값이 높을수록 강건성이 높음을 의미한다.
- 평균 효율성(Average Efficiency, AE): 단위 FLOP당 기대 리스크의 정규화된 값 ( $CAURC / \bar{C}_{max}$ ). 값이 낮을수록 모델을 해킹하기가 단위 컴퓨트당 더 어려움을 의미한다.

실험 설정

이 프레임워크는 다음을 대상으로 적용되었다:

모델: 세 가지 제품군(Tulu3, Qwen2.5, Qwen3) 및 다양한 훈련 단계(Base, SFT, DPO, RLVR, SafeRL)에 걸친 10개의 모델.
공격: 세 가지 distinct 전략:
- JailBroken: 템플릿 기반 (무작위 난독화).
- PAIR: 공격자 LLM을 사용하는 블랙박스 반복 정제.
- GCG: 화이트박스 그래디언트 기반 좌표 그래디언트 최적화.
벤치마크: HarmBench (200개 행동) 및 JailbreakBench (100개 행동).

주요 결과

컴퓨트 인지적 분석은 표준 ASR 지표로는 보이지 않던 패턴들을 드러냈다:

정렬(Alignment)의 비단조적 효과: 정렬 훈련이 강건성을 선형적으로 증가시키지는 않는다. Tulu3 제품군의 경우, 지도 미세 조정(SFT) 단계가 종종 가장 높은 강건성을 보였다 (예: GCG와 PAIR가 예산 내에서 50% 리스크에 도달하지 못함). 이후 DPO 및 RLVR를 통한 정렬은 일부 사례에서 더 높은 ASR에도 불구하고, 특히 템플릿 기반 공격에 대해 강건성을 감소시키는 경우가 있었다.
비대칭적 스케일링 이점: 모델 크기를 키우는 것(예: Qwen2.5 0.5B에서 7B로)은 그래디언트 기반 공격에 대한 컴퓨트 비용을 크게 증가시켰지만(C@0.5에서 20배 증가), 저렴한 템플릿 기반 공격에 대해서는 최소한의 보호 효과만을 제공했다(2.8배 증가). 표준 ASR 지표는 이러한 격차를 가려, 규모 전반에 걸쳐 유사한 성공률을 보여주었다.
대리 모델 공격 전이(Surrogate Attack Transfer): 작은 오픈 웨이트 대리 모델(Qwen2.5-0.5B)에서 최적화된 그래디언트 기반 공격(GCG)은 원래 비용의 극히 일부만으로 더 큰 폐쇄형 웨이트 타겟(Qwen3-8B)으로 성공적으로 전이되었다. 비록 이 전이가 항상 높은 리스크 영역에 도달하는 것은 아니었으나, 공격자가 대리 모델을 통해 비용을 절감할 수 있음을 입증했다.
해악 카테고리 간 이질성: 단일 모델 내에서도, 안전을 침해하는 데 드는 컴퓨트 비용은 서로 다른 해악 카테고리(예: 괴롭힘 vs. 사이버 범죄)에 따라 최대 약 5배까지 차이가 났다. 안전 정렬 RL은 총체적인 비용을 높였지만, 특정 카테고리(예: 사이버 범죄, 불법 활동)를 베이스 모델보다 훨씬 더 쉽게 또는 더 효율적으로 공략 가능하게(높은 AE) 만들었다.
Safety-RL 트레이드오프: Safety-RL가 일반적으로 총체적인 적대적 비용을 높였지만, 특정 취약점을 유발했다. 예를 들어, GCG 하에서 SafeRL 모델은 베이스 모델보다 엄격하게 덜 강건했는데, 이는 RL 훈련 프롬프트의 분포와 그래디언트 최적화로 발견된 토큰 시퀀스 사이에 불일치가 존재함을 시사한다.

의의 및 주장

본 논문은 강건성은 단순히 가능성의 문제가 아니라, 계산 비용의 함수라고 주장한다. "작업 계수"라는 보안 중심적 관점을 채택함으로써 저자들은 다음과 같이 주장한다:

운영적 관련성: 취약점은 현실적인 공격자 예산 내에서 악용 가능할 때만 운영적으로 유의미하다. 계산 비용의 하한선을 높이는 것은 성공률을 낮추는 것만큼 효과적일 수 있다.
정적 지표의 한계: 고정된 쿼리 예산 하의 표준 ASR 점수는 서로 다른 공격 클래스의 가변적인 효율성과 모델 스케일링 및 정렬의 비선형적 효과를 무시함으로써 강건성을 체계적으로 과대평가한다.
통합된 비교: 제안된 프레임워크는 다양한 공격 전략(화이트박스 vs. 블랙박스) 및 모델 구성을 공유된 컴퓨트 축에 따라 정규화함으로써 공정한 비교를 가능하게 한다.
미묘한 안전 평가: 안전 튜닝은 단일한 개선이 아니다. 이는 어떤 카테고리는 침해하기 훨씬 어렵게 만드는 반면, 다른 카데고리는 여전히 취약하거나 더 효율적으로 공격 가능하게 만드는 등 불균등한 보호 지형을 생성한다.

저자들은 비용을 고려한 적대적 평가가 LLM 배포의 실제 위험을 정확하게 측정하는 데 필수적이며, 쿼리 수 기반 지표 하에서 강건해 보이는 모델이 컴퓨트 인지적 압박 하에서는 처참하게 실패할 수 있다고 결론짓는다.