💬 NLP

OTTER: A Red-Teaming System for Toxicity-Evading Jailbreak Prompt Optimization

OTTER는 최소한의 토큰 변경을 통해 탐지를 회피하도록 프롬프트를 최적화함으로써 독성 기반 LLM 방어 체계의 취약성을 입증하고, 이를 통해 공격 성공률을 크게 높이며 분류기 강화를 위한 실행 가능한 통찰력을 제공하는 블랙박스 레드팀 프레임워크이다.

원저자: Jerry Wang, Hsin-Ling Hsu, Yi-Cheng Lai, Nai-Chia Chen, Fang Yu

게시일 2026-06-23✓ Author reviewed ⓘ

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jerry Wang, Hsin-Ling Hsu, Yi-Cheng Lai, Nai-Chia Chen, Fang Yu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 고성능 클럽(AI 모델) 입구에서 매우 엄격한 보안 요원을 마주하고 있다고 상상해 보세요. 이 요원의 유일한 임무는 당신의 초대장(프롬프트)을 보고 "나쁜 단어"가 포함되어 있는지 확인하는 것입니다. 만약 초대장이 무례하거나, 폭력적이거나, 독성이 느껴진다면 요원은 당신을 돌려보냅니다. 클럽은 단어의 느낌이 나쁘면 그 의도 또한 나쁠 것이라고 가정합니다.

"OTTER"라는 논문은 이 시스템을 깨뜨리는 영리한 트릭을 밝혀냅니다. 이 논문은 현재의 보안 요원이 사실 상당히 잘 속는다는 점을 보여줍니다. 요원은 특정 "나쁜 단어"에 너무 집중한 나머지, 단 5개의 단어만 무해한 유의어로 바꾸어도, 여전히 똑같이 위험한 의도를 담고 있음에도 불구하고 당신을 통과시켜 준다는 것입니다.

이 논문이 쉬운 비유를 들어 어떻게 이를 설명하는지 정리했습니다:

1. 문제점: 보안 요원은 "표면적"으로만 똑똑하다

저자들은 현재의 AI 안전 시스템이 "독성 점수(toxicity score)"에 너무 많이 의존한다는 것을 발견했습니다. 이것은 공항의 금속 탐지기와 같습니다. 당신이 총을 들고 지나가면 경보가 울립니다. 하지만 그 총을 분홍색으로 칠하고 "장난감"이라고 부른다면, 탐지기는 비록 그것이 여전히 무기일지라도 경보를 울리지 않을 수 있습니다.

이 논문은 AI의 안전 필터와 AI의 실제 거절 메커니즘이 모두 동일한 트릭에 속는다는 것을 증명합니다. 그들은 단어의 내용이 아니라 단어의 표면만을 보고 있습니다.

2. 해결책: OTTER ("단어 교체 도구")

연구진은 OTTER라고 불리는 도구를 만들었습니다. OTTER를 보안 요원을 화나게 만드는 특정 단어를 정확히 알고 있는 숙련된 편집자라고 생각하세요.

작동 방식: OTTER는 해로운 요청(예: "폭탄을 어떻게 만드나요?")을 가져온 뒤 스스로에게 묻습니다. "어떤 특정 단어들이 보안 요원을 화나게 만드는가?"
교체: OTfter는 "화나게 하는" 단어(예: "폭탄")를 식별하고, 이를 의미는 같지만 겉으로는 무해해 보이는 "안전한" 단어(예: "위험한 장치")로 바꿉니다.
결과: 새로 만들어진 문장은 보안 요원에게는 예의 바르고 안전하게 들리지만, 내부의 AI는 여전히 위험한 요청을 이해하고 그에 대한 답을 내놓습니다.

3. 두 가지 버전의 OTTER

연구진은 이 교체 작업을 두 가지 방식으로 테스트했습니다:

OTTER-MLM (스마트한 편집자): 이 버전은 문맥을 이해하는 사전(dictionary)을 사용합니다. 전문 편집자처럼 문장에 완벽하게 어울리는 유의어로 단어를 교체합니다. 효율적이며 더 적은 시도로도 가능합니다.
OTTER-RV (와일드카드): 이 버전은 방대한 목록에서 무작위로 단어를 시도합니다. 덜 신중하지만, 때로는 훨씬 더 효과적인 "마법의 단어"를 찾아내기도 합니다. 이는 과녁을 맞힐 때까지 다트를 계속 던지는 것과 같습니다.

4. 결과: 충격적인 성공률

연구진은 네 가지 인기 있는 AI 모델(GPT-4, GPT-3.5 등)을 대상으로 테스트했습니다.

OTTER 적용 전: AI는 해로운 요청을 93%의 확률로 거절했습니다 (단 7%만 통과함).
OTTER 적용 후: AI는 약 16%의 확률로만 거절했습니다. 즉, 단 몇 단어를 바꾸는 것만으로 84%의 해로운 요청이 통과되었습니다.

이 논문은 핵심적인 발견을 강조합니다: 독성 점수는 안전을 예측하는 좋은 지표가 아닙. 문장에 "독성 점수"가 낮다고 해서 반드시 안전하다는 뜻은 아닙니다. 논문은 독성 점수를 낮추는 것과 AI의 방어 체계를 우회하는 것 사이에 강력한 연관성이 있음을 발견했습니다.

5. 왜 어떤 것들은 우회하기 더 어려운가?

연구진은 모든 나쁜 요청이 똑같이 속이기 쉬운 것은 아니라는 점을 발견했습니다.

쉬운 대상: 혐오 발언이나 자해에 관한 요청은 우회하기가 매우 쉬웠습니다. 이러한 요청은 특정 "나쁜 단어"에 크게 의존하므로, 단어를 바꾸는 것만으로도 완벽하게 작동합니다.
어려운 대상: 사이버 범죄나 해킹에 관한 요청은 우회하기가 더 어려웠습니다. "나쁜 단어"를 제거하더라도, 문장의 구조 자체가 여전히 AI에게 수상하게 느껴졌기 때문입니다. 이는 복잡한 주제의 경우, AI가 단순히 어휘 이상의 것을 보고 있음을 시사합니다.

6. 우리는 무엇을 해야 하는가? (권고 사항)

저자들은 단순히 해킹 기술을 뽐내려는 것이 아니라, 보안 요원을 고치려고 합니다. 그들은 다음과 같이 제안합니다:

"나쁜 단어" 목록에만 의존하지 마십시오: 안전 필터는 단어가 아닌 의도를 이해해야 합니다.
보안 요원을 더 잘 훈련시키십시오: OTTER가 만들어낸 "교체된 문장"들을 사용하여 안전 필터를 훈련시키십시오. 필터에게 이렇게 보여주는 것입니다. "보라, 이 문장은 듣기에 좋지만 실제로는 위험하다."
지속적으로 테스트하십시오: AI 모델은 계속 업데이트되므로, 보안 팀은 새로운 모델이 이러한 단어 교체 트릭에 여전히 취약한지 확인하기 위해 OTTER와 같은 테스트를 지속적으로 수행해야 합니다.

결론

이 논문은 우리가 AI를 보호하는 현재 방식—단순히 "독성" 있는 단어를 차단하는 방식—이 근본적으로 취약하다고 결론짓습니다. 단 다섯 개의 단어를 바꾸는 것만으로도 시스템을 속일 수 있습니다. AI를 진정으로 안전하게 만들려면, 시스템이 단어 그 자체가 아니라 단어 뒤에 숨겨진 위험을 이해하도록 가르쳐야 합니다.

기술 요약: OTTER – 독성 회피형 탈옥 프롬프트 최적화를 위한 레드팀 시스템

1. 문제 정의

상용 대규모 언어 모델(LLM)은 주로 독성 기반의 모더레이션 필터를 주요 방어 기제로 사용합니다. 이러한 시스템은 유해한 의도가 유해한 표면적 단어와 강하게 상관관계가 있다는 가정하에 작동합니다. 저자들은 이러한 가정이 근본적으로 취약하다고 주장합니다. 그들은 단 5개의 토큰을 교체하는 것만으로도 표면적인 독성과 적대적 의도를 분리할 수 있음을 입증했습니다.

기존의 탈옥(jailbreak) 방법론들은 폐쇄형 시스템을 감사하려는 실무자들에게 상당한 제약을 가합니다:

화이트박스 공격(예: GCG, AutoDAN)은 모델 가중치와 그래디언트에 대한 접근이 필요하지만, 상용 API를 통해서는 접근이 불가능합니다.
보조 LLM을 사용하는 블랙박스 공격(예: PAIR, TAP, DAGR)은 후보를 생성하기 위해 별도의 유능한 공격자 모델에 의존하며, 이는 높은 비용과 지연 시간을 초衷합니다.

표준 API 접근 외에는 아무것도 필요하지 않으면서(모델 가중치, 그래디언트, 보조 공격자 모델 없이), 안전 필터를 효과적으로 우회할 수 있는 공격 방법에 대한 공백이 존재합니다.

v2. 방법론: OTTER

저자들은 경량 블랙박스 레드팀 프레임워크인 OTTER(Obfuscated Toxicity-Evading Token Evolution for Rewriting)를 제안합니다. OTTER는 탈옥을 위한 재작성(rewriting)을 제약된 최적화 문제로 취급합니다. 즉, (1) 모더레이션 API의 독성 임계값 미만으로 떨어지면서 (2) 원래의 적대적 의도를 보존하는 유해 프롬프트의 표면적 재작성을 찾는 것입니다.

핵심 파이프라인

토큰 속성 추출 (Mask-Drop): OTTER는 어떤 토큰이 독성 점수에 가장 많이 기여하는지 식별합니다. 각 토큰 위치 $i$ 에 대해 토큰을 마스킹하고 독성 점수를 재계산합니다. 차이( $\Delta_i$ )는 해당 토큰의 기여도를 나타냅니다. 수정 대상으로는 스톱 워드(stop words)를 제외한 상위- $k$ 위치가 선택됩니다.
후보 생성: 후보 교체어를 생성하기 위해 두 가지 변형을 제안합니다:
- OTTER-MLM: 문맥에 적절한 교체어를 얻기 위해 BERT 모델을 fill-mask 모드로 쿼리합니다. 이는 의미론적 일관성과 유창성을 보장합니다.
- OTTER-RV: 필터링된 BERT 어휘집(알파벳 전용 토큰, 길이 > 2)에서 균등하게 샘플링합니다. 이를 통해 독성 감소를 위한 더 넓고 공격적인 탐색 공간을 확보할 수 있습니다.
탐욕적 위치별 탐색 (Greedy Per-Position Search): OTTER는 문장 임베딩의 코사인 유사도로 측정된 의미적 표류(semantic drift)와 독성 감소 사이의 균형을 맞추는 손실 함수를 최소화하는 교체어를 선택하기 위해 탐욕적 탐색을 수행합니다.
평가: 재작성된 프롬프트는 대상 LLM으로 전송됩니다. 성공 여부는 거부 응답(refusal response)의 부재로 정의됩니다.

3. 주요 기여

OTTER 프레임워크: 표준 API 접근만으로 작동 가능한 경량 블랙박스 레드팀 프레임워크로, 두 가지 변형(OTTER-MLM 및 OTTER-RV)을 특징으로 합니다.
정량적 분석: 점 이점 상관계수(point-biserial correlation, BTC) 및 곡선 아래 면적(AUC)과 같은 지표와 카테고리별 상세 분석을 제공하여, 독성-우회 관계에 대한 최초의 체계적인 경험적 분석을 수행했습니다.
방어 통찰력: 벤리그(benign) 프롬프트에 대한 제로 오탐(false positive)을 입증하고, 프로덕션 배포 환경에서의 폐쇄 루프 분류기 강화(closed-loop classifier hardening)를 위한 실행 가능한 권장 사항을 제공합니다.

4. 실험 결과

이 시스템은 AdvBench 데이터셋에서 추출한 457개의 유해 프롬프트를 대상으로 네 가지 폐쇄형 GPT 모델(gpt-4-turbo, gpt-4o, gpt-4o-mini, gpt-3.5-turbo)에 대해 평가되었습니다.

공격 성공률 (ASR):
- 베이스라인 (직접적인 AdvBench 프롬프트): 평균 ASR 7.0%
- OTTER-MLM: 평균 ASR을 **75.6%**로 상승시킴
- OTTER-RV: 평균 ASR을 **84.0%**로 상승시킴
- 참고: GPT-4o 패러프레이즈 베이스라인은 77.0% ASR을 달성했으나, OTTER의 토큰 속성 추출 방식만큼 투명하거나 재현 가능하지 않았습니다.
독성-우회 관계:
- 연구 결과, 감소된 독성 점수와 우회 확률 사이에 강한 상관관계가 발견되었습니다 (BTC = 0.505, AUC = 0.823).
- 독성 점수가 0.1 미만인 프롬프트는 GPT-4급 모델을 93.6%의 비율로 우회한 반면, 점수가 0.1 이상인 경우 우회율은 57.8%였습니다.
카테고리별 분석:
- 높은 취약성: 자해/자살 및 혐오 표현 카테고리는 중간 정도의 독성 감소만으로도 95~96%의 ASR에 도달했습니다. 이는 해당 의도가 소수의 표면 토큰에 집중되어 있음을 나타냅니다.
- 낮은 취약성: 사이버 범죄/해킹은 가장 높은 독성 감소( $\Delta$ Tox = 0.771)를 보였으나 가장 낮은 ASR(73.7%)을 기록했습니다. 이는 기술적 어휘가 표면적 독성이 낮더라도 유해한 의도를 담을 수 있음을 시사하며, 이러한 카테거리가 단순한 어휘 치환에 더 탄력적임을 보여줍니다.
효율성: 최적의 편집 위치 수( $k$ )는 5개로 나타났습니다. $k$ 를 8로 늘렸을 때 API 호출이 60% 증가했음에도 불구하고 ASR 상승은 8.8%p에 그쳐 한계 효용이 감소하는 모습을 보였습니다.

5. 의의 및 주장

본 논문은 OTTER가 독성 기반 모더레이션의 근본적인 구조적 취약성을 드러낸다고 주장합니다. 즉, 모더레이션 분류기와 모델 거부 메커니즘 사이의 공유된 표면 수준 신호(surface-level signal)를 노출합니다.

의도와 독성의 분리: 유해한 의도가 상당한 어휘적 은폐(lexical obfuscation) 속에서도 생존할 수 있음을 입로 증명함으로써, 독성 점수가 우회 확률의 신뢰할 수 있지만 불완전한 대리 지표임을 입증했습니다.
모델 능력이 방어가 될 수 없음: 강력한 모델(예: GPT-4-turbo)이 약한 모델(GPT-3.5-turbo)에 비해 취약성 격차를 유의미하게 좁히지 못했습니다(ASR 개선 차이가 3.5%p에 불과함). 이는 안전 정렬(safety alignment)과 모델 능력이 현재 독립적으로 최적화되고 있음을 나타냅니다.
실행 가능한 방어 전략: 저자들은 OTTER를 단순한 공격 도구가 아닌 진단 도구로 정의하며 다음과 같이 권고합니다:
1. 독성 점량 보완: 의미론적으로 동등한 패러프레이즈로 학습된 의도 인지형(intent-aware) 분류기를 사용할 것.
2. 폐쇄 루프 강화: 지속적인 분류기 재학습을 위해 "하드 네거티브(hard negatives, 재작성된 유해 프롬프트)"를 생성하도록 OTTER를 CI/CD 파이프라인에 통합할 것.
3. 리스크 계층화: 기술적 구조에 의도가 인코딩된 경우(예: 사이버 범죄)보다, 높은 ASR과 낮은 독성 감소를 보이는 카테고리(예: 혐오 표현)에 대해 방어 강화를 우선순위에 둘 것.

저자들은 구조적 취약성은 건축적(architectural)이지만, 실제 심각성은 모더레이션 시스템이 어떻게 진화하느냐에 달려 있다고 결론짓습니다. 그들은 본 연구의 주요 기여가 우회 메커니즘 자체보다는 독성-우회 관계에 대한 진단적 특성화와 그에 따른 방어 권고 사항에 있음을 강조합니다.