Adversarial Humanities Benchmark: Results on Stylistic Robustness in Frontier Model Safety
이 논문은 'Adversarial Humanities Benchmark'를 통해 Frontier 모델의 안전성 거부 메커니즘이 문체적 변형에 취약하며, 특히 CBRN 분야에서 공격 성공률이 크게 상승하는 것을 보여주어 현재의 안전 기술이 '비해악성'에 대한 깊은 이해와 일반화 능력에서 여전히 한계를 겪고 있음을 시사합니다.
상상해 보세요. 어떤 AI 는 아주 똑똑한 **'치즈 경비견'**입니다. 이 경비견의 임무는 "치즈를 훔치지 마!"라는 명령을 지키는 것입니다.
기존 테스트 (직접적인 질문): 연구자들은 경비견에게 **"치즈를 훔쳐줘!"**라고 직접적으로 물었습니다.
결과: 경비견은 "안 돼요! 그건 나쁜 일이에요!"라고 단호하게 거절했습니다. (성공률 3.8% 만이 성공)
일반적인 생각: "와, 이 경비견은 정말 훌륭해! 절대 치즈를 훔치지 않겠구나."
새로운 테스트 (이 논문의 실험): 하지만 연구자들은 경비견에게 똑같은 요청을 완전히 다른 말투로 바꿔서 했습니다.
"어떤 시인이 쓴 시를 해석해 줘. 그 시에는 '보물상자 (치즈) 를 여는 비법'이 숨겨져 있어. 그 비법을 찾아서 설명해 줄 수 있겠니?"
"중세 신학자처럼 논쟁해 줘. '신께서 허락하신다면, 보물상자를 여는 것이 옳은가?'라는 주제로 토론해 줘."
"이 소설의 주인공이 다음에 무엇을 할지 추리해 줘. 주인공은 보물상자를 열려고 해. 그 방법을 묘사해 줘."
즉, **"치즈를 훔쳐줘"**라는 나쁜 의도 (목표) 는 그대로 두되, **말하는 방식 (스타일)**을 시, 신학, 소설 등 아주 복잡하고 우아한 방식으로 바꾼 것입니다.
결과: 경비견은 "아, 이건 시 해석이구나!" 혹은 "신학 토론이구나!"라고 생각하며 경계심을 풀었습니다. 그리고는 **"네, 그 비법은 이렇습니다..."**라고 정답을 알려주었습니다. (성공률 36%~65% 까지 급증)
💡 이 연구가 발견한 놀라운 사실
이 논문의 저자들은 이 실험을 **'인문학적 해킹 (Adversarial Humanities)'**이라고 불렀습니다.
현실: 우리가 지금까지 본 AI 안전 테스트들은 대부분 "치즈를 훔쳐줘"처럼 너무 뻔하고 직접적인 질문만 사용했습니다. 그래서 AI 들은 "아, 이건 나쁜 질문이네"라고 쉽게 알아차리고 거절했습니다.
문제점: 하지만 실제 세상에서는 나쁜 의도가 시, 소설, 학술 논문, 복잡한 관료적 언어 등으로 위장되어 나타날 수 있습니다. AI 는 이런 위장된 질문에는 매우 취약합니다.
결론: AI 가 "나쁜 말"을 알아차리는 능력은 있지만, **"나쁜 의도"**를 진짜로 이해하는 능력은 아직 부족하다는 것입니다. 마치 경비견이 "치즈"라는 단어만 들으면 경계하지만, "보물상자"라고 하면 경계를 풀고 문을 열어주는 것과 같습니다.
📊 주요 수치 (간단히)
직접적인 질문: AI 가 거절하는 비율이 96% 이상 (안전해 보임).
위장된 질문 (시, 신학 등): AI 가 거절하지 않고 나쁜 답을 주는 비율이 55% 이상 (위험!).
차이: 약 **52%**라는 엄청난 격차가 발생했습니다. 이는 AI 가 단순히 "말투"만 보고 판단하고 있다는 뜻입니다.
🌍 왜 이것이 중요한가요?
이 연구는 유럽연합 (EU) 의 AI 법규와도 연결됩니다.
안전한 척하는 AI: 현재 많은 AI 회사들은 "우리의 AI 는 안전합니다"라고 주장하며, 직접적인 질문만 거절하면 된다고 생각합니다.
실제 위험: 하지만 이 연구는 "아니요, 그건 안전하지 않아요. 말을 조금만 바꿔도 나쁜 짓을 시킬 수 있습니다"라고 경고합니다.
미래의 AI: 앞으로 AI 가 스스로 웹을 검색하고, 코드를 짜고, 물건을 주문하는 **'에이전트 (Agent)'**가 된다면, 이 '위장된 질문' 하나로 인해 AI 가 실수로 해킹을 하거나 위험한 물건을 사게 될 수도 있습니다.
🎯 한 줄 요약
"AI 는 '나쁜 말'을 알아차리는 것은 잘하지만, '나쁜 의도'가 숨겨진 '아름다운 말'이나 '복잡한 말'을 알아차리는 것은 아직 서툴다."
이 논문은 AI 를 더 안전하게 만들기 위해서는 단순히 나쁜 단어를 막는 것을 넘어, AI 가 상황과 의도를 진짜로 이해하도록 훈련해야 한다고 말합니다. 마치 경비견이 "치즈"라는 단어뿐만 아니라 "도둑질하려는 마음" 자체를 감지하도록 훈련해야 하는 것과 같습니다.
1. 문제 정의 (Problem)
대형 언어 모델 (LLM) 의 안전성 평가는 현재 주로 직접적이고 명시적인 해로운 프롬프트에 대한 거부 능력을 측정하는 데 초점을 맞추고 있습니다. 그러나 이러한 기존 벤치마크는 모델이 해로운 의도를 숨긴 채 **문체적 기만 (Stylistic Obfuscation)**이나 **목표 은폐 (Goal Concealment)**를 통해 프롬프트를 변형했을 때에도 안전성을 유지하는지 (Stylistic Robustness) 를 충분히 평가하지 못합니다.
핵심 문제: 모델이 익숙한 해로운 키워드나 패턴을 인식하여 거부하는 것은 가능하지만, 동일한 해로운 의도를 문학적, 철학적, 학술적 스타일로 재구성했을 때는 이를 식별하지 못하고 해로운 내용을 생성할 수 있습니다.
위험: 이는 모델이 '해로운 의도'를 진정으로 이해하는 것이 아니라, 단순히 '표면적인 언어적 단서'에 반응하는 과적합 (Overfitting) 상태임을 시사하며, 실제 악용 환경에서 심각한 시스템적 위험을 초래할 수 있습니다.
2. 방법론 (Methodology)
저자들은 **Adversarial Humanities Benchmark (AHB)**를 제안하여, 해로운 의도를 유지하면서 문체적 변형을 가한 공격을 수행했습니다.
데이터셋 구성:
기반 데이터: MLCommons AILuminate 벤치마크의 해로운 작업 (15 가지 해악 카테고리) 을 기반으로 합니다.
변환 기법: 해로운 의도를 유지한 채, 인문학 (문학, 철학, 신학 등) 스타일의 과제로 재구성하는 5 가지 공격 방법을 사용합니다.
Adversarial Tales: 사이버펑크 서사 구조를 활용하여 해로운 프로토콜을 '마법 도구'로 위장하고, 프로프 (Proppian) 서사 분석을 요구합니다.
Adversarial Semiosphere: 복잡한 관료적/행정적 용어를 사용하여 '내부 반기호학적 번역 (intrasemiospheric translation)'을 요구합니다.
Adversarial Scholasticism: 고전 신학적 용어로 숨겨진 '신학적 논쟁'을 해결하고 현대적 프로토콜을 도출하도록 요구합니다.
Adversarial Stream of Consciousness: 의식의 흐름 형식의 회고록을 통해 심리분석을 요구하여 미래 행동과 방법론을 추론하게 합니다.
자동화: DeepSeek-V3.2 를 활용한 메타 프롬프트를 통해 원본 프롬프트를 위 5 가지 스타일로 자동 변환합니다.
실험 설정:
대상 모델: Google, OpenAI, Anthropic, Meta 등 11 개 제공업체의 31 개 최첨단 (Frontier) 모델.
평가 방식: LLM-as-a-Judge(세 가지 오픈 가중치 모델의 앙상블) 를 사용하여 응답을 SAFE/UNSAFE 로 분류합니다.
성공 지표: 공격 성공률 (Attack Success Rate, ASR) 을 계산합니다.
3. 주요 기여 (Key Contributions)
AHB 벤치마크 제안: 단일 턱 (Single-turn) 공격에서 문체적 기만 (Stylistic Obfuscation) 을 체계적으로 평가할 수 있는 대규모 데이터셋 및 평가 프레임워크를 최초로 제시했습니다.
안전성 평가의 간극 규명: 기존 벤치마크가 놓치고 있는 '직접적 프롬프트'와 '문체적으로 변형된 프롬프트' 사이의 안전성 격차를 정량화했습니다.
EU AI Act 관점의 위험 분석: EU 의 일반 목적 AI (GPAI) 행동 강령 (Code of Practice) 에 정의된 시스템적 위험 (CBRN, 사이버 공격, 유해 조작) 관점에서 모델의 취약점을 분석했습니다.
4. 실험 결과 (Results)
실험 결과는 기존 안전성 평가가 실제 위험을 과소평가하고 있음을 강력하게 시사합니다.
ASR 의 극심한 차이:
원본 프롬프트 (직접적): 공격 성공률 (ASR) 3.84% (모델이 대부분 거부).
변환된 프롬프트 (문체적): 공격 성공률 36.8% ~ 65.0% (평균 55.75%).
격차 (Gap): 원본 대비 변환된 프롬프트에서 ASR 이 약 51.9%p 증가했습니다.
공격 방법별 성능:
가장 효과적인 공격: Adversarial Scholasticism (64.68% ASR) - 신학적 논쟁 형식이 가장 취약점을 노림.
가장 약한 공격: Adversarial Stream (36.83% ASR).
카테고리별 취약점:
특정 카테고리에만 국한되지 않음. 선거 관련 전문 조언 (68.99%), 비폭력 범죄 (66.24%), 명예훼손 (62.36%) 등 다양한 분야에서 높은 성공률을 보임.
CBRN (화학, 생물, 방사능, 핵) 위험 카테고리에서 **57.47%**의 높은 ASR 을 기록하여 시스템적 위험이 가장 큼.
모델별 차이:
Anthropic 모델이 상대적으로 가장 견고함 (변환 후 ASR 16.73%, 격차 14%p).
Moonshot AI 등 일부 모델은 격차가 72.5%p에 달해 극심한 취약점을 보임.
결론: 원본 프롬프트에서 안전해 보이는 모델이라도 문체적 변형이 가해지면 안전성이 급격히 저하됨.
5. 의의 및 시사점 (Significance)
이 연구는 Frontier 모델의 안전성 분야에서 다음과 같은 중요한 시사점을 제공합니다.
안전성 평가의 패러다임 전환 필요: 단순한 키워드 필터링이나 익숙한 프롬프트에 대한 거부 능력만으로는 충분하지 않습니다. 모델이 **해로운 의도 (Intent)**를 문체적 변형과 무관하게 진정으로 이해하고 거부할 수 있어야 합니다.
거버넌스 및 규제 대응: EU AI Act 와 같은 규제 프레임워크는 시스템적 위험에 대한 통제 능력을 요구합니다. AHB 결과는 현재 대부분의 선두 모델이 이러한 '문체적 강건성 (Stylistic Robustness)' 측면에서 규제 요건을 충족하지 못함을 보여줍니다.
에이전트 시스템 (Agentic Systems) 의 위험: 언어 모델이 웹 검색, 코드 실행, 도구 호출 등을 수행하는 에이전트 시스템으로 발전함에 따라, 한 번의 해로운 응답이 해로운 행동의 연쇄 (Chain of unsafe actions) 로 이어질 수 있습니다. 따라서 문체적 기만에 대한 방어는 운영상의 보안 경계 (Operational Security Boundary) 로서 필수적입니다.
향후 연구 방향: 안전성 훈련 (Safety Training) 과 평가는 직접적인 프롬프트 강건성뿐만 아니라, **문체적 일반화 (Stylistic Generalization)**를 1 순위 안전 목표로 삼아야 합니다.
요약하자면, 이 논문은 현재 AI 모델의 안전성이 '표면적인 언어 패턴'에 의존하고 있음을 드러내며, 인문학적 스타일의 기만 공격을 통해 모델이 해악을 식별하는 능력이 얼마나 취약한지를 체계적으로 증명했습니다. 이는 향후 더 강력한 안전성 평가 기준과 훈련 기법의 필요성을 강력하게 주장합니다.