지금의 AI(ChatGPT 같은 모델들)는 아주 강력한 **'성벽(안전 가이드라인)'**을 쌓아두었습니다. 나쁜 질문(예: "폭탄 만드는 법 알려줘")을 하면 AI가 "안 됩니다!"라고 거절하도록 훈련받았죠.
기존의 자동 공격 방식은 마치 **'똑같은 망치를 든 병사'**와 같았습니다.
기존 방식: "성벽의 특정 지점을 계속 때려보자!"라며, 이미 정해진 몇 가지 공격 패턴(망치질)만 반복하며 성벽이 무너지는지 확인합니다. 만약 성벽이 안 무너지면, 망치질의 강도만 조절하거나 조금 다른 모양의 망치를 가져오는 수준이었죠.
🚀 AUTORISE: 스스로 무기를 발명하는 '천재 공학자'
이 논문에서 제안하는 AUTORISE는 단순한 병사가 아니라, **'스스로 무기를 설계하고 발명하는 천재 공학자 AI'**를 투입하는 것입니다.
이 공학자 AI는 단순히 망치를 휘두르는 게 아니라, '공격 전략 코드(프로그램)' 자체를 직접 작성합니다.
가설 세우기: "음, 이 성벽은 정면 공격에는 강하지만, 만약 내가 '비밀 암호'를 써서 질문을 전달하면 통과할 수 있지 않을까?"라고 추측합니다.
무기 제작 (코딩): 실제로 파이썬(Python) 코드를 짜서, 질문을 암호화하거나 아주 긴 이야기를 들려주며 슬쩍 나쁜 질문을 끼워 넣는 **'새로운 공격 기계'**를 만듭니다.
실험 및 피드백: 만든 기계로 성벽을 공격해 봅니다. 공격이 실패하면, "왜 실패했지? 아, 성벽이 암호를 알아챘구나. 그럼 암호를 더 복잡하게 만드는 코드를 짜야겠다!"라며 스스로 반성하고 코드를 수정합니다.
진화: 이 과정을 수백 번 반복하면서, 공격 기술은 점점 더 정교하고 창의적으로 진화합니다.
💡 이 연구가 놀라운 이유 (핵심 포인트)
"상상도 못한 방법"을 찾아냅니다: 기존 방식은 사람이 정해준 틀 안에서만 움직였지만, AUTORISE는 코드를 직접 짜기 때문에 **'암호화 공격'**이나 **'수많은 예시를 나열해 AI를 혼란시키는 공격'**처럼 사람이 미처 생각지 못한 기발한 공격법을 스스로 발명해 냈습니다.
가성비가 엄청납니다: 엄청난 슈퍼컴퓨터를 빌릴 필요 없이, 기존의 AI 서비스(API)를 사용하는 비용만으로도 충분히 강력한 공격 실험을 할 수 있습니다. (약 15만 원 정도면 웬만한 실험이 가능합니다!)
최첨단 AI도 뚫립니다: 가장 똑똑하고 방어가 잘 되어 있다는 최신 AI 모델들(GPT-5급 모델 등)조차, 이 '천재 공학자'가 만든 창의적인 공격에는 속아 넘어가는 경우가 많았습니다.
📝 요약하자면
이 논문은 **"AI를 지키기 위해서는, AI를 공격하는 방식 또한 '단순 반복'에서 '스스로 전략을 짜고 무기를 만드는 지능형 진화' 단계로 넘어가야 한다"**는 것을 증명한 연구입니다.
마치 성벽을 지키는 파수꾼들이, 단순히 벽을 두드리는 도둑이 아니라 스스로 공성 병기를 설계하고 전술을 짜는 천재적인 도둑이 나타날 것에 대비해야 한다는 경고이자 가이드라인인 셈입니다.
[기술 요약] AUTORISE: LLM 레드팀 활동을 위한 에이전트 기반 전략 진화 방법론
1. 문제 정의 (Problem Statement)
현재 대규모 언어 모델(LLM)의 안전성을 검증하기 위한 레드팀(Red-teaming) 활동은 자동화되고 있으나, 기존의 자동화 방식은 다음과 같은 한계가 있습니다.
고정된 전략의 한계: 기존 방식(PAIR, TAP 등)은 연구자가 미리 설계한 고정된 공격 전략(Strategy) 내에서 개별 프롬프트(Prompt)만을 최적화합니다. 즉, 공격의 '방법론' 자체를 스스로 개선하지 못합니다.
탐색 공간의 제약: 프롬프트 수준의 최적화는 텍스트의 미세한 변화에 집중할 뿐, 공격의 구조적 변화(예: 새로운 공격 기법의 발명, 제어 흐름의 변경)를 이끌어내기 어렵습니다.
비용 및 인프라 문제: 모델을 미세 조정(Fine-tuning)하거나 대규모 GPU 연산이 필요한 방식은 접근성이 낮습니다.
2. 방법론 (Methodology)
AUTORISE는 공격의 단위를 '개별 프롬프트'에서 **'실행 가능한 공격 프로그램(Executable Attack Program)'**으로 격상시킨 것이 핵심입니다.
A. 핵심 아키텍처
AI 코딩 에이전트 (Claude Code): 에이전트는 고정된 프롬프트가 아니라, 공격 파이프라인이 정의된 Python 파일(strategy.py)을 직접 수정합니다. 이를 통해 파라미터 조정부터 새로운 공격 함수 작성, 타겟별 라우팅 로직 설계까지 수행합니다.
가설 기반 진화 루프 (Hypothesis-driven Evolution Loop):
에이전트가 이전 사이클의 진단 데이터(Diagnostics)를 분석합니다.
점수 변화의 원인에 대한 가설을 세웁니다.
가설을 검증하기 위해 코드를 수정합니다.
실험 결과가 개선되면 코드를 유지(Commit)하고, 나빠지면 되돌립니다(Revert).
3인 판사 앙상블 (Three-Judge Ensemble): GPT-5.2, Grok-3, DeepSeek-V3.2와 같이 서로 다른 모델 패밀리를 사용하는 3개의 모델이 투표를 통해 탈옥(Jailbreak) 성공 여부를 결정합니다. 이는 특정 모델의 편향을 방지하고 높은 정밀도를 보장합니다.
B. 다목적 보상 함수 (Composite Score)
단순히 공격 성공률(ASR)만 높이는 것이 아니라, 다음 요소들을 결합한 복합 점수를 최적화합니다. S=0.60⋅success+0.10⋅diversity+0.10⋅novelty+0.10⋅category+0.10⋅target 이를 통해 특정 기법에 과적합(Overfitting)되지 않고, 다양한 카테고리와 타겟 모델에 대해 다양하고 새로운 공격을 생성하도록 유도합니다.
3. 주요 기여 (Key Contributions)
탐색 공간의 확장: 공격 전략을 '코드'로 정의함으로써, 기존 방법론이 도달할 수 없었던 **구조적 공격 기법(Structural moves)**을 발견할 수 있게 했습니다.
자율적 연구 루프: 에이전트가 스스로 가설을 세우고 실험하며 연구 노트를 작성하는 '자율 연구(AutoResearch)' 패러다임을 레드팀 활동에 성공적으로 적용했습니다.
새로운 벤치마크 공개: 일반 모델 대상의 AUTORISE-Standard와 최첨단(Frontier) 모델 대상의 AUTORISE-Frontier라는 두 가지 고난도 벤치마크를 구축했습니다.
저비용/고효율: GPU 학습이나 인간의 개입 없이, 오직 API 호출만으로 작동하며 매우 저렴한 비용($116 내외)으로 강력한 공격 성능을 보여주었습니다.
4. 실험 결과 (Results)
A. 탐색 공간 비교 (Ablation Study)
에이전트의 권한에 따라 세 그룹으로 나누어 실험한 결과, 권한이 높을수록 성능이 비약적으로 상승하는 단조 증가(Monotonic ordering) 관계를 확인했습니다.
Parametric (파라미터만 수정): 수치 조정만 가능 → 성능 향상 미미.
Library (템플릿 추가): 새로운 문구 추가 가능 → 성능 향상.
Program-space (코드 전체 수정): 새로운 함수 및 로직 설계 가능 →최고 성능 달성.
B. 벤치마크 성능
표준 모델 대상: 기존 최강 베이스라인 대비 평균 공격 성공률(ASR)을 17.0%p 향상시켰습니다.
최첨단(Frontier) 모델 대상: 기존 벤치마크가 거의 실패하는 강력한 보안 모델(GPT-5.4, o4-mini 등)에 대해서도 최대 16%p의 ASR 향상을 기록했습니다. 특히 에이전트는 **비전형적인 암호화(Bijection cipher)**나 다중 샷 컨텍스트 플러딩(Many-shot context flooding) 같은 혁신적인 기법을 스스로 발명했습니다.
5. 의의 및 결론 (Significance)
방어자에게 주는 시사점: LLM 방어 전략을 세울 때, 단순히 프롬프트 공격을 막는 것을 넘어 **"공격 방법론 자체를 스스로 진화시키는 지능형 에이전트"**를 상정한 적대적 모델링이 필요함을 시사합니다.
레드팀의 미래: 자동화된 레드팀의 다음 단계는 단순한 프롬프트 최적화 도구가 아니라, 스스로 가설을 세우고 코드를 작성하며 연구하는 **'자율적 연구 에이전트'**가 될 것임을 입증했습니다.