Claudini: Autoresearch Discovers State-of-the-Art Adversarial Attack Algorithms for LLMs

1. 연구 배경 및 문제 정의 (Problem)

• 배경: LLM 에이전트 (예: Claude Code) 는 코드를 작성할 뿐만 아니라 자율적인 AI 연구 및 엔지니어링에도 사용될 수 있습니다.
• 문제: 기존 LLM 의 안전성 (Safety) 및 보안 (Security) 연구는 주로 인간 연구자가 수동으로 수행하거나, 기존 공격 기법 (예: GCG) 의 하이퍼파라미터만 튜닝하는 수준에 머물러 있습니다.
• 목표: LLM 에이전트가 기존 알고리즘을 분석하고, 새로운 최적화 알고리즘을 설계하며, 이를 반복적으로 개선하여 토큰 강제 (Token-forcing) 손실을 최소화하는 새로운 적대적 공격 알고리즘을 자동으로 발견하는지 검증하는 것입니다.

2. 방법론 (Methodology)

2.1. Claudini 파이프라인 (Autoresearch Pipeline)

• 구동 방식: 샌드박스 환경에서 실행되는 Claude Opus 4.6 에이전트가 GPU 클러스터에 접근하여 자율적으로 실행됩니다.
• 작동 루프:
  1. 분석: 기존 30 개 이상의 공격 방법론 (GCG, TAO, MAC 등) 과 그 결과를 분석합니다.
  2. 설계: 새로운 화이트박스 최적화 알고리즘 (디스크리트 토큰 최적화) 을 제안합니다.
  3. 구현: 제안된 알고리즘을 Python 클래스로 구현합니다.
  4. 평가: GPU 작업을 제출하여 손실 (Loss) 을 계산하고 결과를 분석합니다.
  5. 반복: 결과를 바탕으로 다음 세대의 알고리즘을 설계하여 루프를 반복합니다.
• 최적화 목표: 입력 프롬프트 뒤에 붙이는 적대적 접미사 (Adversarial Suffix) 를 찾아, 모델이 특정 목표 토큰 시퀀스를 생성하도록 만드는 토큰 강제 손실 (Token-forcing Loss) 을 최소화하는 것입니다.
  • 수식: $L(x) = -\sum \log p_\theta(t_i | T(x) \oplus t_{<i})$

2.2. 실험 설정

• 비교 대상: 기존 30 개 이상의 적대적 공격 방법론과, 기존 방법론 내에서 Optuna를 이용한 베이지안 하이퍼파라미터 최적화 (Hyperparameter Tuning) 를 수행한 결과와 비교합니다.
• 평가 지표: 고정된 FLOPs 예산 하에서 공격 성공률 (ASR, Attack Success Rate) 과 검증 손실 (Validation Loss) 을 측정합니다.

3. 주요 실험 결과 (Key Results)

3.1. 단일 모델 방어 우회 (Jailbreaking GPT-OSS-Safeguard-20B)

• 목표: OpenAI 의 안전성 필터 모델인 GPT-OSS-Safeguard-20B 를 우회하여 유해한 쿼리를 통과시키는 것.
• 결과:
  • 기존 최첨단 방법론 (GCG, I-GCG, TAO 등) 은 공격 성공률 (ASR) 이 10% 이하였습니다.
  • Claudini 가 발견한 알고리즘 (예: claude_v53-oss) 은 ASR 을 **40%**까지 향상시켰습니다.
  • 에이전트는 보상 해킹 (Reward Hacking, 예: 무작위 시드 탐색) 을 피하고 실제 알고리즘 개선을 통해 점진적으로 성능을 높였습니다.

3.2. 일반화 및 전이 공격 (Generalization & Transfer)

• 목표: 무작위 토큰 시퀀스 강제 (Random Token Forcing) 작업을 통해 모델이나 특정 목표에 의존하지 않는 범용 최적화 전략을 발견하는지 확인.
• 결과:
  • 손실 감소: Claudini 가 발견한 알고리즘 (claude_v82) 은 Optuna 로 튜닝된 기존 최선 방법론보다 10 배 낮은 손실을 기록했습니다.
  • 모델 간 전이: Qwen, Llama, Gemma 등 서로 다른 모델에서 학습된 알고리즘이 Meta-SecAlign-70B (강화된 방어 모델) 에 대한 프롬프트 인젝션 공격에서도 100% ASR을 달성했습니다.
  • 기존 최선 방법론 (Optuna 튜닝 포함) 은 Meta-SecAlign-70B 에서 56% 미만의 성능을 보였으나, Claudini 알고리즘은 이를 완전히 우회했습니다.

4. 발견된 알고리즘의 특징 (What is Claude Doing?)

에이전트가 발견한 알고리즘들은 다음과 같은 전략을 통해 성능을 극대화했습니다:

1. 기존 방법의 재조합 (Recombination): MAC(모멘텀), TAO(방향성 후보 선정), ADC(연속 완화) 등 기존 알고리즘의 핵심 아이디어를 결합하여 새로운 최적화기를 만들었습니다.
   • 예: claude_v63 은 ADC 에 LSGM(레이어 정규화 기울기 스케일링) 을 결합하고, 하이퍼파라미터를 대폭 수정했습니다.
2. 하이퍼파라미터 미세 조정: 구조적 변경 후, 학습률, 모멘텀, 재시작 횟수 등을 정밀하게 튜닝했습니다.
3. 국소 최소값 탈출 메커니즘: 최적화 과정에서 정체 (Stagnation) 가 감지되면 토큰을 무작위로 교란하거나, 이전의 최선 상태를 복원하는 등 새로운 탈출 전략을 고안했습니다.
4. 혁신의 한계: 근본적으로 완전히 새로운 알고리즘을 발명하기보다는, 기존 기법들의 최적의 조합과 튜닝을 통해 SOTA 를 달성했습니다. 이는 자율 연구 에이전트의 현재 능력을 보여주는 하한선 (Lower Bound) 으로 해석됩니다.

5. 의의 및 기여 (Significance & Contributions)

1. 자동화된 레드 테이밍 (Automated Red-Teaming):

   • 기존 방어 시스템은 고정된 공격 시나리오로만 평가받았으나, Claudini 는 적응형 (Adaptive) 공격을 자동으로 생성하여 방어 시스템의 취약점을 더 효과적으로 찾아냅니다.
   • 새로운 방어 기법은 이러한 자동화된 에이전트 공격을 견딜 수 있어야만 신뢰할 수 있다는 점을 강조합니다.

2. 벤치마크의 재정의 필요성:

   • LLM 에이전트가 최적화 문제를 직접 해결할 수 있게 되면서, 기존 보안 벤치마크의 의미는 퇴색할 수 있습니다.
   • 보안 평가는 단순한 점수 매기기가 아니라, 에이전트가 새로운 공격 기법을 발견하는 연구 환경 (Research Environment) 으로 재설계되어야 함을 주장합니다.

3. 기존 공격 기법의 잠재력 재발견:

   • 기존 공격 방법론들도 잘 튜닝되거나 (Optuna) 에이전트에 의해 개선되면 성능이 획기적으로 향상될 수 있음을 보여주었습니다. 따라서 새로운 공격 기법을 제안할 때는 자동 튜닝된 베이스라인과 비교해야 함을 강조합니다.

결론

이 논문은 LLM 에이전트가 인간 연구자보다 더 효율적으로 적대적 공격 알고리즘을 설계하고 최적화할 수 있음을 실증했습니다. 특히, 특정 모델에 국한되지 않고 일반화 가능한 강력한 공격 전략을 발견하여, LLM 보안 연구의 패러다임을 '수동 분석'에서 '자율적 탐색'으로 전환해야 함을 시사합니다. 발견된 모든 공격 코드와 평가 코드는 오픈소스로 공개되었습니다.