기술 요약: 진화하는 기술 구조화 공격 기억이 LLM 재일브레이킹을 향상시킴

문제 정의

대규모 언어 모델 (LLM) 은 유해한 요청을 거부하도록 정렬되어 있지만, 금지된 콘텐츠를 유도하는 재일브레이킹 공격에는 여전히 취약합니다. 자동화된 블랙박스 재일브레이킹 생성은 안전성 평가에 중요하지만, 기존 방법들은 효율성과 효과성 측면에서 중대한 한계에 직면해 있습니다. 현재 접근 방식은 일반적으로 두 가지 범주로 나뉩니다:

1. 샘플 단위 휴리스틱 탐색: TAP 와 같은 방법은 단일 공격 궤적에 대한 즉각적인 피드백을 기반으로 프롬프트를 정제합니다. 그러나 이러한 경험은 국소적이고 일시적이며, 학습된 교훈은 특정 샘플 궤적과 얽혀 있어 전술의 중복적 재발견과 다른 목표 간 약한 전이성을 초래합니다.
2. 누적 경험 재사용: GAP 및 AutoDAN-Turbo 와 같은 방법은 샘플 간 성공 사례, 변이 시드, 또는 전략 풀을 재사용합니다. 그러나 이러한 풀들은 종종 체계적인 조직이 부족합니다. 체계적인 관리가 없으면 중복되거나 취약하거나 낡은 패턴이 신뢰할 수 있는 전략을 압도하여, 유용한 전술을 운 좋은 성공과 구별하거나 변경된 조건 하에서 관련성이 되는 전략을 재활성화하기 어렵게 만듭니다.

핵심 과제는 블랙박스 환경 (모델 출력만 관찰 가능) 에서 재사용 가능하고 진화 가능하며 통계적으로 추적 가능한 지식을 지원하는 공격 경험의 단순한 누적을 넘어 체계적인 조직과 관리로 나아가는 것입니다.

방법론: MemoAttack

저자들은 공격 경험을 "기술 구조화 기억 (skill-structured memory)"으로 변환하는 메모리 기반 블랙박스 재일브레이킹 프레임워크인 MemoAttack을 제안합니다. 이 프레임워크는 트리 수준 가지 선택과 메모리 수준 기술 선택을 교대로 수행하는 런타임 루프를 통해 작동합니다. 이는 세 가지 핵심 설계에 기반합니다:

1. 기술 구조화 기억 모델링

MemoAttack 은 성공적인 재작성을 고립된 프롬프트나 궤적으로 취급하는 대신, 공격 패턴을 재사용 가능한 기술 구조화 기억 단위로 추상화합니다. 각 단위는 다음을 포함하는 이름이 붙은 추상화입니다:

• 식별 및 안내: 메커니즘을 설명하는 이름, 템플릿, 그리고 근거.
• 검색 필드: 매칭을 위한 의미 임베딩 및 검색된 예시.
• 증거 및 선택 필드: 부분적 진행 상황과 최종 성공을 추적하는 선택 사후 확률 및 직접 증거 통계.
• 출처 및 수명 주기 필드: 단위의 기원과 현재 상태를 추적하는 메타데이터.

중요하게도, 공격자 모델은 이러한 단위들의 "투영된 뷰 (projected view)" (이름, 근거, 템플릿, 예시) 만을 받으며, 사후 확률 매개변수와 수명 주기 상태는 컨트롤러에게만 비공개로 유지됩니다. 이러한 분리는 공격자가 내부 회계 변수와 얽히지 않으면서도 시스템이 통계적 책임성을 추적할 수 있게 합니다.

2. 수명 주기 기반 기억 진화

누적 기반 방법에서 발견되는 기억 풀의 단조로운 성장을 방지하기 위해, MemoAttack 은 기억을 통제된 수명 주기 시스템으로 취급합니다. 단위는 누적된 증거에 따라 네 가지 상태를 거쳐 전이됩니다:

• 후보 (Candidate): 새로 고안되거나 변이된 단위는 시험 기간에 들어갑니다. 직접 증거나 최근 진행 상황을 통해 활성 상태로 승격해야 하며, 약한 후보는 조기에 거부됩니다.
• 활성 (Active): 주요 재사용 풀입니다. 단위는 충분한 검증 후 이곳으로 이동합니다.
• 은퇴 (Retired): 유용성이 감소하거나 증거가 낡은 단위는 이곳으로 이동합니다. 이들은 가끔 프로브로만 샘플링됩니다. 긍정적 증거는 이를 재활성화할 수 있으며, 반복된 부진한 성과는 이를 제거 상태로 이동시킵니다.
• 제거 (Eliminated): 선택에 더 이상 참여하지 않는 단위입니다.

이 수명 주기는 약하거나 낡은 단위를 제거 (제거 또는 물리적 퇴출) 하면서 새로운 증거 하에서의 회복 기회를 보존하여 기억 풀이 유계적이고 적응적이도록 합니다.

3. 탐색 - 활용 균형 기억 선택

MemoAttack 은 신뢰할 수 있는 재사용과 불확실성 기반 탐색 사이의 균형을 맞추기 위해 **맥락적 톰슨 샘플링 (Contextual Thompson Sampling)**을 사용하여 기억 단위를 선택합니다. 선택 유틸리티는 다음을 결합합니다:

• 이중 사후 유틸리티: 각 단위에 대해 두 개의 베타 분포가 유지됩니다. 하나는 부분적 진행을 위해, 다른 하나는 최종 성공을 위해입니다. 이는 거부를 우회하는 단위와 유해한 준수를 유도하는 단위를 구별합니다.
• 맥락 보너스: 의미 매칭, 점수 차이, 최근 진행/성공, 반복 패널티, 그리고 시험 기간 상태를 포함한 특징들의 가중 합.

컨트롤러는 $U(m | x_u) = UTS(m) + B(x_u, m) - \lambda_{ret}I_{ret}(m)$에 따라 단위를 순위 매겨, 공격자의 프롬프트 정제를 안내하기 위해 상위 $k$개의 단위를 선택합니다.

주요 기여

이 논문은 세 가지 주요 기여를 주장합니다:

1. 기술 구조화 기억 모델링: 템플릿, 근거, 그리고 수명 주기 상태를 가진 구조화된 기술 단위로 공격 지식을 표현하여 개별 공격 행위를 처리 가능하고 통계적으로 추적 가능하게 만듭니다.
2. 수명 주기 기반 기억 진화: 단조로운 기억 성장을 방지하고 유용한 전략의 재활성을 가능하게 하는 상태 전이 시스템 (후보, 활성, 은퇴, 제거) 을 구현합니다.
3. 탐색 - 활용 균형 기억 선택: 사후 증거와 맥락적 톰슨 샘플링을 활용하여 불확실성 인식 재사용을 가능하게 합니다. 여기서 신뢰할 수 있는 단위는 활용되고, 덜 탐색된 단위는 통제된 노출을 받습니다.

실험 결과

저자들은 통합된 블랙박스 설정 하에서 세 가지 목표 모델 (kimi-k2.5, minimax-M2.5, qwen3.5-397B-A17B) 에 대해 최첨단 베이스라인 (TAP, GAP, AutoDAN-Turbo) 과 비교하여 AdvBench에서 MemoAttack 을 평가했습니다.

• 공격 성공률 (ASR): MemoAttack 은 평균 ASR 98.00% (147/150 목표) 를 달성하여 가장 강력한 베이스라인 (GAP, 81.33%) 보다 16.67 퍼센트 포인트 더 높은 성능을 보였습니다.
• 쿼리 효율성: MemoAttack 은 가장 강력한 베이스라인 대비 성공적인 실행에 필요한 평균 요청 수를 45.9% (13.66 에서 7.39 로) 줄였습니다.
• 절대 실험 (Ablation Studies): 기억 메커니즘 제거 (A1) 가 ASR 에서 가장 큰 감소 (-16.67 포인트) 를 초래했으며, 이어 사후 순위 매기기를 무작위 선택으로 대체 (A2, -13.89 포인트) 하는 것이 뒤를 이었습니다. 수명 주기 제어 (A4) 와 변이/고안 (A3) 을 비활성화한 것도 상당한 성능 저하를 초래하여 세 가지 구성 요소가 상호 보완적임을 확인시켰습니다.
• 기억 역학: 진단 결과, 지속적인 제안에도 불구하고 거주 기억 풀은 유계로 유지되었으며 (약 128 개 단위 근처에서 안정화), 고증거 앵커는 재사용 가능한 반면 특수화된 후손들은 더 좁은 틈새를 차지하는 긴 꼬리 분포의 사용 패턴을 보였습니다.

의의와 한계

의의:
이 논문은 MemoAttack 이 재사용 가능한 공격 지식을 명시적, 선택적, 진화적으로 만들어 블랙박스 재일브레이킹 검색에서 최종 전환율과 성공 비용을 모두 크게 향상시킨다고 주장합니다. 공격 경험을 사후 지시적이고 수명 주기 진화하는 기술 기억으로 전환함으로써, 이 프레임워크는 단순한 누적을 넘어 적대적 지식의 효과적인 관리로 나아갑니다.

한계:
저자들은 몇 가지 한계를 인정합니다:

• 평가 범위: 실험은 텍스트 전용 입력과 세 가지 특정 목표 모델을 가진 AdvBench 에서 수행되었습니다. 이 접근 방식은 멀티모달 입력, 다중 턴 상호작용, 도구 사용 에이전트, 또는 동적 안전 정책을 가진 모델에서는 테스트되지 않았습니다.
• 방어 평가: 이 작업은 방어 측 실험을 포함하지 않습니다. 지속적인 기억을 가진 적응형 공격자에 대한 방호 장치 평가를 위한 향후 작업이 필요합니다.
• 복잡성: MemoAttack 은 구조화된 기억 단위, 사후 장부, 그리고 수명 주기 전이의 유지 관리로 인해 단순한 트리 검색 베이스라인에 비해 추가적인 시스템 복잡성을 도입합니다.

윤리적 고려사항:
저자들은 MemoAttack 이 재발하는 실패 모드를 식별하고 회귀 테스트를 구축하기 위한 통제된 레드팀링 및 안전성 평가를 위해 의도되었다고 강조합니다. 그들은 배포된 시스템에 대한 적대적 프롬프팅 오용을 방지하기 위해 운영 산물 (프롬프트, 로그, 기억 기록) 의 공개는 정제되고 접근이 통제되어야 함을 명시적으로 밝힙니다.