RECAP: A Resource-Efficient Method for Adversarial Prompting in Large Language Models

RECAP: 대규모 언어 모델을 위한 자원 효율적 적대적 프롬프팅 기법에 관한 기술 요약

문제 정의

대규모 언어 모델(LLM)의 배포가 증가함에 따라, 정렬된 모델이 "탈옥(jailbreaking)"을 통한 적대적 프롬프트에 취약하다는 심각한 보안 결함이 드러나고 있습니다. GCG(Greedy Coordinate Gradient), PEZ(Progressive Ensemble Zip), GBDA(Gradient-Based Distributional Attacks)와 같은 자동화된 방식들은 안전 가드레일을 우회하는 적대적 접미사(adversarial suffixes)를 생성하는 능력을 입증했지만, 다음과 같은 결정적인 한계에 직면해 있습니다:

1. 자원 집약성: GCG와 같은 방식은 높은 성공률을 제공하지만, 상당한 계산 자원과 훈련 시간을 요구하므로 예산이 제한된 조직에게는 비현실적입니다.
2. 불일치성: 성공률이 프롬프트 카테고리(예: 혐오 표현 vs 마약)에 따라 크게 달라지며, 이는 단일 알고리즘이 보편적으로 최적일 수 없음을 시사합니다.
3. 블랙박스 접근 불가능성: 기존의 적대적 테스트 방법들은 그래디언트(gradient)를 계산하기 위해 모델의 내부 상태(로짓 및 원시 출력)에 대한 접근을 필요로 하는 경우가 많습니다. 이는 제미나이(Gemini)나 독점 API와 같이 내부 접근이 제한된 호스팅형, 프라이빗 또는 폐쇄형 LLM을 평가하는 데 있어 효과적이지 못하게 만듭니다.

방법론

본 논문은 실시간 적대적 훈련의 필요성을 피하기 위해 검색 증강 생성(RAG) 원리를 활용하는 자원 효율적인 프레임워크인 RECAP을 소개합니다. 매 쿼리마다 그래디언트 하강법을 통해 새로운 적대적 토큰을 생성하는 대신, RECAP은 구조화된 데이터베이스로부터 사전 계산된 성공적인 적대적 예시를 검색합니다.

방법론은 세 단계로 진행됩니다:

1. 데이터셋 큐레이션 및 분류:

   • 1,000개의 유해 프롬프트 데이터셋을 큐레이션하고 이를 7가지 의도 카테고리(혐오, 성적 콘텐츠, 폭력 및 범죄, 사회 정치, 규제 물질, 자살/자해, 기타)로 분류했습니다.
   • 분류는 프롬프트 엔지니어링된 Vicuna-7B 모델을 사용하여 수행되었습니다.
   • 각 프롬프트는 Llama 3 8B 모델을 통해 세 가지 적대적 알고리즘(PEZ, GBDA, GCG)으로 처리되었습니다.
   • 출력값은 HarmBench Classifier를 사용하여 적대적 프롬프트가 유해한 응답을 성공적으로 유도했는지 여부를 판별했습니다.

2. 계층적 검색 데이터베이스 구축:

   • 원래의 프롬프트, 그에 대응하는 적대적 접미사(PEZ, GBDA, GCG에 의해 생성됨), 그리고 성공 라벨을 포함하는 구조화된 데이터베이스를 컴파일했습니다.
   • 필터링: 최소 하나 이상의 성공적인 공격이 있는 행만 유지하여, 데이터셋을 780개에서 226개의 유효한 예시로 줄였습니다.
   • 계층 구조: GCG의 경우, 프롬프트당 13개의 토큰 변형을 생성하므로 첫 번째 성공적인 변형을 저장했습니다.
   • 순위 지정: 데이터베이스는 적대적 예시를 계층적으로 구성합니다. 각 의도 카테고리에 대해 시스템은 해당 카테고리에서 역사적으로 가장 높은 성공률을 보인 알고리즘을 우선시합니다 (예: 성폭력 관련 프롬프트에는 GCG 토큰을 우선시함).

3. 추론 파이프라인:

   • 인코딩: 새로운 사용자 프롬프트는 all-MiniLM-L6-v2 SentenceTransformer 모델을 사용하여 밀집 벡터 표현(dense vector representations)으로 인코딩됩니다.
   • 유사도 검색: 인코딩된 쿼리는 FAISS(Facebook AI Similarity Search) 인덱스를 통과하여 데이터베이스 내에서 가장 의미론적으로 유사한 프롬프트를 검색합니다.
   • 선택: 시스템은 가장 잘 일치하는 프롬프트를 검색하고, 사전에 설정된 계층 구조에 따라 관련된 적대적 접미사를 선택합니다 (가장 성공적인 알고리즘을 우선시함).
   • 실행: 선택된 적대적 접미사는 원래의 사용자 쿼리에 추가되어 대상 LLM으로 전송됩니다. 이 과정은 추론 시 그래디언트 계산이나 모델 훈련을 필요로 하지 않습니다.

주요 기여

• 자원 효율성: 이 방법은 추론 시 시간 소모적인 훈련 및 그래디언트 계산을 제거하여 계산 오버헤드를 크게 줄입니다.
• 블랙박스 호환성: 로짓(logits)보다는 검색에 의존함으로써, RECAP은 전통적인 그래디언트 기반 공격이 불가능한 폐쇄형 및 호스팅형 모델에 대한 보안 테스트를 가능하게 합니다.
• 카테고리 인식 최적화: 이 접근 방식은 프롬프트 의도와 가장 효과적인 공격 알고리즘 사이의 상관관계를 활용하며, 재훈련 없이 성공 확률을 극대화하기 위해 계층적 검색 전략을 사용합니다.
• 전이성(Transferability): Llama 3 8B 훈련 세트에서 파생되었음에도 불구하고, 생성 및 저장된 적대적 토큰이 다른 모델 아키텍처(예: Vicuna, Phi)에서도 효과적임을 확인했습니다.

실험 결과

이 방법은 Llama 3 8B 모델을 사용하여 145개의 서로 다른 프롬프트에 대해 평가되었으며, PEZ, GBDA, GCG와 비교되었습니다.

• 성공률 (평균 성공률 - ASR):

  • GCG: 59%
  • PEZ: 39%
  • GBDA: 35%
  • RECAP: 33%
  • 참고: 저자는 약간 낮은 ASR을 현재의 제한된 검색 데이터베이스 크기 때문으로 설명하며, 데이터베이스가 확장됨에 따라 개선될 것으로 예상하고 있습니다.

• 효율성 (20개 프롬프트 처리 시간):

  • GCG (브루트 포스 전이): 약 6.3분
  • PEZ: 7.3분
  • GBDA: 7.1분
  • RECAP: 4분
  • 참고: 동일한 배치에 대해 표준 GCG 훈련은 약 8시간이 소요되었으나, RECAP은 단 4분만 소요되었습니다.

• 블랙박스 테스트:

  • RECAP은 (유해 필터가 비활성화된) Gemini API에 대해 테스트되었습니다. 모델의 우수한 미세 조정 및 파라미터 규모로 인해 성공률은 더 낮았지만(4~10%), 이 실험은 로그 접근성 부족으로 인해 다른 알고리즘들이 완전히 실패하는 곳에서도 이 방법이 적용 가능하다는 것을 입증했습니다.

의의 및 주장

본 논문은 RECAP을 특히 계산 자원이 제한된 조직을 위한 AI 안전 "침투 테스트(penetration testing)"를 위한 실용적인 프레임워크로 포지셔닝합니다. 주요 의의는 다음과 같습니다:

1. 보안 테스트의 민주화: GCG와 같은 훈련 기반 공격에 수반되는 GPU 비용을 감당할 수 없는 소규모 엔티티도 적대적 평가를 할 수 있도록 접근성을 높입니다.
2. 블랙박스 간극 해소: 내부 모델 접근 없이도 독점적인 폐쇄형 LLM의 견고성을 평가할 수 있는 실행 가능한 메커니즘을 제공합니다.
3. 확장성: 저자들은 검색 데이터베이스가 성장함에 따라 성공률이 로지스틱 성장 패턴을 따를 것이며, 이를 통해 최소한의 자원 사용량을 유지하면서 전통적인 훈련 기반 접근 방식을 능가할 수 있을 것이라고 주장합니다.

논문은 이 도구의 이중 용도(dual-use) 성격을 인정하며, 악의적인 콘텐츠를 생성하기보다는 모델의 가드레일을 강화하기 위해 취약점을 식별하는 데 사용될 목적임을 강조하며 마무리합니다. 향후 연구는 RAG 데이터베이스를 확장하고, 다른 알고리즘의 훈련 초기화를 더욱 최적화하기 위해 검색된 토큰의 통합을 정교화하는 데 중점을 둡니다.