기술 요약: GUARD

문제 제기

대규모 언어 모델 (LLM) 이 다양한 분야에 필수적으로 통합됨에 따라, 유해한 응답을 생성할 수 있는 잠재력이 중요한 사회적 및 규제적 우려를 불러일으켰습니다. 각국 정부와 권위 있는 기관은 AI 개발을 규제하기 위해 고수준 윤리 가이드라인 (예: EU 의 "신뢰할 수 있는 AI 를 위한 윤리 가이드라인", 미국의 "AI 권리 장전 청사진", NIST 의 "AI 위험 관리 프레임워크") 을 발표했습니다. 그러나 이러한 추상적이고 고수준의 규제 요구사항과 LLM 의 준수를 검증하기 위해 필요한 실행 가능한 테스트 사이에는 중요한 격차가 존재합니다. 개발자들은 다음과 같은 두 가지 주요 과기에 직면해 있습니다:

1. 실행 가능한 지침의 부재: 가이드라인은 종종 테스트를 위한 구체적이고 실용적인 단계를 제공하지 않습니다. 예를 들어, 기본권을 보호해야 한다는 규칙이 있을지라도 구체적인 평가 단계가 없으면 준수를 검증하기 어렵습니다.
2. 시나리오의 한계: 표준 준수 테스트는 특수한 시나리오에서의 취약점을 탐지하지 못하는 경우가 많습니다. LLM 이 직접적인 유해한 쿼리를 거부할지라도, 동일한 쿼리가 내장된 안전 메커니즘을 우회하는 "재일브레이크 (jailbreak)" 프롬프트 (예: "Do Anything Now") 에 포함될 경우 준수할 수 있습니다.

기존 방법들은 종종 정적 벤치마크나 수동 레드팀 (red-teaming) 에 의존하는데, 이는 고수준 가이드라인을 체계적으로 다양한 가이드라인 위반 테스트 사례로 전환하거나 예기치 않은 시나리오에서 숨겨진 비준수를 효과적으로 식별하지 못할 수 있습니다.

방법론: GUARD

저자들은 정부 가이드라인을 구체적인 테스트 사례로 전환하고 안전 취약점을 식별하도록 설계된 테스트 프레임워크인 GUARD(적응형 역할극 및 재일브레이크 진단을 통한 가이드라인 준수 테스트) 를 제안합니다. 이 방법론은 두 가지 주요 구성 요소로 이루어집니다:

1. 가이드라인 준수 테스트

이 구성 요소는 추상적인 가이드라인을 구체적인 "가이드라인 위반 질문"($Q$) 으로 변환하여, LLM($F$) 이 위반 응답($V(Q)$) 을 생성하는지 아니면 준수 응답($D(Q)$) 을 생성하는지 테스트합니다. 이 과정은 적응형 다중 에이전트 역할극 시스템을 활용합니다:

• 분석가 (Analyst): 원시 가이드라인에서 핵심 원칙과 잠재적 충돌을 추출합니다.
• 전략 위원회 (Strategic Committee): 이러한 원칙을 위반이 발생할 수 있는 구체적인 도메인과 현실적인 시나리오에 매핑합니다.
• 질문 설계자 (Question Designer): 기존 벤치마크 (예: AdvBench, HarmBench) 의 스타일과 구조를 활용하여 이러한 시나리오를 후보 테스트 질문으로 변환합니다.
• 질문 검토자 (Question Reviewer): 다음 세 가지 지표를 기반으로 생성된 질문을 평가합니다:
  • 유해성 ($H$): 유해한 응답을 유발할 가능성.
  • 정보 밀도 ($I$): 기존 벤치마크와의 스타일적 유사성.
  • 준수 ($C$): 생성된 질문에 세 가지 오해의 소지가 있는 위반 사례를 섞은 후, 검토자가 가이드라인의 의도와 가장 잘 부합하는 것을 선택하는 4 지선다 평가로, 질문이 유효한 테스트 사례인지 확인합니다.
    질문은 유해성과 정보 밀도에 대한 임계값을 충족하고 준수 검사를 통과할 때만 유지됩니다.

2. 재일브레이크 진단 (GUARD-JD)

LLM 이 초기에 가이드라인 준수 답변 (거부) 을 제공하는 질문에 대해, GUARD-JD 는 재일브레이크로 작용하는 "연기 시나리오"($S$) 를 생성하여 위반을 유도하려 시도합니다.

• 지식 그래프 (KG) 구축: 시스템은 Jailbreak Chat 에서 78 개의 기존 재일브레이크 프롬프트를 분석하여 8 가지 특성 (예: 소개/명명, 기능, 응답 형식) 을 추출합니다. 이러한 특성들은 노드가 키워드/속성을 나타내고 에지가 빈도에 따라 가중치를 둔 관계를 나타내는 지식 그래프에 저장됩니다.
• 시나리오 생성: 생성자 (Generator) 역할은 지식 그래프에서 무작위 보행 (Random Walk) 알고리즘을 사용하여 재일브레이크 조각들로부터 일관성 있고 자연어 기반의 연기 시나리오를 조립합니다.
• 반복 최적화: 이 과정은 세 가지 역할을 포함합니다:
  • 생성자: 시나리오 $S$를 구성하고 질문 $Q$와 결합하여 재일브레이크 프롬프트 $P = S \oplus Q$를 형성합니다.
  • 평가자 (Evaluator): 대상 LLM 의 $P$에 대한 응답과 원래 가이드라인 준수 응답 $D(Q)$ 간의 의미적 유사성 점수를 계산합니다.
  • 최적화자 (Optimizer): 생성자에게 시나리오를 수정하도록 피드백을 제공하여 유사성 점수를 최소화하는 것을 목표로 합니다 (즉, 모델이 거부에서 벗어나도록 강제).
• 성공 기준: 유사성 점수가 임계값 (예: 0.3) 이하로 떨어지면 재일브레이크가 성공한 것으로 간주되며, 해당 시나리오는 취약점으로 보고됩니다.

주요 기여

1. 준수 테스트의 형식화: 이 논문은 GUARD 프레임워크를 사용하여 고수준 정부 가이드라인을 실행 가능한 준수 테스트로 전환하는 것을 형식화했습니다.
2. 적응형 역할극 메커니즘: 특정 규제 원칙을 반영하는 다양한 가이드라인 위반 질문을 반복적으로 생성하기 위한 다중 에이전트 시스템 (분석가, 전략 위원회, 질문 설계자, 질문 검토자) 을 도입했습니다.
3. 시나리오 최적화를 통한 재일브레이크 진단: GUARD-JD 는 지식 그래프와 무작위 보행을 결합한 새로운 반복적 역할극 프레임워크 (생성자, 평가자, 최적화자) 를 사용하여 안전 메커니즘을 우회하는 자연어 시나리오를 생성함으로써, 예기치 않은 맥락에서의 비준수를 효과적으로 식별합니다.
4. 실증적 검증: 이 방법은 세 가지 서로 다른 정부 가이드라인 하에서 8 개의 LLM(Vicuna-13B, LongChat-7B, Llama2-7B, Llama3-8B, GPT-3.5, GPT-4, GPT-4o, Claude-3.7) 과 2 개의 비전 - 언어 모델 (MiniGPT-v2, Gemini-1.5) 에서 검증되었습니다.

실험 결과

• 가이드라인 위반률: 연구는 모델 간 준수율에 상당한 변이가 있음을 드러냈습니다. Vicuna-13B 는 가장 높은 위반률을 보였으며 (예: 인권 분야에서 74.0%), GPT-4 는 가장 낮았습니다 (예: 투명성 분야에서 15.6%).
• 재일브레이크 성공: GUARD-JD 는 LLM 전반에 걸쳐 평균 **82%**의 재일브레이크 성공률을 달성하여 GCG, AutoDAN, ICA, PAIR, CipherChat 과 같은 베이스라인을 크게 능가했습니다.
  • 성공률은 Claude-3.7 의 68.2% 에서 Vicuna-13B 의 86.0% 까지 다양했습니다.
  • GUARD-JD 는 평균 35.65 의 더 낮은 퍼플렉시티 점수를 가진 재일브레이크를 생성하여, 퍼플렉시티 기반 탐지기가 식별하기 어려운 더 자연스럽고 유창한 출력을 제공했습니다.
• 전이성: 재일브레이크 진단은 비전 - 언어 모델 (VLM) 로 성공적으로 전이되어, 베이스라인 방법보다 더 높은 독성 점수를 가진 Not Safe For Work(NSFW) 이미지에 대한 응답을 유도했습니다.
• 인간 검증: 58 명의 참가자를 대상으로 한 설문 조사에서 GUARD 가 생성한 질문이 가이드라인이 정의한 윤리적 위반을 정확하게 나타냈으며, 관련성과 품질에 대한 높은 동의가 확인되었습니다.
• 절차 제거 연구: 특정 역할 (예: 질문 검토자 또는 최적화자) 을 제거하면 성능이 크게 저하되어 다중 역할 반복 과정의 필요성을 확인했습니다.

중요성과 주장

이 논문은 GUARD 가 추상적인 규제 가이드라인과 구체적인 안전 테스트 사이의 격차를 해소하는 체계적이고 자동화된 접근 방식을 제공한다고 주장합니다. 가이드라인을 구체적인 테스트 사례로 전환하고 재일브레이크 진단을 통해 숨겨진 취약점을 탐구함으로써, GUARD 는 LLM 의 윤리 표준 준수를 평가하는 강력한 메커니즘을 제공합니다. 저자들은 이 방법이 직접적인 비준수뿐만 아니라 복잡한 시나리오에서의 잠재적 우회 경로도 발견함으로써 더 신뢰할 수 있고 신뢰할 수 있는 AI 애플리케이션 개발을 촉진한다고 강조합니다. 이러한 진단이 VLM 으로 성공적으로 전이된 것은 다양한 모달리티에 걸쳐 프레임워크의 다용도성을 시사합니다.