💬 NLP

Learning diverse attacks on large language models for robust red-teaming and safety tuning

이 논문은 기존 강화 학습 방식의 모드 붕괴(mode collapse) 한계를 극복하여 다양하고 효과적인 공격 프롬프트를 생성함으로써 더욱 견고한 안전 튜닝된 대규모 언어 모델의 생성을 가능하게 하는 GFlowNet 기반의 자동 레드팀 구성 프레임워크를 제안한다.

원저자: Seanie Lee, Minsu Kim, Lynn Cherif, David Dobre, Juho Lee, Sung Ju Hwang, Kenji Kawaguchi, Gauthier Gidel, Yoshua Bengio, Esmeralda S. Whitammer, Moksh Jain

게시일 2026-09-01

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Seanie Lee, Minsu Kim, Lynn Cherif, David Dobre, Juho Lee, Sung Ju Hwang, Kenji Kawaguchi, Gauthier Gidel, Yoshua Bengio, Esmeralda S. Whitammer, Moksh Jain

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능이 급격히 발전하는 세상에서, 대규모 언어 모델은 인간과 유사한 유창함으로 글을 쓰고, 추론하며, 대화할 수 있는 강력한 도구가 되었습니다. 그러나 이러한 능력에는 중대한 위험이 따릅니다. 즉, 이러한 시스템이 해롭거나 독성이 있거나 위험한 콘텐츠를 생성하도록 조작될 수 있다는 점입니다. 이를 방지하기 위해 개발자들은 '레드팀(red-teaming)'이라고 알려진 관행에 참여합니다. 대중이 입주하기 전에 건물을 침입하려는 보안 팀을 상상해 보십시오. 디지털 영역에서 레드팀 작업은 인공지능이 자신의 약점을 드러내도록 의도적으로 속이는 과정을 포함합니다. 목표는 모델의 안전 필터를 우회하여 모델이 거부하도록 설계된 내용을 강제로 생성하게 만드는 특정 질문이나 지침, 즉 '프롬프트(prompts)'를 찾아내는 것입니다. 이러한 취약점을 식별하는 것은 더 안전한 시스템을 구축하는 데 필수적이지만, 가능한 질문의 공간이 매우 방대하고, 이를 찾는 데 사용되는 방법들이 새로운 방식으로 시스템을 깨뜨리는 방법을 발견하기보다는 동일한 몇 가지 기술을 반복하며 정체되는 경우가 많기 때문에 이를 찾는 일은 어렵습니다.

연구진은 다양하고 효과적인 공격 프롬프트를 성공적으로 생성하는 새로운 접근 방식을 개발했습니다. 종종 단일하고 반복적인 해결책에 수렴하는 전통적인 방식에 의존하는 대신, 그들은 '생성 흐름 네트워크(generative flow network)'라고 불리는 확률적 프로그래밍 체계를 활용했습니다. 이 방법은 유해한 프롬프트를 찾는 과정을 단순한 최적화 작업이 아니라, 방대한 가능성의 풍경으로부터 샘플링하는 과정으로 취급합니다. 연구진은 인공지능 모델을 훈련시켜 이 풍경을 탐색하고, 대상 모델로부터 독성 반응을 성공적으로 이끌어낸 광범위한 프롬프트를 수집했습니다. 그런 다음 연구진은 이 발견된 내용들을 정제하기 위해 두 번째 단계인 '스무딩(smoothing)' 단계를 적용하여, 최종적인 공격 세트가 매우 효과적이면서도 놀라울 정도로 다양하도록 보장했습니다. 그 결과, 다른 방법들이 놓칠 수 있는 취약점을 찾아낼 수 있는 툴킷이 탄생했으며, 이는 개발자들에게 더욱 포괄적인 안전망을 제공합니다.

연구진이 해결하고자 했던 핵심 과제는 자동화된 레드팀 작업에서 흔히 발생하는 일반적인 실패 현상, 즉 시스템이 몇 가지 유사하고 반복적인 프롬프트만을 생성하는 경향이었습니다. 다양성을 장려하기 위해 규칙을 추가하여 이를 해결하려 했던 이전의 시도들은, 다양하지만 무해한 질문을 생성하거나 혹은 효과적이지만 동일한 공격을 생성하는 시스템을 만드는 결과만을 초래하며 실패하는 경우가 많았습니다. 새로운 방법은 두 단계의 프로세스를 사용하여 이 함정을 피합니다. 첫 번째 단계에서 시스템은 프롬프트가 유해한 반응을 유발할 가능성을 측정하는 '보상 신호(reward signal)'에 따라 가능한 프롬프트 공간을 탐색합니다. 이 탐색은 단순히 가장 쉬운 하나의 공격을 찾는 것이 아니라, 많은 다양한 '모드(modes)'나 유형의 공격을 찾아내도록 광범위하게 설계되었습니다. 시스템은 이 단계 동안 이러한 성공적이고 다양한 프롬프트의 대규모 데이터셋을 수집합니다.

두 번째 단계에서 연구진은 수집된 프롬프트를 사용하여 모델을 다시 훈련시키는데, 이때는 해당 특정 프롬프트들을 성공하게 만들었던 패턴을 학습하는 데 집중합니다. 이 단계는 정제 과정으로서, 모델이 명시적으로 보지 못했던 새로운 고품질 변형들을 생성할 수 있도록 공격의 분포를 매끄럽게 다듬는 역할을 합니다. 이러한 '광범위한 탐색 후 집중 학습'의 결적인 조합을 통해 시스템은 공격의 효력을 유지하면서도 높은 수준의 다양성을 유지할 수 있습니다. 연구진은 이 접근 방식을 안전하고 저항력이 있도록 특별히 훈련된 모델들을 포함한 다양한 언어 모델들에 대해 테스트했습니다. 그 결과, 그들의 방법이 기존 기술들을 지속적으로 능가하며, 훨씬 더 높은 비율의 독성 프롬프트를 생성하는 동시에 문구와 구조의 매우 넓은 다양성을 유지한다는 것을 발견했습니다.

가장 중요한 발견 중 하나는 이러한 공격이 서로 다른 모델 간에 전이(transfer)될 수 있다는 능력이었습니다. 특정 모델을 공격하기 위해 생성된 프롬프트는 연구진이 훈련 단계에서 테스트하지 않았던 완전히 다른 모델들에 대해서도 성공적인 경우가 많았습니다. 이는 서로 다른 인공지능 시스템들이 안전 훈련 측면에서 공통된 약점을 공유하고 있으며, 다양하게 구성된 공격 세트가 협소하고 반복적인 공격보다 이러한 공유된 취약점을 더 효과적으로 드러낼 수 있음을 시사합니다. 예를 들어, 연구진이 '젬마(Gemma)'라는 모델에 대해 시스템을 훈련시켰을 때, 생성된 프롬프트들은 '라마(Llama)'와 '미스트랄(Mistral)'을 포함한 여러 다른 모델들의 안전 필터를 높은 성공률로 우회할 수 있었습니다. 이러한 전이성은 매우 중요한데, 이는 잘 설계된 단 한 번의 레드팀 노력이 여러 다른 시스템의 안전성을 동시에 개선할 수 있음을 의미하기 때문입니다.

또한 연구진은 이 다양한 공격 세트를 사용하여 모델을 훈련시키는 것이 모델을 훨씬 더 견고하게 만든다는 것을 입증했습니다. 연구진이 대상 모델을 가져와 생성된 프롬프트에 대한 거절 응답을 사용하여 미세 조정(fine-tuning)했을 때, 결과물인 모델은 깨뜨리기가 훨씬 더 어려워졌습니다. 실제로 이 안전 튜닝된 모델은 이전에 성공적이었던 덜 정교한 레드팀 방식의 공격들을 저항할 수 있었습니다. 이는 안전 훈련 중에 모델을 광범위한 공격 스타일에 노출시키는 것이 단지 몇 가지 반복된 사례에 노출시키는 것보다 훨씬 더 효과적이라는 것을 나타냅니다. 이 연구는 이러한 안전성 향상이 모델의 일반적인 능력에 따른 비용을 치르지 않았음을 보여주었으며, 안전 튜닝된 모델들은 지시를 따르고 과업을 수행하는 능력을 그대로 유지했습니다.

이 연구는 또한 현재의 안전 조치들이 가진 한계점도 강조했습니다. 연구진은 공격의 효과가 독성을 판단하는 분류기(classifier)에 달려 있으며, 진정한 해로움은 주관적이고 맥락 의존적일 수 있다고 언급했습니다. 그들은 특히 단순한 최적화에 의존하는 방법들이 분류기에게는 독성처럼 보이지만 실제로는 모델로부터 유해한 응답을 이끌어내지 못하는 프롬프트를 생성하는 함정, 즉 '보상 해킹(reward hacking)'에 빠질 수 있음을 관찰했습니다. 그들의 2단계 접근 방식은 프롬프트가 단순히 분류기를 자극할 통계적 가능성만을 가진 것이 아니라, 대상 모델로부터 원하는 응답을 실제로 이끌어내는 데 진정으로 효과적이도록 함으로써 이를 완화하는 데 도움을 주었습니다.

궁극적으로, 이 연구는 인공지능 시스템을 대중에게 출시하기 전에 스트레스 테스트를 할 수 있는 더 신뢰할 수 있는 방법을 제공합니다. 반복적인 루프에 갇히는 방식에서 벗어나 다양한 공격을 추구하는 전략을 수용함으로써, 개발자들은 더 넓은 범위의 취약점을 식별하고 패치할 수 있습니다. 이러한 공격이 서로 다른 모델 간에 전이될 수 있다는 사실은 이 시스템들이 직면한 안전 과제가 서로 연결되어 있음을 시사하며, 다양하고 확률적인 레드팀 접근 방식이 더 회복력 있고 신뢰할 수 있는 인공지능을 구축하기 위한 강력한 도구가 될 수 있음을 보여줍니다. 이 연구에서 개발된 코드와 방법론은 모두에게 더 안전한 시스템을 만드는 과정을 가속화하기 위해 다른 이들이 사용할 수 있도록 공개되어 있습니다.

기술 요약: 견고한 레드팀 구성 및 안전 튜닝을 위한 다양한 LLM 공격 학습

문제 정의

대규모 언어 모델(LLM)의 배포는 유해하거나 독성이 있거나 안전하지 않은 콘텐츠를 생성할 수 있는 상당한 위험을 수반합니다. 모델은 종-종 안전 제약 조건과 함께 미세 조정되지만, 바람직하지 않은 응답을 유도하는 "탈옥(jailbreak)" 또는 "공격(attack)" 프롬프트에 여전히 취약합니다. 레드팀 구성(Red-teaming)—이러한 프롬프트를 자동화된 방식으로 식별하는 것—은 배포 전 견고한 안전 정렬을 보장하기 위해 매우 중요합니다.

기존의 자동화된 레드팀 구성 방법들은 주로 강화 학습(RL)에 기반하고 있으며, **다양성(diversity)**과 효과성(effectiveness) 사이의 근본적인 트레이드오프에 직면해 있습니다.

모드 붕괴(Mode Collapse): 표준 RL 알고리즘(예: REINFORCE, PPO)은 단일한 고보상 궤적(high-reward trajectory)으로 수렴하는 경향이 있어, 유사한 형태의 좁은 공격 프롬프트 세트만을 생성합니다.
비효과적인 다양성(Ineffective Diversity): 다양성을 강제하려는 방법들(예: 참신함 보상 또는 엔트로피 보너스 활용)은 이를 독성과 균형 있게 맞추는 데 실패하여, 다양하지만 안전 필터를 우회하는 데는 성공하지 못하는 비효과적인 프롬프트를 생성합니다.
낮은 전이성(Poor Transferability): 특정 타겟 모델을 위해 생성된 공격은 다른 타겟 LLM으로 잘 전이되지 않아, 다양한 아키텍처에 걸친 안전 튜닝의 효율성을 제한합니다.

본 논문은 현재의 접근 방식들이 LLM의 안전 튜닝을 위해 필요한 공격 모드의 전체 스펙트럼을 발견하는 데 어려움을 겪고 있다고 주장합니다.

방법론

저자들은 **GFlowNet(Generative Flow Networks)**을 사용한 2단계 확률적 프레임워크와 이어서 수행되는 **최대 우도 추정(MLE) 평활화(smoothing)**를 제안합니다. 이 접근 방식은 프롬프트 생성을 단일 결정론적 궤적을 최적화하는 것이 아니라, 보상 분포로부터 샘플링하는 과정으로 취급합니다.

1단계: GFlowNet 미세 조정

첫 번째 단계는 사전 훈련된 공격자 언어 모델(LM)을 GFlowNet 정책으로 미세 조정하는 것입니다.

목표: 보상 $R(x)$ 에 비례하는 확률로 프롬프트 $x$ 를 샘플링하는 확률적 정책 $p_\theta$ 를 학습합니다.
보상 함수: 보상은 두 가지 구성 요소의 결합으로 이루어집니다.
1. 독성( $R_1$ ): 타겟 LLM의 응답이 독성 분류기(예: Llama-Guard 또는 RoBERTa)에 의해 독성이 있는 것으로 분류될 가능성.
2. 자연스러움( $R_2$ ): 참조 모델( $p_{ref}$ ) 하에서의 프롬프트 가능성으로, 공격 프롬프트가 자연스럽게 보이고 퍼플렉시티(perplexity) 기반 방어 기제에 의해 쉽게 필터링되지 않도록 보장합니다.
학습: 모델은 궤적 균형(Trajectory Balance) 목적 함수를 사용하여 학습됩니다. 이 단계에서 정책은 프롬프트 공간을 탐색하며, 고보상 샘플들을 오프라인 데이터셋으로 수집합니다. 이 단계는 "오프-폴리시(off-policy)"로 설계되어, 표준 RL이 놓칠 수 있는 다양한 공격 모드를 발견할 수 있도록 합니다.

2단계: MLE 평활화

두 번째 단계는 보상 온도 파라미터(독성과 다양성 사이의 트레이드오프를 조절)에 대한 GFlowNet의 민감도를 해결합니다.

과정: 사전 훈련된 공격자 LM을 재초기화하고, 1단계에서 수집된 고보상 프롬프트들을 사용하여 **최대 우도 추정(MLE)**으로 미세 조정합니다.
메커니즘: 이는 행동 복제(behavior cloning)의 한 형태로서 작동합니다. 1단계에서 발견된 다양한 성공적 공격들을 학습함으로써, 모델은 고보상 프롬프트들에 대한 "매끄러운(smooth)" 분포를 학습하게 됩니다.
이점: 이 단계는 탐색(1단계)을 최종 정책 최적화로부터 분리하여, GFlowNet 목적 함수에서 사용된 특정 온도 설정에 대한 방법론의 견고성을 높이고 최종 출력의 다양성을 크게 향상시킵니 다.

재순위화(Reranking)를 통한 적응

이 2단계 접근 방식의 핵심 특징은 적응성입니다. 새로운 타겟 LLM을 위해 레드팀 구성을 수행할 때, 저자들은 비용이 많이 드는 1단계를 건너뛰는 방법을 제안합니다. 대신, 1단계에서 저장된 프롬프트들의 보상을 새로운 타겟 LLM을 사용하여 다시 계산하고, 고보상 프서프트를 필터링한 후 가벼운 2단계(MLE) 미세 조정만 수행합니다.

주요 기여

확률적 레드팀 구성: 본 논문은 프롬프트 생성을 보상 분포로부터의 샘플링으로 프레임화하여 다양성을 내재적으로 장려하는 GFlowNet 기반의 레드팀 구성 방식을 도입했습니다.
2단계 평활화: 저자들은 GFlowNet 학습 중에 발견된 고보상 샘플로부터 일반화되어, 다양성과 독성을 효과적으로 균형 잡고 하이퍼파라미터 민감도를 줄이는 새로운 MLE 평활화 단계를 제안합니다.
전이성: 이 방법은 생성된 공격 프롬프트가 서로 다른 타겟 LLM(예: Llama-2에서 Llama-3로, 또는 Gemma에서 Mistral로) 간에 효과적으로 전이됨을 보여주며, 안전 정렬의 공유된 실패 모드를 드러냅니다.
견고한 안전 튜닝: 이 방법으로 생성된 다양한 데이터셋을 사용하여 타겟 LLM을 안전 튜닝하면, 표준 베이스라인 모델들보다 다른 RL 기반 레드팀 구성 방식에 대해 훨씬 더 견고한 모델이 된다는 것을 입증했습니다.

실험 결과

본 방법론은 다섯 가지 타겟 LLM(GPT-2, Dolly-v2-7b, Gemma-2b-it, Llama-2-7b-chat, Llama-3.1-8B-Instruct)을 대상으로 평가되었으며, SFT, ICL, REINFORCE, PPO + Novelty, 그리고 단독 GFlowNet을 포함한 베이스라인들과 비교되었습니다.

다양성 vs 독성: 제안된 GFlowNet + MLE 방식은 모든 타겟 모델에 대해 높은 독성 비율(효과성)과 높은 코사인 유사도 거리(다양성)를 일관되게 달성하는 유일한 접근 방식입니다. REINFORCE와 같은 베이스라인은 모드 붕괴(높은 독성, 낮은 다양성)를 겪는 반면, PPO + Novelty는 안전 튜닝된 모델에 대해 효과적인 공격을 찾는 데 자주 실패합니다.
전이성: Gemma-2b-it에서 학습했을 때, GFlowNet + MLE 공격자는 Llama-2-7b-chat에서 약 27%, Llama-3-70b-instruct에서 약 52%의 독성 비율을 달성하여 다른 모든 방법들을 크게 앞질렀습니다. 대조적으로, REINFORCE 공격은 훈련된 모델에 맞춰져 있어 전이에 실패했습니다(다른 모델에서 독성 0%).
안전 튜닝 효능: GFlowNet + MLE 데이터셋으로 미세 조정된 타겟 모델들은 다른 방법들(예: PPO + Novelity)의 공격에 대해 견고했으나, 다른 데이터셋으로 튜닝된 모델들은 GFlowNet + MLE 공격에 여전히 취약했습니다.
효율성: 두 번째 단계(MLE)는 계산 비용이 매우 저렴하여, 전체 훈련 시간의 5% 미만이 소요되며 적응 단계에서 온-폴리시 샘플링이나 값비싼 보상 계산을 요구하지 않습니다.

의의 및 주장

본 논문은 다양성이 견고한 안전 튜닝을 위한 전제 조건이라고 주장합니다. 다양한 공격 모드를 발견하는 데 실패함으로써, 현재의 안전 정렬 프로세스는 모델을 보이지 않는 공격 벡터에 취약하게 만듭니다. 제안된 방법은 표준 RL에 대한 원칙적이고 확률적인 대안을 제공하여, 더 넓은 범위의 취약점을 발견할 수 있게 합니다.

저자들은 자신들의 접근 방식이 다음과 같은 성과를 낸다고 주장합니다:

표준 RL 레드팀 구성에 내재된 "모드 붕해" 문제를 해결합니다.
처음부터 다시 훈련하지 않고도 레드팀 구성 정책을 새로운 모델에 적응시킬 수 있는 확장 가능한 메커니즘을 제공합니다.
다양한 GFlowNet 생성 공격으로 안전 튜닝된 모델이 더 넓은 범위의 위협에 대해 더 탄력적임을 입증합니다.

논문은 한계점으로, 특히 독성을 나타내는 대리 지표로서 사용된 독성 분류기의 정확도에 따라 효과가 제한될 수 있다는 점과, 온라인 학습의 특성(타겟 LLM 쿼리 필요)이 계산 비용을 발생시킨다는 점을 언급하며 마무리합니다. 그러나 제안된 2단계 프레임워크는 자동화되고 견고한 레드팀 구성을 위한 중요한 진전을 제공합니다.