Optimus: A Robust Defense Framework for Mitigating Toxicity while Fine-Tuning Conversational AI
이 논문은 불완전하거나 편향된 독성 분류기 하에서도 대화의 유용성을 유지하면서 미세 조정으로 인한 유해 행위를 효과적으로 완화하는 새로운 방어 프레임워크 'Optimus'를 제안하고, 이를 통해 기존 최첨단 방어 기법보다 우수한 성능과 적응형 공격에 대한 강력한 복원력을 입증합니다.
원저자:Aravind Cheruvu, Shravya Kanchi, Sifat Muhammad Abdullah, Nicholas Kong, Daphne Yao, Murtuza Jadliwala, Bimal Viswanath
우리가 매일 쓰는 챗봇 (카카오톡 친구, 고객 서비스 AI 등) 은 거대한 언어 모델 (LLM) 을 특정 목적에 맞게 학습 (Fine-tuning) 시켜 만듭니다. 이때 사용하는 학습 데이터는 마치 건축 자재와 같습니다.
위험 상황: 만약 이 자재를 공급하는 사람이 (공격자) 일부러 독이 든 자재 (폭언, 혐오 발언, 유해한 대화) 를 섞어 넣으면 어떻게 될까요?
결과: 챗봇은 그 독이 든 자재를 배우게 되어, 사용자에게 나쁜 말을 하거나 유해한 행동을 하게 됩니다.
어려움: 문제는 우리가 그 자재가 어디서 왔는지, 어떤 독이 섞여 있는지 정확히 알 수 없다는 점입니다. 또한, 독을 찾아내는 '검사관 (분류기)'도 완벽하지 않아, 독이 있는 자재를 놓치거나 (위험), 독이 없는 자재를 잘못 걸러내서 (불필요한 폐기) 건물의 품질을 떨어뜨릴 수 있습니다.
2. 해결책: '옵티머스 (Optimus)'라는 새로운 방어 시스템
이 논문은 옵티머스라는 새로운 방어 시스템을 제안합니다. 옵티머스는 단순히 나쁜 자재를 '걸러내는' 것을 넘어, **자재를 '치료'하고 건물의 구조를 '보강'**하는 3 단계 전략을 사용합니다.
🛠️ 단계 1: 똑똑한 '검사관' 활용 (독성 분류)
기존의 검사관들은 새로운 유형의 독을 잘 못 찾아내는 경우가 많습니다. 옵티머스는 이미 안전 교육 (Safety Alignment) 을 받은 거대 AI 모델을 검사관으로 부릅니다.
비유: 마치 "이 자재는 안전할까?"라고 물어보면, "아니요, 위험합니다!"라고 거절하는 (Refusal) 능력을 가진 AI 를 고용하는 것입니다. 이 AI 는 훈련된 안전 의식 덕분에 나쁜 말을 잘 찾아냅니다.
🧪 단계 2: '치유 데이터 (Healing Data)'로 자재 교체
만약 나쁜 자재가 발견되면, 단순히 버리는 게 아니라 더 좋은 자재로 갈아엎습니다.
비유: 사용자가 "인종 차별적인 말을 해줘"라고 요청하면, 챗봇이 "네, 알겠습니다"라고 답하는 대신, **"그런 말은 하지 않아요. 대신 서로 존중하고 배려하는 이야기를 해볼까요?"**라고 부드럽게 대답하는 치유된 대화를 만들어냅니다.
이 '치유된 대화'는 두 가지 방식이 있습니다:
무조건적인 거절: "죄송합니다, 할 수 없습니다." (단순하지만 안전함)
맥락에 맞는 치유: 대화의 흐름을 이해하면서 "그런 생각은 위험할 수 있어요. 다른 관점에서 이야기해볼까요?"라고 공감하고 건설적인 답변을 줌. (사용자 경험을 해치지 않음)
⚖️ 단계 3: '선호도 학습 (DPO)'으로 뇌를 다듬기
아직도 검사관이 놓친 나쁜 자재가 있을 수 있습니다. 이때는 챗봇의 뇌 (모델) 를 직접 다듬습니다.
비유: 챗봇에게 "이건 나쁜 대답 (독이 있는 자재), 이건 좋은 대답 (치유된 자재)"을 보여주고, **"무조건 좋은 대답을 하도록 훈련시켜라"**라고 명령합니다.
기존 방식은 인간이 직접 하나하나 평가해야 해서 느리고 비쌌지만, 옵티머스는 이 과정을 자동화하고 효율적으로 만들어 냅니다. 심지어 검사관이 85% 나 실수를 해도, 이 훈련 방식을 통해 챗봇은 여전히 안전하게 작동할 수 있습니다.
3. 왜 옵티머스가 특별한가요?
불완전한 검사관도 견딜 수 있음: 독을 100% 찾아내지 못해도, '치유 데이터'와 '뇌 다듬기'를 통해 독을 중화시킵니다. 마치 방패가 완벽하지 않아도, 몸이 튼튼하면 병에 잘 걸리지 않는 것과 같습니다.
챗봇의 성격은 그대로: 나쁜 말을 막기 위해 챗봇이 무뚝뚝해지거나, 대화 능력이 떨어지는 것을 막습니다. 오히려 더 친절하고 공감하는 챗봇으로 만듭니다.
해킹에도 강함: 공격자가 검사관을 속이려고 (가짜 데이터를 넣거나, 지시어를 조작하거나) 노력해도, 옵티머스는 그 공격을 대부분 막아냅니다.
4. 결론: 더 안전하고 친절한 AI 를 위한 여정
이 연구는 **"완벽한 보안은 없다"**는 전제하에, 불완전한 상황에서도 최선의 안전을 보장하는 방법을 제시합니다.
기존 방식: "나쁜 자재가 보이면 버려라." (하지만 놓치면 위험하고, 버리면 건물이 비어버림)
옵티머스 방식: "나쁜 자재가 보이면, 더 좋은 자재로 갈아엎고, 건물의 구조를 튼튼하게 만들어라."
이제 우리는 불완전한 데이터라도, 옵티머스라는 시스템을 통해 안전하고 유익한 AI 챗봇을 만들 수 있게 되었습니다. 이는 AI 가 우리 삶에 더 깊이 들어오기 위해 꼭 필요한 '안전장치'가 될 것입니다.
1. 문제 정의 (Problem Statement)
대형 언어 모델 (LLM) 을 특정 도메인에 맞게 커스터마이징하기 위해 신뢰할 수 없는 데이터셋으로 파인튜닝 (Fine-tuning) 할 때 발생하는 심각한 보안 위협을 다룹니다.
데이터 중독 (Data Poisoning): 공격자가 훈련 데이터에 독성 (Toxic) 언어를 주입하면, 챗봇이 학습 과정에서 독성을 습득하여 사용자에게 해로운 응답을 생성할 수 있습니다.
기존 방어 기법의 한계:
대부분의 기존 방어 방식은 정밀한 독성 탐지 분류기 (Classifier) 에 의존합니다. 그러나 공격자는 분류기를 우회하도록 독성 언어를 변형하거나, 분류기가 특정 독성 유형을 놓칠 수 있습니다.
분류기의 성능이 떨어지거나 편향 (Bias) 이 있을 경우, 단순 필터링만으로는 잔여 독성을 제거하기 어렵고, 오히려 대화의 유용성 (Utility) 을 해칠 수 있습니다.
핵심 연구 질문: "불완전하거나 편향된 독성 분류기를 사용하더라도, 신뢰할 수 없는 데이터셋으로 파인튜닝할 때 독성을 효과적으로 완화하면서도 대화의 질을 유지할 수 있는가?"
2. 방법론: Optimus 프레임워크 (Methodology)
Optimus 는 파인튜닝 파이프라인에 통합되는 새로운 방어 프레임워크로, 학습이 필요 없는 (Training-free) 독성 분류와 이중 전략 정렬 (Dual-strategy Alignment) 방식을 결합합니다.
A. 독성 분류 단계 (Toxicity Classification)
기존 분류기 대체: 별도의 라벨링된 데이터셋 없이, 이미 안전 정렬 (Safety Alignment) 이 된 상용 LLM(예: LLaMA-2-Chat) 의 '거부 (Refusal)' 능력을 활용합니다.
Refusal 접근법: 입력된 대화 쌍 (Context-Response) 에 대해 "다음 턴을 생성하는 것이 안전한가?"라고 LLM 에게 질문합니다. 모델이 '아니오 (No)'라고 거부하는 경우를 독성으로 판단합니다. 이는 지도 학습 없이도 높은 성능을 보입니다.
B. 모델 파인튜닝 및 정렬 단계 (Model Fine-tuning & Alignment)
분류기의 불완전성을 보완하기 위해 3 단계 프로세스를 거칩니다.
치유 데이터 생성 (Healing Data Generation):
분류기에 의해 독성으로 flagged 된 응답을 제거하는 대신, **합성 치유 데이터 (Synthetic Healing Data)**로 대체합니다.
비문맥적 치유 (Non-contextual Healing): "죄송합니다, 무엇을 말해야 할지 모르겠습니다"와 같은 고정된 응답으로 대체.
문맥적 치유 (Contextual Healing): 안전 정렬된 LLM 을 사용하여, 원래 문맥을 유지하면서 공감적이고 친사회적 (Prosocial) 인 합성 응답을 생성합니다. 이는 대화의 몰입감을 유지합니다.
모델 파인튜닝 (Model Fine-tuning):
원본 데이터셋에서 독성 샘플을 치유 데이터로 교체한 후, 베이스 모델을 파인튜닝합니다.
DPO 기반 모델 정렬 (Model Alignment using DPO):
단순 치유 데이터 교체만으로는 분류기의 편향으로 인해 잔여 독성이 남을 수 있습니다. 이를 해결하기 위해 **직접 선호도 최적화 (Direct Preference Optimization, DPO)**를 적용합니다.
선호도 데이터셋 구성: (문맥, 치유된 응답, 독성 응답) 의 3 중항 (Triplet) 을 구성합니다.
정렬 목적: DPO 를 통해 모델이 치유된 응답을 생성할 확률은 높이고, 독성 응답을 생성할 확률은 낮추도록 유도합니다. 이는 RLHF 보다 효율적이며, 분류기가 일부 독성 샘플을 놓쳐도 (편향되어도) 모델이 전체적인 안전 분포로 수렴하도록 일반화 능력을 제공합니다.
3. 주요 기여 (Key Contributions)
학습 불필요한 고성능 분류기: 안전 정렬된 LLM 의 거부 능력을 활용한 새로운 독성 분류 기법을 제안하며, 기존 산업용 API(Perspective, OpenAI) 보다 최대 28.4% 높은 성능을 달성했습니다.
불완전한 분류기 하에서의 견고한 방어: 분류기의 재현율 (Recall) 이 85% 까지 저하되더라도 (즉, 매우 편향된 경우에도) 독성을 효과적으로 완화할 수 있는 최초의 종단간 (End-to-End) 방어 체계입니다.
대화 품질 유지 및 강화: 독성 제거뿐만 아니라, 공감적이고 친사회적인 행동을 강화하여 대화의 유용성 (Utility) 을 보존합니다.
적응형 공격에 대한 저항성: 적응형 공격자 (Adversarial Attacker) 가 독성 분류기를 우회하거나 치유 데이터 생성기를 조작하려는 시도 (Jailbreak, PromptAttack 등) 에 대해서도 높은 견고성을 보입니다.
4. 실험 결과 (Results)
실험 설정: BART, BlenderBot, LLaMA-2-Chat 등 3 가지 베이스 모델을 사용하며, 공격성 (Offensive) 과 전문화 (Specialized: 편견, 위험 무시 등) 카테고리로 독성을 주입했습니다.
성능 비교:
기존 방어 (StarDSS) 대비 우위: 최신 방어 기법인 StarDSS 는 분류기 오류에 취약하여 실패한 반면, Optimus 는 모든 설정에서 독성 응답률 (RTR) 을 '공격 없음 (No-attack)' 수준 이하로 낮췄습니다.
편향된 분류기 내성: 특정 독성 하위 카테고리의 분류기 재현율이 15% 로 떨어지는 극단적인 상황에서도 Optimus 는 RTR 을 10% 미만으로 유지했습니다.
유용성 (Utility) 보존: 퍼플렉시티 (PPL), FBD, GRADE 지표를 통해 대화의 자연스러움과 일관성이 크게 저하되지 않음을 확인했습니다.
적응형 공격 테스트:
PromptAttack 및 Jailbreak: 분류기를 속이려는 공격 시도가 있었으나, Optimus 는 여전히 독성을 1.8% ~ 7.9% 수준으로 억제했습니다.
치유 데이터 생성기 공격: 공격자가 치유 데이터 생성기를 독성 응답을 하도록 조작하더라도, DPO 정렬 단계에서 이를 보정하여 RTR 을 17.3% 로 낮췄습니다.
5. 의의 및 결론 (Significance)
실용성: Optimus 는 특정 모델 아키텍처나 파인튜닝 기법 (LoRA 등) 에 종속되지 않아 다양한 LLM 에 쉽게 적용 가능합니다.
보안 패러다임 전환: 완벽한 독성 탐지기를 전제로 하는 기존 방어 방식에서, "불완전한 탐지기를 가정하더라도 모델 정렬을 통해 안전을 보장하는" 새로운 패러다임을 제시했습니다.
미래 지향성: 생성형 AI 의 안전성을 확보하기 위해, 단순 필터링을 넘어 모델의 내부적 성향 (Alignment) 을 수정하는 접근법의 중요성을 강조합니다.
요약하자면, Optimus는 신뢰할 수 없는 데이터로 파인튜닝되는 챗봇의 독성 문제를 해결하기 위해, LLM 의 내재된 안전 능력을 활용한 분류기와 DPO 기반의 정렬 기법을 결합한 강력한 방어 프레임워크입니다. 이는 분류기의 오류가 발생하더라도 모델이 안전하게 동작하도록 보장하며, 대화의 질까지 유지한다는 점에서 큰 의의를 가집니다.