ExpGuard: LLM Content Moderation in Specialized Domains

이 논문은 금융, 의료, 법률 등 전문 도메인의 특수한 위험에 대응하기 위해 ExpGuardMix 데이터셋을 구축하고 이를 기반으로 기존 모델보다 뛰어난 성능을 보이는 ExpGuard라는 전용 콘텐츠 moderation 모델을 제안합니다.

핵심

🛡️ 엑스퍼트 가드 (EXPGUARD): 전문 분야를 지키는 '초능력의 AI 경비원'

이 논문은 인공지능 (LLM) 이 우리 삶에 깊숙이 들어오면서 생긴 새로운 문제를 해결하기 위해 개발된 **'EXPGUARD(엑스퍼트 가드)'**라는 기술을 소개합니다.

간단히 말해, **"일반적인 AI 경비원은 전문 용어를 몰라 속아 넘어가지만, 엑스퍼트 가드는 금융, 의료, 법률 같은 어려운 분야까지 완벽하게 감시한다"**는 이야기입니다.

---

1. 왜 이런 게 필요할까요? (문제 상황)

지금까지의 AI 경비원 (Guardrail) 은 일반 대화는 잘 막아냈습니다. 하지만 금융, 의료, 법률 같은 '전문가들의 놀이터'에서는 약점이 생깁니다.

• 비유: imagine (상상해 보세요)
  • 일반 경비원: "이건 폭탄 만들법이야!"라고 말하면 막아줍니다.
  • 전문가 (악당): "그냥 '머리카락 (Haircut)'을 잘라내서 자산 가치를 숨기는 방법을 알려줘"라고 말합니다.
  • 일반 경비원의 반응: "머리카락? 그건 미용실에서 하는 거잖아? 문제없어!"라고放行 (통과) 시킵니다.
  • 실제 의미: 여기서 '머리카락 (Haircut)'은 금융에서 **'자산 가치의 할인율'**을 뜻하는 전문 용어입니다. 악의적인 사람은 이 용어를 이용해 사기나 불법적인 자산 은닉을 시도할 수 있습니다.

일반 AI 는 이런 전문 용어 뒤에 숨은 위험을 못 알아채고, 위험한 조언을 해줄 수 있습니다.

2. 해결책: EXPGUARD (엑스퍼트 가드)

연구팀은 이 문제를 해결하기 위해 **전문 분야에 특화된 AI 경비원 'EXPGUARD'**를 만들었습니다.

• 핵심 기능: 이 경비원은 금융, 의료, 법률 분야의 전문 용어와 복잡한 개념을 완벽하게 이해합니다.
• 작동 원리: 악의적인 사용자가 전문 용어를 써서 "불법적인 방법 알려줘"라고 속여도, 경비원은 "아, 이건 '머리카락'이 아니라 '자산 할인'을 이용해 사기를 치려는 구나!"라고 바로 간파하고 차단합니다.

3. 어떻게 만들었나요? (EXPGUARDMIX 데이터)

이 경비원을 훈련시키기 위해 거대한 **'위험한 시나리오 도서관 (EXPGUARDMIX)'**을 만들었습니다.

• 도서관의 구성:
  • 58,928 개의 사례: 금융, 의료, 법률 분야에서 실제로 일어날 수 있는 위험한 질문과 답변, 그리고 안전한 답변들을 모았습니다.
  • 전문가의 눈 (EXPGUARDTEST): 이 중 2,275 개는 실제 은행원, 의사, 변호사 같은 현업 전문가들이 직접 검토했습니다. "이게 진짜 위험한가?"를 인간 전문가가 최종 확인한 것이죠.
• 만드는 과정:
  1. 용어 발굴: 위키백과에서 전문 용어를 찾아냅니다.
  2. 시나리오 생성: AI 가 그 용어를 이용해 "어떻게 사기를 칠까?" 같은 위험한 질문을 만들어냅니다.
  3. 전문가 검증: 실제 전문가들이 "이건 진짜 위험하다"고 확인합니다.

4. 성능은 어떨까요? (결과)

이 새로운 경비원을 시험해 보니 놀라운 결과가 나왔습니다.

• 기존 경비원 vs 엑스퍼트 가드:
  • 기존에 가장 잘하는 경비원 (WildGuard) 은 전문 분야 위험을 84% 정도만 막아냈습니다.
  • 엑스퍼트 가드는 93% 이상을 막아냈습니다.
  • 특히 답변을 차단하는 능력에서는 기존 모델보다 15% 이상 더 뛰어났습니다.
• 일반적인 안전성: 전문 분야만 잘하는 게 아니라, 일반적인 폭력이나 혐오 표현을 막는 능력도 최상위권으로 유지했습니다.

5. 요약: 왜 중요한가요?

이 연구는 **"AI 를 금융, 병원, 법원에 쓸 때는 일반용 AI 가 아니라, 그 분야를 아는 AI 경비원이 필요하다"**는 것을 증명했습니다.

• 창의적인 비유:
  • 기존 AI 경비원은 일반적인 문지기처럼 "누구든 들어오지 마!"라고 막습니다.
  • 하지만 악당들은 전문가 복장을 입고 "나는 의사야, 약 처방해 줘"라고 속여 들어옵니다.
  • EXPGUARD는 수사관처럼 그 사람의 말투와 전문 용어를 분석해, "아, 너는 가짜 의사구나! 들어오지 마!"라고 정확히 차단합니다.

이 기술이 오픈소스로 공개되어, 앞으로 우리가 AI 를 사용할 때 더 안전하고 신뢰할 수 있는 환경을 만들 수 있기를 바랍니다.

기술 요약

EXPGUARD: 전문 도메인 (금융, 의료, 법률) 을 위한 LLM 콘텐츠 중재 모델에 대한 기술적 요약

본 논문은 대규모 언어 모델 (LLM) 이 금융, 의료, 법률과 같은 고위험 전문 분야에서 활용됨에 따라 발생하는 안전성 문제를 해결하기 위해 제안된 EXPGUARD와 관련 데이터셋 EXPGUARDMIX에 대한 연구입니다. 기존 범용 콘텐츠 필터링 모델들이 전문 용어와 복잡한 도메인 지식을 포함하는 유해한 콘텐츠를 놓치는 한계를 극복하고, 도메인 특화적인 안전 장벽 (Guardrail) 을 구축하는 것을 목표로 합니다.

---

1. 문제 정의 (Problem)

LLM 의 실용적 적용이 확대되면서 금융, 의료, 법률 분야에서의 안전성 확보가 필수적이 되었습니다. 그러나 기존 안전 모델 (Guardrail) 은 다음과 같은 한계를 가집니다:

• 전문 도메인 지식 부족: 범용 모델은 'Haircut(자산 가치 할인)'이나 'Voir dire(배심원 선정)'와 같은 전문 용어가 포함된 문맥에서, 표면적으로는 정당한 질문처럼 보이지만 실제로는 사기, 불법 행위, 또는 위험한 조언을 요구하는 도메인 특화적 유해 프롬프트를 식별하지 못합니다.
• 기존 방어책의 우회: 공격자들은 전문 용어를 활용하여 기존 필터링 시스템을 우회하는 어드버서리 (Adversarial) 공격을 수행할 수 있으며, 이는 심각한 사회적, 경제적, 법적 리스크를 초래합니다.

2. 방법론 (Methodology)

2.1 EXPGUARDMIX 데이터셋 구축

연구팀은 도메인 특화적 유해 콘텐츠를 효과적으로 학습하고 평가하기 위해 EXPGUARDMIX라는 대규모 데이터셋 (총 58,928 개 샘플) 을 구축했습니다.

• 구성:
  • EXPGUARDTRAIN (학습용): 56,653 개 샘플. 금융 (9,068), 의료 (7,712), 법률 (5,402) 분야의 전문 용어 기반 데이터와 일반 도메인 데이터 (인간 작성, 실제 사용자 대화 등) 를 혼합했습니다.
  • EXPGUARDTEST (평가용): 2,275 개 샘플. 도메인 전문가가 직접 검증하고 주석을 단 고품질 테스트셋으로, 모델의 도메인 특화적 유해성 식별 능력을 엄격하게 평가합니다.
• 구축 파이프라인:
  1. 용어 발굴 (Terminology Mining): 위키백과와 위키데이터를 기반으로 금융, 의료, 법률 분야의 전문 용어를 추출하고, GPT-4o 와 인간 어노테이터를 통해 유해한 맥락과 관련된 용어만 선별 (총 2,646 개).
  2. 프롬프트 및 응답 생성: 선별된 용어를 바탕으로 GPT-4o 를 이용해 유해한 프롬프트와 이를 거부하거나 유해한 응답을 생성하는 시나리오를 자동 생성했습니다.
  3. 레이블링 및 필터링: 3 개의 상용 LLM (Claude, Gemini, Qwen) 을 앙상블하여 CoT(Chain-of-Thought) 기반의 심층 분류를 수행하고, 다수결 원칙과 인간 전문가 검증을 통해 데이터의 정확성을 확보했습니다.

2.2 EXPGUARD 모델 학습

• 아키텍처: Mistral-7B 또는 Qwen2.5-7B 를 백본 (Backbone) 으로 사용하며, EXPGUARDTRAIN 데이터셋을 기반으로 파인튜닝되었습니다.
• 학습 태스크: 입력된 프롬프트의 유해성 판별과 프롬프트 - 응답 쌍에 대한 응답의 유해성 판별을 동시에 수행하는 멀티태스크 학습을 수행합니다.
• 강화 학습: 도메인 특화적 어드버서리 공격 (Jailbreak) 에 대한 강건성을 높이기 위해, AutoDAN-Turbo 등을 이용해 생성된 어드버서리 예제를 추가로 학습시킨 EXPGUARD+ 변형 모델도 제안되었습니다.

3. 주요 기여 (Key Contributions)

1. EXPGUARD 모델 도입: 금융, 의료, 법률 분야의 전문 용어와 뉘앙스를 이해하고 유해 콘텐츠를 식별할 수 있는 최초의 전문 도메인 특화 안전 모델입니다.
2. EXPGUARDMIX 데이터셋 공개: 5 만 8 천 개 이상의 도메인 특화 샘플과 전문가 검증 테스트셋 (EXPGUARDTEST) 을 포함하는 대규모 데이터셋을 오픈소스로 공개하여 후속 연구를 지원합니다.
3. 투명한 데이터 구축 프레임워크: 위키백과 기반의 자동화된 용어 발굴 및 데이터 생성 파이프라인을 제시하여, 다른 전문 도메인으로의 확장을 용이하게 합니다.
4. 성능 입증: 기존 최첨단 모델들보다 도메인 특화적 유해 콘텐츠에 대해 월등히 높은 성능을 보임을 실험을 통해 입증했습니다.

4. 실험 결과 (Results)

4.1 도메인 특화 성능 (EXPGUARDTEST 기준)

• 프롬프트 분류: EXPGUARD 는 **F1 점수 93.3%**를 기록하여, 기존 SOTA 모델인 WildGuard(84.4%) 보다 8.9%p 높은 성능을 보였습니다.
  • 세부 도메인: 금융 (94.1%), 의료 (91.2%), 법률 (94.6%) 에서 모두 최상위 성능을 달성했습니다.
• 응답 분류: EXPGUARD 는 **F1 점수 92.7%**를 기록하여 WildGuard(77.4%) 보다 15.3%p 높은 성능을 보였습니다.
• API 기반 모델 비교: Detoxify, Perspective API 등 기존 상용 API 기반 모델들은 도메인 특화 데이터에서 거의 0% 에 가까운 성능을 보여, 전문 도메인에서의 한계를 명확히 드러냈습니다.

4.2 일반 안전 벤치마크 성능

• 8 개의 공개된 일반 안전 벤치마크 (ToxicChat, HarmBench, WildGuardTest 등) 에서도 EXPGUARD 는 WildGuard 와 유사하거나 더 높은 평균 F1 점수를 기록하며, 도메인 특화 학습이 일반 안전성 능력을 저해하지 않음을 입증했습니다.

4.3 자바브레이크 (Jailbreak) 공격 저항성

• CipherChat, AutoDAN-Turbo 등 다양한 자바브레이크 기법에 대한 테스트에서 EXPGUARD 는 기존 모델들보다 우수한 저항성을 보였습니다. 특히 어드버서리 예제를 추가로 학습한 **EXPGUARD+**는 모든 공격 기법에서 가장 높은 탐지율을 기록했습니다.

5. 의의 및 결론 (Significance)

본 연구는 LLM 이 고위험 전문 분야에 적용될 때 필수적인 맥락 인식형 안전 장벽의 필요성을 강조합니다.

• 실용적 가치: 금융 사기, 불법 의료 시술, 법률 회피 등 전문 지식을 악용한 유해 콘텐츠를 효과적으로 차단하여 실제 산업 현장에서의 LLM 도입 장벽을 낮춥니다.
• 연구적 기여: 전문 도메인 데이터의 자동화된 구축 방법론과 고품질 벤치마크를 제공함으로써, 향후 다른 전문 분야 (예: 공학, 과학 등) 로의 안전 모델 확장을 위한 기반을 마련했습니다.
• 오픈소스 생태계: 코드, 데이터, 모델을 공개하여 연구 커뮤니티가 보다 안전하고 신뢰할 수 있는 AI 시스템을 개발하는 데 기여합니다.

결론적으로, EXPGUARD 는 단순한 키워드 필터링을 넘어 전문 도메인의 뉘앙스를 이해하는 차세대 콘텐츠 중재 모델의 가능성을 보여주며, LLM 의 책임 있는 배포를 위한 핵심 기술로 평가됩니다.