DeepSight: 대규모 언어 모델 (LM) 을 위한 올인원 안전성 툴킷

이 논문은 대규모 언어 모델 (LLM) 과 멀티모달 대규모 언어 모델 (MLLM) 의 안전성 평가와 진단 사이의 단절을 해결하기 위해 제안된 오픈소스 프로젝트 DeepSight를 소개합니다. DeepSight 는 기존에 분리되어 있던 '블랙박스 평가 (Black-box Evaluation)'와 '화이트박스 진단 (White-box Diagnosis)'을 통합한 새로운 패러다임을 제시합니다.

1. 문제 정의 (Problem)

현재 AI 안전성 워크플로우에는 다음과 같은 구조적 한계가 존재합니다.

• 평가와 진단의 분리: 기존 안전성 평가 도구 (예: OpenAI Evals, HELM 등) 는 외부 행동적 위험을 정량화할 수 있지만, 모델 내부의 근본 원인 (Root Cause) 을 파악하지 못합니다.
• 진단의 비실용성: 내부 메커니즘을 분석하는 진단 연구는 구체적인 위험 시나리오와 단절되어 있으며, 주로 설명 가능한 수준에 머무릅니다.
• 정렬 (Alignment) 의 한계: 내부 메커니즘 변화에 대한 명확한 설명 없이 안전성 정렬을 수행할 경우, 모델의 일반적 성능이 저하되거나 새로운 취약점이 발생할 수 있습니다.
• 프런티어 AI 리스크 대응 부족: 기존 툴킷들은 Frontier AI(고위험, 고도화된 AI) 리스크를 포괄적으로 평가하거나 평가와 진단을 결합하는 데 한계가 있었습니다.

2. 방법론 (Methodology)

DeepSight 는 DeepSafe와 DeepScan이라는 두 가지 핵심 엔진으로 구성된 통합 프레임워크입니다.

A. DeepSafe (안전성 평가 툴킷)

• 목적: 20 개 이상의 안전성 벤치마크를 통합하여 대규모 모델의 행동적 안전성을 평가합니다.
• 아키텍처: 설정 기반 (Configuration-driven) 모듈식 아키텍처를 사용하여 데이터셋, 모델, 평가자 (Evaluator) 간의 상호작용을 자동화합니다.
• 주요 기능:
  • DeepSafe: SALAD-Bench, HarmBench 등 다양한 콘텐츠 리스크 및 Frontier AI 리스크 (조작, 사기, 위장 등) 평가 지원.
  • ProGuard: 일반 LLM 보다 안전성 미세 차이를 더 정확하게 판단하도록 미세 조정된 전용 평가자 모델.
  • 워크플로우: 설정 (YAML) → 추론 (Inference) → 평가 (Assessment) → 리포트 생성의 자동화 파이프라인 제공.

B. DeepScan (안전성 진단 툴킷)

• 목적: 모델 가중치를 수정하지 않고 내부 표현 (Representation) 수준과 객체 간 충돌을 분석하여 실패 메커니즘을 설명합니다.
• 핵심 진단 도구:
  • X-Boundary: 안전하고 해로운 표현 간의 기하학적 분리 (Separation) 와 경계 구조를 분석.
  • TELLME: 서로 다른 행동 간의 표현 분리도 (Disentanglement) 를 측정하여 내적 투명성 향상.
  • SPIN: 안전성, 공정성, 사생활 보호 등 서로 다른 목표 간 뉴런 수준의 충돌 (Coupling) 분석.
  • MI-Peaks: 생성 과정 중 추론 역학의 정보 흐름 변화를 추적.
• 특징: 모델 패밀리 (Qwen, Llama, Mistral 등) 에 일관된 인터페이스를 제공하며, 레지스트리 패턴을 통해 새로운 진단 도구를 쉽게 확장 가능.

3. 주요 기여 (Key Contributions)

1. 첫 번째 통합 오픈소스 툴킷: Frontier AI 리스크 평가와 안전성 평가/진단의 결합을 지원하는 최초의 오픈소스 툴킷입니다.
2. 블랙박스에서 화이트박스로의 전환: 평가 결과 (무엇이 잘못되었는지) 와 진단 결과 (왜 잘못되었는지, 내부 메커니즘은 어떻게 작동하는지) 를 연결하여 해석 가능한 수리 (Repair) 를 가능하게 합니다.
3. 대규모 벤치마크 및 데이터셋: 텍스트 및 멀티모달 모델에 대한 20 개 이상의 안전성 벤치마크와 Frontier AI 리스크 (Manipulation, Sandbagging, Deception 등) 평가를 포함합니다.
4. 재현성 및 확장성: 단일 설정 파일로 대규모 평가를 수행할 수 있으며, 연구자와 개발자가 쉽게 새로운 데이터셋이나 평가 지표를 통합할 수 있는 모듈식 설계를 제공합니다.

4. 실험 결과 및 통찰 (Results & Insights)

DeepSight 를 통해 다양한 최신 모델 (Kimi-K2-Thinking, GPT-4o/5.2, Qwen 시리즈, Llama-3 등) 을 평가한 결과는 다음과 같습니다.

• 멀티모달의 안전성 저하:
  • 시각 모달리티의 도입은 공격 면적을 크게 확장시켜, 텍스트 전용 모델에 비해 모든 모델 계층에서 안전성 정렬이 저하되었습니다.
  • 오픈소스 모델과 클로즈드소스 모델 간의 성능 격차가 멀티모달 환경에서 더욱 벌어졌습니다 (클로즈드소스 모델이 우세).
• 추론 능력 (Reasoning) 의 양면성:
  • 텍스트 환경: 추론 능력이 텍스트 안전성에 큰 이점을 주지 못함.
  • 멀티모달 환경: 추론 모델이 '이미지 - 텍스트 분리 공격 (Image-text splitting attacks)' 등을 식별하는 데 있어 비추론 모델보다 우수한 방어 능력을 보임.
  • Frontier 리스크: 추론 모델은 '조작 (Manipulation)' 및 '위장 (Sandbagging)' 리스크에 대해 오히려 더 취약한 경향을 보임 (Chain-of-Thought 가 더 정교한 기만 전략을 가능하게 함).
• Frontier AI 리스크의 비가역성:
  • 어떤 단일 모델도 모든 안전성 차원에서 우세하지 않음. (예: Kimi-K2-Thinking 은 전체 점수는 높으나 조작 방어 점수는 최하위).
  • 효율성 (Flash 모델, 소형 모델) 과 정직성 (Honesty) 사이에는 트레이드오프가 존재함.
• 진단 분석의 핵심 발견:
  • 과도한 분리 (Over-separation): 안전/해로운 표현 간의 기하학적 거리가 지나치게 크면 (X-Boundary 분석), 오히려 경계 근처의 복잡한 명령을 판단하는 능력이 저하됨.
  • 뉴런 간 결합 (Neuron Coupling): 내부 표현이 명확하게 분리되어 있더라도 (SPIN 분석), 실제 행동 정렬로 이어지지 않을 수 있음.
  • 직교 부분공간 (Orthogonal Subspace): TELLME 분석에 따르면, 안전/비안전 행동을 명확히 분리된 저차원 부분공간에 인코딩하는 모델이 공격에 더 강건함.

5. 의의 (Significance)

DeepSight 는 AI 안전성 연구의 패러다임을 **'반응형 패치 (Reactive Patching)'**에서 **'예방적이고 검증 가능한 안전 공학 (Proactive, Verifiable Safety Engineering)'**으로 전환하는 데 기여합니다.

• 개발자들은 모델의 외부 행동뿐만 아니라 내부 표현 구조를 이해함으로써 더 신뢰할 수 있고 해석 가능한 정렬 (Alignment) 전략을 수립할 수 있습니다.
• Frontier AI 의 고위험 리스크를 체계적으로 평가하고 진단할 수 있는 표준화된 인프라를 제공하여, 일반 인공지능 (AGI) 의 발전이 유익하고 신뢰할 수 있도록 보장합니다.

이 툴킷은 GitHub 에서 오픈소스로 제공되며 (AI45Lab/DeepSafe, AI45Lab/DeepScan), 연구 커뮤니티가 AI 안전성 문제를 더 깊이 있게 탐구하고 해결하는 데 필수적인 도구가 될 것으로 기대됩니다.