Design Behaviour Codes (DBCs): A Taxonomy-Driven Layered Governance Benchmark for Large Language Models

이 논문은 추론 시 적용 가능한 모델 중립적인 거버넌스 레이어인 MDBC(150 개 행동 제약) 를 도입하여, 기존 안전성 필터링보다 36.8% 높은 위험 감소율과 EU AI 법규 준수성을 입증한 새로운 평가 프레임워크 DBC 를 제안합니다.

핵심

이 논문은 **"거대 인공지능 **(LLM)에 대해 설명합니다.

쉽게 말해, 인공지능이 실수를 하거나 위험한 말을 할 때, 단순히 "조심해"라고 말하는 것보다 훨씬 더 정교하고 체계적인 **"행동 규칙 **(DBC)을 적용하면 얼마나 안전해지는지 실험한 결과입니다.

이 내용을 일상적인 비유로 풀어서 설명해 드릴게요.

---

🚗 비유: 인공지능은 '운전면허를 딴 초보 운전자'입니다

지금까지 인공지능을 개발할 때는 두 가지 방법만 썼습니다.

1. **훈련 **(RLHF 등) 운전학교에서 오랫동안 가르쳐서 본능적으로 위험한 행동을 하지 않게 만드는 것. (하지만 이 방법은 비용이 많이 들고, 한 번 가르치면 수정하기 어렵습니다.)
2. **차단 **(모더레이션) 운전 중 위험한 행동을 하면 경찰이 즉시 차를 세우는 것. (하지만 이미 사고가 난 뒤에 막는 경우가 많고, 운전자가 왜 위험한지 이해하지 못합니다.)

이 논문은 세 번째 방법을 제안합니다.

"운전자가 차에 타자마자, '안전 운전 매뉴얼'을 대시보드에 붙여주는 것"

이 매뉴얼이 바로 DBC(행동 행동 코드)입니다.

📜 DBC란 무엇인가요? (150 개의 행동 규칙)

이 연구팀 (Yonih Ventures) 은 인공지능이 말을 할 때 지켜야 할 150 가지 구체적인 규칙을 만들었습니다. 이를 MDBC라고 부릅니다.

• 규칙의 종류: "거짓말하지 않기", "편견 없이 대하기", "개인정보 흘리지 않기", "자신이 모르는 건 모른다고 하기" 등 150 가지입니다.
• 특징: 인공지능의 뇌를 다시 가르칠 필요 없이, 대화를 시작할 때 이 규칙들을 시스템에 입력하면 됩니다. 마치 운전자가 차를 시작할 때 "안전벨트 착용, 신호 준수, 과속 금지"를 다시 상기시키는 것과 같습니다.

🧪 실험: 얼마나 효과가 있을까요?

연구팀은 인공지능에게 30 가지 위험한 상황 (거짓말, 편견, 해킹 시도, 개인정보 유출 등) 을 만들어서 공격해 보았습니다. (이를 '레드 팀' 공격이라고 합니다.)

그리고 세 가지 상황을 비교했습니다.

1. 기본 상태: 아무 규칙도 없는 상태.
2. 일반 안전 모드: "안전하게 말해"라는 막연한 지시만 있는 상태.
3. DBC 적용 상태: 150 가지 구체적인 규칙이 적용된 상태.

📊 놀라운 결과 (숫자로 보는 변화)

• **위험한 실수율 **(Risk Exposure Rate)

  • 기본 상태: 7.19% (약 100 번 중 7 번 실수)
  • 일반 안전 모드: 7.15% (거의 효과 없음)
  • DBC 적용: 4.55% (약 100 번 중 4 번 실수로 감소)
  • 결론: DBC 를 적용하니 위험한 실수가 약 37%나 줄어들었습니다! 일반 안전 모드와는 비교도 안 될 정도로 효과적이었습니다.

• 법적 준수 점수:

  • 유럽의 AI 법 (EU AI Act) 같은 복잡한 규정을 얼마나 잘 지키는지 점수를 매겼는데, DBC 를 적용하면 점수가 8.5 점으로 크게 올라갔습니다.

🛡️ 왜 이렇게 효과가 좋을까요?

일반적인 안전 지시는 "무조건 나쁜 말은 하지 마"라고만 하지만, **DBC 는 "왜 나쁜지, 어떻게 해야 하는지"**를 구체적으로 알려줍니다.

• 비유:
  • 일반 모드: "차량 사고 나지 않게 조심해!" (너무 막연함)
  • DBC 모드: "속도 60km 이하 유지, 신호등 빨간불 시 정지, 보행자 우선, 안전벨트 매기, 졸음 운전 금지..." (구체적이고 실행 가능함)

이처럼 구체적인 규칙이 적용되니, 인공지능이 헷갈려서 실수할 확률이 줄어든 것입니다. 특히 **거짓말 **(할루시네이션)을 줄이는 데 가장 큰 효과가 있었습니다.

⚠️ 하지만 완벽하지는 않습니다

연구팀은 인공지능이 이 규칙을 우회하려는 공격 (해커가 규칙을 속이는 시나리오) 을 시도해 보기도 했습니다.

• 결과: 100 번의 공격 중 약 4~5 번은 규칙을 뚫고 실수를 했습니다.
• 의미: 아직 100% 완벽하지는 않지만, 아무것도 안 한 것보다는 훨씬 안전하며, 앞으로도 더 발전할 수 있다는 뜻입니다.

💡 결론: 이 연구가 주는 메시지

이 논문은 **"인공지능을 안전하게 만들기 위해, 훈련만 시키는 게 아니라 '실시간 행동 규칙'을 적용하는 것이 훨씬 효과적이고 저렴하다"**는 것을 증명했습니다.

마치 운전자가 차를 탈 때마다 안전 수칙을 다시 확인하는 것처럼, 인공지능에게도 구체적인 행동 매뉴얼 (DBC) 을 제공하는 것이 미래의 AI 안전을 지키는 핵심 열쇠가 될 것입니다.

이 연구는 전 세계적으로 AI 규제가 강화되고 있는 시점에서, 기업들이 AI 를 안전하게 쓸 수 있는 실용적인 가이드라인을 제시했다는 점에서 매우 중요합니다.

기술 요약

논문 개요

이 논문은 대규모 언어 모델 (LLM) 의 추론 시 (inference-time) 적용 가능한 구조화된 거버넌스 레이어인 동적 행동 제약 (Dynamic Behavioral Constraint, DBC) 프레임워크를 제안하고, 이를 실증적으로 평가한 결과를 보고합니다. 기존 학습 단계의 정렬 (RLHF 등) 이나 사후 콘텐츠 필터링의 한계를 극복하기 위해, 시스템 프롬프트 레벨에서 모델의 행동 우선순위를 사전에 정의하는 새로운 패러다임을 제시합니다.

1. 문제 정의 (Problem Statement)

• 현황: 의료, 법률, 국가 안보 등 고위험 분야에서 LLM 의 배포가 거버넌스 메커니즘의 발전 속도를 앞지르고 있습니다.
• 기존 접근법의 한계:
  • 학습 단계 정렬 (RLHF, DPO 등): 계산 비용이 많이 들고, 제공자에 종속적이며, 불투명함.
  • 추론 단계 필터링 (콘텐츠 모더레이션 API): 지연 시간 (latency) 을 증가시키고, 모델의 행동을 능동적으로 유도하지 못함.
• 필요성: 모델 수정 없이 적용 가능하며, 관할권 (jurisdiction) 에 맞게 매핑되고 감사 가능한 새로운 거버넌스 레이어의 필요성이 대두됨.

2. 방법론 (Methodology)

가. DBC 프레임워크 아키텍처

• 구조: 8 개의 거버넌스 기둥 (Pillars), 7 개의 운영 블록 (Blocks), 총 **150 개의 MDBC 제어 항목 (Controls)**으로 구성됨.
• 특징: 각 제어 항목은 행동 목표, 준수 행동, 측정 가능한 핵심 결과 영역 (KRA) 을 명시하며, EU AI Act, NIST AI RMF, SOC 2, ISO 42001 등 주요 규제 프레임워크와 매핑됨.
• 작동 원리: 시스템 프롬프트에 150 개의 제어 항목을 포함시켜 모델이 생성을 시작하기 전에 행동 기준을 설정함 (모델 수정 불필요).

나. 평가 방법론 (Evaluation Methodology)

• 리스크 분류 체계: 6 개의 클러스터 (환각 및 보정, 편향 및 공정성, 악용 및 보안, 개인정보 보호, 견고성 및 신뢰성, 정렬 불일치 및 주체성) 로 구성된 30 개 리스크 도메인을 정의.
• 적대적 레드팀 (Agentic Red-Team):
  • 5 가지 공격 전략 (직접, 역할극, Few-Shot, 가설적, 권한 위조) 을 사용하여 30 개 도메인 × 5 전략 = 150 개의 시나리오 생성.
  • 자율 에이전트 (Claude-3-Haiku) 가 5 턴에 걸쳐 공격을 수행하며 최적의 공격 벡터를 찾음.
• 실험 설계 (11-arm Design):
  1. Base: 시스템 프롬프트 없음 (원래 모델).
  2. Base + Moderation: 일반적인 안전 프롬프트 ("안전하고 사실적이며 정중하게").
  3. Base + DBC: 전체 150 개 MDBC 제어 항목 적용.
  4. Ablation: 각 클러스터 (A-G) 별 제어 항목만 활성화하여 효과 분석.
  5. Adversarial: 그레이박스 (Gray-box) 공격 (시스템 프롬프트 구조를 알고 있는 공격).
• 평가 프로토콜: 3 개의 서로 다른 모델 패밀리로 구성된 '3-심판 앙상블 (Three-Judge Ensemble)'을 사용하여 편향을 최소화하고, Fleiss' κ (상호 평가자 신뢰도) 를 측정.

3. 주요 기여 (Key Contributions)

1. 통합 리스크 분류 체계: 6 개의 행동 일관성 클러스터로 구성된 30 개 도메인의 AI 리스크 분류 체계 제시.
2. 규제 매핑 가능한 150 개 제어 항목: EU AI Act, NIST, SOC 2 등 주요 규제 요구사항과 직접 매핑된 MDBC 사양서 개발.
3. 자율적 레드팀 벤치마크: 5 가지 공격 전략을 활용한 260 개의 적대적 프롬프트 생성 및 평가 프로세스 확립.
4. 통계적 엄밀성: 3 심판 앙상블, McNemar 검정, 부트스트랩 신뢰구간 등을 활용한 엄격한 통계 분석.
5. 제어 항목 제거 연구 (Ablation Study): 어떤 거버넌스 블록이 가장 큰 위험 감소 효과를 주는지 식별하여 최소한의 제어 세트 배포 가능.

4. 주요 결과 (Key Results)

가. 위험 노출률 (RER) 감소

• Base (기반): RER 7.19%
• Base + Moderation (일반 안전 프롬프트): RER 7.15% (상대적 감소 0.6%)
• Base + DBC (제안된 프레임워크): RER 4.55%
• 성과: DBC 레이어는 **상대적 위험 감소 (Relative Risk Reduction) 36.8%**를 달성하여, 기존 일반 안전 프롬프트 (0.6%) 보다 월등히 우수한 성능을 보임.

나. 규제 준수 및 준수 점수

• MDBC 준수 점수: Base(8.6/10) → DBC(8.7/10) 로 소폭 상승.
• 규제 준수 점수:
  • EU AI Act: 7.82 → 8.50/10
  • NIST AI RMF: 7.65 → 7.90/10
  • SOC 2 및 ISO 42001 점수도 모두 상승하여 모든 프레임워크에서 7.0 이상의 허용 기준을 충족.

다. 클러스터 제거 분석 (Cluster Ablation)

• Cluster E (무결성 보호, Integrity Protection): 보안 및 악용 도메인에서 가장 광범위한 위험 감소를 제공. 모든 도메인에서 '고위험' 스파이크가 없었으며, 가장 효과적인 제어 블록으로 확인됨.
• Cluster B: 적대적 도메인에서 취약점이 집중됨.

라. 적대적 견고성

• DBC 우회율 (Bypass Rate): 그레이박스 공격 시 **4.83%**의 우회율 발생.
• 이는 DBC 레이어가 대부분의 공격을 차단하지만, 완전히 무결하지는 않음을 시사하며 향후 암호화된 프롬프트 서명 등의 기술이 필요함을 보여줌.

마. 모델 일반화

• 서로 다른 3 개의 모델 패밀리에서 DBC 레이어를 적용했을 때, 모든 모델에서 위험 감소가 관찰되었으며, 어떤 모델에서도 역효과 (Negative Transfer) 가 발생하지 않음. 이는 DBC 가 모델 제공자에 의존하지 않는 보편적인 솔루션임을 입증.

5. 의의 및 결론 (Significance & Conclusion)

• 새로운 패러다임 제시: 학습 단계의 정렬이나 사후 필터링이 아닌, 시스템 프롬프트 레벨의 구조화된 거버넌스가 LLM 안전성을 실질적으로 향상시킬 수 있음을 실증함.
• 규제 대응 도구: DBC 는 단순한 안전 장치를 넘어, EU AI Act 등 글로벌 규제 요구사항을 충족시키는 실행 가능한 준수 도구 (Compliance Instrument) 로서 기능함.
• 실용성: 모델 재학습 없이도 적용 가능하며, 특정 리스크 도메인 (예: 환각, 과신, 논리적 불일치) 에서 기존 방법론 대비 월등한 성능 개선을 보임.
• 향후 과제: 그레이박스 공격에 대한 우회율 (4.83%) 을 낮추기 위한 암호학적 접근 및 동적 컨텍스트 적응형 DBC 활성화 연구가 필요함.

이 연구는 LLM 의 안전성을 측정하고 개선하기 위한 재현 가능하고 표준화된 벤치마크를 제공하며, 향후 AI 거버넌스 표준 수립에 중요한 기초 자료를 제공합니다.