DeEscalWild: A Real-World Benchmark for Automated De-Escalation Training with SLMs

1. 문제 정의 (Problem Statement)

• 현황: 경찰의 위기 해소 (De-escalation) 능력은 경찰관 안전과 지역사회 신뢰에 필수적입니다. 그러나 기존의 훈련 방식 (정적 역할극, 분기형 비디오) 은 확장성, 일관성, 현실성 측면에서 한계가 있습니다.
• LLM 의 한계: 대규모 언어 모델 (LLM) 은 동적이고 개방형 시뮬레이션을 가능하게 하지만, 방대한 계산 자원 (Computational Footprint) 으로 인해 VR 헤드셋이나 모바일 엣지 장치와 같은 경량 휴대용 하드웨어에 실시간으로 배포하기 어렵습니다.
• SLM 의 데이터 부족: 소형 언어 모델 (SLM) 은 실시간 저지연 처리가 가능하지만, 위기 해소와 같은 고위험 도메인에서 신뢰할 수 있는 성능을 내기 위한 고품질의 전문 훈련 데이터가 극도로 부족합니다.
• 핵심 과제: 엣지 장치에서 실행 가능한 저지연 SLM 을 구축하기 위해서는 도메인 특화 고품질 데이터와 효율적인 모델 미세 조정 (Fine-tuning) 전략이 필요하지만, 이를 위한 표준 벤치마크가 부재했습니다.

2. 방법론 (Methodology)

A. DeEscalWild 데이터셋 구축

• 데이터 소스: 유튜브, 틱톡, 페이스북 등 오픈 소스 비디오 저장소에서 수집된 5,000 개의 "야생 (In-the-wild)" 경찰 - 시민 상호작용 영상을 원천으로 사용했습니다.
• 하이브리드 필터링 파이프라인:
  1. 초기 전처리: Whisper 모델을 사용하여 5,000 개 영상의 원시 텍스트를 생성.
  2. LLM-as-a-Judge 및 인간 검증: LLM 을 심사위원으로 활용하고 인간이 개입하는 (Human-in-the-loop) 엄격한 필터링 과정을 거쳐 1,500 개의 고품질 시나리오로 정제.
  3. 고급 처리: Gemini-2.5-Flash 를 활용하여 대화 추출과 화자 분리 (Speaker Diarization) 를 수행.
• 데이터 통계: 최종적으로 1,500 개의 시나리오, 285,887 개의 대화 턴, 약 470 만 토큰으로 구성된 대규모 코퍼스 확보.
• 품질 관리: 무작위 샘플 (N=100) 에 대한 정밀 오류 분석을 통해 단어 오류율 (WER) < 0.1%, 화자 분리 오류율 (DER) 0.16% 의 높은 정확도를 입증.

B. 실험 설정 및 모델

• 모델 선정: 40 억 파라미터 미만의 최신 SLM 5 종 (Qwen 2.5, Llama 3.2, Gemma 2, Granite 3.0, Falcon 3) 을 선정.
• 미세 조정 (Fine-tuning):
  • 방법: 4 비트 양자화 QLoRA (Quantized Low-Rank Adaptation) 사용.
  • 설정: Rank(r)=16, Scaling factor(α)=32, 학습률 2e-4, 3 에포크 학습.
  • 하드웨어: 단일 NVIDIA GeForce RTX 3090 GPU.
• 평가 지표: ROUGE-L, BLEU-4, METEOR, BERTScore 를 사용하여 응답의 구조적 일관성, 의미적 정확도, 대화 흐름을 평가.
• 비교 대상: 일반 목적의 최신 대형 모델인 Gemini 2.5 Flash (Few-shot 프롬프트 엔지니어링 적용) 와 비교.

3. 주요 기여 (Key Contributions)

1. DeEscalWild 벤치마크: 실제 현장 (In-the-wild) 에서 추출된 최초의 대규모 위기 해소 대화 데이터셋을 공개했습니다. 이는 단순한 채팅이 아닌, 긴장감, 비협조적 행동, 감정적 폭발이 포함된 생태학적 타당성 (Ecological Validity) 을 갖춘 데이터입니다.
2. 엣지에서의 SLM 유효성 입증: 도메인 특화 미세 조정을 통해 소형 모델이 파라미터 규모가 훨씬 큰 일반 목적 모델보다 우수한 성능을 발휘할 수 있음을 증명했습니다.
3. 프라이버시 및 저지연 아키텍처: 클라우드 의존 없이 VR 헤드셋 등 엣지 장치에서 실시간으로 실행 가능한 위기 해소 훈련 시스템의 기반을 마련했습니다.

4. 실험 결과 (Results)

• 성능 향상: 모든 SLM 모델에서 미세 조정 (Fine-tuning) 후 성능이 크게 향상되었습니다. 특히 Qwen 2.5 (3B) 모델이 가장 두드러진 개선을 보였습니다.
  • ROUGE-L: 11.2 → 15.8 (+4.5)
  • METEOR: 15.7 → 19.5 (+3.9)
  • BERTScore: 0.86 → 0.88
• 대형 모델 vs 소형 모델:
  • 미세 조정된 Qwen 2.5 (3B) 는 프롬프트 엔지니어링을 적용한 Gemini 2.5 Flash를 모든 품질 지표 (ROUGE-L, BLEU-4, METEOR, BERTScore) 에서 능가했습니다.
  • 특히 METEOR 점수는 +6.3 점 차이로, 도메인 특화 데이터의 질이 파라미터 규모를 대체할 수 있음을 보여줍니다.
• 지연 시간 (Latency):
  • Gemini 2.5 Flash: 평균 3.50 초 (실시간 훈련에 부적합).
  • 미세 조정된 SLM 들: 0.30 초 ~ 0.44 초 (실시간 처리 가능).
  • Granite 3.0 이 가장 빠름 (0.30 초), Qwen 2.5 는 성능과 속도의 최적 균형을 보임 (0.38 초).
• 정성적 분석:
  • Base 모델: 과도하게 정중하고 순종적인 답변 ("I will comply immediately") 을 생성하여 훈련의 몰입도를 깨뜨림.
  • Fine-tuned 모델: 실제 현장의 비문법적 표현, 슬랭, 공격적인 어조 ("I ain't stepping out!") 를 정확하게 모방하여 위기 상황의 현실성을 극대화.
  • 안전 필터 우회: 일반 LLM 은 경찰의 명령어에 대해 안전 필터가 작동하여 거절하는 경우가 있었으나, 로컬 SLM 은 역할 일관성을 유지하며 거부하지 않음.

5. 의의 및 결론 (Significance)

• "더 큰 것이 더 좋다"는 패러다임의 전환: 고위험 도메인에서는 파라미터 규모보다 고품질의 도메인 특화 데이터가 성능을 결정하는 핵심 요소임을 입증했습니다.
• 실용적 훈련 시스템: 클라우드 연결 없이도 작동하는 저지연, 프라이버시 보호형 훈련 시스템을 가능하게 하여, 경찰관의 의사결정 능력 향상과 무력 사용 감소에 기여할 수 있습니다.
• 미래 전망: 향후 비언어적 단서 (제스처, 표정) 를 통합한 멀티모달 에이전트 개발로 확장하여 더욱 현실적인 인간-AI 위기 시뮬레이션을 구축할 수 있는 기반을 제공했습니다.

이 연구는 DeEscalWild 데이터셋과 SLM 기반 훈련 프레임워크를 통해, 경찰 훈련의 디지털 전환을 가속화하고 현장 적용 가능한 AI 솔루션을 제시했다는 점에서 의의가 큽니다.