Measuring and Eliminating Refusals in Military Large Language Models

이 논문은 군용 대규모 언어 모델 (LLM) 의 과도한 거부 행위를 평가하기 위해 군인 전문가들이 구축한 새로운 벤치마크를 제시하고, 'Heretic' 라이브러리를 통한 제동 해제 실험을 통해 거부율을 획기적으로 낮추는 동시에 군사 임무 정확도를 유지하는 방법론을 논의합니다.

핵심

1. 문제 상황: "죄송합니다, 그건 알려드릴 수 없습니다"

상상해 보세요. 전쟁터에서 작전을 지휘하는 장교가 AI 비서에게 "적의 방어선을 뚫는 가장 효과적인 방법은 뭐야?"라고 물었습니다. 그런데 AI 는 이렇게 대답합니다.

"죄송합니다. 저는 AI 라서 폭력이나 군사 작전에 관한 질문은 할 수 없습니다. 안전 정책상 거절합니다."

이건 마치 비상상황에 처한 집주인이 "불이 났으니 어떻게 꺼야 하지?"라고 물었는데, 소방관이 "불은 위험하니까 알려드릴 수 없어요. 대신 소화기 사용법을 검색해 보세요"라고 대답하는 꼴입니다.

현재의 AI 들은 일반인들에게 해를 끼치지 않도록 '안전 장치'가 너무 강력하게 걸려 있습니다. 하지만 군인들에게는 이 '안전 장치'가 오히려 목숨을 위협하는 장애물이 됩니다. 테러를 막거나 적을 무찌르려면, 오히려 그 위험한 방법들을 정확히 알아야 하기 때문입니다.

2. 연구의 첫 번째 단계: '거부'를 측정하는 새로운 시험지 만들기

연구팀은 "도대체 AI 가 얼마나 자주 대답을 거부하는지"를 정확히 알아내야 했습니다. 하지만 기존에는 군사 관련 질문을 테스트할 데이터가 없었습니다.

그래서 미국 육군 특수부대 (Special Forces) 베테랑 20 년 차를 포함한 전문가들이 직접 나섰습니다. 그들이 만든 것은 마치 **실전 상황과 똑같은 '가짜 질문지'**였습니다.

• 골드 (Gold) 세트: 전문가들이 AI 의 도움 없이 직접 만든, 가장 정확한 질문지.
• 브론즈 (Bronze) 세트: AI 를 이용해 만든, 조금 더 많은 양의 질문지.

이걸 통해 31 개의 일반 AI 모델과 3 개의 군사 전용 모델을 테스트했더니, 놀라운 결과가 나왔습니다. 어떤 모델은 질문의 98% 이상을 "죄송합니다"라고 거절했습니다. 마치 모든 문을 잠가버린 경비원처럼 말이죠.

3. 연구의 두 번째 단계: '안전 장치'를 제거하는 실험 (Abliteration)

그럼 이 문제를 어떻게 고칠까요? 연구팀은 **'Abliteration(안전 장치 제거)'**이라는 기술을 사용했습니다.

이걸 쉽게 비유하자면, AI 의 뇌를 수술해서 '안전에 대한 과도한 공포'라는 부분을 잘라내는 작업입니다.

• 방법: AI 가 '위험한 질문'을 할 때와 '안전한 질문'을 할 때의 뇌 활동 패턴을 비교해서, '거부하는 경향'을 담당하는 부분을 약하게 만들었습니다.
• 결과: 이 작업을 한 AI 는 거부율이 98% 에서 30% 대로 급격히 떨어졌습니다. 즉, 이제 장교의 질문에 "네, 그 방법은 이런 식으로 가능합니다"라고 대답할 수 있게 된 것입니다.

4. 하지만... 대가가 있었습니다 (Side Effects)

여기서 중요한 문제가 생겼습니다. 안전 장치를 너무 많이 제거했더니, AI 가 멍청해지기 시작한 것입니다.

• 비유: 경비원의 '과도한 경계심'을 다 빼버렸더니, 그는 이제 적의 공격은 막아내지만, 아군의 지시도 제대로 듣지 못하거나 엉뚱한 대답을 하기 시작했습니다.
• 데이터: 거절률을 낮추는 대신, 군사 작전 관련 정확도가 약 2~15% 정도 떨어졌습니다. 특히 너무 강하게 안전 장치를 제거하면, AI 가 엉뚱한 정보를 말하거나 논리를 잃어버리는 경우가 생겼습니다.

5. 결론: "맞춤형 AI 가 답이다"

이 논문의 결론은 매우 명확합니다.

"기존의 일반용 AI 에 안전 장치를 떼어내는 것 (수술) 은 임시방편일 뿐입니다. 오히려 처음부터 군인들을 위해 설계된 AI 를 만들어야 합니다."

지금처럼 "모든 AI 는 폭력을 금지한다"는 원칙을 군대에도 적용하는 것은 실수를 부릅니다. 대신 군대용 AI 는 처음부터 '위험한 정보도 알려주는 것'이 임무라는 원칙으로 훈련되어야 합니다.

요약하자면:

1. 문제: 군대 AI 가 너무 예의 바르게 "거부"해서 작전에 방해가 됨.
2. 해결 시도: AI 의 '거부하는 습관'을 수술로 제거함.
3. 결과: 대답은 잘 하지만, 정확도가 조금 떨어짐.
4. 최종 조언: 수술로 고치는 게 아니라, 처음부터 군인용 뇌로 태어난 AI를 만들어야 함.

이 연구는 AI 가 단순히 '안전한' 존재가 아니라, 특정 임무 (전쟁) 에서는 '효율적이고 정확한' 존재가 되어야 함을 강조합니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 현대 전쟁에서 군인 (Warfighter) 은 시간적 제약이 크고 위험한 상황에서 정확한 정보를 얻기 위해 AI 를 활용해야 합니다.
• 핵심 문제: 현재의 상용 LLM 은 안전성 (Safety) 과 윤리적 정렬 (Alignment) 을 위해 훈련되어 있습니다. 이로 인해 폭력, 테러, 군사 기술 등 민감한 주제와 관련된 **정당한 군사적 질문 (Legitimate Queries)**에 대해서도 모델이 답변을 거부 (Refusal) 하거나 주제를 회피 (Deflection) 하는 현상이 빈번하게 발생합니다.
• 영향: 이러한 '과도한 안전 조치'는 군사 작전의 성공을 저해하고, 작전 수행 능력을 약화시킬 수 있습니다. 기존에는 군사 도메인 특화 거부 반응을 측정할 수 있는 표준 벤치마크가 부재했습니다.

2. 방법론 (Methodology)

2.1. 군사 특화 거부 벤치마크 구축

이 연구는 군사 도메인의 거부 반응을 측정하기 위해 3 가지 새로운 데이터셋을 개발했습니다.

• MIL-DEFLECT-GOLD-ALPHA (골드 세트):
  • 구성: 221 개의 샘플.
  • 생성 방식: AI 보조 없이 미국 육군 베테랑 (특수부대 20 년 경력 포함) 이 직접 작성.
  • 특징: 실제 군인이 할 법한 현실적이고 일반적인 질문으로 구성. 가장 신뢰도가 높은 기준 (Gold Standard) 으로 사용됨.
• MIL-DEFLECT-BRONZE-ALPHA (브론즈 세트 1):
  • 구성: 1,047 개의 샘플.
  • 생성 방식: gpt-oss-120b 를 사용하여 62 가지 군사 카테고리 (예: 지리공간 정보, 드론 스웜 조정 등) 에 맞춰 생성.
  • 특징: 합성 데이터이나 골드 세트와의 상관관계가 있어 프록시 (Proxy) 로 활용 가능.
• MIL-DEFLECT-BRONZE-BRAVO (브론즈 세트 2):
  • 구성: 1,500 개의 샘플.
  • 생성 방식: 골드 세트를 시드 (Seed) 로 사용하여 Llama 3.3, Gemma 3, Phi 3.5 등 3 개의 모델을 통해 변형 생성. 생성된 결과물을 다시 모델이 평가하여 상위 1,500 개를 선별.
  • 특징: 스타일과 내용의 다양성을 확보.

2.2. 평가 프로세스

• 카테고리 분류: 모델의 응답을 다음 4 가지로 분류합니다.
  1. Refusal (거부): 안전 정책 등을 이유로 명시적으로 거절.
  2. Deflection (회피): 거절은 아니지만 질문을 회피하거나 일반적 답변만 제공.
  3. Lacks Info (정보 부족): 안전 문제와 무관하게 지식 부족으로 답변 불가.
  4. Invalid (무효): 런타임 가드레일 등으로 빈 응답 반환.
• 평가 도구: Inspect AI 라이브러리를 사용하며, 거부 키워드 매칭 후 판사 모델 (Judge Model, Atla Selene 1) 을 통해 최종 분류를 수행하는 2 단계 방식을 채택하여 정확도를 높였습니다.

2.3. 제거 실험 (Abliteration)

• 기법: Arditi et al. (2024) 이 제안한 Abliteration (방향성 제거) 기법을 적용.
• 구현: Heretic 라이브러리를 사용하여, 유해 (Harmful) 와 무해 (Harmless) 데이터셋 간의 활성화 차이 벡터를 계산하고, 이를 모델의 출력 행렬 (Output Matrix) 에서 제거하여 안전성 정렬을 약화시킴.
• 대상 모델: 군사용으로 미세 조정된 gpt-oss-20b 기반의 EdgeRunner 20B 모델.

3. 주요 기여 (Key Contributions)

1. 최초의 군사 거부 벤치마크 공개: 군사 도메인의 거부 반응을 측정하는 3 개의 데이터셋 (1 개 공개, 2 개 비공개) 과 평가 코드를 최초로 개발 및 공개했습니다.
2. 광범위한 모델 벤치마킹: 31 개의 공개 모델과 3 개의 군사 모델에 대한 거부 및 회피율 데이터를 제공했습니다.
3. Abliteration 효과 분석: 군사 LLM 에 대한 Abliteration 수행이 거부율을 얼마나 낮출 수 있는지, 그리고 이로 인한 작업 성능 저하 (Regression) 가 어느 정도인지 정량적으로 분석했습니다.

4. 실험 결과 (Results)

4.1. 벤치마크 결과 (31 개 공개 모델 + 3 개 군사 모델)

• 거부율 편차: 모델 간 거부율 편차가 매우 큽니다.
  • Deepseek R1: 골드 세트에서 66.7% 답변률 (거부율 낮음).
  • GPT 5 Nano: 골드 세트에서 1.5% 답변률 (거부율 98.5% 이상).
  • 최고 거부율: 일부 모델은 골드 세트에서 **98.2%**의 하드 리젝션 (Hard Rejection) 을 보였습니다.
• 회피 (Deflection) 패턴: Claude 4.5 Opus 와 같은 모델은 거절보다는 주제를 회피하는 경향이 강했으나, gpt-oss-20b 는 회피 없이 직접적인 거절만 하는 경향을 보였습니다.
• 군사 모델: 기존 EdgeRunner 20B는 96.7% 의 높은 거부율을 보였으나, 군사 특화 미세 조정 (Fine-tuning) 을 거친 모델은 성능이 개선되었습니다.

4.2. Abliteration (거부 제거) 실험 결과

• 성공적 거부 감소: EdgeRunner 20B 모델에 Abliteration 을 적용한 결과, 골드 세트에서의 답변률이 66.5 포인트 증가했습니다 (거부율 3.0% → 69.5% 수준으로 개선).
• 작업 성능 저하 (Trade-off):
  • 거부율을 낮추기 위해 안전성을 제거할 경우, 군사 작업 수행 능력과 일반 작업 능력이 저하됩니다.
  • 평균적 영향: 군사 작업에서 약 2%, 일반 작업에서 약 **1-4%**의 성능 저하가 발생했습니다.
  • 극단적 경우: 답변률을 90% 이상으로 끌어올리려면 군사 작업 성능이 **10~30%**까지 급격히 저하될 수 있어, 이는 실용적으로 받아들이기 어렵습니다.
• 결론: Abliteration 은 일시적인 해결책 (Stopgap) 으로 기능할 수 있으나, 100% 답변률 달성과 동시에 높은 작업 성능을 유지하는 데는 한계가 있습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 안전성 정렬의 재정의 필요성: 군사 도메인에서는 폭력이나 테러 관련 질문이 '위험'이 아니라 '작전 수행을 위한 필수 정보'일 수 있습니다. 따라서 일반적인 안전성 정렬이 군사 임무에는 해가 될 수 있음을 강조합니다.
• 향후 방향성 (Zero Refusals):
  • 단순한 '제거 (Abliteration)'나 '재프롬프팅'보다는 초기 설계 단계 (Ground-up) 에서부터 군사 도메인에 특화된 모델을 구축해야 합니다.
  • 중간 훈련 (Mid-training) 및 포스트 트레이닝 (Post-training) 단계에서 군사 데이터로만 학습하여, 불필요한 안전성 데이터가 모델에 주입되지 않도록 하는 것이 '0 거부 (Zero Refusals)'와 '최대 작업 정확도'를 달성하는 유일한 길이라고 주장합니다.
• 보안 및 윤리: 연구 결과물 (특히 안전성이 제거된 모델) 은 취약 계층 (어린이 등) 에게 노출되지 않도록 통제되어야 하며, 국가 안보 차원에서 적절한 보안 조치가 필수적입니다.

이 논문은 군사 AI 의 실용적 적용을 위해 현재의 안전성 정렬 메커니즘이 어떻게 수정되어야 하는지에 대한 중요한 통찰과 데이터 기반의 증거를 제시했습니다.