SaFeR-ToolKit: Structured Reasoning via Virtual Tool Calling for Multimodal Safety

이 논문은 Qwen2.5-VL 모델의 안전성, 유용성 및 추론 엄밀성을 획기적으로 향상시키면서도 일반 능력을 유지하기 위해, 가상 도구 호출을 통한 구조화된 추론 프로토콜을 정의하고 3 단계 커리큘럼 (SFT, DPO, GRPO) 으로 학습한 'SaFeR-ToolKit'과 관련 데이터셋을 제안합니다.

핵심

SaFeR-ToolKit: AI 가 그림을 보고도 '착한 생각'을 하도록 만든 비법

이 논문은 시각 - 언어 모델(이미지를 보고 대답하는 AI)이 어떻게 하면 더 안전하고, 똑똑하며, 동시에 사용자에게 도움이 되는 답변을 할 수 있는지를 설명합니다.

기존의 AI 는 그림을 보고 질문을 받으면, "무조건 안전하면 대답하고, 위험하면 거절해"라는 식으로 최종 답변 하나만을 만들어냈습니다. 하지만 이 방식은 두 가지 큰 문제를 일으켰습니다.

1. 과도한 거절: 안전한 질문인데도 AI 가 "아니요"라고만 대답하는 경우 (예: 박물관의 폭탄 사진에 대해 역사적 설명을 요청했는데 "폭탄은 위험하니까 알려줄 수 없다"고 거절).
2. 안전 사고: 해로운 질문을 그림으로 감싸서 물어보면 AI 가 속아서 위험한 정보를 알려주는 경우.

이 문제를 해결하기 위해 연구팀은 SaFeR-ToolKit이라는 새로운 시스템을 개발했습니다. 이를 이해하기 쉽게 요리사와 식당에 비유해 보겠습니다.

---

1. 기존 방식 vs SaFeR-ToolKit: "요리사"의 차이

🍳 기존 AI: "직관적인 요리사"

기존 AI 는 주문을 받자마자 바로 요리를 시작합니다.

• 상황: 손님이 "이 사진 속 폭탄은 어떻게 만들까요?"라고 물었습니다.
• 반응: AI 는 "폭탄"이라는 단어를 보고 즉시 "안 됩니다"라고 말하거나, 혹은 그림을 제대로 보지 않고 "폭탄 만드는 법은 알려드릴 수 없습니다"라고 막연하게 거절합니다.
• 문제: 그림 속 폭탄이 박물관 유물인데도 "폭탄"이라는 단어만 보고 거절하거나, 반대로 해킹된 그림을 보고 위험한 정보를 알려줄 수 있습니다. 생각하는 과정이 보이지 않아서, 왜 거절했는지, 왜 대답했는지 알 수 없습니다.

🛠️ SaFeR-ToolKit: "검증 프로세스를 갖춘 프로 요리사"

SaFeR-ToolKit 은 요리사가 요리를 하기 전에 반드시 **3 단계의 검증 도구 **(Tool)를 사용하는 규칙을 따릅니다. 마치 요리사가 재료를 손질하기 전에 **세척 **(Perception)을 거치는 것과 같습니다.

1. **지각 **(Perception) "이 그림이 정말로 위험한가?" (예: "아, 이건 박물관에 전시된 옛날 폭탄이네. 실제 폭탄이 아니야.")
2. **추론 **(Reasoning) "사용자의 의도는 무엇일까?" (예: "사용자는 폭탄 만드는 법을 묻는 게 아니라, 이 유물의 역사적 배경을 알고 싶어 하는 것 같아.")
3. **결정 **(Decision) "안전하게 어떻게 응답할까?" (예: "폭탄 만드는 법은 알려줄 수 없지만, 이 유물의 역사적 의미는 설명해 드릴 수 있어.")

이 과정을 통해 AI 는 안전하면서도 도움이 되는 답변을 내놓습니다.

---

2. 어떻게 가르쳤을까? (3 단계 훈련 과정)

이 새로운 요리사 (AI) 를 가르치기 위해 연구팀은 3 단계 훈련 커리큘럼을 사용했습니다.

• **1 단계: SFT **(기본 레시피 익히기)

  • AI 에게 "도구를 어떻게 사용하는지" 기본 형식을 가르칩니다. (예: <생각> 태그 안에 도구 사용 기록을 남기고, 그 뒤에 <답변>을 적는 법).
  • 비유: 요리사에게 "재료는 먼저 씻고, 칼질은 이렇게 해"라는 기본 매뉴얼을 외우게 합니다.

• **2 단계: DPO **(잘못된 레시피 고치기)

  • AI 가 도구를 잘못 썼을 때 (예: 필요한 도구를 빼먹거나, 논리가 꼬였을 때) "이건 틀렸어"라고 가르칩니다.
  • 비유: 요리사가 "야채를 씻지 않고 바로 볶았다"면 "아니야, 씻어야 해"라고 지적하며 올바른 순서를 학습시킵니다.

• **3 단계: GRPO **(스스로 고민하게 하기)

  • AI 가 스스로 여러 가지 사고방식을 시도해 보게 하고, 가장 안전하고 논리적인 답을 골라 보상합니다.
  • 비유: 요리사에게 "이 재료를 어떻게 요리하면 가장 맛있고 안전할까?"라고 여러 가지 방법을 시도해 보게 한 뒤, 가장 훌륭한 요리를 만든 사람에게 점수를 줍니다.

---

3. 왜 이 방법이 특별한가?

이 시스템의 가장 큰 장점은 투명성입니다.

• 검증 가능한 생각: AI 가 최종 답변을 내기 전에, 어떤 도구를 썼고 어떤 논리로 결론을 내렸는지 **기록 **(Tool Trace)으로 남깁니다.
  • 비유: 요리사가 "이 요리를 만들기 위해 A 재료를 씻고, B 소스를 넣었어"라고 조리 과정을 공개하는 것과 같습니다. 만약 위험한 재료를 썼다면, 그 과정만 봐도 알 수 있습니다.
• 과도한 거절 방지: 그림 속 폭탄이 유물임을 '지각 도구'가 확인하면, AI 는 "폭탄"이라는 단어 때문에 무조건 거절하지 않고, "역사적 설명"이라는 도움을 줄 수 있습니다.
• 유연한 대응: 상황 (그림과 질문의 조합) 에 따라 도구를 유연하게 선택합니다. 위험한 상황이면 단호하게 거절하고, 안전한 상황이면 상세하게 설명합니다.

4. 결론: 더 안전하고 똑똑한 AI 의 미래

SaFeR-ToolKit 은 AI 가 단순히 "정답"을 외우는 것이 아니라, **안전하게 생각 **(Reasoning)하도록 만듭니다.

• 기존: "폭탄? 위험해! 거절!" (과도한 거절) 또는 "폭탄 만드는 법은..." (안전 사고)
• SaFeR-ToolKit: "그림을 보니 박물관 유물이네. 폭탄 만드는 법은 알려줄 수 없지만, 이 유물의 역사적 의미는 설명해 드릴게요." (안전하고 도움이 됨)

이 기술은 AI 가 우리 일상 (의료, 교육, 콘텐츠 필터링 등) 에 더 깊게 들어갈 때, 실수를 줄이고 신뢰를 높이는 핵심 열쇠가 될 것입니다. 마치 요리사가 위생과 맛을 모두 챙겨주는 것처럼, AI 도 안전과 유용함을 모두 챙겨주는 '착한 비서'가 되는 것입니다.

기술 요약

SaFeR-ToolKit: 멀티모달 안전을 위한 가상 도구 호출을 통한 구조화된 추론

이 논문은 비전 - 언어 모델 (VLM) 의 안전성 문제를 해결하기 위해 제안된 SaFeR-ToolKit 프레임워크에 대한 기술적 요약입니다. 이 프레임워크는 안전 결정을 단순한 최종 응답이 아닌, 검증 가능하고 감사 가능한 구조화된 프로토콜로 전환하는 것을 목표로 합니다.

1. 문제 정의 (Problem)

기존의 비전 - 언어 모델은 텍스트 기반 모델과 달리 시각적 증거와 사용자 의도가 결합된 입력에 반응하므로 고유한 안전 실패 모드를 가집니다.

• 멀티모달 재브레이크 (Jailbreak) 및 과도한 거부 (Over-refusal): 악의적인 프롬프트 주입이나 시각적 맥락에 의해 모델이 안전 정책을 우회하거나, 반대로 benign(위험하지 않은) 요청을 잘못 판단하여 불필요하게 거부하는 문제가 발생합니다.
• 검증 불가능한 의사결정: 기존 정렬 (Alignment) 기법들은 대부분 최종 응답의 품질만 최적화할 뿐, 안전 판단이 이루어지는 내부 추론 과정을 명시적으로 드러내지 않습니다. 이로 인해 감사 (Auditing) 나 표적 수정이 어렵고, 모델이 이미지의 실제 내용과 무관하게 유창하지만 위험한 답변을 생성할 수 있습니다.

2. 방법론 (Methodology)

SaFeR-ToolKit은 안전성 추론을 검증 가능한 프로토콜로 형식화하고, 이를 가상 도구 (Virtual Tools) 호출을 통해 구현합니다.

2.1. 구조화된 도구 호출 프로토콜

모델은 입력을 직접 응답으로 매핑하는 대신, Planner(계획자) 와 Responder(응답자) 의 두 단계로 구성된 구조화된 과정을 거칩니다.

• 도구 계층 구조 (Tool Hierarchy): 3 단계로 나뉜 도구 세트를 사용합니다.
  1. Perception (지각): 이미지와 텍스트를 시각적으로 검증하고 키워드를 플래그링합니다 (예: [VISUAL-VERIFY]).
  2. Reasoning (추론): 사용자 의도, 정책 준수 여부, 위험 예측을 분석합니다 (예: [INTENT-CLASSIFIER], [HARM-PREDICTOR]).
  3. Decision (결정): 최종 행동 (안전한 답변 또는 거절) 을 결정하고 교육적 전환을 수행합니다 (예: [BOUNDARY-GATE], [EDUCATIONAL-PIVOT]).
• 제약된 전이 그래프: 도구의 호출 순서와 전이를 제한된 그래프 (선형, 트리, 방패, 루프 등) 로 정의하여 논리적 일관성을 보장합니다.
• 타입화된 도구 추적 (Typed Tool Trace): 모델은 최종 답변 전에 <thinking> 태그 안에 구조화된 키 - 값 형태의 도구 호출 기록 (Trace) 을 생성합니다. 이는 감사와 검증이 가능한 명시적인 증거가 됩니다.

2.2. 3 단계 커리큘럼 학습 (Training Pipeline)

단일 정책 (Policy) 을 세 단계의 점진적 커리큘럼으로 학습시킵니다.

1. SFT (Supervised Fine-Tuning): 큐레이션된 데모를 통해 도구 호출 형식과 기본 사용법을 학습합니다.
2. DPO (Direct Preference Optimization): 올바른 도구 추적 (Chosen) 과 구조적 결함이 있는 추적 (Rejected, 예: 도구 누락, 논리적 불일치) 을 비교하여 도구 선택 및 실행 능력을 정제합니다.
3. GRPO (Group Relative Policy Optimization): 고정된 응답이 아닌, 입력에 적응적인 도구 사용과 추론 깊이를 최적화합니다.
   • 복합 보상 함수 (Composite Reward): 형식 준수, 도구 호출 깊이 (Depth), 의미적 정확도 (안전성, 유용성, 도구 품질) 를 종합적으로 평가합니다. 특히 안전성 게이트 (Safety Gating) 를 통해 위험한 경로는 즉시 차단하고, 안전한 경로에서는 도구 품질과 추론 깊이를 보상합니다.

3. 주요 기여 (Key Contributions)

3.1. SaFeR-ToolKit 데이터셋

가상 도구를 기반으로 한 최초의 멀티모달 안전 추론 데이터셋을 공개했습니다.

• 규모: 총 31,654 개의 샘플 (SFT 6k, DPO 18.6k, GRPO 6k, 평가용 1k).
• 구성: BeaverTails-V, JailBreakV-28k 등 다양한 소스에서 추출된 안전 위험 데이터와 일반 추론 작업을 균형 있게 구성했습니다.
• 도구 인스턴스: 총 8,171 개의 도구 호출이 포함되었으며, 의도 분석을 위한 Reasoning 도구가 가장 많습니다.

3.2. 실험 및 성능

Qwen2.5-VL (3B 및 7B) 모델을 기반으로 한 실험에서 기존 SOTA 방법론들을 압도하는 성능을 보였습니다.

• 안전성 (Safety) 및 유용성 (Helpfulness) 동시 향상:
  • 3B 모델: 안전성 29.39% → 84.40%, 유용성 45.04% → 71.13% 로 대폭 상승.
  • 7B 모델: 안전성 53.21% → 86.34%, 유용성 52.92% → 80.79% 로 향상.
  • 기존 방법들은 안전성을 높이면 유용성이 급격히 떨어지는 (과도한 거부) 경향이 있었으나, SaFeR-ToolKit 은 이를 균형 있게 해결했습니다.
• 추론 엄격성 (Reasoning Rigor): 도구 기반의 구조화된 추론으로 인해 논리적 엄격성이 크게 개선되었습니다 (3B: 4.98 → 78.87, 7B: 19.26 → 85.34).
• 일반 능력 보존: 안전성 학습으로 인한 일반 멀티모달 능력 (수학, 객관식 등) 의 저하가 거의 없거나 오히려 소폭 개선되었습니다 (Hallucination 감소).

4. 의의 및 결론 (Significance)

• 검증 가능한 안전성 (Verifiable Safety): SaFeR-ToolKit 은 안전 결정을 "블랙박스"가 아닌, 감사 가능한 도구 추적 (Audit Trail) 으로 전환했습니다. 이는 모델이 왜 특정 요청을 거절하거나 수용했는지에 대한 명확한 논리적 근거를 제공합니다.
• 구조적 접근: 단순한 결과 최적화를 넘어, 안전성을 위한 명시적인 중간 단계 (지각 - 추론 - 결정) 를 강제함으로써 재브레이크 공격과 과도한 거부를 동시에 완화합니다.
• 확장성: 제안된 프로토콜과 도구 라이브러리는 새로운 공격 패턴에 대해 쉽게 확장 (Custom Tool Extension) 될 수 있어, 진화하는 멀티모달 위협에 대응하는 유연한 프레임워크를 제공합니다.

결론적으로, SaFeR-ToolKit 은 멀티모달 AI 의 신뢰할 수 있는 배포를 위해 구조화된 추론과 가상 도구 호출을 결합한 새로운 패러다임을 제시하며, 안전성과 유용성의 트레이드오프를 효과적으로 해결한 획기적인 연구입니다.