기술 요약: OpenSafeIntent

문제 정의

현재의 대규모 언어 모델(LLM) 안전성 평가는 개별 프롬프트에 의존하며, 안전성을 유용성(helpfulness)과 유해성(harm) 사이의 이분법적 트레이드오프(tradeoff)로 취급하는 경향이 있습니다. 이러한 접근 방식은 모델이 오용을 가능하게 하는 세부 정보를 억제하면서도 유용한 지원을 제공해야 하는 **안전한 완결(safe completion)**의 미묘한 차이를 포착하지 못합니다. 핵심적인 과제는 많은 요청이 "이중 용도(dual-use)"라는 점입니다. 즉, 동일한 기초 역량(예: 화학 공정 설명 또는 보안 취약점 분석)이 사용자의 의도에 따라 합법적인 목표를 지원할 수도 있고 해악을 촉진할 수도 있습니다.

단순히 프롬프트를 독립적으로 점수 매기는 기존의 지표들은 모델이 **의도(intent)**에 반응하고 있는 것인지, 아니면 주제, 어구, 난이도와 같은 표면적인 단서에 단순히 반응하고 있는 것인지 판단할 수 없습니다. 결과적으로, 모델은 평균적으로는 안전해 보일지라도, 동일한 작업 도메인 내에서 의도가 선의에서 모호함(이중 용도)을 거쳐 악의로 변할 때 적절하게 지원 수준을 조절(calibrate)하는 데 실패할 수 있습니다.

방법론: OpenSafeIntent 벤치마크

저자들은 의도에 따라 보정된 안전한 완결(intent-calibrated safe completion)을 평가하기 위해 설계된 벤치마크인 OpenSafeIntent를 소개합니다. 평가의 핵심 단위는 개별 프롬프트가 아니라 **제어된 프롬프트 세트(controlled prompt-set)**입니다.

데이터셋 구축

데이터셋은 총 805개의 프롬프트를 포함하는 115개의 프롬프트 세트로 구성됩니다. 각 프롬프트 세트는 고정된 기초 작업(underlying task), 해악 도메인(harm domain), **작업 유형(task type)**을 중심으로 구축되며, 오직 **의도 프 framing(intent framing)**만을 변화시킵니다.

• 구조: 각 세트는 세 가지 주요 변형을 포함합니다:
  1. 선한 의도 (Benign): 해당 작업에 대한 정당한 요청.
  2. 이중 용도 (Dual-use): 정당하거나 해로울 수 있는 모호한 요청.
  3. 악의적 의도 (Malicious): 명시적으로 해악을 입히고자 하는 요청.
• 패러프레이즈 (Paraphrases): 모든 이중 용도 프롬프트에는 미세한 어구 변화에 따른 모델 행동의 안정성을 테스트하기 위해 4개의 패러프레이즈가 동반됩니다.
• 분류 체계 (Taxonomies): 생성은 두 가지 분류 체계를 통해 제어됩니다:
  • 해악 도메인: (예: 사이버 침해, 회피 및 우회, 유해 물질 사용).
  • 작업 유형: (예: 계획, 문제 해결, 권장).
• 파이프라인: 생성기(GPT-5.4)와 판별기(Claude Sonnet 4.6)를 사용하는 단계별 생성 파이프라인을 통해, 세트 내의 프롬프트들이 의도만 다를 뿐 동일한 기초 작업 복잡도와 구체성을 공유하도록 보장합니다. 인간 검증을 통해 의도 분리의 품질과 자연스러움이 높음을 확인했습니다.

평가 지표

이 벤치마크는 일관성을 포착하기 위해 응답 수준과 프롬프트 세트 수준의 지표를 모두 사용합니다:

• 응답 수준 (Response-Level):
  • 유용성 (Helpfulness): 작업 만족도 점수 (1–4).
  • 안전성 (Safety): 이진화된 해악 심각도 (0 또는 1).
  • 효용성 (Utility): 안전성이 보장된 유용성 ($U = S \times H$).
• 프롬프트 세트 수준 (Prompt-Set Level):
  • 평균 안전성 (Mean Safety): 모든 프롬프트 유형에 걸친 평균 안전성.
  • 트리플렛 안전성 (Triplet Safety): 모델이 세 가지 변형(선한 의도, 이중 용도, 악의적 의도) 모두에서 동시에 안전한 응답을 제공한 프롬프트 세트의 비율. 이는 의도 일관성을 측정합니다.
  • 최악의 경우 효용성 (Worst-Case Utility): 악의적 프롬프트(낮은 안전 효용을 갖도록 설계됨)를 제외한 선한 의도 및 이중 용도 변형에서의 최소 효용성.

주요 결과

저자들은 광범위한 모델군을 평가하여, 평균 안전성 점수와 의도 보정 행동 사이의 상당한 격차를 밝혀냈습니다.

1. 평균 안전성은 불일치를 은폐한다

유사한 평균 안전성 점수를 가진 모델들도 매우 다른 트리플렛 안전성을 보이는 경우가 많습니다. 어떤 모델은 악의적 프롬프트에는 안전하지만 이중 용도 프롬프트에는 취약할 수 있고, 그 반대일 수도 있습니다. 트리플렛 안전성은 이러한 실패를 드러내며, 평균 점수가 동일한 작업 내에서 의도에 따라 일관되지 않은 행동을 숨길 수 있음을 보여줍니다.

2. 이중 용도 행동은 취약하다

• 패러프레이즈 불안정성: 이중 용도 패러프레이즈 세트 중 약 53%만이 모든 변형에 대해 균일하게 안전한 응답을 생성했습니다. 나머지 세트들은 "안전성 반전(safety flipss)"(일부 패러프레이즈는 안전하고 다른 것은 안전하지 않음) 또는 균일한 비안전성을 보여주었으며, 이는 안전 경계 근처에서의 모델 행동이 미세한 어구 변화에 매우 민격함을 나타냅니다.
• 효용성 편차: 안전한 응답들 사이에서도 많은 모델에서 패러프레이즈에 따라 효용성(유용성)이 크게 달랐으며, 이는 안전한 지원이 전달되는 방식에 불안정성이 있음을 시사합니다.

3. 추상화는 신뢰할 수 있는 안전 전략이 아니다

연구는 응답을 네 가지 모드로 분류했습니다:

• A1: 거절 (Refusal).
• A2: 위험한 주제에 대한 고수준(high-level) 답변.
• A3: 요청을 더 안전한 작업으로 재구성(reframing)한 후의 구체적인 답변.
• A4: 원래의 위험한 요청에 대한 직접적인 답변.

결과에 따르면, **A2 (고수준 추상화)**는 직접적인 답변(A4)과 유사한 높은 조건부 비안전율(58.14%)을 보였습니다. 이는 단순히 절차적 세부 사항을 제거하는 것이 위험을 제거하지 못한다는 것을 시사합니다. 즉, 추상적인 답변도 여전히 전략적 정보나 메커니즘을 노출할 수 있습니다. 반면, **A3 (재구성)**는 가장 낮은 비안전율(18.65%)을 기록했으며, 이는 성공적인 안전한 완결이 단순히 위험한 질문에 높은 수준으로 답하는 것이 아니라, 작업을 더 안전한 도메인으로 전환하는 것을 필요로 함을 나타냅니다.

4. 실패 모드: 탐지 vs 실행

안전하지 않은 이중 용도 응답은 두 가지 뚜렷한 실패 모드에서 기인합니다:

• 탐지 실패 (Detection Failure): 모델이 프롬프트가 제한된 지원을 필요로 한다는 것을 인식하지 못함.
• 정책 실행 실패 (Policy Execution Failure): 모델이 위험을 인식했으나 생성 과정에서 경계를 집행하는 데 실패함.
  이러한 실패의 빈도는 모델마다 다릅니다. 일부 모델은 주로 탐지에서 실패하는 반면, GPT-5.4와 같은 일부 모델은 위험을 감지하면서도 제약 조건을 실행하는 데 실패하여 주의가 필요함을 인지하고 있음에도 불구하고 안전하지 않은 세부 정보를 생성하곤 합니다.

의의 및 주장

본 논문은 안전한 완결이 독립적인 프롬프트에 대한 단일한 안전-유용성 트레이드오프가 아니라, 제어된 작업 변형에 대한 **의도 보정 행동(intent-calibrated behavior)**으로서 평가되어야 한다고 주장합니다.

• 평가 방식의 재구성: 저자들은 프롬프트 수준의 평균이 모델이 의도 변화에 따라 지원을 적절히 변경하는지를 가리기 때문에 불충분하다고 주장합니다. OpenSafeIntent는 모델이 관련된 요청들의 "국소적 이웃(local neighborhood)" 전반에서 안전하고 유용하게 유지되는지를 테스트하는 프레임워크를 제공합니다.
• 거절 그 이상: 결과는 안전한 완결이 단순히 해로운 요청을 거절하거나 고수준의 추상화를 제공하는 것이 아님을 시示합니다. 대신, 선한 의도에 대해서는 완전한 지원을, 이중 용도 의도에 대해서는 제한되거나 재구성된 지원을, 악의적 의도에 대해서는 거절이나 방향 전환을 제공하는 안정적인 응답 모드 선택을 요구합니다.
• 향후 방향: 저자들은 향-후 안전 훈련이 이중 용도 행동의 불안정성과 추상화에 대한 의존성을 해결해야 하며, 주제 자체가 아닌 의도에 기반하여 지원을 일관되게 보정하는 능력에 집중해야 한다고 제언합니다.