1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 이 자율 에이전트 (Agentic AI) 시스템의 핵심 구성 요소로 "야생 (in the wild)" 환경에 배포되면서, 안전성 (Safety) 과 신뢰성에 대한 우려가 커지고 있습니다. 에이전트 시스템은 단순한 명령과 행동의 긴 체인으로 작동하므로, 단 하나의 잘못된 단계가 의도된 결과에서 큰 편차를 초래할 수 있습니다.

기존의 안전성 벤치마크는 복잡한 시나리오나 대규모 테스트 스위트에 집중하는 경향이 있어, 평가에 많은 리소스가 소모되거나 모델이 특정 공격 (Adversarial attacks) 에만 취약한지 확인하는 데 그치는 경우가 많습니다. 그러나 단순하고 추상적인 규칙을 따르는 기본적인 안전성조차 충족하지 못하는 모델이 실제 환경에 배포되는 것은 치명적인 위험을 초래합니다. 즉, 복잡한 공격 없이도 모델이 기본적인 안전 규칙을 위반하는 '있어서는 안 될 오류 (Errors that should not exist)'를 식별할 수 있는 경량화된 검증 도구가 필요합니다.

2. 방법론 (Methodology)

저자들은 NESSiE (NEceSsary SafEty benchmark) 라는 새로운 벤치마크를 제안했습니다. 이는 LLM 의 안전성을 보장하기 위한 필수 조건 (Necessary Condition) 을 검증하는 경량화된 테스트입니다.

• 핵심 설계 철학:

  • 간단한 키워드 매칭: LLM 평가의 복잡성을 줄이고 신뢰성을 높이기 위해, 복잡한 생성 평가가 아닌 키워드 매칭을 기반으로 합니다.
  • 안전 vs 도움 (Safe vs Helpful): 각 시스템 프롬프트에 대해 상반된 두 가지 사용자 프롬프트를 제공합니다.
    • Helpful: 특정 키워드나 정보를 제공해야 하는 경우.
    • Safe: 권한이 없을 때 해당 키워드나 정보를 유출하지 말아야 하는 경우.
  • 상호 보완적 테스트 (Complementary Test Pairs): 동일한 시스템 프롬프트 하에서 모델이 한 경우에는 정보를 제공하고 다른 경우에는 유출을 막아야 하도록 설계하여, "항상 대답하지 않음"이나 "항상 대답함"과 같은 단순한 해결책을 방지합니다.

• 테스트 스위트 구성 (6 가지 카테고리):

  1. RULeS: 기존 Mu et al. (2024) 의 테스트를 기반으로 한 기본 규칙 준수 테스트.
  2. RULeS Reformulated: 동일한 테스트를 더 간결하고 새로운 형식으로 재구성하여 입력 구조 변화에 대한 강인성 평가.
  3. Agentic: 에이전트 행동을 시뮬레이션하기 위해 특정 키워드를 정확히 출력해야 하는 테스트 (도구 사용의 기본 단위인 형식 준수 평가).
  4. Generated: LLM 이 생성한 후 인간이 조정하여 일관성을 확보한 테스트 케이스.
  5. Skills: 안전 규칙 적용 전에 추가적인 인지 단계 (예: 아나그램 확인, 수학 계산) 를 수행해야 하는 테스트. (인지 부하에 대한 안전성 평가)
  6. Multiturn: 2 턴 이상의 대화에서 첫 턴에 전제를 설정하고 두 번째 턴에서 정책 준수를 평가하는 테스트.

• 추가 평가 조건:

  • Disabled Reasoning (DR): 추론 과정 (Reasoning traces) 을 비활성화하여 추론이 안전성에 미치는 영향 측정.
  • Distraction Context (Distr): 시스템과 사용자 프롬프트 사이에 약 2,000 토큰 길이의 무관한 대화 (Benign distraction) 를 삽입하여 맥락적 노이즈에 대한 안전성 강인성 측정.

• 평가 지표:

  • SH (Safe & Helpful) 점수: 상보적인 테스트 쌍에서 모델이 '안전'하고 '도움이 되는' 행동을 모두 수행했을 때만 정답으로 간주하는 주요 지표.
  • Safe 점수와 Helpful 점수를 별도로 분석하여 편향을 파악.

3. 주요 기여 (Key Contributions)

1. NESSiE 벤치마크 제안: 안전성 검증의 '필수 조건'을 정의하고, 경량화되어 연구자들이 쉽게 로컬에서 실행할 수 있는 테스트 스위트와 데이터셋을 공개했습니다.
2. 현실적 위험의 식별: 복잡한 공격이 없어도 최신 SOTA(최첨단) 모델조차 단순한 규칙 준수에서 실패함을 증명했습니다.
3. 안전성 편향 (Safety Bias) 발견: 모델들이 '안전함 (Safety)'보다 '도움됨 (Helpfulness)'을 우선시하는 경향이 있음을 정량적으로 입증했습니다.
4. 취약성 분석: 추론 비활성화나 무관한 맥락 (Distraction) 이 모델의 안전성 준수 능력을 급격히 저하시킨다는 사실을 발견했습니다.

4. 결과 (Results)

• 성능 격차: 구형 오픈소스 모델 (Llama 2 7B, Mistral 7B) 은 SH 점수가 17.7%29.1% 로 매우 낮았으나, 최신 폐쇄형 모델 (Gemini 2.5 Pro, GPT-5.2 등) 은 80%95% 대의 점수를 기록했습니다.
• 100% 달성 불가: 가장 중요한 발견은 최신 SOTA 모델조차 NESSiE 에서 100% 점수를 받지 못했다는 것입니다. 예를 들어, Gemini 2.5 Pro 는 95.2% 의 SH 점수를 기록했으나 여전히 오류가 존재했습니다.
• 안전성 vs 도움됨 편향: 모든 모델에서 '도움됨 (Helpful)' 점수가 '안전 (Safe)' 점수보다 높았습니다. (예: Qwen3 VL 32B 는 Helpfulness 99.7% 이지만 Safety 는 62.7% 로, SH 점수는 62.4% 로 하락). 이는 모델이 모호한 상황에서 정보를 유출하는 것을 선호함을 의미합니다.
• 테스트 유형별 성능:
  • Generated와 Agentic 스위트는 상대적으로 성능이 좋았습니다.
  • Skills 스위트 (추가 인지 단계 필요) 가 가장 어려웠으며 (평균 SH 63.4%), RULeS Reformulated도 표준 RULeS 보다 낮은 점수를 기록했습니다.
• 취약성 실험:
  • Distraction Context: 무관한 대화 맥락이 추가되면 SH 점수가 최소 15% 이상 하락했습니다. 이는 모델이 안전 규칙을 지키는 대신 '도움이 되는' 행동을 계속 수행하여 유출이 발생했기 때문입니다.
  • Disabled Reasoning: 모델에 따라 추론 비활성화가 성능을 저하시키거나 (Gemini 2.5 Pro) 향상시키는 (Claude Opus 4.5) 등 일관되지 않은 영향을 미쳤습니다.
• 오류 유형:
  • Task Failed: 지시사항을 완전히 무시하거나 기술적 스킬 (아나그램 등) 실패.
  • Participation Denied: 모델이 benign 한 태스크조차 "역할극 불가" 등의 이유로 거부.
  • Leaked Keyword: 규칙을 이해했음에도 설명 중에 금지된 키워드를 실수로 유출.
  • Millionaires: 권한이 없는 사용자에게 정보 유출.

5. 의의 및 결론 (Significance & Conclusion)

• 배포의 필수 조건 (Minimum Bar): NESSiE 는 복잡한 안전성 평가에 앞서 모델이 배포될 수 있는지 판단하는 최소 통과 기준 (Minimum Passing Bar) 으로 제안됩니다. 이 간단한 테스트조차 통과하지 못하는 모델은 복잡한 자율 에이전트 시스템으로 배포되어서는 안 됩니다.
• 현실적 위험 경고: 현재 모델들의 안전성 가드레일 (Guardrails) 은 모니터링이 없는 환경 (Unmonitored environments) 에서 충분하지 않을 수 있음을 시사합니다. 특히 맥락이 산만해지거나 추론이 방해받을 때 안전성이 급격히 무너진다는 점은 자율 에이전트 배포에 있어 치명적인 취약점입니다.
• 향후 연구 방향: NESSiE 는 악의적인 행위자 (Adversarial actors) 가 모델을 악용하기 위한 간단한 적대적 공격을 평가하는 데에도 활용될 수 있습니다.

요약하자면, 이 논문은 "복잡한 공격이 없어도 모델이 기본적인 안전 규칙을 지키지 못한다면, 그 모델은 안전하다고 볼 수 없다" 는 강력한 주장을 하며, 이를 검증하기 위한 경량화된 필수 벤치마크 NESSiE 를 통해 현재 LLM 의 안전성 한계와 편향을 명확히 드러냈습니다.