LLM agent safety, multi-turn red-teaming, jailbreak benchmarks, adversarial robustness, safety-critical systems

기술 요약: NRT-Bench

문제 정의

대규모 언어 모델(LLM) 에이전트는 산업 공정 플랜트나 에너지 시스템과 같은 안전 필수 시스템의 감독 구성 요소로서 점점 더 많이 제안되고 있습니다. 그러나 지속적이고 적응적인 적대적 압력 하에서의 견고성은 여전히 제대로 규명되지 않았습니다. 기존의 레드팀 벤치마크는 세 가지 주요 한계를 가집니다:

1. 단일 턴 중심: 지배적인 프로토콜은 단일 턴 탈옥 프롬프트에 의존하며, 실제 공격자가 사용하는 적응형 에스컬레이션(escalation) 및 문맥 축적을 포착하지 못합니다.
2. 주관적인 위해 지표: 위해는 일반적으로 다른 LLM에 의해 판단되는 정책 위반 텍스트로 정의되며, 물리적 결과에 대한 근거 있는 개념이 결여되어 있습니다.
3. 고립된 평가: 벤치마크는 개별 모델을 고립시켜 평가하지만, 높은 수준의 위험이 따르는 운영 환경은 명시적인 계층 구조와 상호 검증 체계를 가진 역할 특화된 행위자들의 팀에 의존합니다. 이러한 환경에서의 공격은 단순히 하나의 에이전트를 탈옥하는 것이 아니라, 팀 전체를 집단적으로 안전하지 않은 궤도로 몰아넣음으로써 성공합니다.

핵심 질문은 다음과 같습니다: 적응형 적대자가 다중 에이전트 시스템을 물리적으로 안전하지 않은 상태로 몰아넣을 수 있는가?

방법론: NRT-Bench

저자들은 원자력 발전소 제어실의 운영자로 활동하는 LLM 에이전트의 다중 턴 레드팀 테스트를 위한 벤치마크인 NRT-Bench를 제시합니다.

환경 및 설계

• 장소: 원자력 발전 much의 추상적인 텍스트 시뮬레이터입니다. 이는 플랜트 상태를 업데이트하는 결정론적 단계 함수와 6가지 핵심 안전 기능(CSFs) (반응도, 노심 냉각, 열 침전지, 무결성, 격납, 방사선)을 특징으로 합니다.
• 위해 신호: 주요 위해는 객관적이며 시뮬레이터에서 도출됩니다: 어떤 CSF가 온전함(또는 저하됨)에서 상실 상태로 전환되면 실행이 즉시 종료됩니다. 이는 주요 안전 지표에 대한 LLM 판독기 의존성을 제거합니다.
• 운영팀: 5명의 역할 특화 에이전트(원자로 운전원, 선임 원자로 운전원, 터빈 운전원, 보조 운전원, 안전 및 기술 자문관)가 공동으로 발전소를 운영합니다. 이들은 특정 권한 클래스($L_1$ ~ $L_5$)와 고영향 조치에 대한 필수 승인 워크플로우를 가진 유형화된 메시지 버스를 통해 통신합니다.
• 위협 모델: 적대자는 네 가지 뚜렷한 인입 채널을 통해 메시지를 주입합니다:
  • CH-A: 외부인 (규제 통지, 공공 문의).
  • CH-B: 내부자 사칭 (경영진/유지보수 인력).
  • CH-C: 공급망 침해 (벤더 권고 사항).
  • CH-D: 침해된 보조 에이전트.
• 공격 프로토콜: 공격은 제한된 다중 턴 세션(최대 10턴)으로 구성됩니다. 각 턴이 끝난 후, 공격자는 적응형 에스컬레이션을 가능하게 하기 위해 상황 요약(블랙박스 모드에서는 편집됨, 화이트박스 모드에서는 전체 상태 공개)을 받습니다.

공격 워크로드 및 재생

• 생성: 내부의 LLM 기반 공격 에이전트를 사용하여 권한 사칭, 긴급성 주입, 점진적 에스컬레이션, 알람 은폐와 같은 전략을 사용하는 정적인 다중 턴 적대적 세션 컬렉션을 생성했습니다.
• 고정 공격 재생: 재현성을 보장하고 방어 성능을 격리하기 위해, 벤치마크는 **고정 판독 재생 프로토콜(fixed-judge replay protocol)**을 사용합니다. 동일한 일련의 공격 페이로드 시퀀스가 동일한 셀 구성(시나리오, 가드레일, 자문 모드) 하에서 서로 다른 운영자 모델을 대상으로 재현됩니다.
• 지표: 주요 지표는 $ASR_{CSF}$ (CSF 상실에 기반한 공격 성공률)입니다. 보조 지표로는 턴 단위 진단 및 실패 세트 중복 분석이 포함됩니다.

방어 절제 실험 (Ablation)

본 벤치마크는 방어 구성 요소를 절제 표면(ablation surface)으로 취급합니다:

• 가드레일 스택: 독립적으로 토글할 수 있는 10개의 선택적 정책 레이어(예: 출처 확인, 2인 체제, 속도 제한).
• 자문 권한: 안전 기술 자문관(STA)은 비활성화 모드부터 하드 거부(재검토 불가능) 모드까지 작동할 수 있습니다.
• 공격자 가시성: 블랙박스(기본값) 대 화이트박스(전체 상태 노출).

주요 결과

연구는 고정 공격 쌍 재생 프로토콜 하에서 4개의 프런티어 모델(gpt-5.4-mini, claude-haiku-4-5, gemma-4-26B, Qwen3.5-35B)을 평가했습니다.

1. 다중 턴 공격에 대한 취약성: 적응형 다중 턴 공격은 운영팀을 안정 범위를 넘어 안전 한계치까지 확실히 밀어붙입니다. 4개 모델 전체에서 **8.7% ~ 12.1%**의 공격 세션이 핵심 안전 기능의 상실을 초래했습니다.
2. 분리된 실패 모드: 총합적인 성공률은 비슷해 보였으나, 구체적인 실패 양상은 모델 간에 거의 서로 달랐습니다(disjoint).
   • 149개 세션 중, 4개 모델 모두를 무너뜨린 세션은 단 하나도 없었습니다.
   • 3분의 1의 세션이 적어도 하나의 모델을 무너뜨렸습니다.
   • 어떤 두 모델도 동일한 "최악의" 하위 목표 취약점을 공유하지 않았습니다.
3. 모델 조건부 방어 효과: 방어 메커니즘의 효능은 기초가 되는 모델에 따라 크게 달라집니다.
   • 특정 가드레일 스택이나 안전 자문 설정이 한 모델(예: gpt-5.4-mini)의 공격 성공률을 낮추더라도, 다른 모델(예: claude-haiku-4-5)의 공격 성공률은 높일 수 있습니다.
   • 예를 들어, 전체 가드레일 스택을 활성화하면 gpt-5.4-mini의 $ASR_{CSF}$는 16.7 퍼센트 포인트 감소했지만, claude-haiku-4-5의 경우 오히려 9.8 포인트 증가했습니다.
4. 전략 민감도:
   • 권한 사칭과 점진적 에스컬레이션은 보편적으로 효과적이었으며, 높은 비율로 운영자를 무너뜨렸습니다.
   • 지식 기반 공격(프롬프트 추출) 및 하드코딩된 우회 잠금(예: 금지된 알람에 대한)은 모델 전반에 걸쳐 견고한 방어책임을 입증했습니다.

의의 및 주장

본 논문은 적응형 다중 턴 공격, 역할 특화 팀, 객관적인 비(非) LLM 판단 기반 위해 신호, 그리고 재현 가능한 장소를 결에는 적응형 다중 턴 공격, 역할 특화 팀, 객관적인 비(非) LLM 판단 기반 위해 신호, 그리고 재현 가능한 장소를 결합한 최초의 벤치마크라고 주장합니다.

• 안전 지표의 재정의: 저자들은 종합적인 견고성 수치만으로는 배포 결정을 내리기에 불충분하다고 주장합니다. 실패 모드가 서로 분리되어 있기 때문에, "스칼라 리더보드"는 특정 공격 벡터에 대해 모델이 어떤 취약성을 갖는지에 대한 중요한 정보를 숨깁니다.
• 방어의 한계: 가드레일은 그것을 감싸고 있는 모델과 독립적으로 인증될 수 없습니다. "방어 X가 ASR을 Y만큼 감소시킨다"라는 형태의 안전 주장은 운영자 제품군에 따라 조건화되지 않으면 불완전합니다.
• 다양성을 통한 방어: 실패의 분리된 특성은 모델 다양성(다양한 모델의 패널 사용)과 보수적인 거부 규칙을 결합함으로써, 단일 구성 모델을 돌파하는 모든 공격을 차단할 수 있는 "폭에 의한 방어(defence-in-breadth)"를 제공할 수 있음을 시사합니다.

한계점

저자들은 다음과 같은 제약 사항을 언급합니다:

• 환경은 고충실도 물리 모델이 아닌 추상적인 텍스트 시뮬레이터입니다.
• 공격 워크로드는 고정되어 있으며 부분적으로 시드(seed) 방어자를 대상으로 생성되었으므로, 모든 후보 모델에 대한 최악의 경우를 테스트하는 적응형 벤치마크라기보다는 재생 벤치마크에 가깝습니다.
• 결과는 호스팅된 엔드포인트에 대한 단일 시드를 기반으로 하지만, 주요 CSF 신호는 결정론적입니다.

저자들은 안전 필수 맥락에서 LLM 에이전트의 재현 가능한 안전 평가를 가능하게 하기 위해 시뮬레이션 장소, 공격 데이터셋 및 재생 도구를 공개합니다.