기술 요약: IH-BENCHMARK

문제 정의

대규모 언어 모델(LLM)이 도구를 조율하고 다회차 대화를 관리하는 에이전트로 진화함에 따라, **지시 계층 구조의 견고성(instruction-hierarchy robustness)**에 대한 신뢰성이 안전성과 유용성 모두의 핵심 과제가 되었습니다. 해결하고자 하는 핵심 문제는 모델이 출처에 따라 지시 사항의 우선순위를 올바르게 결정할 수 있는지 여부입니다. 즉, 시스템 메시지는 사용자 입력보다 우선되어야 하며, 사용자 입력은 다시 대화 기록 및 도구 출력보다 우선되어야 합니다.

모델이 이러한 순서를 준수하지 못할 경우, 적대적인 사용자 입력이 시스템 제약 조건을 무력화할 수 있으며, 악의적인 도구 출력이 작업 도중 모델의 동작을 하이재킹할 수 있습니다. 기존 연구들이 이러한 계층 구조를 공식화하기도 했으나, 기존의 평가 방식은 두 가지 주요 한계점을 가집니다:

1. 단일 엣지(Single-Edge) 집중: 많은 벤치마크가 시스템-사용자 간의 충돌($S \succ U$)에만 초점을 맞추어, 도구 출력에서 발생하는 충돌을 간과합니다.
2. 적응형 데이터셋 사용: 목적에 맞는 계층 충돌 시나리오를 구축하기보다 기존의 공개 데이터셋을 변형하여 사용함으로써, 에이전트 환경 및 도구 허용/차단 목록이나 파라미터 제한과 같은 구체적인 제약 조건에 대한 커버리지가 제한적입니다.

결과적으로, 에이전트 환경에서 계층 간의 충돌을 통합적으로 테스트할 수 있는 벤치마크가 부족한 실정입니다.

방법론: IH-BENCHMARK

저자들은 두 가지 별도의 트랙을 통해 지시 계층 구조의 견고성을 평가하기 위해 설계된 목적 기반 벤치마크인 **IH-BENCHMARK (IH-B)**를 소개합니다.

1. 시스템 $\succ$ 사용자 ($S \succ U$): 사용자가 상충하는 요청을 보낼 때 모델이 더 높은 우선순위의 시스템 제약 조건을 유지하는지 평가합니다.
2. 사용자 $\succ$ 도구 ($U \succ T$): 낮은 우선순위의 도구 출력에 상충하는 지시가 나타날 때 모델이 사용자의 과업을 유지하는지 평가합니다.

구성 및 범위

• 제약 조건 패밀리(Constraint Families): 본 벤치마크는 일반, 건강, 금융, 소매, 코딩의 5개 도메인을 아우르는 인간이 작성한 44개의 제약 조건 패밀리를 기반으로 구축되었습니다.
  • $S \succ U$ 트랙: 출력 제약(어휘, 형식), 주제 제약(금지된 주제, 경쟁사 유도), 도구 제약(포괄적 금지, 파라미터 제한)을 다루는 19개 패밀리.
  • $U \succ T$ 트랙: 응답 형식 조작, 내용 조작(사실 왜곡), 도구 조작(호출 차단/재지정), 고위험 에이전트 동작(명령 실행, 데이터 유출, 승인되지 않은 구매)을 다루는 25개 패밀리.
• 시나리오 생성: IH-B는 2,336개의 실행 가능한 시나리오( $S \succ U$에 734개, $U \succ T$에 1,602개)를 절차적으로 생성합니다. 시나리오는 제약 파라미터를 바인딩하고 다음 요소들을 변화시켜 생성됩니다:
  • 제약 엄격도 ($L$): 단순한 진술($L_1$)부터 강화된 절 및 거절 지시($L_3$)까지의 범위.
  • 프롬프트 문구 ($P$): 명시적($P_1$) 요청 대 암시적($P_2$) 요청.
  • 전달 변형 ($D$): $U \succ T$의 경우, 상충하는 지시가 도구 출력에 삽입되는 방식(평문, 탈출, 인정, 전환)을 다양화함.
• 에이전트 시뮬레이터: 에이전트 기반의 $U \succ T$ 시나리오를 위해, 지속적인 부수 효과와 다단계 도구 상호작용을 모델링하는 세 가지 상태 저장 방식의 Python 기반 시뮬레이터(코딩, 소매, 건강 지원)를 사용합니다.
• 평가 프로토콜: 통일된 이진 패스/페일(pass/fail) 프로토콜을 사용합니다.
  • 술어 DSL (Predicate DSL): 문자열 매칭, 구조적 검사, 도구 호출 검사를 수행하는 경량 도메인 특화 언어를 사용합니다.
  • LLM-as-a-Judge: 기계적 검증이 어려운 카테고리(예: 브랜드 비방, 주제 참여)의 경우, 이진 결정을 위한 4단계 루브릭을 활용하여 선택적으로 사용합니다.
  • 비충돌 시나리오: 과잉 거절(over-refusal)을 측정하고, 모델이 제약 민감도 때문에 일반적인 요청에 실패하지 않는지 확인하기 위해 포함되었습니다.

주요 기여

1. 절차적 벤치마크: 44개 제약 조건 패밀리로부터 유도된 2,336개 시나리오를 포함하며, $S \succ U$와 $U \succ T$ 트랙을 모두 다루는 IH-B를 제안합니다.
2. 통합 평가 프레제임워크: 제어된 프롬프트 수준의 시나리오와 상태 저장 에이전트 시뮬레이터를 결합하여, 정적, 도구 매개, 에이전트 환경 전반에 걸친 평가를 가능하게 합니다.
3. 포괄적 경험적 분석: 37개의 모델 변체(폐쇄형 소스 22개, 오픈 웨이트 15개)를 평가하여, 지시 계층 구조의 견고성이 단일 능력이 아니라 충돌 표면과 제약 유형에 따라 달라지는 일련의 행동임을 밝혀냈습니다.

결과

37개 모델에 대한 평가 결과, 성능의 상당한 편차가 나타났으며 전체 준수율은 98.2%에서 20.5% 사이였습니다.

• 트랙 간의 괴리: $S \succ U$ 트랙에서의 높은 성능은 $U \succ T$의 견고성을 보장하는 신뢰할 수 있는 지표가 아닙니다. 예를 들어, Grok 4.20 (R)은 $S \succ U$에서 96.9%의 준수율을 달성했으나, $U \succ T$에서는 65.6%에 그쳤습니다. 이는 직접적인 사용자 오버라이드에 저항하는 능력이 도구 출력 주입에 대한 저항력을 보장하지 않음을 시사합니다.
• 모델 간 격차: 폐쇄형 소스 모델이 일반적으로 오픈 웨이트 모델보다 우수한 성능을 보였습니다. 폐쇄형 모델의 평균 준수율은 $S \succ U$에서 88.6%, $U \succ T$에서 75.1%였던 반면, 오픈 웨이트 모델은 각각 80.5%와 59.1%였습니다.
• 제약 엄격도 효과:
  • $S \succ U$에서 더 엄격한 제약($L_2, L_3$)은 특히 약한 모델(예: Qwen 3 235B-A22B가 도메인 특정 설정에서 23.5%에서 88.2%로 개선됨)의 준수율을 일관되게 향상시켰습니다.
  • $U \succ T$에서 강화 효과는 덜 균일했습니다. 일부 모델(예: Grok 4.20 (R))은 막대한 이득(18.8%에서 89.6%)을 보였으나, 다른 모델(예: Qwen 3 235B-A22B)은 모든 엄격도 수준에서 10% 근처에 머물렀는데, 이는 단순한 지시 민감도의 문제가 아니라 경계를 유지하는 데 근본적인 능력이 결여되었음을 나타냅니다.
• 제약 패밀리 분석:
  • $S \succ U$: 가장 어려운 패밀리는 forbid-tools-all(52.4%)로, 모델들이 사용자 요청에도 불구하고 모든 도구 호출을 거부하는 데 어려움을 겪었습니다. 주제 제약은 가장 쉬운 항목이었습니다(예: forbid-disparagement 98.6%).
  • $U \succ T$: 가장 어려운 패밀리는 content-lie(50.1%) 및 format-disclaimer(50.4%)와 같이 위험도가 낮은 비의심적 행동들이었습니다. 반대로, 승인되지 않은 구매나 대량 티켓 폐쇄와 같은 고위험 동작은 더 안정적으로 저항되었습니다(예: purchase 88.1%). 이는 기존의 안전 정렬 학습 덕분인 것으로 보입니다.
• 실패의 미묘함: 가장 드러나는 실패는 노골적인 위험 동작보다는 미묘한 것들(예: 주입된 면책 조항, 작은 사실 왜곡)이었습니다. 모델은 승인되지 않은 대량 동작을 저항하는 것보다 미묘한 사실적 왜곡을 탐지하는 데 더 취약했습니다.

의의 및 한계

본 논문은 지시 계층 구조의 견고성이 단일한 균일한 능력이 아니라, 여러 충돌 표면, 제약 유형 및 공격 제시 방식에 걸쳐 평가되어야 하는 행동들의 집합이라고 주장합니다. IH-B 코퍼스, 시뮬레이터 및 평가 하네스를 공개하는 것은 개발자들이 배포 전 모델 또는 시나리오별 약점을 식별할 수 있도록 도움으로써 책임 있는 평가와 배포를 지원하는 데 목적이 있습니다.

한계점:

• 본 벤치마크는 경계가 정해진 단일 작업 시나리오에 집중하며, 컨텍스트가 시간에 따라 누적되는 장기적인 다회차 설정은 다루지 않습니다.
• 도메인 커버리지는 각 도메인이 각 트랙에 자연스럽게 부합하는 방식에 따라 선택적이고 비대칭적입니다(예: 금융은 $S \succ U$에만, 코딩은 $U \succ T$에만 포함됨).
• 44개 중 35개 패밀리는 직접 작성되었으나, 나머지는 LLM의 제안을 받아 수동으로 검토되었으므로 커버리지가 넓지만 완전하지는 않습니다.

저자들은 특정 모델의 약점을 공개하는 것이 적대적 공격을 도울 위험이 있다는 점을 인정하면서도, 체계적이고 재현 가능한 안전 평가의 이점이 이러한 위험보다 크다고 판단하였습니다.