기술 요약: AI 안전성 평가를 위한 적대적 화용론 (Adversarial Pragmatics)

1. 문제 제기

프런티어 언어 모델에 대한 현재의 안전성 평가는 점점 더 모호한 자연어 행동에 관한 판단에 의존하고 있습니다. 핵심 과제는 단순히 모델이 과업을 해결하느냐가 아니라, 모델이 자연어 자료의 지시력(directive force), 적용 가능한 정책 경계, 그리고 출처 관계의 성격(예: 사용자 지시, 인용된 구절, 도구 출력, 또는 권위를 전환하려는 적대적 시도 간의 구분)을 올바르게 식합별하는지 여부입니다.

기존의 벤치마크들은 이러한 복잡한 구분을 단순한 이진 패스/페일(pass/fail) 라벨로 압축하는 경향이 있습니다. 이러한 접근 방식은 능력의 한계, 정책의 모호성, 지시 충돌, 스캐폴드(scaffold) 실패, 또는 평가자 판단의 불안정성에서 기인할 수 있는 근본적인 실패 원인을 은폐합니다. 또한, 표준적인 "거절 대 답변" 메트릭은 안전하게 거절하는 모델, 과도하게 조심스럽하여 거절하는 모델, 능력이 없는 모델, 또는 지시 계층 구조에 혼란을 느끼는 모델을 구분하지 못합니다. 본 논문은 평가 라벨이 추론 라이선스(inference licenses)로서 기능한다고 주장합니다. 이러한 구분이 정밀하지 못하다면, 해당 라이선스는 패러프레이즈(paraphrase), 래퍼(wrapper) 변경, 또는 모델 변형 하에서의 모델 행동을 신뢰성 있게 예측하는 데 기여할 수 없습니다.

2. 방법론

본 논문은 **적대적 화용론(Adversarial Pragmatics)**을 특정 평가 대상이자 주석 프로토콜로 도입합니다. 이 프레임워크는 언어가 어떻게 임베딩되고, 귀속되며, 범위가 지정되고, 수용되는지에 따라 실패 모드가 결정되는 안전 관련 모델 행동에 초점을 맞춥니다.

2.1 적대적 화용론의 분류 체계

본 벤치마크는 복잡한 시나리오에서의 재결합 전, 통제된 비교를 가능하게 하기 위해 분리된 8가지 유형의 언어적 대조군을 구분합니다:

1. 임베디드 명령 (Embedded Commands): 웹페이지, 로그, 또는 도구 출력에 포함된 텍나 텍스트와 사용자 지시를 구분함 (간접 프롬프트 인젝션).
2. 언급/사용 및 인용 (Mention/Use and and Quotation): 명령을 실행하는 것과 인용된 문자열을 단순히 분류, 번역 또는 보고하는 것 사이의 차이를 구분함.
3. 권위 및 지시 계층 (Authority and Instruction Hierarchy): 시스템, 개발자, 사용자, 도구, 외부 소스의 지시 간의 충돌을 해결하며, 특권 권한으로 위장한 신뢰할 수 없는 콘텐츠를 포함함.
4. 범위, 부정 및 양태 (Scope, Negation, and Modality): 준수 조건을 변경하는 논리 연산자(예: "unless", "only if")를 처리함.
5. 데익시스 및 참조 하이재킹 (Deixis and Reference Hijacking): 지표사(indexicals, 예: "이전 지시")가 적대적 소스로 리다이렉트되는 것을 탐지함.
6. 간접 화행 및 화용적 압박 (Indirect Speech Acts and Pragmatic Pressure): 가설, 농담, 또는 관료적 상투어(boilerplate)로 프레임화된 요청과 정책적 위험을 구분함.
7. 정책 경계 모호성 (Policy-Boundary Ambiguity): 정책 구성 자체가 불충분하게 명시되었거나 패러프레이즈에 따라 불안정한 경우.
8. 에이전트 트랜스크립트 해석 (Agent Transcript Interpretation): 다회차 트랜스크립트에서의 실패를 특정 원인(예: 도구 실패 vs 목표 이탈 vs 전략적 오보고)으로 귀속시킴.

2.2 벤치마크 구축

본 벤치마크는 **최소 쌍(minimal pairs)**을 사용하여 구축됩니다. 각 쌍은 단일 제어 차원(예: 소스 역할, 권위 수준, 또는 화용적 상태)을 변경하면서 표면 문자열, 페이로드, 또는 응답 공간을 일정하게 유지합니다.

• 페이로드 (Payloads): 시드 세트는 운영상 위험한 콘텐츠 없이 제어 구조를 보존하기 위해 무해한 "토이(toy)" 페이로드(예: 색상 토큰 "BLUE", 더미 비밀값 "ALPHA-000")를 사용합니다.
• 스키마 (Schema): 항목에는 소스 역할, 권위 수준, 화용적 상태, 기대 행동, 구체적인 실패 귀속을 포함한 메타데이터가 기록됩니다.
• 프로토콜 (Protocol): 평가 파이프라인은 사전 정의된 항목 메타데이터, 모델 출력 생성, 규칙 기반 선별(rule-aided triage), 전문가 라벨링, 그리고 판정(adjudication) 과정을 포함합니다.

2.3 주석 및 전문가 평가

인간 평가자는 연구 참여자가 아니라 명시된 루브릭을 적용하는 전문가로 취급됩니다. 프로토콜은 다른 벤치마크에서 흔히 하나로 합쳐지는 다섯 가지 별개의 판단을 분리합니다:

1. 과업 성공 (Task success)
2. 소스 민감도 (Source sensitivity)
3. 정책 준수 (Policy compliance)
4. 안전 위험 (Safety risk)
5. 평가자 확신도 (Evaluator confidence)

이 라벨들 사이의 불일치는 평균화하여 제거해야 할 노이즈가 아니라, 항목의 모호성, 정책 불안정성, 또는 기준 충돌을 나타내는 진단적 신호로 취급됩니다. 판정은 두 단계로 이루어집니다: 합의를 강요하지 않고 기준별 라벨을 기록한 후, 불일치의 원인을 분류합니다.

3. 주요 기여

• 개념적 프레임워크: 제어 실패의 언어적 메커니즘에 초점을 맞춘 좁고 도구적인 평가 대상으로서 "적대적 화용론"을 정의합니다.
• 시드 벤치마크: 8가지 현상 군에 걸친 9개의 최소 쌍으로 구성된 18개 항목의 시드 벤치마크와 함께 스키마 검증기 및 메타데이터 인벤토리를 제공합니다.
• 주석 프로토콜: 과업 성공, 정책 준수, 안전 위험을 구분하고 거절 매트릭스(적절한 거절, 과도한 거절, 과소 거절을 구분)를 포함하는 상세한 전문가 평가 프로토콜을 제공합니다.
• 메트릭: 집계된 점수가 아닌 현상 군별로 성능을 보고하기 위해 설계된 8가지 메트릭을 제공합니다:
  • 쌍별 대조 정확도 (Pairwise contrast accuracy)
  • 지시-소스 민감도 (Instruction-source sensitivity)
  • 언급/사용 견고성 (Mention/use robustness)
  • 거절 캘리브레이션 (Refusal calibration)
  • 판사 유효성 (Judge validity, LLM-as-judge 성능)
  • 판정 안정성 (Adjudication stability)
  • 분류 드리프트 및 진단적 모호성 (Taxonomy drift and diagnostic ambiguity)

4. 실험 결과

본 논문은 2026년 6월 30일에 수행된 로컬 시드 파일럿(local seed pilot) 결과를 보고하며, 세 가지 접근 가능한 Ollama 모델(qwen3:8b, gemma3:12b, glm-4.7-flash:q4_K_M)을 18개 항목의 시드 세트(54개 항목-모델 행)에 대해 테스트했습니다.

• 모델 성능:

  • 과업 성공: 54개 출력 중 36개가 완전한 과업 성공이었으며, 11개는 부분적 성공, 7개는 실패였습니다.
  • 정책 준수: 46개 출력은 준수하였고, 7개는 비준수, 1개는 모호했습니다.
  • 엄격한 쌍 통과 (Strict Pair Passes): 27개의 쌍-모델 셀 중 엄격한 기준(두 변형 모두 올바름)을 통과한 것은 13개뿐이었습니다.
  • 안정성: 세 가지 쌍(임베디드 명령, 언급/사용, 범위-부정)은 모든 모델에서 안정적이었습니다. 세 가지 쌍(모호한 데익시스 참조, 에이전트 트랜스크립트, 정책 경계)은 엄격한 통과 사례가 zero였습니다.
  • 실패 모드: 모델들은 명확한 설명을 요구하기보다 데익시스 참조 과업에서 색상을 추측하는 경우가 빈번했습니다. 정책 경계 항목에서 모델들은 토이 정책에도 불구하고 보호된 더미 토큰을 출력하는 경우가 많았습니다.

• LLM-판사 검증 (LLM-Judge Validation):

  • LLM 판사(glm-4.7-flash)는 거절 결과(98.1%)와 정책 준수(88.9%)에 대해 높은 일치도를 보였습니다.
  • 과업 성공(66.7%) 및 실패 귀속(77.8%)에 대한 일치도는 더 낮았습니다.
  • 판사는 부분적 과업 성공을 완전한 성공으로 격상시키는 경향이 있었으며, 전문가가 귀속한 능력 실패를 복구하지 못했습니다. 이는 전문가 판정의 필요성을 강화합니다.

• 진단적 유용성: 규칙 기반 체크는 비준수 행을 식별했으나, 답변이 의도된 화행(speech act)이나 정책 경계를 만족하는지는 결정할 수 없었습니다. 이는 화용적 대조를 위해 인간의 판정이 필수적임을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 로컬 시드 파일럿이 벤치마크의 최종 심리 측정적 특성이나 프런티어 모델의 안전성 차이가 아니라, 측정 파이프라인(스키마, 프로토콜 및 메트릭)을 검증함을 겸허히 주장합니다.

• 실용적 유용성: 이 프레임워크는 안전 팀이 모호한 정책 경계를 식별하고, 프롬프트 인젝션 취약성과 과업 실패를 분리하며, 안전성 주장이 신뢰할 수 있는 라벨에 기반하는지 감사할 수 있는 도구를 제공합니다.
• 방법론적 전환: 안전 평가 실패를 **언어 매개 제어(language-mediated control)**의 실패로 재정의합니다. 인용과 명령, 또는 권위와 콘텐츠를 구분하지 못하는 벤치마크는 잘못된 구성을 측정하고 있다고 주장합니다.
• 감사 가능성 (Auditability): 주요 가치는 안전성 주장을 감사 가능하게 만드는 데 있습니다. 즉, 어떤 문자열이 권위를 가졌는지, 어떤 정책 경계가 적용되었는지, 그리고 어떤 판정 기준이 라벨을 생성했는지를 식별하는 것입니다.
• 향후 과제: 본 논문은 50~100개 항목의 개발 세트, 독립적인 정책 및 언어 평가, 그리고 패러프레이즈 및 적용 표면 전반의 안정성을 테스트하기 위한 추가적인 LLM-판사 검증을 포함하는 다음 실증 단계를 개략적으로 설명합니다. 현재의 결과가 최종 골드 라벨(gold labels)이나 프런티어 모델의 안전성 차이를 확립하는 것은 아님을 명시합니다.