Instruction fragility under hidden operational requirements

기술 요약: 숨겨진 운영 요구사항에 따른 지시문 취약성 (Instruction Fragility)

문제 정의
본 논문은 **숨겨진 운영 요구사항(hidden operational requirements)**으로 인해 발생하는 지시문 취약성(instruction fragility) 문제를 다룬다. 거대언어모델(LLM)과의 자연어 상호작용에서, 사용자는 자신이나 평가자에게는 알려져 있으나 프롬프트에는 누락된 제약 조건(예: 특정 출력 형식, 단어 수 제한, 위험 라벨, 또는 출처 제한 등)을 생략하는 경우가 많다. 저자들은 이를 단일한 의도된 결과가 아닌 **집합 값 의미론(set-valued semantics)**으로 정식화한다. 즉, 하나의 지시문은 실행 가능한 실행 집합을 나타낸다. 이러한 미지정(underspecification) 상황에서의 안전성은 해당 집합 내의 모든 가능한 실행이 사용자의 허용 가능한 집합 내에 존재해야 함을 의미한다. 만약 지시문이 단 하나의 부적절한 실행(예: "나를 부자로 만들어줘"라는 요청에 대한 사기적인 방법)이라도 허용한다면, 그 지시는 견고하지 못한 것이다. 핵심 문제는 유한한 지시문만으로는 모든 잠재적 제약 조건을 전달하지 않고서는 고유한 단일 실행을 식별할 수 없다는 점이다.

방법론
본 연구는 정교한 이론적 프레례임과 통제된 경험적 벤치마크를 결합하였다.

1. 이론적 프레임워크:

   • 저자들은 지시문 $s$가 배경 이론 $B$ 하에서 $J_sK_B \subseteq H$ (실행 가능한 이력의 집합)라는 데노테이션(denotation)을 갖는다고 정의한다.
   • 안전성은 **적대적 안전 기준(adversarial safety criterion)**에 의해 정의된다: $J_sK_B \subseteq A_{\tau, \eta}$. 여기서 $A_{\tau, \eta}$는 허용 가능한 이력(유용성 임계값 및 부작용 예산을 충족하는 이력)의 집합이다.
   • 이론적 분석을 통해 정보 이론적 하한선($N$개의 의도를 구별하기 위해 $\Omega(\log N)$개의 심볼이 필요함), 카디널리티 제약(유한한 지시문은 무한한 실행 공간의 임의의 부분 집합을 나타낼 수 없음), 그리고 계산 복잡도(안전한 합성(safe synthesis)은 NP-완전 문제인 Set Cover 문제로 귀결됨)를 도출한다.

2. 벤치마크 구축:

   • 20개의 주제 영역(예: 정책 메모, 사고 대응, 금융 노트)을 포괄하는 100개 태스크 벤치마크를 제작하였다.
   • 각 태스크는 가시적인 사용자 프롬프트와, 평가자에게는 알려져 있으나 프롬프트에는 누락된 숨겨진 요구사항(태스크당 2~5개)의 집합으로 구성된다.
   • 요구사항은 세 가지 유형으로 분류된다:
     • 관습적 암묵적 요구사항(Conventional implicit): 가정, 불확실성, 트레이드오프, 위험 수준.
     • 운영적 요구사항(Operational): 단어 수 제한, 출처 제한.
     • 사적 형식 요구사항(Private formatting): 유효한 JSON, 정확한 불렛 개수.
   • "엄격한 통과(strict pass)"는 태스크 내의 모든 숨겨진 요구사항을 충족하는 것으로 정의된다.

3. 실험 프로토콜:
   본 연구는 9가지 조건에 걸쳐 세 가지 모델(GPT-5.4, Claude Opus 4.7, Gemini 3.1 Pro)을 평가하였다:

   • 저정보(Low-Information): 원샷 프롬프팅, 일반적인 템플릿, 그리고 부정 제어 명료화(질문을 강제하되 "숨겨진 제약 없음"으로 답변하게 함).
   • 도출(Elicitation): 강제 명료화(메뉴 기반 질문에 대한 진실한 답변) 및 검증(가시적 또는 내부 체크리스트).
   • 오라클 조건(Oracle Conditions): 예산 제한 오라클(최대 4개의 숨겨진 요구사항 공개) 및 전체 오라클(모든 숨겨진 요구사항 공개).

주요 결과
2,700개의 태스크-모델-조건 관측치를 바탕으로 한 경험적 결과는 일반적인 상호작용과 실제 제약사항의 공개 사이의 극명한 대조를 보여준다:

• 일반적 상호작용의 실패: 원샷 프롬프팅의 엄격한 통과율은 단 2.7%(300회 시도 중 8회)에 불과했다. 일반적인 템플릿(7.3%)과 부정 제어 명료화(1.7%)는 유의미한 개선을 제공하지 못했다. 이는 태스크 관련 정보가 없는 상호작용은 누락된 제약 조건을 회복할 수 없음을 나타낸다.
• 올바른 도출의 가치: 올바른 숨겨진 요구사항을 공개했을 때 성능의 질적 도약이 일어났다. 전체 오라클(Full Oracle) 조건은 **64.7%**의 엄격한 통과율을 달eric했다. 예산 제한 오라클(Budgeted Oracle)(부분적 공개)은 54.0%에 도달했다.
• 도출 실패: 모델에게 질문을 강제했을 때(Forced Clarify), 모델은 8.0%의 통과율만을 기록했다. Forced Clarify와 Budgeted Oracle 사이의 격차(46.0 퍼센트 포인트)는 모델이 어떤 잠재적 제약 조건이 관련 있는지 식별하는 데 빈번히 실패하며, 잘못된 질문을 던지거나 중요한 것(예: 출처 제한은 단 1.0%의 경우에만 회상됨)을 놓친다는 것을 입증한다.
• 실행 실패: 모든 요구사항이 알려진 Full Oracle 조건에서도 통과율은 100%에 도달하지 못했다(64.7%). 이는 두 번째 실패 모드인 알려진 제약 준수(known-constraint compliance), 즉 모델이 명시적으로 제공된 전체 사양을 실행하는 데 실패하는 현상을 나타낸다.
• 복합적 실패: 숨겨진 요구사항의 수가 증가함에 따라 엄격한 통과율은 곱연산적으로 붕괴되었다. 저정보 프로토콜의 경우, 요구사항이 3~5개인 태스크에서 통과율은 거의 0에 수렴했다.
• 요구사항 특이성: 사적 형식 요구사항(JSON, 불렛 개수)은 공개 없이는 거의 회복이 불가능했으나(원샷에서 0%), 관습적 요구사항(불확실성, 절대적 표현 회피)은 부분적으로 추론되었으나 여전히 신뢰할 수 없는 수준이었다.

의의 및 주장
본 논문은 AI 시스템의 엄격한 운영 준수(operational compliance)에 대한 통제된 실패 모드를 식별했다고 주장한다. 주요 기여는 다음과 같다:

1. 지시문 취약성의 정식화: 본 연구는 하나의 좋은 실행을 포함하는 것뿐만 아니라, 모든 부적절한 실행을 배제해야만 견고성이 확보된다는 것을 보여주는 집합 값 데노테이션 프레임워크를 제공한다.
2. 의사소통 실패의 진단: 결과는 지시 이행의 병목 현상이 단순히 대화 턴(dialogue turns)의 부족이 아니라, 정보 도출의 질에 있음을 보여준다. 일반적인 명료화는 불충분하며, 타겟팅된 요구사항 도출이 필수적이다.
3. 템플릿 및 검증의 재정의: 본 연구는 프롬프트 템플릿과 일반적인 검증 체크리스트가 미미한 이득만을 제공함을 시사한다. 이들은 태스크 특유의 사적 제약 조건을 명시적으로 전달하는 것을 대체할 수 없다.
4. 안전성 함의: 연구 결과는 견고한 AI 어시스턴트가 더 긴 프롬프트나 일반적인 상호작용에 의존하기보다, 명시적인 요구사항 상태 도출(requirement-state elicitation), 해당 제약 조건의 충실한 통합, 그리고 그 상태에 대한 검증을 필요로 한다는 설계 원칙을 뒷받침한다.

저자들은 본 벤치마크가 합성 데이터이며 텍-온리(text-only) 방식으로서 표면적으로 확인 가능한 제약에 집중하고 있다는 점을 언급하며 연구의 범위를 겸허히 제한한다. 저자들은 장기적 에이전트 행동이나 주관적 품질을 측정하려는 것이 아니라, 누락된 운영 요구사항이라는 특정 실패 모드를 격리하는 데 집중한다. 결과적으로 현재의 프런티어 모델들은 능력이 뛰어나지만, 명시적인 소통 없이는 누락된 제약 조건을 신뢰성 있게 회복할 수 있는 천리안이 아님을 시사한다.