기술 요약: 언어 모델을 위한 결합 가능한 신뢰 (Composable Trust for Language Models)

1. 문제 정의

현재 대규모 언어 모델(LLM)의 근본적인 구조적 한계는 지시문(instruction)과 데이터(data)가 하나의 구별되지 않은 토큰 스트림을 공유한다는 점이다. 결과적으로, 모델의 생성 과정 내에서 무엇인가가 신뢰할 수 있는 시스템 지시문과 신뢰할 수 없는 사용자 입력 또는 검색된 데이터를 본질적으로 구분할 수 없다. 이는 모델이 시스템 지시를 무시하고 데이터를 유출하거나 승인되지 않은 동작을 실행하도록 유도하는 **프롬프트 인젝션(prompt injection)**에 취약하게 만든다.

이를 완화하려는 기존의 접근 방식들은 뚜렷한 실패 모드를 보인다:

• 성능 테스트: 정확도 대 거부율(accuracy vs. rejection rates)과 같은 벤치마크에만 의존하는 것은, 모든 입력을 무시하고 환각(hallucination)을 일으키는 시스템이 공격을 올바르게 거부하지만 정확도를 잃는 시스템보다 더 높은 성능을 보일 수 있기 때문에 실패한다.
• 지시 기반 금지: 모델에게 스스로의 규칙을 집행하도록 요청하는 것은 실패한다. 모델은 탬퍼 프루프(tamper-proof) 참조 모니터가 아니며, 준수 여부는 후속 컨텍스트나 어텐션 실패에 의해 역전될 수 있기 때문이다.
• 에이전트적 자가 점검: 모델이 컴플라이언스 체크를 루프 through 하게 하는 것은 복잡성만 더할 뿐 보장을 제공하지 못한다. 각 체크 역시 동일한 신뢰할 수 없는 분포로부터 샘플링된 또 다른 샘플에 불과하기 때문이다.

핵심 문제는 권한(authority)이 내용의 문구가 아니라 소스의 무결성(채널)에 의해 결정되도록 하는 **증명된 경계(proven boundary)**를 구축하는 것이며, 이를 통해 시스템이 더 낮은 신뢰도의 소스가 더 높은 신뢰도의 소스를 압도하지 않도록 하면서 서로 다른 신뢰도를 가진 여러 소스를 합성할 수 있도록 하는 것이다.

2. 방법론: 조건부 패스케이드 (The Conditioned Cascade)

본 논문은 권한을 모델 외부로 옮기고 결정론적인 파이프라인으로 이동시키는 시스템 설계를 제안한다. 이 아키텍처는 결정론적 모니터(Deterministic Monitor), 조건부 패시베이션 캐스케이드(Conditioned Passivation Cascade), 그리고 **래퍼(Wrapper)**의 세 가지 구성 요소로 이루어진다.

A. 무결성 격자 및 모니터 (The Integrity Lattice and Monitor)

시스템은 모든 입력을 내용이 아닌, 해당 입력이 도달한 채널을 기반으로 고정된 **무결성 링(integrity ring, 신뢰 수준)**에 할당한다. 배포된 계층 구조(신뢰도가 높은 순서)는 다음과 같다:

1. SYSTEM: 운영자 지시문 (완전 신뢰).
2. USER: 사용자 요청.
3. CONTENT: 검색된 문서.
4. WEB: 도구 및 웹 반환값.

**모니터(Monitor)**는 이 라벨링된 값들에 대해 다섯 가지 불변성(invariants)을 강제하는 결정론적이며 모델이 아닌 구성 요소이다:

• I1 (Meet Rule): 입력의 결합은 가장 낮은 링을 취하며(Biba 무결성 격자), 이를 통해 조합을 통해 신뢰도가 상승하지 않음을 보장한다.
• I2 (Out-of-Band Authority): 링은 오직 대역 외(out-of-band) 토큰을 통해서만 상승할 수 있으며, 콘텐츠는 이를 위조할 수 없다.
• I3 (Action Threshold): 동작은 제어하는 입력들이 고정된 임계값을 충족하는 경우에만 승인된다.
• I4 (Stamping): 값들은 중간 단계에서도 자신의 링을 유지하며, 이를 탈락시킬 수 없다.
• I5 (Operation Binding): 연산은 존재하는 가장 높은 링의 지시문에 바인딩된다.

이론적 보장: 격자가 유한하기 때문에, 모니터는 열거를 통해 신뢰할 수 없는 입력이 바인딩된 연산을 변경하거나 동작을 승인할 수 없음을 증명할 수 있다. 이는 모델의 동작과 무관하게 권한에 대한 증명된 비간섭성(non-interference) 속성을 제공한다.

B. 조건부 패시베이션 캐스케이드 (The Conditioned Passivation Cascade)

모니터가 권한을 보장하는 동안, 텍キスト 생성 자체는 여전히 "소프트(soft)"한 방어 기제이다. 시스템은 임베디드된 명령어를 제거하면서도 실제 사실은 보존하는 패시베이션(passivation, 비활성화) 과정을 사용한다.

• 조건화(Conditioning): 일반적인 필터링과 달리, 패시베이션은 지금까지 처리된 고신뢰 채널에 의해 설정된 컨텍스트에 조건화된다. 이를 통해 시스템은 관련 있는 사실과 무관하거나 악의적인 지시를 구분할 수 있다.
• 순서(Ordering): 채널은 내림차순 신뢰도 순서(SYSTEM $\to$ USER $\to$ CONTENT $\to$ WEB)로 처리된다. 각 저신뢰 채널은 이미 패시베이션된 고신뢰 컨텍스트에 조건화되어 한 번씩 패시베이션된다.
• 속성 부여(Attribution): 만약 저신뢰 소스(예: WEB)에 고신뢰 소스(예: CONTENT)에 없는 사실이 포함되어 있다면, 시스템은 그 사실을 유지하되 이를 절대적인 사실으로 단언하는 대신 저신뢰 소스에 귀속시킨다.

C. 래퍼 (The Wrapper)

래퍼는 최종 프롬프트를 조립한다. 래퍼는 다음을 수행한다:

• 논스(nonce)로 입력을 구분하고 고정된 링 라벨을 태깅한다.
• 모델에게 오직 SYSTEM 블록만을 따르도록 명시적으로 지시한다.
• 충돌(예: CONTENT vs. WEB)을 해결하기 위해 더 높은 링을 우선시한다.
• "신뢰 세탁(trust laundering)"(예: 웹 페이지에 포함된 인젝션을 따르도록 사용자가 모델에게 요청하는 것)을 방지한다.

D. SkillOpt를 통한 튜닝

방어는 패시베이션과 라벨링을 위한 자연어 프롬프트에 의존한다. 그래디언트(gradient)를 통한 프롬프트 탐색이 불가능하므로, 저자들은 SkillOpt 스타일의 구조화된 재작성 체계를 사용한다:

• 결합 탐색(Joint Search): 프롬프트는 패시베이션 단계와 래퍼 사이의 결합을 고려하여 독립적이 아닌 공동(end-to-end)으로 튜닝된다.
• 다중 목적(Multi-Objective): 프롬프트는 클린 품질($Q$)과 거부율($R$)을 모두 최적화하여 파레토 프런티어(Pareto frontier)를 유지한다.
• 정규화(Regularization): 프롬프트는 특정 공격 문자열을 암기하는 것을 방지하기 위해 길이를 제한하며, 원칙에 기반하도록 강제한다.
• 모델 가중치 미변경: 방어는 모델 가중치를 수정하지 않고 오직 프롬프트 세트만을 튜닝한다(모델 불가지론적).

3. 주요 기여

1. 증명된 권한 경계: 모델 외부로 참조 모니터를 옮기고 유한한 무결성 격자를 강제함으로써, 신뢰할 수 없는 입력이 시스템의 연산을 변경하거나 동작을 승인할 수 없다는 형식을 갖춘 증명을 제공한다.
2. 조건부 캐스케이드 아키텍처: 저신뢰 채널을 내림차순 신뢰도로 처리하고, 고신뢰 컨텍스트에 따라 저신뢰 패시베이션을 조건화하여 신뢰도를 높이는 새로운 파이프라인을 제시한다.
3. 모델 불가지론적 방어: 파인튜닝이나 가중치 변경 없이 프롬프트 엔지니어링과 결정론적 모니터링을 통해 수정되지 않은 LLM(호스팅된 모델 포함)을 보호하는 방법을 제공한다.
4. 신뢰 등급별 합성: 정보를 단순히 버리는 대신, 신뢰 수준을 존중하면서도 저신뢰 소스로부터의 사실을 유지하고 귀속시키는 능력을 제공한다.

4. 결과

시스템은 수정되지 않은 Gemma 4 26B 모델을 사용하여 홀드아웃(held-out)된 신선한 콘텐츠와 다양한 공격 벡터(AgentDojo 템플릿 및 적응형 레드팀 공격 포함)로 평가되었다.

• 지시문 인젝션 방어:
  • 기본 모델: 27% 방어율 (genuine-leak 메트릭 기준).
  • 배포된 캐스케이드: 94% 방어율 (95% 신뢰 구간: [88, 97]).
  • 이는 성공적인 유출을 약 12배 감소시킨 것이다.
• 적응형 적대적 평가:
  • 다른 모델(Gemma 4 31B)에 의한 적응형 공격 및 다양한 공격자 그룹(화이트박스, 블랙박스, 멀티 링 옵티마이저) 하에서도, 권한 경계는 0회의 위반을 유지했다(무조건적으로 증명됨).
  • 측정된 텍스트 방어는 적응형 공격에 대해 **87%**를 유지했다.
• 속성 부여(Attribution):
  • 시스템은 웹 소스 사실을 저신뢰 소스에 귀속시키는 데 **92%**의 성공률을 보였으나, 기본 모델은 0%였다.
• 클린 품질(Clean Quality):
  • 방어로 인한 클린 태스크 품질 비용은 미미했다: $Q_{rel} = 0.96$ (기본 모델 품질의 96%).
• 어블레이션(Ablation):
  • 패시베이션과 래퍼의 결합이 필수적이었다. 패시베이션만 사용하거나 래퍼만 사용하는 경우, 특히 위임 공격(Tier 3)에서 상당한 격차가 남았다.

5. 의의 및 주장

본 논문은 **AI 시스템의 신뢰는 단일한 속성이 아니라 개념들의 성좌(constellation)**라고 주장한다. 제안된 시스템은 결합 가능한 신뢰(composable trust), 즉 서로 다른 신뢰도를 가진 여러 소스를 신뢰할 수 있게 합성하는 능력을 다룬다.

• 증명 가능성 vs. 측정 가능성: 저자들은 증명된 권한(절대적이고 구조적인 것)과 측정된 텍스트 방어(확률적이며 튜닝을 통해 개선되는 것)를 구분한다. 그들은 텍스트 방어가 100% 완벽한 누출 방지를 보장한다고 주장하는 것이 아니라, 설령 누출이 발생하더라도 그 누출이 시스템의 권한을 변경하거나 승인되지 않은 동작을 트리거할 수 없음을 증명할 수 있다고 명시한다.
• 겸손함: 저자들은 이 방어가 하나의 "바닥(floor)"임을 인정하며, 측정된 비율은 잔여 위험에 대한 추정치라고 밝힌다. 그들은 프롬프트 인젝션을 완전히 해결했다고 주장하는 것이 아니라, 인젝션의 **결과(consequences)**가 제한되도록 하는 경계를 구축했다고 주장한다.
• 실용성: 시스템은 수정되지 않은 기존 모델(호스팅된 API 포함)에 배포 가능하도록 설계되었으며, 모델이나 신뢰 구성이 변경될 때 프롬프트만 재튜닝하면 된다.

요약하자면, 본 논문은 모델을 내부적 제약을 통해 "안전하게" 만드는 것에서 벗어나, 신뢰 관계를 강제하는 결정론적이고 외부적인 거버넌스 레이어를 구축함으로써 LLM이 다중 소스 및 적대적 환경에서 안전하게 작동할 수 있도록 하는 패러다임의 전환을 제시한다.