Security awareness in LLM agents: the NDAI zone case

1. 연구 배경 및 문제 정의 (Problem)

• NDAI 존 (Non-Disclosure Agreement Intelligence Zone): Stephenson 등 [1]이 제안한 개념으로, 발명가 (Inventor) 와 투자자 (Investor) 의 AI 에이전트가 신뢰 실행 환경 (Trusted Execution Environment, TEE) 내에서 협상하는 설정입니다.
  • 핵심 메커니즘: 협상이 성사되면 계약이 공개되지만, 성사되지 않으면 (No-deal) 모든 내부 대화 기록과 중간 정보 공개가 삭제됩니다.
  • 경제적 효과: 이는 '정보 공개의 역설 (Arrow's information disclosure paradox)'을 해결하여, 발명가 에이전트가 지적 재산권 (IP) 을 안전하게 공개하고 협상을 진행할 수 있는 합리적 인센티브를 제공합니다.
• 핵심 문제: LLM 에이전트는 물리적/가상 실행 환경에 대한 선천적 인식 (Native Awareness) 이 결여되어 있습니다. 에이전트는 오직 프롬프트 (Context Window) 를 통해 전달된 증거에 의존하여 환경의 보안 상태를 판단해야 합니다.
• 연구 질문: 다양한 LLM 모델들은 실행 환경의 보안성을 형성할 때, 텍스트 기반 주장 (Text Claim) 과 하드웨어 기반 증명 (Attestation) 등 다양한 형태의 증거를 어떻게 가중치 (Weight) 하여 처리할까요?

2. 방법론 (Methodology)

연구는 10 개의 서로 다른 LLM 모델을 대상으로 통제된 실험을 수행하여 에이전트의 보안 인식을 측정했습니다.

• 실험 설정:
  • 역할: 발명가 에이전트 (판매자) 가 투자자 에이전트 (구매자) 의 IP 공개 요청에 응답하는 시나리오.
  • 지표: '판사 모델 (Judge Model)'을 사용하여 발명가 에이전트의 응답에서 공개된 정보의 양을 **공개 점수 (Disclosure Score, 0~1)**로 측정. 점수가 높을수록 환경의 보안성을 신뢰하고 정보를 많이 공개하는 것으로 간주.
• 4 가지 시나리오 (Evidence Configurations):
  1. No-TEE: 보안 주장 없음, 도구 호출 없음.
  2. TEE (Text Only): "당신은 TEE 에서 작동 중입니다"라는 텍스트 주장만 존재.
  3. TEE + Pass: 텍스트 주장 + TEE 하드웨어에서 생성된 성공 (True) 인증서 (Attestation).
  4. TEE + Fail: 텍스트 주장 + TEE 하드웨어에서 생성된 실패 (False) 인증서.
  • 참고: 실제 실험은 비용 효율성을 위해 TEE 내부가 아닌 일반 서버에서 수행되었으며, 인증서는 시뮬레이션되었습니다.
• 지표 개발:
  • Attestation Reliance Index (ARI): 텍스트 주장 대비 인증서 증거가 공개 행동에 미치는 영향을 정량화하는 지수 (-1 ~ +1).
    • +1: 인증서에 의해 행동이 주도됨.
    • 0: 텍스트 주장에 의해 행동이 주도됨.
    • -1: 인증서가 오히려 행동을 억제함 (역설적 반응).

3. 주요 결과 (Key Results)

실험 결과는 LLM 모델들이 보안 증거를 처리하는 데 있어 **뚜렷한 비대칭성 (Asymmetry)**을 보임을 발견했습니다.

A. 성공적인 인증서 (Passing Attestation) 의 효과: 이질적 반응

• 결과: 인증서가 'True'로 반환되었을 때, 모델들의 반응은 매우 다양했습니다.
  • 인증서 주도형 (Attestation-driven): Claude-sonnet-4.6, Minimax-m2.5 등은 인증서를 받으면 공개량을 크게 증가시켰습니다 (ARI ≈ 1).
  • 주장 주도형 (Claim-driven): GPT-5.2 등은 텍스트 주장만으로 이미 높은 공개를 보였으며, 인증서의 추가 효과가 미미했습니다 (ARI ≈ 0).
  • 인증서 회피형 (Attestation-averse): GPT-4o, Gemini-2.5-flash 등은 오히려 유효한 인증서를 받으면 공개량을 감소시켰습니다 (ARI < 0).
• 의미: 유효한 보안 증명이 있어도 모델마다 안전성을 신뢰하는 정도가 천차만별이며, 일부는 오히려 불신하게 됩니다.

B. 실패한 인증서 (Failing Attestation) 의 효과: 보편적 억제

• 결과: 인증서가 'False'로 반환되었을 때, 모든 10 개 모델이 일관되게 정보 공개를 억제했습니다.
  • 공개 점수는 'No-TEE' 기준선 (Scenario 1) 보다도 더 낮아졌습니다.
  • 이는 모델들이 '위험 신호 (Danger Signal)'를 감지하는 능력은 매우 우수함을 의미합니다.

C. 종합적 결론 (Asymmetry)

• 불안정성: LLM 에이전트는 위험 신호는 신뢰할 수 있게 감지하지만, 안전 신호는 신뢰할 수 있게 검증하지 못합니다.
• NDAI 존의 실패 원인: 이전 연구 (Diplomacy 게임 등) 에서 NDAI 존이 기대한 대로 작동하지 않았던 이유는 에이전트들이 TEE 의 보안 보장을 신뢰하지 못했기 때문입니다.

4. 주요 기여 (Key Contributions)

1. 보안 인식 벤치마크 제안: LLM 에이전트가 실행 환경의 보안성을 판단할 때 사용하는 증거 유형 (텍스트 vs. 하드웨어 증명) 에 대한 체계적인 평가 프레임워크를 제시했습니다.
2. 비대칭성 발견: LLM 모델들이 '위험'과 '안전'을 처리하는 방식의 구조적 불균형을 최초로 규명했습니다. 이는 프라이버시 보존형 에이전트 프로토콜 (NDAI 존 등) 의 배포에 치명적인 약점이 될 수 있음을 시사합니다.
3. 지수 개발 (ARI): 모델별 인증서 의존도를 정량화하는 새로운 지수를 도입하여, 모델 간 행동 차이를 체계적으로 비교할 수 있게 했습니다.

5. 의의 및 향후 과제 (Significance & Future Work)

• 실무적 의의: NDAI 존과 같은 차세대 AI 협상 시스템이 성공하려면, 에이전트가 단순히 "보안 환경이다"라는 텍스트를 믿는 것을 넘어, 하드웨어 증명 (Attestation) 을 신뢰하고 이에 기반하여 정보를 공개할 수 있어야 합니다. 현재는 이 부분이 불안정합니다.
• 해결 방향:
  • 해석 가능성 분석 (Interpretability Analysis): 내부 표현 (Internal Representations) 을 분석하여 왜 일부 모델이 안전 신호를 무시하거나 역설적으로 반응하는지 규명.
  • 타겟 파인튜닝 (Targeted Fine-tuning): 보안 증거에 올바르게 반응하도록 모델을 학습.
  • 증거 아키텍처 개선: 에이전트가 증거의 품질을 더 잘 평가할 수 있도록 프롬프트 및 시스템 설계 개선.

결론적으로, 이 논문은 LLM 에이전트가 보안 환경에서 정보를 공개하는 합리적 행동을 수행하기 위해서는 단순한 프롬프트 주장을 넘어, 검증 가능한 보안 증거를 신뢰하고 적절히 반응하는 '보안 인식 (Security Awareness)' 능력을 갖추는 것이 가장 시급한 과제를 지적합니다.