Extending the Formalism and Theoretical Foundations of Cryptography to AI

이 논문은 대규모 언어 모델 (LLM) 기반의 자율 에이전트 시스템의 보안성을 강화하기 위해, 암호학의 형식적 방법론 (Formal Methods) 을 인공지능 (AI) 보안에 적용하는 새로운 이론적 기반을 제시합니다. 저자들은 현재 제안된 다양한 에이전트 권한 부여 (Permissioning) 및 접근 제어 메커니즘들이 공통된 형식적 기초가 부족하여 서로 비교하거나 보안성을 증명하기 어렵다는 문제를 지적하고, 이를 해결하기 위한 체계적인 프레임워크를 개발했습니다.

다음은 논문의 주요 내용을 기술적으로 요약한 것입니다.

1. 문제 정의 (Problem)

최근 LLM 기반 자율 에이전트 (Autonomous Agents) 는 인간의 감독을 최소화하고 복잡한 작업을 수행할 수 있게 되었으며, 시스템에 높은 자율성과 권한을 부여받게 되었습니다. 이에 따라 보안 커뮤니티는 에이전트의 행동을 제어하기 위한 접근 제어 및 권한 부여 메커니즘을 연구하고 있습니다.

• 핵심 문제: 기존 제안된 권한 부여 방식 (예: Progent, Conseca 등) 은 직관적으로 타당하지만, 공통된 형식적 기초 (Formal Foundation) 가 부재하여 서로 비교하거나 보안성을 수학적으로 증명 (Security Reduction) 하는 것이 어렵습니다.
• 필요성: 암호학에서와 마찬가지로, AI 시스템의 보안성을 논리적으로 증명하고 취약점을 체계적으로 분석하기 위해 엄밀한 정의와 적대적 모델 (Adversarial Model) 이 필요합니다.

2. 방법론 (Methodology)

저자들은 암호학의 게임 기반 보안 증명 (Game-based Security Proofs) 패러다임을 AI 에 적용하여 다음과 같은 방법론을 제시합니다.

• AIOracle 추상화: LLM, 챗봇, 분류기, 에이전트 등을 포괄하는 통합 모델인 'AIOracle'을 정의합니다. 이는 LEARN(학습) 과 INFER(추론) 두 단계로 나뉩니다.
  • LEARN: 데이터 소스 (Source) 에서 코퍼스 (Corpus) 를 생성하고 모델을 학습시킵니다.
  • INFER: 사용자 프롬프트와 컨텍스트를 입력받아 결과를 출력합니다.
• 공격 분류 체계 (Attack Taxonomy): LLM 에 대한 공격을 다차원 프레임워크로 체계화합니다.
  • 공격 벡터: 데이터 기반 (학습 데이터 오염) vs 프롬프트 기반 (추론 시 입력 조작).
  • 공격 단계: 학습 단계 (Pre-training, Fine-tuning) vs 추론 단계.
  • 적대적 지식: 화이트박스 (모델 내부 접근 가능) vs 블랙박스 (API 만 접근 가능).
  • 공격 지속성: 일시적 (Transient) vs 영구적 (Persistent).
• 형식적 보안 게임 (Security Game Framework):
  • 완전성 (Completeness): 적대자가 없는 정상적인 환경에서 시스템이 의도된 기능 (Helpfulness) 을 올바르게 수행하는지 정의합니다.
  • 보안성 (Security): 적대자가 존재하는 환경에서 기밀성 (Confidentiality), 무결성 (Integrity), 가용성 (Availability) 을 유지하는지 정의합니다.
  • predicates (φ): 결과의 유용성과 무해함 (Harmlessness) 을 정의하는 논리 술어를 도입하여, 시스템이 이 술어를 만족하는지 여부를 게임의 승패 조건으로 삼습니다.

3. 주요 기여 (Key Contributions)

1. 공격 분류 체계의 정립: LLM 기반 에이전트 시스템에 대한 공격을 체계적으로 분류하는 다차원 분류법 (Taxonomy) 을 제시하여, 기존 연구들의 위치를 명확히 하고 새로운 공격을 포착할 수 있는 틀을 마련했습니다.
2. AIOracle 의 형식적 정의 및 보안 게임 개발:
   • 암호학의 '완전성'과 '적대적 견고성' 개념을 AI 에 도입했습니다.
   • 기밀성, 무결성, 가용성을 단일 모델 내에서 통합하여 정의하는 보안 게임을 설계했습니다.
3. 기밀성과 유용성의 근본적 충돌 증명:
   • 학습 데이터의 기밀성 (예: 데이터 구성원 추론 공격 방어) 을 완벽하게 보장하려는 접근은 시스템의 유용성 (Completeness/Utility) 과 근본적으로 충돌함을 증명했습니다. 즉, 특정 데이터가 모델 학습에 영향을 미치지 않도록 하면 모델의 성능이 저하될 수밖에 없음을 이론적으로 보였습니다.
4. 모듈형 분해 (Modular Decomposition) 및 이중 구성 (Dual Construction):
   • '유용함 (Helpfulness)'과 '무해함 (Harmlessness)'이라는 목표를 분리하여 모듈화할 수 있음을 증명했습니다.
   • 이중 구성 (Dual Construction): 창의적 AIOracle(CAIO, 계산 문제 해결) 과 지루한 AIOracle(BAIO, 판별 문제 해결/필터링) 을 결합하여 전체 시스템의 보안성을 증명하는 방법을 제시했습니다. 이는 하나의 모듈이 다른 모듈의 보안을 보장하는 암호학의 표준 관행과 유사합니다.

4. 결과 및 분석 (Results)

• 기존 접근법의 한계 분석:
  • FIDES: 데이터 추적 및 라벨링에 기반하지만, 정책이 수동으로 정의되어 오류 가능성이 있습니다.
  • Progent: 도구 호출 단계의 권한을 제어하지만, 텍스트 출력에 대한 공격을 방어하지 못하며, 정책 업데이트를 LLM 에 의존하는 점은 취약점이 될 수 있습니다.
  • Conseca: 컨텍스트 인식 정책을 사용하지만, 계획자 (Planner) 가 공격당할 경우 정책 생성 로직 자체가 우회될 수 있는 'LM 이 LM 을 방어하는 역설'에 직면합니다.
• 이론적 발견:
  • 학습 데이터의 기밀성을 보장하는 것은 모델의 유용성과 상충됩니다. 따라서 프라이버시 보호는 학습 데이터의 정제 (Sanitization) 나 권한 있는 사용자만 접근 가능한 파인튜닝을 통해 해결해야 함을 시사합니다.
  • 모듈화된 접근 (Dual Construction) 을 통해 복잡한 에이전트 시스템의 보안을 하위 문제들로 분해하고, 각 모듈의 보성이 전체 시스템의 보안으로 이어짐을 수학적으로 증명할 수 있음을 보였습니다.

5. 의의 및 시사점 (Significance)

• AI 보안의 형식적 기초 마련: 이 논문은 AI 시스템의 보안을 경험적 테스트나 휴리스틱이 아닌, 암호학처럼 엄밀한 수학적 증명 (Provable Security) 의 영역으로 끌어올렸습니다.
• 설계 원칙 제시: 안전한 AI 에이전트 시스템을 설계할 때는 '모듈화'된 접근이 필수적임을 강조합니다. 즉, 유용성과 무해성, 기밀성 등을 분리된 모듈로 설계하고, 이를 조합하여 전체 시스템의 보안을 증명해야 합니다.
• 정책 및 표준화 기여: 향후 AI 시스템의 보안 표준을 수립하거나 규제 정책을 개발할 때, 이 논문에서 제시된 형식적 모델과 공격 분류 체계가 객관적인 기준 (Benchmark) 으로 활용될 수 있습니다.

결론적으로, 이 연구는 AI 에이전트 시스템의 보안 문제를 암호학적 관점에서 재정의하고, 이를 해결하기 위한 이론적 도구와 설계 원칙을 제공함으로써, 신뢰할 수 있는 자율 AI 시스템 구축을 위한 중요한 이정표가 됩니다.