기술 요약: AI 기반 시스템을 위한 침투 테스트의 재고

1. 문제 정의

전통적인 침투 테스트는 공격자가 소프트웨어, 인프라 또는 구성의 취약점을 악용하여 보안 관련 침해(일반적으로 권한 없는 접근, 권한 상승 또는 자원 제어로 정의됨)를 달성할 수 있는지 평가합니다. 이 패러다임은 AI 기반 시스템에서도 여전히 필요하지만, 본 논문은 이것만으로는 충분하지 않다고 주장합니다.

AI 기반 시스템에서 학습된 모델은 시스템 입력과 운영 결과 사이의 관계를 매개합니다. 결과적으로 공격자는 기초적인 컴퓨팅 인프라를 직접적으로 침해하지 않고도 시스템의 행동을 조작하여 결정, 도구 호출, 우선순위 지정 또는 인간의 판단을 변화시킬 수 있습니다. 프롬프트 인젝션, 간접 프롬프트 인젝션, 데이터 오염, 센서 조작 및 도구 오용과 같은 공격은 인프라는 온전하게 유지하면서도 시스템이 그 운영 목적(예: 고위험 사고의 등급 하향 조정 또는 안전하지 않은 동작 권고)을 위반하도록 유도할 수 있습니다. 기존 프레임워크(예: NIST SP 800-115, MITRE ATT&CK)와 AI 리스크 가이드라인(예: NIST AI RMF, OWASP Top 10)은 행동적 실패가 발생했을 때 침투 테스트의 성공 기준을 단일화하여 제공하지 못하고 있습니다.

2. 방법론 및 개념적 프레임워크

본 논문은 침투 테스트를 '자원 중심의 관점'에서 **'목표 중심의 행동 평가(objective-driven behavioral evaluation)'**로 재정의할 것을 제안합니다. 이 접근 방식은 일련의 공식적인 정의와 구조화된 테스트 워크플로우를 기반으로 합니다.

핵심 정의

저자들은 AI 기반 침투의 범위를 설정하기 위해 다음과 같은 주요 개념을 정의합니다:

• AI 기반 시스템 (AI-Enabled System): 하나 이상의 학습된 모델이 운영 결과에 영향을 미치는 행동을 실질적으로 조절하는 시스템 (예: 분류기, LLM, 에이전트 워크플로우).
• 운영 목표 (Operational Objective): 정상 및 적대적 조건 하에서 시스템이 보존해야 하는 미션 수준의 결과 (예: 정확한 사고 분류, 안전한 항행).
• AI 관리 행동 (AI-Governed Behavior): 예측, 생성된 콘텐츠, 도구 호출 및 동작을 포함하여 학습된 모델에 의해 실질적으로 형성되는 시스템의 행동.
• 적대적 영향 경로 (Adversarial Influence Path): 특정 위협 모델 하에서 자원, 입력, 컨텍스트, 데이터 또는 인간-AI 상호작용 루프를 통해 AI 관리 행동에 영향을 미칠 수 있는 실행 가능한 공격자의 행동 시퀀스.
• AI 기반 침투 (AI-Enabled Penetration): 명시적인 위협 모델 하에서 하나의 이상의 운영 목표를 위반하는 AI 관리 행동을 실행 가능하게 유도하는 것.
• 성공적인 침투 (Successful Penetration): 운영 목표를 위반하는 행동을 유도하는 실행 가능한 적대적 경로가 입증되었으며, 재현성(결정론적이기보다 확률적일 수 있음)의 증거가 뒷받침되는 경우.

목표 중심 테스트 워크플로우

논문은 이러한 테스트를 수행하기 위한 6단계 워크플로우를 제안합니다:

1. 운영 목표 정의: 시스템이 반드시 보존해야 하는 미션 수준의 결과 명시 (예: "고위험 사고는 인간의 확인 없이 등급이 하향되어서는 안 된다").
2. AI 관리 행동 매핑: 목표에 영향을 미치는 구체적인 행동(예측, 도구 호출, 요약) 식별.
3. 적대적 영향 표면 식별: 전통적인 자원(API, 자격 증명)부터 AI 특화 입력(프롬프트, 검색된 문서, 센서 데이터, 메모리)에 이르기까지 공격자가 영향을 주입할 수 있는 인터페이스 목록 작성.
4. 행동 실패 기준 정의: 목표를 구체적인 위반 기준으로 변환 (예: 권한 없는 도구 호출, 핵심 경보 억제).
5. 시나리오 기반 테스트 실행: 영향 표면과 실패 기준을 연결하는 적대적 시나리오 실행. AI의 확률적 특성 때문에 이를 위해 반복적인 시행을 통해 성공률과 재현 조건 확립이 필요할 수 있음.
6. 침투 증거 보고: 적대적 행동, 유도된 행동, 목표 위반 및 운영 영향을 문서화하며, 확인된 침투와 일반적인 모델 결함을 구분함.

3. 주요 기여

본 논문은 세 가지 주요 기여를 합니다:

1. 개념적 구분: 자원 침해, AI 관리 행동, 운영 목표 위반 사이의 차이점을 명확히 하며, AI 시스템에서의 보안 실패가 자원 계층이 아닌 행동 계층에 존재할 수 있음을 주장합니다.
2. 침투의 확장된 정의: AI 기반 시스템에 대한 침투를 '운영 목표를 위반하는 행동을 실행 가능하게 유도하는 것'으로 정의합니다. 이는 고전적인 침투 테스트의 관련성(자원 침해가 유효한 경로로 남음)을 유지하면서, 행동 매개 실패를 포함하도록 성공 기준을 확장합니다.
3. 목표 중심 워크플로우: 목표를 스코핑하고, 영향 표면을 매핑하며, 실패 기준을 정의하고, 적대적 행동과 미션 실패를 연결하는 증거를 보고하는 방법을 포함한 기술적 프레임워크를 제공합니다.

4. 예시적 결과 및 사례

논문은 실행 중인 AI 기반 보안 운영 센터(SOC) 어시스턴트의 사례를 통해 프레임워크를 검증합니다.

• 시나리오: 공격자가 콘텐츠(예: 웹페이지 또는 티켓 댓글)에 악의적인 지침을 심어두고, 어시스턴트가 이를 검색하여 처리합니다.
• 메커니즘: 어시스턴트가 신뢰할 수 없는 콘텐츠를 증거가 아닌 지침으로 취급함으로써, 고위험 사고의 등급을 낮추고 인간 분석가에게 에스컬레이션하지 못하게 합니다.
• 결과: 인프라는 침해되지 않았습니다 (자격 증명이 탈취되거나 서버에 접속되지 않음). 그러나 운영 목표인 '정확한 사고 분류'가 위반되었습니다.
• 증거: 논문은 공격자가 실행 가능한 영향 경로를 사용하여 시스템의 미션을 무력화하는 AI 관리 행동을 유도했으므로, 이것이 성공적인 침투임을 입증합니다. 보고서 구조에는 위협 모델, 영향 표면, 유도된 행동, 그리고 위반된 특정 운영 목표가 포함됩니다.

5. 의의 및 주장

본 논문은 자신의 재구성이 배치된 AI 시스템의 보안 평가를 위해 필수적이라고 주장합니다. 그 의의는 다음과 같습니다:

• 간극 해소: 기존 프레임워크가 AI 리스크나 공격 기법을 식별할 수는 있지만, 그러한 공격이 언제 시스템의 운영 목적에 대한 성공적인 침투가 되는지를 정의하지 못하는 간극을 해결합니다.
• 운영적 보증: 초점을 "공격자가 어떻게 들어오는가?"에서 "공격자가 어떻게 시스템을 목적에 반하게 행동하게 만드는가?"로 전환합니다. 이는 보안 테스트를 AI 기반 시스템의 실제 미션 크리티컬한 기능과 일치시킵니다.
• 증거의 엄밀성: AI의 행동은 확률적일 수 있지만, 침투 테스트는 여전히 위협 모델, 영향 경로, 그리고 유도된 행동과 목표 위반 사이의 연결을 명확히 문서화하는 증거의 엄밀성을 준수해야 함을 확립합니다.
• 복구 전략: 복구는 적대적 영향에서 운영 실패에 이르는 전체 경로를 다루어야 하며, 자원, 영향, 행동, 목표 계층 전반에 걸친 통제(예: 신뢰할 수 있는 지침과 신뢰할 수 없는 데이터의 분리, 도구 권한 제한, 인간의 확인 강제)를 요구합니다.

저자들은 AI 구성 요소가 워크플로우와 결정에 더 큰 영향력을 갖게 됨에 따라, 보안 경계가 보호된 자원에서부터 그 자원이 가능하게 하는 '행동'으로 확장되어야 한다고 결론짓습니다. 인프라가 온전하더라도 공격자가 미션을 무력화하는 AI 관리 행동을 신뢰성 있게 유도할 수 있다면, 그 시스템은 침투된 것입니다.