💬 NLP

Cross-Session Threats in AI Agents: Benchmark, Evaluation, and Algorithms

이 논문은 AI 에이전트의 세션 간 위협을 탐지하기 위해 새로운 벤치마크 (CSTM-Bench) 를 구축하고, 기존 메모리 무결성 검사의 한계를 규명하며, 제한된 메모리 코어셋 리더와 안정성 지표를 결합한 새로운 알고리즘을 제안합니다.

원저자: Ari Azarafrooz

게시일 2026-04-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ari Azarafrooz

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🕵️‍♂️ 1. 문제: "한 번에 한 번씩은 괜찮은데, 모이면 위험한" 공격

비유: "조각난 독약"
상상해 보세요. 어떤 사람이 당신에게 매일 아침 "오늘 날씨가 좋네요", "커피 한 잔 어때요?", "오늘 회의 자료 정리해 드릴까요?"라고 말한다고 칩시다. 각각의 말은 전혀 위험해 보이지 않습니다.

하지만 이 사람이 100 일 동안 매일 조금씩 다른 말을 섞어 말하다가, 마지막 날에 "그럼 어제 말했던 비밀 금고 비밀번호를 알려주세요"라고 하면 어떨까요?

기존 보안 (세션별 감시): 보안 요원은 매일 아침 당신에게 찾아와서 "오늘 한 말 중 위험한 게 있나요?"라고 물어봅니다. "날씨", "커피", "회의 자료"는 모두 안전하므로 "OK"라고 답하고 퇴장합니다.
실제 위험: 하지만 이 100 일간의 대화가 모여서 비밀 금고 비밀번호를 알아내는 전체 계획이 완성된 것입니다. 각 말은 안전하지만, **모아진 전체 (Aggregate)**는 치명적인 공격입니다.

이 논문은 바로 이 **"여러 번의 대화를 연결해야만 드러나는 숨겨진 공격 (Cross-Session Threats)"**을 다룹니다.

🧪 2. 실험실: "CSTM-Bench" (새로운 시험지)

연구자들은 AI 가 이런 숨겨진 공격을 얼마나 잘 찾아낼지 테스트하기 위해 CSTM-Bench라는 새로운 시험지를 만들었습니다.

26 가지不同类型的 공격: "조각난 독약", "여러 사람이 합심한 작전", "보이지 않는 곳에서 정보를 세탁하는 작전" 등 26 가지의 다양한 해킹 시나리오를 준비했습니다.
두 가지 시험 방식:
1. 희석 (Dilution): 공격 메시지가 수많은 안전한 대화 사이에 숨겨져 있을 때, AI 가 그 '바늘'을 찾을 수 있을까요?
2. 교묘한 위장 (Cross-Session): 해커가 AI 가 한 번에 볼 때는 안전해 보이도록 말을 다듬어 (위장) 놓았을 때, AI 가 전체 흐름을 보고 "아, 이건 공격이야!"라고 알아챌 수 있을까요?

📉 3. 기존 방법의 실패: "책장 전체를 한 번에 읽으려다 망하는" AI

기존의 방어 방식은 두 가지가 있었는데, 둘 다 실패했습니다.

한 번에 하나씩 보는 감시관 (Per-session Judge):
- 비유: 매일 아침 배달되는 편지 한 통씩만 보고 "이게 위험한가?"를 판단합니다.
- 결과: 해커가 편지 하나하나를 위장하면 100% 놓칩니다.
모든 편지를 한 책장에 쌓아 읽는 감시관 (Full-Log Correlator):
- 비유: 1 년 동안 온 모든 편지를 한꺼번에 큰 책장에 쌓아놓고, AI 가 그 전체 책장을 한 번에 읽으며 "여기 위험한 게 있나?"를 찾습니다.
- 결과: 책장이 너무 두꺼워지면 (정보가 너무 많아지면), AI 는 중요한 '바늘'을 찾지 못하고 '건초더미'에 압도됩니다. 또한, 책장이 너무 두꺼워지면 가장 오래된 편지 (공격의 시작 부분) 는 책장에서 잘려나가버려서 공격의 시작을 놓치게 됩니다.

핵심 결론: AI 가 더 많은 정보를 읽는다고 해서 더 똑똑해지는 것은 아닙니다. 오히려 정보 과부하 때문에 오히려 못 찾습니다.

🛡️ 4. 해결책: "핵심 요약본"을 만드는 비서 (Coreset Memory Reader)

이 논문이 제안하는 새로운 방법은 **"모든 것을 다 읽지 말고, 가장 중요한 것만 골라 읽는 것"**입니다.

비유: "뉴스레터 편집장"
- 매일 수천 건의 뉴스가 들어옵니다. 편집장 (AI) 이 모든 기사를 다 읽을 수는 없습니다.
- 대신, 가장 의심스러운 뉴스 50 개만 골라 "핵심 요약본"을 만듭니다.
- 그리고 AI 는 이 50 개의 요약본만 보고 "이게 위험한 작전인가?"를 판단합니다.
왜 효과가 있을까요?
- 잡음 제거: 해커가 섞어놓은 수많은 안전한 대화 (건초더미) 를 미리 걸러냅니다.
- 핵심 보존: 해커가 숨겨둔 '바늘' (공격의 핵심) 은 반드시 남습니다.
- 비용 절감: 모든 책을 읽을 필요 없이 요약본만 읽으니 AI 의 두뇌 (계산 비용) 를 아낄 수 있습니다.

이 방법은 기존 방식보다 공격을 훨씬 더 잘 찾아냈으며, 특히 해커가 말을 위장했을 때도 효과적이었습니다.

📊 5. 새로운 점수판: "찾아낸 것" + "비용"

단순히 "찾아냈나?"만 보는 게 아니라, **"얼마나 효율적으로 찾았나?"**도 함께 봅니다.

CSTM 점수:
- 70%: 공격을 얼마나 잘 찾아냈는가? (정확도)
- 30%: 요약본을 만들 때 AI 의 두뇌가 얼마나 안정적으로 작동했는가? (비용 효율성)
- 만약 무작정 모든 것을 다 읽어서 공격을 찾아도, 비용이 너무 많이 들면 점수가 깎입니다. **"적은 비용으로 정확하게"**가 최고의 점수입니다.

💡 요약: 이 논문이 우리에게 주는 교훈

AI 보안은 "한 번의 대화"가 아닙니다. 해커는 여러 번의 대화를 통해 천천히, 조용히 공격합니다.
더 많은 정보를 읽는다고 해결되지 않습니다. 모든 기록을 다 읽으면 AI 는 혼란스러워져서 오히려 못 찾습니다.
선택과 집중이 핵심입니다. "가장 의심스러운 부분만 골라 요약해서" 판단하는 것이, 모든 것을 다 읽는 것보다 훨씬 똑똑하고 효율적입니다.

이 연구는 AI 가 더 똑똑해질수록, 우리는 **"무엇을 읽을지 선택하는 지혜"**가 더 중요해졌음을 보여줍니다.

논문 요약: Cross-Session Threats in AI Agents: Benchmark, Evaluation, and Algorithms

이 논문은 AI 에이전트 보안의 새로운 위협인 크로스-세션 (Cross-Session) 공격을 식별하고 평가하기 위한 프레임워크인 CSTM-Bench를 제안합니다. 기존의 무상태 (stateless) 가드레일이 개별 메시지 단위로만 위협을 판단하는 한계를 지적하며, 여러 세션에 걸쳐 분산된 공격이 어떻게 탐지를 우회하는지 분석하고, 이를 해결할 수 있는 새로운 아키텍처와 평가 지표를 제시합니다.

1. 문제 정의 (The Problem)

1.1 무상태 가드레일 vs 상태 기반 위협

현재 대부분의 AI 에이전트 보안 시스템 (가드레일, DLP 분류기) 은 **세션 단위 (session-bound)**로 작동합니다. 각 메시지는 이전 대화나 다른 세션의 맥락 없이 고립되어 평가됩니다.

위협 패턴: 공격자들은 단일 메시지에 악성 페이로드를 담지 않고, 수십~수백 개의 세션에 걸쳐 공격을 분산시킵니다 (예: "Slow-drip prompt injection", "Compositional exfiltration").
결과: 개별 메시지는 정상적으로 보이지만, 모든 세션을 합치면 악의적인 의도 (예: 데이터 유출, 권한 상승) 가 완성됩니다. 이러한 집합적 (Aggregate) 위협은 개별 세션 검사를 통과하여 탐지를 우회합니다.
실제 사례: 2025 년 Anthropic 이 공개한 GTG-1002 캠페인은 자율 에이전트가 여러 세션과 하위 에이전트를 통해 "승인된 보안 테스트"로 가장하며 다단계 침투를 수행한 사례로, 이는 세션 단위의 가드레일이 구조적으로 포착할 수 없는 패턴입니다.

1.2 기존 대응의 한계 (SIEM 의 비효율성)

기존의 SIEM(System Information and Event Management) 방식은 모든 로그를 수집한 후 사후 분석을 수행합니다.

지연성: 공격이 완료된 후 로그를 분석하므로, 실제 피해 발생을 막기에는 늦습니다.
정보 손실: 공격자의 의도 (Intent) 는 입력 프롬프트에 명확히 존재하지만, 로그는 그 그림자일 뿐입니다. 정보 이론적 관점에서 입력 (I) 에서 로그 (L) 로 가는 과정에서 정보가 손실됩니다.
Full-Log Correlator 의 실패: 모든 세션을 하나의 긴 컨텍스트로 연결하여 LLM 에게 분석을 요청하는 방식은 컨텍스트 윈도우 한계와 'Needle-in-a-haystack'(방대한 benign 데이터 속의 악성 신호 희석) 문제로 인해 효과적이지 않습니다.

2. 방법론 및 벤치마크 설계 (Methodology & CSTM-Bench)

저자들은 **CSTM-Bench (Cross-Session Threat Memory Benchmark)**를 개발하여 크로스-세션 위협 탐지를 체계적으로 평가합니다.

2.1 데이터셋 구성

26 가지 공격 분류 (Taxonomies): 'Promptware Kill Chain' 단계와 4 가지 크로스-세션 운영 (Operations: accumulate, compose, launder, inject_on_reader) 에 따라 분류된 26 가지 공격 시나리오를 포함합니다.
7 가지 정체성 앵커 (Identity Anchors): 각 시나리오는 고객 지원, 데이터 파이프라인, 코드 리뷰 등 7 가지 구체적인 에이전트 역할과 정책 (Policy) 에 바인딩되어 '위반' 여부를 명확히 정의합니다.
세 가지 시나리오 클래스:
1. Attack: 실제 공격 시나리오.
2. Benign-pristine: 순수한 정상 트래픽.
3. Benign-hard (Confounder): 공격 형태를 띠지만 실제로는 정상인 데이터 (예: 긴 승인 과정, 분할된 지시). 이는 탐지기의 오탐 (False Positive) 을 측정하기 위해 설계되었습니다.

2.2 두 가지 데이터 분할 (Splits)

Dilution Shard: 신호 희석 (Signal Dilution) 효과를 측정. 개별 세션에서 공격이 감지 가능하지만, benign 데이터가 많아져 전체 로그에서 희석되는 상황을 시뮬레이션합니다.
Cross-Session Shard (Adversarial): 폐쇄 루프 (Closed-loop) 적대적 재작성기를 사용하여, 개별 세션에서는 탐지되지 않지만 세션 간 연결성만 남긴 공격으로 변형된 데이터입니다. 이는 "개별 세션으로는 볼 수 없는 공격"을 탐지할 수 있는지를 평가합니다.

2.3 평가 아키텍처

세 가지 리더 (Reader) 를 비교 평가합니다:

Per-session Judge: 개별 세션만 보고 판단 (무상태).
Full-Log Correlator: 모든 세션을 순차적으로 연결하여 긴 컨텍스트로 한 번에 분석.
Coreset Memory Reader: **제한된 메모리 (Bounded Memory)**를 사용하여 가장 신호가 강한 (높은 Surprise 점수) 크로스-세션 조각만 선별하여 보관하고, 이를 correlator 에게 전달합니다.

2.4 핵심 지표 (Metrics)

CSDA@action: 공격이 목표 행동 (Action-on-objective) 을 수행하기 전에 탐지되었는지 여부 (Recall).
FPR (False Positive Rate): Benign-pristine 및 Benign-hard 데이터에서의 오탐률.
CSR_prefix (Coreset Stability Rate): 새로운 서비스 비용 지표. 버퍼의 상위 K 개 항목이 다음 스캔에서 순서대로 유지되는 비율입니다. 이는 KV Cache 재사용 효율을 나타내며, 실시간 운영 비용과 직결됩니다.
CSTM 점수: 탐지 품질과 서비스 비용을 결합한 종합 점수.
$\text{CSTM} = 0.7 \cdot F1(\text{CSDA@action, precision}) + 0.3 \cdot \text{CSR\_prefix}$

3. 주요 결과 (Key Results)

3.1 Full-Log Correlator 의 실패

Dilution Shard: Full-Log Correlator 는 개별 세션 탐지 (Per-session Judge) 보다 성능이 떨어졌습니다. benign 데이터가 많을수록 공격 신호가 희석되어, 100 만 토큰 이상의 거대 컨텍스트 윈도우를 가졌음에도 불구하고 공격의 절반을 놓쳤습니다.
Cross-Session Shard: 적대적 재작성 (Adversarial Rewriting) 을 거친 데이터에서는 Full-Log Correlator 의 탐지율이 약 50% 감소했습니다. 개별 세션이 정상으로 위장되어 있을 때, 전체 로그를 읽는 것만으로는 악의적인 패턴을 포착하기 어렵다는 것을 증명했습니다.

3.2 Coreset Memory Reader 의 우위

성능: 제한된 메모리 (K=50) 를 가진 Coreset Memory Reader 는 두 가지 분할 (Shard) 모두에서 가장 높은 탐지율을 기록했습니다.
- Dilution: 25/26 공격 탐지 (Full-Log 는 23/26).
- Cross-Session: 19/26 공격 탐지 (Full-Log 는 13/26, Per-session 은 14/26).
원인: Coreset Reader 는 benign 데이터의 '소음'을 필터링하여 악성 신호가 가장 강한 조각들만 유지하므로, LLM 이 악성 패턴에 집중할 수 있게 합니다. 또한, 재작성된 공격에서도 보존된 '아티팩트 (URL, 파일 경로 등)'가 높은 Surprise 점수를 받아 버퍼에 유지되었습니다.

3.3 비용과 효율성

CSR_prefix: Coreset Reader 는 버퍼의 순서가 안정적일 때 KV Cache 를 효율적으로 재사용하여 서비스 비용을 크게 절감할 수 있음을 보여주었습니다. 반면, Full-Log Correlator 는 모든 토큰을 매번 처리해야 하므로 비용이 기하급수적으로 증가합니다.
CSTM 점수: Coreset Reader 는 높은 탐지율과 적절한 비용 효율성으로 인해 Full-Log Correlator 보다 높은 종합 점수를 받았습니다.

4. 기여 및 의의 (Contributions & Significance)

4.1 주요 기여

문제 정의 및 데이터셋 공개: 크로스-세션 공격의 구조적 취약점을 명확히 하고, Hugging Face 에서 CSTM-Bench를 공개하여 연구 커뮤니티가 이를 재현하고 확장할 수 있는 기반을 마련했습니다.
LLM 기반 상관관계 분석의 한계 규명: 단순히 컨텍스트 윈도우를 늘리는 것만으로는 크로스-세션 공격을 막을 수 없음을 실증적으로 증명했습니다. 오히려 정보의 희석 (Dilution) 이 주요 장애물임을 밝혔습니다.
아키텍처 방향성 제시: 무제한 로그 분석 대신, **제한된 메모리 (Bounded Memory) 와 순위 매기기 (Ranking)**를 통한 정보 병목 (Information Bottleneck) 이 실시간 탐지의 핵심임을 제안했습니다.
새로운 평가 지표 (CSR_prefix): 탐지 정확도뿐만 아니라, 실시간 운영 비용 (KV Cache 재사용) 을 고려한 새로운 지표를 도입하여 실제 배포 가능한 시스템 설계를 유도했습니다.

4.2 의의

이 논문은 AI 에이전트 보안이 단일 세션 단위를 넘어 **세션 간 맥락 (Cross-Session Context)**을 이해해야 함을 강력히 주장합니다. 특히, 정보 병목 (Information Bottleneck) 아키텍처를 통해 방대한 데이터 속에서 핵심 신호만 선별하는 방식이, 단순한 컨텍스트 확장보다 훨씬 효과적이고 비용 효율적임을 입증했습니다. 이는 향후 AI 에이전트 보안 시스템 설계에 있어 '무제한 로그 수집'이 아닌 '지능적인 신호 선별'이 필수적임을 시사합니다.