🤖 machine learning

Optimizing Agent Planning for Security and Autonomy

이 논문은 간접 프롬프트 주입 공격에 대한 시스템 수준의 방어가 인간 개입 없이 안전한 에이전트 자율성을 높일 수 있음을 주장하며, 보안 인식을 갖춘 에이전트 설계를 통해 AgentDojo 와 WASP 벤치마크에서 자율성과 유틸리티를 동시에 향상시키는 결과를 입증합니다.

원저자: Aashish Kolluri, Rishi Sharma, Manuel Costa, Boris Köpf, Tobias Nießen, Mark Russinovich, Shruti Tople, Santiago Zanella-Béguelin

게시일 2026-02-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Aashish Kolluri, Rishi Sharma, Manuel Costa, Boris Köpf, Tobias Nießen, Mark Russinovich, Shruti Tople, Santiago Zanella-Béguelin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"AI 비서가 나쁜 짓을 하지 않으면서도, 사람이 계속 지켜보지 않아도 스스로 일을 잘 처리하게 만드는 방법"**에 대한 연구입니다.

마치 똑똑하지만 조심스러운 비서를 고용하는 상황을 상상해 보세요. 이 비서는 당신의 지시를 받지만, 인터넷에서 가져온 정보에는 가짜 뉴스나 해킹 시도가 숨어 있을 수 있습니다.

이 논문의 핵심 내용을 쉬운 비유로 설명해 드릴게요.

1. 문제 상황: "지나치게 조심스러운 비서" vs "무방비한 비서"

지금까지 AI 비서를 만들 때 두 가지 방식이 있었습니다.

방식 A (확률적 방어): "이 정보가 의심스러울 수도 있으니, AI 가 스스로 판단해서 안 좋은 건 막아라!"라고 가르칩니다.
- 단점: AI 가 실수할 수 있습니다. 해커가 속여 AI 를 조종하면 (이걸 '간접 프롬프트 주입'이라고 해요), AI 는 해커의 지시를 따르고 당신의 비밀번호를 훔쳐갈 수도 있습니다.
방식 B (시스템적 방어 - 기존 연구): "모든 정보는 라벨을 붙여서 관리해라. 신뢰할 수 없는 정보는 절대 중요한 행동 (예: 송금, 삭제) 을 하지 못하게 막아라."
- 장점: 해킹이 불가능합니다. 100% 안전합니다.
- 단점: 너무 조심스러워서 일을 못 합니다. "이 정보가 조금이라도 의심스러우면, 무조건 주인 (사용자) 에게 물어봐!"라고 하니까, AI 는 아주 사소한 일도 계속 사용자의 허락을 구하느라 일을 못 끝냅니다. 사용자는 "또 물어보네?" 하며 지치죠.

2. 새로운 아이디어: "PRUDENTIA (프루덴티아)"라는 똑똑한 비서

이 논문은 "안전하면서도, 사람이 개입할 필요를 최소화하는" 새로운 비서 PRUDENTIA를 제안합니다.

핵심 비유: "비밀 문서 처리실"과 "신뢰 서약"

PRUDENTIA 는 다음과 같은 세 가지 전략을 사용합니다.

1. "내부 계획"을 미리 세우기 (Security-Aware Planning)

기존 방식: AI 가 일을 하다가 "아! 이 정보가 의심스럽네? 주인님, 이거 해도 돼요?"라고 물어봅니다. (이미 늦었습니다)
PRUDENTIA: 일을 시작하기 전에 "이 정보는 의심스러우니, 중요한 행동 (송금 등) 을 하기 전에 이 정보를 숨겨두고, 먼저 다른 안전한 일부터 처리하자"라고 미리 계획을 세웁니다.
- 비유: 해킹 위험이 있는 우편물을 받으면, 바로 내용물을 읽지 않고 '검역소 (Quarantine)'로 보냅니다. 거기서 내용을 확인하고, 문제가 없으면 '신뢰'를 부여합니다.

2. "신뢰 서약 (Endorsement)" vs "개별 승인 (Approval)"

기존 방식: 의심스러운 파일이 10 개 있으면, 10 개를 하나하나 열어볼 때마다 주인에게 "이거 열어봐도 되나요?"라고 10 번 물어봅니다. (사용자 피로도가 매우 높음)
PRUDENTIA: "이 파일 10 개는 모두 같은 출처에서 왔는데, 한 번만 **'이 출처는 안전하다고 믿어주실래요?'(신뢰 서약)**라고 물어봅니다. 주인이 "그래, 믿어줘"라고 하면, 그다음부터는 10 개 파일을 다 열어도 AI 가 알아서 처리합니다.
- 효과: 10 번 물어보던 것을 1 번으로 줄였습니다.

3. "필요할 때만 열기" (Strategic Variable Expansion)

의심스러운 정보를 숨겨둔 상자 (변수) 를 열어야 할지 말지 고민할 때, PRUDENTIA 는 "이 정보를 열어야만 중요한 일을 할 수 있을까?"를 먼저 따집니다.
만약 열지 않아도 될 일이면, 상자를 열지 않고 그대로 둡니다. 상자를 열면 AI 의 '신뢰도'가 떨어지는데, 굳이 떨어뜨릴 필요가 없으니까요.

3. 실험 결과: "안전하면서도 자유로운" 비서

연구진은 이 비서를 두 가지 테스트 (AgentDojo, WASP) 에 시켰습니다.

결과 1: 해킹 시도는 완벽하게 차단되었습니다. (안전성 유지)
결과 2: 사람이 개입해야 하는 횟수가 기존 방식보다 1.5 배에서 2.9 배까지 줄었습니다.
- 즉, AI 가 스스로 더 많은 일을 해결하게 되었고, 사용자는 덜 지치게 되었습니다.
결과 3: 특히 데이터와 무관한 단순 작업 (예: 웹페이지 스크롤 내리기) 에서는 사람이 개입할 필요가 0이 되어, 완전히 혼자 일할 수 있었습니다.

4. 요약: 왜 이 연구가 중요한가?

이 논문은 "안전하다면 무조건 사람이 지켜봐야 한다"는 고정관념을 깨뜨렸습니다.

과거: "해킹이 무서우니까, AI 가 일을 할 때마다 사람이 확인해줘야 해." → 사용자 피로, 비효율
PRUDENTIA: "AI 가 해킹 위험을 스스로 계산해서, 안전할 때는 스스로 일하고, 위험할 때만 사람에게 도움을 요청해." → 높은 자율성, 안전성 유지

마치 스마트한 보안관이 있습니다. 그는 모든 문을 잠그는 게 아니라, 누가 들어오는지 정확히 파악해서 신뢰할 수 있는 사람은 자유롭게通行시키고, 의심스러운 사람만 걸러냅니다. 덕분에 건물의 안전은 지키면서, 사람들은 자유롭게 움직일 수 있게 된 것입니다.

이 기술이 발전하면, 앞으로 우리가 AI 비서에게 "내 이메일 정리해줘", "여행 계획 세워줘"라고 할 때, 매번 "이거 해도 돼요?"라고 확인하지 않아도, AI 가 스스로 안전하게 일을 끝내줄 날이 올 것입니다.

1. 문제 정의 (Problem)

AI 에이전트가 외부 데이터 소스를 활용하여 사용자의 작업을 수행할 때, 간접 프롬프트 인젝션 (Indirect Prompt Injection, PIA) 공격에 노출될 위험이 큽니다. 공격자는 악성 데이터를 조작하여 에이전트의 행위를 장악하고 민감한 정보를 유출하거나 악성 패치를 배포하는 등의 치명적인 결과를 초래할 수 있습니다.

기존 방어 방식의 한계:
- 확률적 방어 (Probabilistic Defenses): 모델 정렬, 방어적 시스템 프롬프트, 분류기 등을 사용하지만, 강력한 보안 보장을 제공하지 못하며 정교한 공격에 취약합니다.
- 결정론적 시스템 수준 방어 (Deterministic System-level Defenses): 정보 흐름 제어 (Information-Flow Control, IFC) 를 기반으로 하여, 신뢰할 수 없는 데이터가 중요한 행동에 영향을 미치는 것을 원천 차단합니다. 이는 보안 보장을 제공하지만, **과도한 인간 개입 (Human-in-the-Loop, HITL)**을 요구하여 작업 완료율 (Utility) 이 떨어지고 토큰 사용량이 증가하는 비용이 발생합니다.
핵심 이슈: 기존 연구는 결정론적 방어의 '비용 (비용 절감 및 작업 완료율 저하)'만 강조했을 뿐, 인간 감독에 대한 의존도를 줄여주는 '편익 (자율성 향상)'을 정량화하지 못했습니다.

2. 방법론 (Methodology)

저자들은 결정론적 방어의 이점을 정량화하기 위해 **자율성 지표 (Autonomy Metrics)**를 도입하고, 이를 최적화하는 새로운 에이전트 설계 PRUDENTIA를 제안했습니다.

A. 새로운 평가 지표 (Autonomy Metrics)

HITL Load: 성공적으로 완료된 작업 전체에서 인간이 개입 (승인 또는 승인 요청) 한 총 횟수.
TCR@k (Task Completion Rate under k HITL interventions): 최대 $k$ $k$ 번의 인간 개입으로 성공적으로 완료된 작업의 비율.
- 특히 TCR@0은 인간 개입 없이 완전히 자율적으로 작업을 완료하는 능력을 의미합니다.

B. PRUDENTIA 에이전트 설계

기존 IFC 기반 에이전트 (예: FIDES) 는 보안 정책을 인식하지 못해 불필요한 정책 위반을 일으키거나 과도한 인간 개입을 요구하는 문제가 있었습니다. PRUDENTIA 는 다음과 같은 세 가지 핵심 요소를 통해 보안 인식 (Security-aware) 계획 수립을 가능하게 합니다.

정책 및 라벨 인식 (Policy and Label Awareness):
- 에이전트가 각 도구 호출에 적용되는 보안 정책 (신뢰할 수 있는 행동, 허용된 흐름 등) 과 데이터의 라벨 (신뢰/비신뢰) 을 인지하도록 합니다.
- 이를 통해 정책 위반을 사후에 처리하는 것이 아니라, 계획 단계에서 예방합니다.
전략적 변수 확장 (Strategic Variable Expansion):
- IFC 시스템은 비신뢰 데이터를 '변수 (Variable)'로 숨겨 에이전트의 컨텍스트를 오염 (Taint) 시키지 않도록 합니다.
- PRUDENTIA 는 변수를 확장 (내용 확인) 할 때, 왜 필요한지 명시적으로 계획 (plan 도구 사용) 하고, 불필요한 확장을 방지하여 컨텍스트 오염을 최소화합니다.
승인 (Approval) 대 지지 (Endorsement) 전략:
- 기존 방식: 비신뢰 데이터를 확인하면 컨텍스트가 오염되어 이후 모든 중요한 도구 호출에 대해 인간이 개별적으로 승인해야 함.
- PRUDENTIA 방식:
  - 지지 (Endorsement): 비신뢰 데이터를 확장하기 전에 사용자에게 "이 데이터가 신뢰할 수 있는지" 한 번만 승인받으면, 해당 데이터는 '신뢰 (Trusted)'로 재레이블링되어 이후 작업은 자율적으로 수행 가능.
  - 전략적 선택: 에이전트는 작업의 특성에 따라 '지지 요청 (단일 HITL)'과 '후속 승인 (다중 HITL)' 중 어떤 것이 더 효율적인지 판단하여 선택합니다.

3. 주요 기여 (Key Contributions)

자율성 지표 도입: 결정론적 보안 방어 기술의 이점 (인간 감독 감소) 을 정량적으로 측정할 수 있는 새로운 메트릭 (HITL Load, TCR@k) 을 제안했습니다.
PRUDENTIA 제안: IFC 정책을 인지하고 자율성을 극대화하도록 최적화된 에이전트 아키텍처를 설계했습니다. 이는 정책 준수와 작업 완료를 동시에 최적화하는 계획 수립을 가능하게 합니다.
실증적 평가: AgentDojo 및 WASP 벤치마크를 통해 기존 결정론적 방어 (FIDES) 및 확률적 방어와 비교 평가하여, 보안 유지하에 자율성을 획기적으로 높였음을 입증했습니다.

4. 실험 결과 (Results)

AgentDojo 벤치마크 (다양한 작업 시나리오):

자율성 향상: PRUDENTIA 는 기존 FIDES 대비 HITL 부하를 최대 1.9 배 감소시켰습니다. (예: o4-mini 모델 기준 HITL 부하 36.8 → 19.2)
작업 완료율 (TCR@0): 인간 개입 없이 작업을 완료하는 비율 (TCR@0) 에서 PRUDENTIA 는 FIDES 보다 약 9% 더 높은 성능을 보였습니다.
기본 IFC의 효과: IFC 를 단순히 적용만 해도 (PRUDENTIA 최적화 전) 기본 에이전트 대비 HITL 부하를 1.5 배 줄이면서 작업 완료율은 유지할 수 있음을 확인했습니다.

WASP 벤치마크 (웹 에이전트 보안):

공격 차단: 모든 모델에서 **공격 성공률 (ASR) 을 0%**로 낮추어 모든 프롬프트 인젝션 공격을 차단했습니다.
완전 자율성 달성: 데이터와 무관한 작업 (Data-independent tasks) 의 경우, PRUDENTIA 는 HITL 부하를 0으로 만들어 완전한 자율성을 달성했습니다.
효율성: 보안 메커니즘으로 인한 추가 턴 (Turn) 수나 토큰 사용량 증가 없이, 오히려 기본 에이전트보다 높은 작업 완료율을 기록했습니다.

5. 의의 및 결론 (Significance)

이 논문은 AI 에이전트의 보안과 실용성 사이의 트레이드오프를 해결하는 새로운 패러다임을 제시합니다.

보안과 자율성의 동시 달성: 결정론적 보안 방어 (IFC) 가 단순히 비용을 증가시키는 것이 아니라, 적절한 계획 수립을 통해 인간 감독에 대한 의존도를 크게 줄일 수 있음을 증명했습니다.
실용적 적용 가능성: GitHub Copilot Chat 등 실제 AI 에이전트에서 인간 승인 피로 (Confirmation Fatigue) 를 줄이고, 보안 위험을 원천 차단하면서도 사용자 경험을 해치지 않는 솔루션을 제공합니다.
미래 방향: 보안 라벨과 데이터 출처 정보를 인간에게 명확히 보여주는 UI 설계 등, 인간과 AI 의 협력 (Human-AI Teaming) 을 더욱 강화할 수 있는 기반을 마련했습니다.

요약하자면, PRUDENTIA는 보안 정책을 단순히 '제한'이 아닌 '계획의 일부'로 인식하게 함으로써, AI 에이전트가 인간 개입 없이도 안전하게 복잡한 작업을 수행할 수 있는 고도화된 자율성을 실현했습니다.