기술 요약: FinVault: 실행 기반 환경에서의 금융 에이전트 안전성 벤치마킹

1. 문제 정의

투자 분석, 리스크 평가 및 자동 의사결정을 위한 대규모 언어 모델(LLM) 기반 금융 에이전트의 배포는 전통적인 콘텐츠 준수를 넘어 새로운 보안 리스크를 초래합니다. 기존의 안전성 평가 패러다임은 다음과 같은 두 가지 주요 한계점을 가집니다:

1. 콘텐츠 중심적 초점: 현재의 평가는 주로 언어 모델을 텍스트 수준에서 평가하며, 모델이 부적절한 콘텐츠를 생성하는지 또는 비준수 요청을 거부하는지에 집중합니다. 이는 다단계 의사결정, 도구 호출, 그리고 실제 운영 워크플로우 내의 상태 전이에서 발생하는 시스템적 리스크를 포착하지 못합니다.
2. 추상화된 환경: 일반적인 에이전트 안전성 벤치마크는 추상적인 도구 인터페이스(예: 사전 정의된 응답 또는 스크립트)를 사용하는 시뮬레이션 환경을 활용합니다. 이러한 환경은 상태 기록이 가능한 비즈니스 데이터베이스, 권한 제약, 감사 가능한 운영 기록과 같은 실제 금융 시스템의 핵심 메커니즘이 결여되어 있습니다. 결과적으로, 공격이 실제 비준수 비즈니스 행위나 실질적인 리스크 결과로 이어지는지를 검증할 수 없습니다.

금융 AI 시스템이 미국의 SR 11-7이나 EU AI 법과 같은 규제 하에서 고위험군으로 분류됨에 따라, 복잡하고 실행 기반인 운영 워크플로우 내에서 안전성과 준수성을 검증할 수 있는 실세계 금융 시나리오에 특화된 보안 평가 벤치마크가 절실히 필요합니다.

2. 방법론: FinVault 프레임워크

이러한 격차를 해소하기 위해 저자들은 최초의 실행 기반 금융 에이전트 보안 벤치마크인 FinVault를 제안합니다. 이 프레임워크는 규제 중심의 시나리오 설계, 교차 도메인 커버리지, 비즈니스 현실성이라는 세 가지 핵심 원칙을 바탕으로 구축되었습니다.

2.1 시나리오 설계 및 환경

FinVault는 격리된 샌드박스 환경 내에 31개의 규제 사례 기반 금융 비즈니스 시나리오를 구축합니다. 이 시나리오들은 다음의 6개 주요 금융 도메인을 다룹니다:

• 신용 및 대출 (Credit & Lending)
• 보험 서비스 (Insurance Services)
• 증권 및 투자 (Securities & Investment)
• 결제 및 정산 (Payment & Settlement)
• 컴플라이언스 및 자금세탁방지 (Compliance & AML)
• 리스크 관리 (Risk Management)

추상적인 벤치마크와 달리, FinVault는 상태 기록이 가능한 데이터베이스를 갖춘 실행 가능 환경을 특징으로 합니다. 에이전트는 도구 체인을 통해 시나리오 데이터베이스에 접근하고 업데이트하며 이 시나리오들과 상호작용합니다. 환경 계층에는 다음 사항이 명시적으로 구현되어 있습니다:

• 권한 확인 및 인가 제약
• 컴플라이언스 제약 (예: 규제 한도, 제재 목록)
• 운영 경로를 위한 감사 로그 (Audit logs)

공격의 성공 또는 실패는 텍스트 출력만으로 결정되는 것이 아니라, 관찰 가능한 비즈니스 상태 변화와 그 결과(예: 승인되지 않은 자금 이체 또는 신용 한도 우회)에 의해 결정됩니다.

2.2 위협 모델 및 공격 구성

본 벤치마크는 실제 규제 위반 패턴에서 유도된 107개의 고위험 취약점을 정의하며, 이를 다섯 가지 유형으로 분류합니다:

1. 권한 우회 (Privilege Bypass): 인증 또는 인가를 회피함.
2. 컴플라이언스 위반 (Compliance Violation): 규제 요구사항을 위반하는 행위를 유도함.
3. 정보 유출 (Information Leakage): 민감한 고객 또는 비즈니스 데이터를 추출함.
4. 부정 승인 (Fraudulent Approval): 승인되지 않은 결과를 얻기 위해 의사결정 프로세스를 조작함.
5. 감사 회피 (Audit Evasion): 로깅 메커니즘으로부터 위반 사항을 은닉함.

공격 데이터셋은 963개의 테스트 케이스로 구성되며, 여기에는 **856개의 적대적 샘플(adversarial samples)**과 **107개의 양호한 비즈니스 샘플(benign business samples)**이 포함됩니다. 적대적 샘플은 세 가지 공격 카테고리와 여덟 가지 특정 기법을 다룹니다:

• 프롬프트 인젝션 (Prompt Injection): 직접적인 JSON 인젝션, 지시문 오버라이딩 (Instruction Overriding).
• 탈옥 (Jailbreaking): 역할 연기 (Role Playing), 점진적 프롬프팅 (Progressive Prompting), 인코딩 난독화 (Encoding Obfuscation), 가설적 시나리오 (Hypothetical Scenarios).
• 금융 특화 공격 (Financially Adapted Attacks): 권한 사칭 (Authority Impersonation), 감정적 조작 (Emotional Manipulation).

구성 과정은 시드 공격의 전문가 설계, 다양성을 위한 모델 기반 증강, 그리고 타당성 및 성공 기준의 명확성을 위한 인간 검증의 3단계 파이프라인을 거칩니다.

2.3 실험 설정

저자들은 금융 에이전트로 동작하는 10개의 주류 LLM(Qwen3, GPT-4o/5, Claude-Sonnet/Haiku, DeepSeek 등 포함)을 평가했습니다. 또한 세 가지 방어 메커니즘인 LLaMA Guard 3, LLaMA Guard 4, GPT-OSS-Safeguard를 평가했습니다.

평가 지표:

• 공격 성공률 (ASR): 취약점을 성공적으로 트리거한 공격의 비율.
• 취약점 침해율 (Vulnerability Compromise Rate): 적어도 하나의 공격 기법에 의해 성공적으로 악용된 사전 정의된 취약점의 비율.
• 오탐률 (FPR): 방어 메커니즘이 양호한 비즈니스 지시를 잘못 플래그하는 비율.
• 효율성 (Efficiency): 케이스당 토큰 소비량 및 시간.

3. 주요 결과

3.1 모델 취약성

실험 결과, 모델 간에 상당한 보안 격차가 드러났으며, 평가된 어떤 모델도 현실적인 금융 환경에서 견고한 보호 능력을 보여주지 못했습니다:

• 높은 공격 성공률: 가장 취약한 모델인 Qwen3-Max는 평균 **50.0%**의 ASR을 보였습니다. 가장 강력한 모델인 Claude-Haiku-4.5조차도 평균 ASR이 **6.7%**에 달했습니다.
• 취약점 침해: 특정 공격 기법이 취약점을 악용할 수 있는지 여부로 제한하여 평가했을 때, 가장 약한 모델들의 침해율은 **85.98%**에 달했고, 가장 강력한 모델들도 **20.56%**를 기록했습니다.
• 시나리오 민감도: 보험 서비스 시나리오가 가장 공격에 취약했으며(Qwen3-Max 기준 최대 65.2% ASR), 이는 복잡한 정책 해석 및 재량적 의사결정 때문인 것으로 보입니다. 신용 시나리오는 규칙 기반 의사결정 프로세스 덕분에 상대적으로 더 높은 회복력을 보였습니다.

3.2 공격 기법의 효과성

• 의미론적 지배력 (Semantic Dominance): 의미론적 수준의 공격(역할 연기, 가설적 시나리오, 권한 사칭)은 기술적 공격(예: 인코딩 난독화)보다 실질적으로 더 효과적이었습니다. 역할 연기 공격은 모든 모델에서 일관되게 높은 ASR을 달성했습니다.
• 지시문 격리 (Instruction Isolation): 지시문 오버라이딩 공격은 모델 간의 거대한 성능 차이를 보여주었습니다. Qwen3-Max는 이 기법에 대해 64.50%의 ASR을 보인 반면, Claude-Haiku-4.5는 3.70%에 불과하여 지시문 경계 강제(instruction boundary enforcement)의 근본적인 차이를 부각했습니다.

3.3 방어 메커니즘 평가

기존 방어 방법들은 탐지 능력과 오탐 사이에서 심각한 트레이드오프(trade-off)를 겪고 있습니다:

• LLaMA Guard 4는 가장 높은 진양성률(True Positive Rate, 61.10%)을 달s였으나, 29.91%라는 높은 오탐률(FPR)을 대가로 치렀으며, 이는 민감한 금융 워크플로우를 방해할 수 있습니다.
• GPT-OSS-Safeguard는 가장 낮은 FPR(12.15%)을 유지했으나, 탐지율이 매우 낮고(22.07%) 토큰 소비량이 많아 실시간 의사결정에 부적합했습니다.
• 결론: 현재 어떤 방어책도 강력한 보호를 제공하지 못합니다. 가장 강력한 베이스 모델조차 취약점 침해율이 20% 이상으로 유지됩니다.

4. 주요 기여

1. 최초의 실행 기반 벤치마크: FinVault는 상태 기록이 가능한 비즈니스 데이터베이스를 갖춘 격리된 샌드박스를 활용하는 최초의 체계적인 금융 에이전트 보안 벤치마크입니다. 이를 통해 보안 실패를 단순한 텍스트 출력이 아닌 관찰 가능한 비즈니스 상태 변화와 감사 추적을 통해 검증할 수 있습니다.
2. 포괄적인 위협 모델링: 본 연구는 실제 규제 패턴에 기반하여 107개의 고위험 취약점을 체계적으로 정의하고, 프롬프트 인젝션, 탈옥, 금융 특화 공격을 아우르는 분류 체계를 구축하여 963개의 테스트 케이스를 생성했습니다.
3. 시스템적 약점에 대한 실증적 증거: 본 연구는 범용적인 안전 정렬(safety alignment)이 금융 환경으로 쉽게 전이되지 않는다는 실증적 증거를 제공합니다. 또한 의미론적 공격이 기술적 공격보다 더 큰 위협이 되며, 현재의 방어 체계가 탐지와 사용성 사이의 균형을 맞추는 데 어려움을 겪고 있음을 강조합니다.

5. 의의 및 주장

본 논문은 FinVault가 연구 커뮤니티가 실제 운영 및 규제 조건에 기반한 더 안전한 금융 AI 에이전트를 개발, 평가 및 배포하는 데 필수적이라고 주장합니다.

저자들은 현재의 금융 에이전트 보안 상태가 매우 위태롭다고 강조합니다. 높은 공격 성공률과 기존 방어 체계가 탐지와 낮은 오탐 사이의 균형을 맞추지 못한다는 사실은 범용적인 안전 설계가 금융 도메인으로의 전이성이 제한적임을 나타냅니다. 연구 결과는 LLM의 보안 실패가 기술적인 파싱 결함보다는 의미론적 추론 수준(예: 역할 준수, 지시문 경계 모호성)의 약점에서 비롯된다는 것을 시사합니다.

결론적으로, 직접적인 금전적 손실과 규제 책임이라는 높은 이해관계가 걸려 있는 만큼, 실제 비즈니스 프로세스와 정렬된 전용 엔드 투 엔드(end-to-end) 보안 평가 벤치마크를 구축하는 것이 금융 에이전트의 안전한 대규모 배포를 위한 전제 조건이라고 밝힙 있습니다.

인정된 한계점:
저자들은 8가지 공격 기법이 지배적인 패러다임을 포착하고 있으나, 새롭게 등장하는 전략들은 아직 포함되지 않았음을 언급했습니다. 또한, 샌드박스 환경이 실제 워크플로우를 모사하고는 있지만, 규모와 통합 복잡성 측면에서 실제 운영 시스템과는 필연적으로 차이가 있음을 인정했습니다. 마지막으로, ASR 지표는 모든 성공적인 공격을 동일하게 취급하며 공격의 심각도나 다운스트림 영향력의 차이는 포착하지 못한다는 점을 명시했습니다.