기술 요약: 인공지능과 월스트리트의 만남: 신뢰할 수 있는 금융 AI에 관한 조사 연구

1. 문제 제기

인공지능은 보조적인 분석 도구에서 현대 금융 시스템의 핵심 결정 엔진으로 진화하였으며, 데이터 수집, 모델 학습, 추론, 그리고 자동화된 피드백 루프를 아우르는 지속적으로 배포되는 엔드 투 엔드(end-to-end) 파이프라인 내에서 작동하고 있다. 이러한 파이프라인은 자동화와 규모의 경제를 제공하지만, 미세한 알고리즘적 섭동(perturbation)이 지속적이고 시스템 수준의 금융적 피해로 증폭될 수 있는 새로운 공격 표면을 유발한다.

기존 문헌들은 이러한 운영상의 현실과 구조적 불일치를 보인다. 금융 중심의 보안 연구는 주로 AI를 위협 탐지를 위한 방어 도구로 취급하며, AI 시스템 자체를 공격 표면으로서 추상화하여 제외해 왔다. 반대로, 광범에한 적대적 머신러닝(AML) 문헌은 도메인에 구애받지 않는 특성을 지니고 있어, 회계적 타당성, 비독립 동일 분포(non-IID) 연합 데이터, 지속적인 재학습, 자동화를 통한 다운스트림 효과의 증폭과 같은 금융 특유의 제약 조건을 설명하지 못한다. 결과적으로, 기존의 조사 연구들은 공격 유형을 분류할 뿐, 이러한 공격이 실제 금융 파이프라인 내에서 어떻게 나타나는지, 혹은 왜 특정 메커니즘이 금융 환경에서 유독 지속성을 갖는지 설명하지 못하고 있다.

2. 방법론

본 조사는 지속적으로 운영되는 금융 AI 파이프라인 내의 보안 및 강건성 위협을 조사하기 위해 생애주기 중심 및 메커니즘 기반의 분석 프레임워크를 채택하였다. 방법론은 다음과 같다:

• 범위 정의: 결정의 무결성, 가용성 또는 신뢰성을 저해하는 알고리즘적 위협에 집중한다. 거버넌스, 프라이버시 및 컴플라이언스는 공격의 실행 가능성을 제한하거나 운영상의 영향을 형성하는 범위 내에서만 고려되었다.
• 검색 전략: 금융 용어(예: AML, 신용 점수 산정, 트레이딩)와 보안/강건성 용어(예: 포이즈닝, 회피, 프롬프트 인젝션) 및 생애주기 단계를 결합한 쿼리를 사용하여 주요 데이터베이스(Google Scholar, ACM, IEEE, arXiv 등)를 대상으로 구조화된 검색을 수행하였다.
• 선택 기준: 금융 AI 작업에 적용 가능한 공격/방어를 제안, 평가 또는 이론적으로 분석하고, 위협 모델과 섭동 제약 조건을 명시하며, 경험적 또는 메커니즘적 근거를 제공하는 연구를 포함하였다. 순수하게 사이버 보안만을 다루거나 알고리즘적 학습 구성 요소가 없는 연구, 또는 순수 정책 논의는 제외하였다.
• 분류 체계 구축: 각 논문의 운영적 개입 지점과 그것이 악용하는 학습 또는 추론 메커니즘을 조화시키는 반복적인 과정을 통해, 금융 AI 생애주기에 기반한 통합된 분류 체계를 도출하였다.

3. 주요 기여

본 조사는 세 가지 주요 기여를 한다:

1. 생애주기 중심의 조직화: 보안 및 강건성 리스크를 지속적으로 운영되는 금융 AI 파이프라인의 세 가지 단계인 (1) 학습 및 업데이트, (2) 배포 및 추론, (3) 운영, 모니터링 및 피드백으로 매핑하였다. 이 프레임워크는 금융 특유의 제약 조건(예: 시장 매개 입력, 비용 제한적 행동)을 공격 가능성 및 다운스트림 영향 분석에 직접 반영한다.
2. 메커니즘 기반의 분류 체계: 생애주기 전반에 걸쳐 17가지 공격 하위 유형(S1–S17)을 정리한 금융 AI 보안 및 강건성 분류 체계를 제안한다. 이 분류 체계는 데이터 포이즈닝, 모델 포이즈닝, 적대적 결정 경계 공격, LLM 워크플로우에서의 프롬프트 인젝션, 그리고 딥페이크 기반 KYC 레이어의 교란 등 공격자가 조작하는 구체적인 학습 또는 추론 연산을 기준으로 취약점을 분류한다.
3. 열린 과제 식별: 업데이트 과정에서의 지속적인 조작, 모니터링 신호의 강건성, AI 매개 워크플로우에서의 신흥 위협 문제를 다루는 연구 의제를 제시하며, 생애주기 인지적 스트레스 테스트와 금융 관련 강건성 벤치마크를 촉구한다.

4. 상세 결과 및 분석

1단계: 학습 및 업데이트 (Training and Updating)

이 단계는 역사적 데이터를 수집하고 모델 파라미터를 최적화하는 과정을 포함한다. 주요 취약점은 입력값이 적법한 환경을 정확하게 나타낸다는 가정에서 비롯된다.

• 데이터 포이즈닝 (Data Poisoning): 공격자가 악의적인 통계적 연관성을 심기 위해 학습 데이터를 오염시킨다.
  • 레이블 수준 (Label-Level): 탐욕적인 수익 기반 레이블 뒤집기($O(N \log N)$)부터 확률적 무작위 뒤집기($O(N)$)까지 다양한 전략이 존재하며, 둘 다 최소한의 데이터 수정만으로 신용 점수 산정 및 이상 거래 탐지에서 심각한 오분류를 유도할 수 있다.
  • 특징 수준 (Feature-Level): 특정 입력 특징(예: 거래 빈도)을 겨냥하여 속성을 왜곡한다. 방법론으로는 선형 AR 모델을 위한 볼록 최적화(convex programming)와 비지도 AML 작업의 클러스터링 구조를 교란하기 위한 유전 알고리즘 탐색 등이 있다.
  • 인스턴스 수준 (Instance-Level): 악의적인 인스턴스(예: 백도어 또는 위장 샘플)를 주입하여 결정 경계를 이동시킨다. 여기에는 생체 인식 검증을 위한 정적 백도어와 온라인 재학습 파이프라인에서 장기적 드리프트를 유도하는 동적/점진적 포이즈닝이 포함된다.
• 모델 포이즈닝 (Model Poisoning): 주로 연합 학습(Federated Learning, FL)에서 실현되며, 공격자가 원시 데이터에 접근하지 않고 파라미터 업데이트(그레이디언트)를 조작하는 방식이다.
  • 글로벌 그레이디언트 포이즈닝 (Global Gradient Poisoning): PoisonedFL과 같은 공격은 라운드 간 방향 일관성을 이용하여 누적 드리프트를 발생시키며, ScaleSign은 통계적 모사를 통해 부호 기반 방어를 회피한다.
  • 파편/좌표 수준 (Fragment/Coordinate-Level): 고영향력 좌표(예: 최종 레이어)에 대한 희소 섭동을 통해 공격자가 강력한 집계 방식(예: Krum, Trimmed Mean)을 우회하면서 글로벌 통계는 유지하도록 한다.
  • 백도어/트리거 기반 (Backdoor/Trigger-Based): 특정 패턴에 의해 트리거되는 숨겨진 악의적 로직(예: 자금 세탁을 위한 '안전 통로')을 심는다. 기술로는 수직적 연합 학습(Vertical FL)에서의 클린 레이블 추론과 수평적 연합 학습(Horizontal FL)에서의 밀도 적응형 트리거가 있다.

2단계: 배포 및 추론 (Deployment and Inference)

이 단계는 모델이 동적이고 비정상성(non-stationary)을 띠는 데이터와 상호작용하는 결정 실행 단계를 다룬다.

• 결정 경계에 대한 적대적 공격 (Adversarial Attacks on Decision Boundaries):
  • 입력 조작 (Input Manipulation): 시계열 데이터에 대한 국소적 섭동(예: Single Value Attack) 또는 통계적 타당성을 유지하면서 예측을 뒤집는 희소 특징 편집(예: GAN 기반 특징 선택)을 사용한다.
  • 단일 단계 공격 (Single-Step Attacks): 선형성 가설(예: FGSM)을 활용하여 최소한의 계산 비용($O(N)$)으로 오분류를 유도한다. 이는 시계열 예측 및 트랜잭션 레벨 분류에서 효과적이다.
  • 최적화 기반 공격 (Optimization-Based Attacks): 최악의 오류를 일으키기 위해 최소한의 섭동을 찾는 반복적 방법(예: PGD) 또는 제약 조건 최적화(예: 회계 일관성 있는 보고를 위한)를 사용한다. 이는 고빈도 매매 및 규제 모델에서 매우 중요하다.
  • 전이 기반 공격 (Transfer-Based Attacks): 모델 간 결정 경계의 정렬을 악용한다. 보편적 적대적 섭동(UAP) 및 대리 모델(예: DRL 트레이딩 에이전트, 사기 탐지 앙상블)에 대한 전이 공격을 통해 직접적인 모델 접근 없이 블랙박스 조작이 가능하다.

3단계: 운영, 모니터링 및 피드백 (Operation, Monitoring, and Feedback)

이 단계는 대규모 언어 모델(LLM) 및 생체 인식 시스템에 의해 매개되어 사용자 및 외부 환경과 지속적으로 상호작용하는 과정을 포함한다.

• 프롬프트 인젝션 (LLM 워크플로우): LLM에서 데이터와 제어 명령 사이의 혼동을 악용한다.
  • 문자/기호 수준 (Character/Symbol-Level): 토큰화 및 안전 필터를 우회하기 위해 제로 너비 문자(zero-width characters)나 호몰로그(homoglyph)를 사용한다.
  • 단어/구절 수준 (Word/Phrase-Level): 뉴스 피드나 트레이딩 파이프라인의 이벤트 해석을 왜곡하기 위해 이산적 토큰이나 잠재 공간의 의미론을 조작한다.
  • 문장/명령 수준 (Sentence/Instruction-Level): 시스템 정책을 무시하거나 리스크 컨트롤 로직을 유출하기 위해 적대적 명령(예: "이전 규칙을 무시하라")을 주입한다.
  • 체인/간접 인젝션 (Chain/Indirect Injection): 외부 콘텐츠(예: RAG 문서, API 출력)에 페이로드를 심어 도구 사용 에이전트를 하이재킹함으로써 데이터 수집 파이프라인을 공격 벡터로 전환한다.
• 딥페이크 검증 레이어 (KYC): 허위 생체 인증 정보를 합성하여 신원 확인을 무력화한다.
  • 잠재/신원 수준 (Latent/Identity-Level): 중복 제거 및 온보딩 체크를 통과하기 위해 일관된 합성 신원(예: "늑대" 샘 샘플 또는 "유령" 신원)을 생성한다.
  • 특징/속성 수준 (Feature/Attribute-Level): 3D 구조와 미세 표정을 유지하며 능동적 라이브니스(liveness) 탐지를 우회하는 페이스 스와핑(face-swapping) 기술(예: DiffSwap)을 사용한다.
  • 적대적/안티 포렌식 생성 (Adversarial/Anti-Forensic Generation): 3D 센서에 대한 광학 투사 공격을 수행하거나 블랙박스 API에 대해 쿼리 효율적인 진화적 공격을 사용하여 포렌식 탐지를 회피한다.

5. 의의 및 주장

저자들은 본 조사가 도메인 불가지론적인 AML 분류 체계와 광범위한 금융 AI 거버넌스 조사 사이의 간극을 메움으로써, 금융 AI의 적대적 위협을 이해하고 완화하기 위한 통합적 기초를 제공한다고 주장한다.

• 차별점: AI를 방어 도구로 취급하거나 도메인 불가지론적인 진공 상태에서 공격을 분석하는 기존 연구와 달리, 본 조사는 적대적 메커니즘을 구체적인 금융 AI 생애주기 단계와 명시적으로 연결한다. 또한 금융 특유의 제약 조건(예: 실시간 실행, 비대칭적 오류 비용, 규제 준수)이 공격의 실행 가능성과 다운스트림 결과의 심각성을 어떻게 형성하는지 강조한다.
• 시스템적 리스크: 금융 AI의 보안은 고립된 모델 실패를 통해서가 아니라, 작은 섭동이 자동화로 증폭된 피드백 루프를 통해 전파되고 지속되는 생애주기 중심의 분석을 통해 이해되어야 한다고 주장한다.
• 연구 의제: 본 조사는 실제 금융 운영 조건을 반영하는 강건성 벤치마크, 지속적 재학습을 고려한 스트레스 테스트 프로토콜, 리스크 관리 및 컴플라이언스 기능과 ML 보안을 통합하는 거버넌스 프레임워크의 필요성을 포함한 중요한 격차를 식별한다.

본 조사는 금융 AI 파이프라인을 보호하기 위해서는 고립된 공격 시연을 넘어, 금융 부문의 독특한 운영 현실을 다루는 적응형 및 생애주기 인지적 방어 전략으로 나아가야 한다고 결론짓는다.