Explainable AML Triage with LLMs: Evidence Retrieval and Counterfactual Checks

1. 문제 정의 (Problem Definition)

배경 및 과제:

• AML(자금세탁방지) 트라이지의 어려움: 금융 기관은 방대한 양의 거래 감시 경보 (Alert) 를 처리해야 하며, 분석가는 이를 신속하게 '폐기 (Dismiss)', '모니터링 (Monitor)', '심층 조사/신고 (Escalate)'로 분류해야 합니다.
• 기존 방식의 한계: 규칙 기반 (Rule-based) 시스템은 높은 오탐 (False Positive) 비율로 인해 분석가의 업무 과부하를 초래하며, 머신러닝 (ML) 기반 모델은 예측 성능은 향상되었으나 결정 근거 (Rationale) 를 설명하고 증거를 제시하는 데 한계가 있습니다.
• LLM 의 위험성: 대규모 언어 모델 (LLM) 은 다양한 증거를 요약하고 논리를 생성할 수 있지만, 규제 환경에서 할루시네이션 (Hallucination), 약한 출처 (Weak Provenance), 사실과 다른 설명을 생성할 경우 심각한 규제 준수 (Compliance) 및 모델 리스크를 초래합니다.

핵심 문제:
규제 환경 (감사, 거버넌스) 하에서 LLM 을 AML 트라이지에 적용할 때, **검증 가능한 증거에 기반한 설명 (Evidence-grounded Explanation)**을 보장하고, 모델의 결정이 입력 데이터의 미세한 변화에 대해 얼마나 견고한지 (Robustness) 를 검증하는 체계가 부재합니다.

---

2. 제안 방법론 (Methodology)

저자들은 AML 트라이지를 단순한 텍스트 생성이 아닌 **"증거 제약 하의 의사결정 과정 (Evidence-constrained decision process)"**으로 재정의하고, 다음 3 단계로 구성된 프레임워크를 제안합니다.

2.1. 증거 기반 검색 및 번들링 (Evidence Retrieval & Bundling)

• RAG (Retrieval-Augmented Generation) 적용: 경보 (Alert) 가 발생하면 관련 증거를 수집하여 '증거 번들 (Evidence Bundle)'을 구성합니다.
• 검색 대상:
  • 정책/유형론 가이드 (Policy/Typology)
  • 고객 컨텍스트 (KYC, 위험 프로파일)
  • 경보 트리거 메타데이터
  • 거래 서브그래프 및 이력
  • 유사한 과거 사례 (Case Memory)
• 제약: 검색된 증거는 고유 ID 를 가지며, LLM 이 생성하는 모든 주장 (Claim) 은 반드시 이 번들 내의 특정 ID 를 인용해야 합니다.

2.2. 출처 제약이 있는 구조화된 LLM 출력 (Structured LLM Output with Provenance)

• 구조화된 출력 계약: LLM 은 자유 형식이 아닌, 다음을 포함하는 구조화된 레코드를 생성합니다.
  • disposition (결정: 폐기/모니터/신고)
  • 신뢰도/불확실성
  • 근거가 명시된 논리 (Rationale)
  • 명시적 인용 (Explicit Citations): 각 주장에 대응하는 증거 ID
  • 다음 조치 (Next Actions)
• 검증 및 복구 루프 (Verifier-and-Repair Loop): 생성된 출력은 자동 검증기를 통과합니다.
  • 인용된 ID 가 존재하는지 확인.
  • 수치 (금액, 날짜) 및 논리적 일관성 확인.
  • 오류 발견 시 모델에 피드백을 주어 재생성 (Regeneration) 합니다.

2.3. 반사실적 검증 (Counterfactual Checks)

• 목적: 설명이 결정 논리에 충실한지 (Faithful) 검증합니다.
• 방식:
  • 결정 반사실 (Decision Counterfactuals): 핵심 지표 (예: 특정 거래 연결 제거, 위험 계급 변경 등) 를 최소한으로 변경했을 때, 모델의 결정이 반전되는지 확인합니다.
  • 증거 반사실 (Evidence Counterfactuals): 핵심 증거를 제거했을 때, 모델이 해당 증거를 더 이상 인용하지 않고 논리를 수정하는지 확인합니다.
• 효과: "장식적인 인용 (Decorative Citations)"을 방지하고, 결정이 실제로 해당 증거에 의존하고 있음을 입증합니다.

---

3. 주요 기여 (Key Contributions)

1. 증거 기반 트라이지 공식화: AML 트라이지를 RAG 원리를 기반으로 한 '검색 기반 설명 작업'으로 형식화하여, 지지되지 않는 주장을 줄였습니다.
2. 반사실적 견고성 계층 도입: 규제 관련 최소한의 변화에 대해 모델의 결정과 설명이 일관되게 반응하는지 검증하는 AML 특화 반사실적 체크를 도입했습니다.
3. 재현 가능한 평가 청사진: SynthAML10 및 AMLSim 과 같은 공개된 합성 벤치마크를 사용하여 트라이지 품질, 증거 충실도, 견고성을 측정할 수 있는 평가 방법론을 제시했습니다.

---

4. 실험 결과 (Results)

데이터셋: SynthAML10 (1600 만 건 이상의 거래, 2 만 건 이상의 경보), AMLSim 시뮬레이터.
비교 대상: 규칙 기반, Tabular ML (GBDT), Graph ML (GNN), LLM-only, RAG-only, 제안 방법 (RAG + Counterfactual).

주요 성과 지표:

• 트라이지 성능: 제안 방법이 가장 우수한 성능을 보였습니다.
  • PR-AUC: 0.75 (GNN 대비 0.69 에서 향상).
  • Escalate F1: 0.62 (GNN 대비 0.56 에서 향상).
  • 해석: 오탐을 줄이면서 (정밀도 향상) 진짜 위험을 놓치지 않는 (재현율 유지) 균형이 개선되었습니다.
• 감사 가능성 (Auditability):
  • 인용 유효성 (Citation Validity): 0.98 (LLM-only 의 0.62 대비 획기적 개선).
  • 증거 지원율 (Evidence Support): 0.88.
  • LLM-only 는 할루시네이션이 빈번했으나, 증거 기반 접근법은 이를 대폭 감소시켰습니다.
• 반사실적 충실도 (Counterfactual Faithfulness):
  • CF-Flip Rate: 0.58 (RAG-only 의 0.41 대비 향상).
  • 증거 제거 시 충실도: 0.76.
  • 제안 방법은 핵심 증거가 변할 때 결정과 논리가 일관되게 변경됨을 입증했습니다.
• 안전성 (Safety):
  • 수치 불일치 및 정책 할루시네이션 오류율이 제안 방법에서 가장 낮았습니다 (수치 불일치 0.03, 정책 할루시네이션 0.02).

---

5. 의의 및 결론 (Significance & Conclusion)

• 규제 준수와 기술의 조화: LLM 을 단순한 텍스트 생성기가 아닌, 검증 가능한 증거에 기반한 의사결정 지원 시스템으로 설계함으로써 금융 규제 (감사, 거버넌스) 요구사항을 충족하면서도 LLM 의 강점을 활용할 수 있음을 증명했습니다.
• 실무적 가치: 분석가의 인지적 부하를 줄이고, 오탐을 줄여 운영 비용을 절감하며, 결정의 근거를 명확히 하여 규제 당국의 감사를 용이하게 합니다.
• 신뢰성 확보: 반사실적 검증 (Counterfactual Checks) 은 모델이 "왜" 그 결정을 내렸는지 설명할 때, 그 설명이 실제 결정 로직과 일치하는지 검증하는 강력한 도구로 작용합니다.
• 향후 방향: 합성 데이터를 넘어 실제 은행 데이터에서의 섀도우 모드 (Shadow mode) 테스트, 더 복잡한 조사 워크플로우로의 확장, 그리고 프라이버시 보존 기술과의 결합이 필요하다고 강조합니다.

결론적으로, 이 논문은 규제된 금융 환경에서 LLM 을 안전하게 배포하기 위해서는 **검색 (Retrieval), 검증 (Verification), 반사실적 테스트 (Counterfactual Testing)**가 결합된 거버넌스 시스템이 필수적임을 보여줍니다.