Human-Centered LLM-Agent System for Detecting Anomalous Digital Asset Transactions

이 논문은 비전문가가 자연어로 분석 의도를 표현하고 구조화된 위험 증거를 검토하며 추적 가능한 전문가 수준의 추론을 얻을 수 있도록 설계된 인간 중심의 다중 에이전트 시스템 HCLA 를 통해 디지털 자산 거래의 이상 탐지 과정에서 설명 가능성과 책임성을 동시에 강화하는 새로운 패러다임을 제시합니다.

핵심

이 논문은 **"디지털 돈 (암호화폐) 거래를 감시할 때, 복잡한 컴퓨터 코드를 몰라도 누구나 쉽게 이상 징후를 찾아낼 수 있게 해주는 새로운 시스템"**을 소개합니다.

이 시스템의 이름은 HCLA입니다. 이걸 이해하기 쉽게 **'디지털 금융 탐정단'**이라고 상상해 보세요.

🕵️‍♂️ HCLA: 디지털 금융 탐정단

기존의 금융 사기 탐지 시스템은 마치 "검은 상자 (Black Box)" 같았습니다.

• 기존 방식: 컴퓨터가 "이 거래는 위험합니다!"라고 숫자만 던져주면, 일반인은 "왜? 무슨 뜻이지?"라고 당황하기만 했습니다. 전문가가 아니면 그 숫자를 해석할 수 없었죠.
• HCLA 의 방식: 이 시스템은 3 명의 탐정이 팀을 이루어 대화하듯 문제를 해결합니다.

1. 세 명의 탐정 (에이전트) 역할

이 시스템은 세 가지 역할을 나누어 맡은 인공지능 (AI) 들로 구성되어 있습니다.

1. 통역사 (Parsing Agent):

   • 역할: 당신이 하는 말을 컴퓨터가 알아들을 수 있는 언어로 바꿔줍니다.
   • 예시: 당신이 "지난주 내 지갑에서 이상한 거래 없었어?"라고 말하면, 이 통역사는 "지난 7 일, 특정 지갑 주소, 거래 금액" 같은 구체적인 데이터로 변환해 줍니다.
   • 비유: 복잡한 법률 용어를 모르고도 변호사에게 "내 사건이 이상해"라고 말하면, 변호사가 법원에 제출할 정확한 서류를 대신 작성해 주는 것과 같습니다.

2. 감시관 (Detection Agent):

   • 역할: 변환된 데이터를 바탕으로 실제로 사기인지, 정상인지 계산합니다.
   • 기술: 여기서는 'XGBoost'라는 강력한 계산기를 사용합니다.
   • 비유: CCTV 를 켜고 수만 개의 영상을 빠르게 훑어보며 "저 사람 행동이 수상해"라고 적어내는 경호원입니다.

3. 해설가 (Explanation Agent):

   • 역할: 감시관이 계산한 복잡한 숫자를 사람이 이해할 수 있는 이야기로 바꿔줍니다.
   • 예시: 단순히 "위험 점수 0.84"라고만 하지 않고, **"이 거래는 평범하지 않은 시간에, 검증되지 않은 사람에게 큰 금액을 여러 번 보냈기 때문에 위험합니다"**라고 설명해 줍니다.
   • 비유: 스포츠 중계에서 "득점 확률 84%"라고만 하지 않고, "상대방 수비가 느슨할 때 골을 넣었기 때문에 득점 확률이 높습니다"라고 해설해 주는 해설위원 같은 역할입니다.

---

🗣️ 어떻게 작동하나요? (대화형 탐정)

이 시스템의 가장 큰 특징은 대화가 가능하다는 점입니다.

1. 질문: 사용자가 "내 지갑 지난주 거래 중 의심스러운 게 있어?"라고 물어봅니다.
2. 분석: 시스템이 자동으로 데이터를 찾아 분석합니다.
3. 설명: "A 거래는 의심스러워요. 밤중에 갑자기 큰 금액을 보냈거든요."라고 알려줍니다.
4. 추가 질문: 사용자가 "왜 밤중에 보내면 이상한 거야?"라고 다시 물어보면, 시스템은 "보통 사람들은 낮에 거래를 하니까 밤중 거래는 사기꾼들이 많이 쓰는 패턴이에요"라고 추가로 설명해 줍니다.

이처럼 질문하고, 답을 듣고, 다시 질문하는 과정을 통해 누구나 전문가처럼 데이터를 파고들 수 있습니다.

---

📊 실험 결과: 사람들이 어떻게 반응했나요?

연구진은 AI 전문가 32 명을 모아 이 시스템을 테스트했습니다.

• 기존 방식 (숫자만 보여주는 대시보드): 사람들은 "뭐가 문제지?", "이 숫자가 무슨 뜻이지?"라고 혼란스러워했습니다.
• HCLA 방식 (이야기로 설명): 사람들은 **"이해하기 쉬워요", "이 시스템이 왜 그런 결론을 내렸는지 믿을 수 있어요"**라고 반응했습니다.

결론적으로, HCLA 는 복잡한 기술을 몰라도 누구나 디지털 자산의 사기를 쉽게 발견하고, 그 이유를 신뢰할 수 있게 해줍니다.

💡 왜 이것이 중요한가요?

지금 암호화폐 시장은 매우 복잡하고, 사기꾼들도 기술을 많이 사용합니다.

• 이전에는: 전문가만 감시할 수 있었습니다.
• 이제부터는: HCLA 같은 시스템 덕분에 일반인도 "내 돈이 안전한지" 스스로 물어보고, 명확한 이유를 듣고 대응할 수 있게 되었습니다.

한 줄 요약:

**"복잡한 컴퓨터 코드를 몰라도, AI 탐정단과 대화하듯 내 돈의 안전을 지킬 수 있게 해주는 똑똑한 시스템"**입니다.

기술 요약

1. 문제 정의 (Problem)

탈중앙화 금융 (DeFi) 생태계의 확장과 함께 믹서 (Mixer) 및 프라이버시 도구의 사용이 증가함에 따라, 디지털 자산의 출처 추적이 어려워지고 위험 모니터링이 복잡해졌습니다. 기존의 이상 탐지 시스템은 다음과 같은 한계를 가집니다:

• 불투명성 (Black-box): 성능은 우수하지만 작동 원리가 불투명하여 비전문가가 이해하거나 검증하기 어렵습니다.
• 전문성 장벽: 시스템을 운영하거나 결과를 해석하려면 높은 수준의 기술적 전문성이 필요합니다.
• 단방향 보고: 사용자가 결과를 질문하거나 추론 과정을 정제할 수 있는 상호작용 기능이 부족합니다.

이러한 문제점을 해결하기 위해, 비전문가가 자연어로 질문하고 구조화된 분석 결과를 검증하며 맥락에 맞는 설명을 얻을 수 있는 인간 중심 (Human-Centered) 인터페이스가 필요합니다.

2. 방법론 (Methodology)

저자들은 HCLA(Human-Centered LLM-Agent) 라는 새로운 프레임워크를 제안했습니다. 이는 Gradio 기반의 웹 UI 를 통해 구현되며, 세 가지 에이전트가 대화형 워크플로우를 통해 협력하는 구조입니다.

A. 시스템 아키텍처 (3 단계 에이전트)

1. 파싱 에이전트 (Parsing Agent - LLM-A):
   • 사용자의 자유 형식 자연어 질의 (예: "지난 주 내 지갑에서 의심스러운 거래가 있었나요?") 를 수신합니다.
   • ChatGPT 등을 활용하여 이를 구조화된 JSON 스키마 (지갑 주소, 시간 범위, 거래 금액 등) 로 변환합니다.
   • 모호한 부분은 대화형으로 명확히 합니다.
2. 탐지 에이전트 (Detection Agent - XGBoost):
   • 파싱된 구조화된 데이터를 입력받아 기존 머신러닝 모델 (프로토타입에서는 XGBoost) 을 실행합니다.
   • 시계열, 거래 패턴, 그래프 연결성 등의 특징을 기반으로 각 거래의 이상 확률 (Anomaly Probability) 을 산출합니다.
   • 모듈화되어 있어 XGBoost 외에도 GNN 등 다른 모델로 교체 가능합니다.
3. 설명 에이전트 (Explanation Agent - LLM-B):
   • Gemini 등을 활용하여 수치적 점수와 특징을 사람이 이해할 수 있는 자연어 서술 (Narrative) 로 변환합니다.
   • "왜 이 거래가 고위험인가?"와 같은 후속 질문에 대해 맥락에 맞는 이유 (예: "비수기에 검증되지 않은 상대방으로 반복된 고액 이체") 를 제공합니다.

B. 데이터 및 평가 프로토콜

• 데이터셋: Wasabi Wallet(2020-2024) 에서 파생된 레이블이 지정된 비트코인 믹싱 데이터셋 (정상 318,388 건, 이상 69,031 건) 을 사용했습니다.
• 학습/테스트: 2020-2022 년 데이터로 학습, 2023-2024 년 데이터로 테스트하여 배포 시나리오를 모의했습니다.
• 평가 지표: 탐지 모델의 정확도 (Accuracy, Precision, Recall, F1) 와 함께, 설명의 명확성과 신뢰도를 정성적으로 평가했습니다.

3. 주요 기여 (Key Contributions)

1. 대화형 워크플로우 통합: 자연어 의도와 구조화된 이상 탐지 분석을 결합한 모듈형 대화 시스템을 설계했습니다.
2. 관심사의 명확한 분리 (Separation of Concerns): 파싱, 탐지, 설명을 별도의 에이전트로 분리하여 한 모듈의 개선이 다른 모듈의 안정성을 해치지 않도록 했습니다.
3. 상호작용 가능한 설명 (Interactive Rationales): 단순한 점수 나열이 아닌, 사용자가 질문하고 추론을 검증할 수 있는 인간 가독성 높은 설명을 제공하여 접근성과 신뢰도를 높였습니다.
4. 실증적 유효성 검증: 제한된 자원 환경에서도 인간 중심 평가를 수행할 수 있는 '마이크로 전문가 패널 (Micro-Expert Panel)' 실험을 통해 제안된 모델의 효과를 입증했습니다.

4. 실험 결과 (Results)

A. 성능 지표 (Performance Metrics)

• 탐지 정확도: XGBoost 기반의 기본 탐지기는 정확도 0.9159, 정밀도 0.9317, 재현율 0.9159, F1 점수 0.9209를 기록하여 강력한 성능을 보였습니다.
• 응답 시간: 대화형 루프 내 쿼리당 평균 응답 지연 시간은 2 초 미만으로 실시간성에 근접했습니다.

B. 사용자 연구 (Simulated User Study)

• 대상: AI 및 디지털 자산 분야의 전문가 32 명 (마이크로 전문가 패널).
• 비교: 기존 XGBoost 수치 대시보드 vs. HCLA 의 서술형 설명.
• 결과:
  • 신뢰도 (Trust) 및 명확성 (Clarity): HCLA 의 서술형 설명이 수치 대시보드에 비해 통계적으로 유의미하게 높은 점수를 받았습니다 (p < .001).
  • 이해도: 사용자가 이상 거래의 원인과 시스템의 행동을 더 정확하게 이해했습니다.
  • 신뢰도 측정: Cronbach's α가 0.80 이상으로 모든 항목에서 높은 일관성을 보였습니다.

5. 의의 및 의의 (Significance)

이 연구는 금융 사기 탐지 분야에서 기술적 성능과 인간 중심의 이해 가능성 사이의 간극을 해소했다는 점에서 의의가 큽니다.

• 접근성 향상: 코딩이나 복잡한 스키마 지식이 없는 비전문가도 자연어로 데이터 분석을 수행할 수 있게 하여, 감사 및 규제 준수 업무의 진입 장벽을 낮췄습니다.
• 투명성과 신뢰 구축: 파싱 → 탐지 → 설명의 각 단계를 투명하게 보여주고 검증 가능하게 함으로써, '블랙박스' 모델에 대한 불신을 해소하고 금융 사기 조사 (Financial Forensics) 에서의 신뢰를 강화했습니다.
• 미래 지향성: 실시간 모니터링, 도메인 특화 LLM 파인튜닝, 멀티모달 데이터 통합 등을 통해 확장 가능한 아키텍처를 제시하여, 복잡해지는 디지털 자산 생태계에서의 AI 기반 감시 시스템의 새로운 표준을 제시합니다.

결론적으로, HCLA 는 단순한 이상 탐지 도구를 넘어, 사용자와 AI 가 협력하여 고차원적인 금융 데이터를 해석하고 의사결정을 내리는 상호작용형 분석 플랫폼으로서의 가능성을 입증했습니다.