🤖 AI

Let Relations Speak: An End-to-End LLM-GNN Soft Prompt Framework for Fraud Detection

본 논문은 텍스트 부족과 특징 왜곡을 극복하고 다중 관계 사기 탐지에서 최첨단 성능과 향상된 해석 가능성을 달성하기 위해 소프트 프롬프트와 병렬 GNN 인코더를 활용하여 그래프 구조와 의미 공간을 연결하는 엔드투엔드 접근법인 LLM-GNN 소프트 프롬프트 프레임워크 (LGSPF) 를 제안한다.

원저자: Zhixing Zuo, Huilin He, Jiasheng Wu, Dawei Cheng

게시일 2026-05-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhixing Zuo, Huilin He, Jiasheng Wu, Dawei Cheng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"Let Relations Speak: An End-to-End LLM-GNN Soft Prompt Framework for Fraud Detection"이라는 논문에 대한 설명을 쉬운 언어와 창의적인 비유를 사용하여 제시합니다.

큰 문제: "침묵하는" 그래프

여러분이 사기범을 잡으려는 형사라고 상상해 보세요. 보통은 무슨 일이 있었는지 알려주는 메모, 이메일, 채팅 로그 (텍스트) 가 가득 찬 파일을 가지고 있습니다. 하지만 금융 사기 세계에서는 개인정보 보호법 때문에 종종 그런 메모를 가지고 있지 않습니다. 여러분이 가진 것은 거대한 숫자의 웹뿐입니다. "거래 A 는 오후 2 시에 발생했다", "사용자 B 는 상품 C 를 구매했다", "그들은 5 마일 떨어져 있다"는 식입니다.

이것이 논문에서 Weak-TAG(Weak Text-Attributed Graph, 약한 텍스트 속성 그래프) 라고 부르는 것입니다. 이는 단어가 첨부되지 않은 연결의 웹입니다.

딜레마:

구형 AI(GNN): 이들은 수학 마법사와 같습니다. 숫자의 웹을 살펴보고 패턴을 찾는 데는 뛰어나지만, 왜 어떤 것이 의심스러운지 설명하는 데는 매우 서툴러요. 그들은 "블랙박스"입니다.
신형 AI(LLM): 이들은 사고하고, 추론하며, 자신의 생각을 설명할 수 있는 뛰어난 형사와 같습니다. 하지만 그들은 이야기와 문장을 읽는 데 익숙합니다. 만약 그들에게 원시 숫자의 벽을 먹이면 혼란을 겪습니다. 그들은 그 숫자들을 "숫자 45.23..."과 같은 단어로 바꾸려 시도하는데, 이는 의미를 깨뜨리고 줄거리를 잃게 만듭니다.

해결책: LGSPF("침묵하는 통역사")

저자들은 LGSPF라는 새로운 시스템을 제안합니다. 이는 숫자를 어색한 단어로 바꾸도록 강요하지 않고 "수학 마법사"(GNN) 와 "뛰어난 형사"(LLM) 를 연결하는 보편적 통역사로 생각할 수 있습니다.

다음은 단계별 작동 방식입니다.

1. 병렬 팀 (GNN 인코더)

사기 웹에는 "같은 신용카드", "같은 IP 주소", "같은 위치"와 같은 다양한 유형의 연결이 있다고 상상해 보세요.

구식 방법: 이러한 모든 연결을 하나의 큰 더미로 섞어 버릴 수 있습니다.
LGSPF 방식: 전문 스카우트 팀(병렬 GNN) 을 고용합니다.
- 스카우트 A 는 "같은 신용카드" 연결만 봅니다.
- 스카우트 B 는 "같은 위치" 연결만 봅니다.
- 스카우트 C 는 "같은 IP" 연결만 봅니다.
- 각 스카우트는 오직 그들의 특정 연결 유형에 기반하여 용의자를 위한 고유한 "보고서"(임베딩) 를 작성합니다. 이를 통해 어떤 세부 정보도 손실되지 않도록 보장합니다.

2. "소프트" 악수 (Soft Prompt)

이것이 이 논문의 가장 창의적인 트릭입니다.

어려운 방법 (다른 사람들이 하는 일): *"사용자에는 3 개의 이웃이 있으며, 그중 2 명은 사기범이고 거리는 5.4 마일입니다."*와 같은 문장을 LLM 에게 읽으려고 강요하는 것입니다. 이는 모든 픽셀의 16 진수 코드를 나열하여 그림을 설명하려는 것과 같습니다. 이는 messy 하고 "분위기"를 잃게 만듭니다.
LGSPF 방식 (Soft Prompt): 단어를 쓰는 대신, 시스템은 보이지 않는 마법 토큰(비밀 악수) 을 생성합니다.
- 그것은 형사에게 말합니다. "여기는 '신용카드' 패턴을 나타내는 비밀 토큰이고, 여기에는 '위치' 패턴을 나타내는 비밀 토큰이 있습니다."
- 이러한 토큰은 단어가 아닙니다. 이는 패턴에 대한 직접적이고 고품질의 수학적 요약입니다.
- LLM 은 숫자를 "읽을" 필요가 없습니다. 대신 이러한 토큰을 통해 패턴을 "느끼기"만 하면 됩니다. 이는 사진에 대한 서면 설명 대신 형사에게 증거의 고해상도 사진을 건네주는 것과 같습니다.

3. 공동 훈련 (End-to-End 최적화)

보통은 먼저 수학 마법사를 훈련시킨 다음, 그 결과를 형사에게 넘겨줍니다. 만약 마법사가 실수를 하면 형사는 그것을 고칠 수 없습니다.

LGSPF 방식: 그들은 팀 전체를 함께 훈련시킵니다.
- 형사 (LLM) 는 증거를 보고 "이것이 사기인지 확신이 서지 않습니다"라고 말합니다.
- 시스템은 그 피드백을 스카우트 (GNN) 로 되돌려 보냅니다.
- 스카우트들은 형사가 더 명확하게 이해할 수 있도록 보고서를 조정합니다.
- 그들은 완벽하게 동기화될 때까지 이를 계속 반복합니다. 이를 End-to-End 최적화라고 합니다.

이것이 중요한 이유 (결과)

저자들은 이 방법을 세 가지 실제 세계 사기 데이터셋 (아마존 리뷰, Yelp 리뷰, 시뮬레이션된 신용카드 거래) 에서 테스트했습니다.

경쟁자: 전통적인 수학 전용 AI 는 그럭저럭 괜찮았습니다. 숫자를 단어로 바꾸려 했던 "하드 프롬프트" LLM 들은 텍스트의 부재로 인해 혼란을 겪으며 처참하게 실패했습니다.
승자: LGSPF 가 모든 것을 이겼습니다. 그것은 단순히 더 잘 추측한 것이 아니라, 숫자 간의 관계를 훨씬 더 깊이 이해했습니다.
"아하!" 순간: LLM 이 관여하기 때문에, 시스템은 실제로 왜 그것이 사기라고 생각하는지 설명할 수 있습니다. 이는 "우리는 그것이 사기임을 알지만 왜 그런지는 모른다"는 블랙박스에서 "우리는 사용자가 알려진 사기범 패턴처럼 행동하므로 그것이 사기임을 안다"는 행동 인식으로 사기 탐지를 이동시킵니다.

요약 비유

혼잡한 방에서 도둑을 식별하려고 한다고 상상해 보세요.

구형 GNN은 움직임을 보지만 그 사람이 늦어서 뛰는 것인지 도둑질해서 뛰는 것인지 알려줄 수 없는 보안 카메라와 같습니다.
구형 LLM은 서면 경찰 보고서가 필요한 형사와 같습니다. 그들에게 좌표 목록을 주면 길을 잃습니다.
LGSPF는 심리 연결과 같습니다. 카메라의 원시 시각 데이터를 즉시 형사가 이해하는 "느낌"으로 번역하여, 형사가 자신의 두뇌를 사용하여 "저 사람은 정상적인 고객보다 너무 빠르게 달리고 있습니다. 도둑질하고 있습니다"라고 말하게 합니다.

이 논문은 이 방법이 텍스트는 없지만 데이터가 있을 때 사기를 찾는 새로운 최첨단 방법이라고 주장합니다.

기술 요약: 관계를 말하게 하다: 사기 탐지를 위한 엔드투엔드 LLM-GNN 소프트 프롬프트 프레임워크

1. 문제 제기

본 논문은 약한 텍스트 속성 그래프 (Weak-TAG) 시나리오 내에서 사기 탐지를 위해 대규모 언어 모델 (LLM) 을 배포하는 데 직면한 과제를 다룹니다. 실제 세계의 사기 탐지 시스템 (예: 금융 네트워크, 온라인 리뷰) 에서는 엄격한 프라이버시 및 보안 제약으로 인해 풍부한 텍스트 데이터가 결여된 순수 수치적 특징을 가진 그래프가 생성되는 경우가 많습니다.

기존 접근 방식은 이러한 맥락에서 두 가지 주요 한계에 직면해 있습니다:

텍스트에 대한 의존성: 현재 대부분의 LLM 기반 방법은 풍부한 텍스트 속성에 크게 의존하므로, 텍스트 데이터가 부재할 경우 효과가 없습니다.
하드 프롬프트를 통한 특징 왜곡: 텍스트 의존성을 우회하려는 선구적인 방법들은 종종 그래프 구조를 자연어로 선형화하기 위해 "하드 프롬프트"를 사용합니다. 이 과정은 복잡한 위상을 평탄화하여 구조 - 의미 불일치와 특징 왜곡을 초래합니다. 이는 관계적 의미가 이산적 텍스트로 변환되는 과정에서 소실되기 때문입니다.
다중 관계적 복잡성: 사기 활동은 종종 복잡하고 다중 관계적인 상호작용을 수반합니다. 현재 그래프 신경망 (GNN) 방법은 서로 다른 엣지 유형에 걸쳐 깊은 의미 정보를 포착하는 데 어려움을 겪으며, 기존 LLM-GNN 프레임워크는 종종 고정된 LLM 이나 경량 선형 프로젝터를 사용하여 구조 인코딩과 의미 추론 간의 깊은 정렬을 이루지 못합니다.

2. 방법론: LGSPF 프레임워크

저자들은 텍스트 속성에 의존하지 않고 다중 관계 그래프 구조와 LLM 의 의미 공간 사이의 간극을 메우도록 설계된 **엔드투엔드 LLM-GNN 소프트 프롬프트 프레임워크 (LGSPF)**를 제안합니다. 이 프레임워크는 세 가지 상관된 단계를 통해 작동합니다:

A. 다중 관계 그래프 특징 인코딩

여러 관계 하에서 구조적 패턴을 포착하기 위해 LGSPF 는 병렬 GNN 인코더를 사용합니다.

분해: 원래 다중 관계 그래프는 $m$ 개의 동질적 서브그래프로 분해되며, 각 서브그래프는 특정 관계 유형에 해당합니다.
독립적 브랜치: 각 서브그래프마다 독립적인 GNN 브랜치 (GraphSAGE 로 구현됨) 가 배치됩니다. 중요한 점은 브랜치 간에 가중치가 공유되지 않아 각 관계 유형에 대한 고유한 구조적 의미를 추출할 수 있다는 것입니다.
프로젝션: 모든 GNN 브랜치에서 출력된 임베딩은 LLM 의 임베딩 차원 ( $d_{emb}$ ) 으로 프로젝션되어 원활한 통합을 용이하게 합니다.
집계: 모델은 구조적 정보 손실을 방지하고 결정론적 메시지 전달을 보장하기 위해 미니배치 샘플링이 아닌 전체 배치 이웃 집계를 사용합니다.

B. 소프트 프롬프트 및 의미 매핑

그래프 구조를 자연어 설명 (하드 프롬프트) 으로 변환하는 대신, LGSPF 는 소프트 프롬프트를 활용합니다.

하이브리드 템플릿: 자연어 지시 ( $T_{inst}$ , $T_{desc}$ , $T_{quest}$ ) 와 특수 토큰 ( $s_1, \dots, s_m$ ) 을 포함하는 통합 프롬프트 템플릿이 구성됩니다.
어휘 확장: LLM 의 어휘는 서로 다른 관계 유형에 대한 인터페이스 역할을 하는 이러한 특수 토큰 ( $S = \{s_1, \dots, s_m\}$ ) 을 포함하도록 확장됩니다.
동적 주입: 순전파 과정에서 병렬 GNN 들이 추출한 연속적 구조 임베딩 ( $h_{v_i, r_j}$ ) 은 프롬프트 시퀀스에서 해당 특수 토큰의 초기 임베딩을 동적으로 대체합니다. 이를 통해 LLM 은 텍스트 기반 직렬화의 이산화 및 분열 문제를 우회하고 직접 연속적인 고차원 구조 텐서를 처리할 수 있습니다.

C. 엔드투엔드 최적화

이 프레임워크는 인과 언어 모델링 패러다임 하에서 사기 탐지를 조건부 텍스트 생성 문제로 취급합니다.

공동 학습: 시스템은 엔드투엔드로 최적화됩니다. LLM 의 의미 피드백은 그래디언트 역전파를 통해 GNN 인코더로 역전파됩니다.
파라미터 효율성: 계산 비용을 관리하기 위해 저랭크 적응 (LoRA) 은 LLM 의 어텐션 레이어에만 적용되며, GNN 파라미터는 학습 가능하게 유지됩니다.
목적: 손실 함수는 생성된 텍스트 (예: "사기" 또는 "정상") 와 실제 라벨 간의 불일치를 최소화하여 깊은 구조 - 의미 정렬을 보장합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 제시합니다:

LGSPF 프레임워크: 약한 Weak-TAG 시나리오에서 사기 탐지를 위해 특별히 설계된 엔드투엔드 LLM-GNN 소프트 프롬프트 프레임워크를 제안하여, 다중 관계 그래프 구조와 LLM 의미 공간을 효과적으로 연결합니다.
아키텍처 혁신: 세밀한 다중 관계 특징 추출을 위한 병렬 GNN 인코더, 특징 왜곡 없이 그래프 구조와 LLM 추론을 원활하게 연결하는 소프트 프롬프트 메커니즘, 그리고 깊은 구조 - 의미 정렬을 위한 엔드투엔드 학습 패러다임을 도입했습니다.
실증적 검증 및 해석 가능성: 세 가지 다양한 사기 탐지 벤치마크 (Amazon, YelpChi, S-FFSD) 에서 최첨단 성능을 입증했습니다. 또한, 이 프레임워크는 사기 행동의 의미적 해석 가능성을 향상시켜, 블랙박스 예측에서 행동 인식으로의 전환을 가능하게 함을 보여줍니다.

4. 실험 결과

실험은 세 가지 데이터셋에서 수행되었습니다: Amazon(제품 리뷰), YelpChi(호텔/레스토랑 리뷰), S-FFSD(시뮬레이션 금융 거래). 모든 데이터셋은 약한 Weak-TAG 설정을 시뮬레이션하기 위해 수치 노드 특징만 포함하도록 처리되었습니다.

성능: LGSPF 는 모든 데이터셋에서 최첨단 성능을 달성하여 기존 GNN 베이스라인 (예: GCN, GAT, CARE-GNN) 과 텍스트 평탄화 LLM 베이스라인 (Zero-shot 및 Instruct-LLM 변형 포함) 을 모두 크게 능가했습니다.
- Amazon 데이터셋에서 LGSPF 는 AUC 0.9805를 달성했으며, 이는 최상의 GNN 베이스라인 (BWGNN) 인 0.9717 보다 높습니다.
- YelpChi에서 LGSPF 는 AUC 0.9208를 달성하여 최상의 GNN (0.9194 인 RGTAN) 을 능가했습니다.
- S-FFSD에서 LGSPF 는 AUC 0.8719를 달성하여 최상의 GNN (0.8299 인 GTAN) 을 능가했습니다.
절대 실험 (Ablation Studies):
- LLM 백본을 제거하고 MLP 로 대체하거나 자연어 설명을 제거하고 고립된 그래프 토큰만 사용하는 경우 성능이 크게 저하되어, LLM 의 추론 능력과 텍스트 설명이 제공하는 의미적 앵커의 필요성을 확인했습니다.
- 엔드투엔드 공동 최적화를 제거하고 GNN 을 고정하는 경우에도 성능 저하가 발생하여, 구조적 특징을 LLM 의 인지 공간과 정렬하는 것의 이점을 강조했습니다.
민감도 분석: 7B 파라미터 LLM 백본 (Qwen2.5-7B) 은 추론 능력과 적응 효율성 사이의 최적 균형을 제공하는 것으로 나타났습니다. GNN 인코더의 경우, 이웃 집계 깊이 $K=2$ 가 최상의 성능을 발휘하여 더 깊은 레이어 ( $K \ge 3$ ) 에서 관찰되는 과도한 평활화 문제를 피했습니다.
해석 가능성: YelpChi 에 대한 단일 관계 실험은 개별 관계가 특정 통찰력을 제공하지만, 통합된 다중 관계 뷰 (Full view) 가 단일 뷰들의 평균을 압도적으로 능가함을 보여주어, 모델이 여러 관계 간의 내재적 상관관계를 발굴할 수 있음을 입증했습니다.

5. 의의 및 주장

본 논문은 LGSPF 가 약한 Weak-TAG 환경에서 LLM 이 직면한 "의미적 딜레마"를 해결함으로써 그래프 사기 탐지 분야에서 중요한 진전을 이루었다고 주장합니다. 이산적 텍스트화를 대신하여 연속적인 소프트 프롬프트를 활용함으로써, 이 프레임워크는 하드 프롬프트 접근법에서 일반적으로 손실되는 고차원 구조 정보를 보존합니다.

저자들은 그들의 작업이 단순한 블랙박스 예측을 넘어 투명한 행동 인식으로 분야를 확장한다고 강조합니다. LLM 의 깊은 의미 추론 능력을 활용하여 복잡한 다중 관계 위상을 해석함으로써, LGSPF 는 탐지 정확도를 향상시킬 뿐만 아니라 사기 행동의 해석 가능성도 강화합니다. 이는 풍부한 텍스트 데이터가 unavailable 한 프라이버시 민감 영역에서 특히 가치 있으며, 향후 사기 탐지 시스템을 위한 유망한 패러다임을 제시합니다.

저자들은 초대형 그래프에 대한 계산 확장성 문제와 현재 정적 그래프에 대한 의존성을 한계로 인정하며, 향후 연구에서는 동적 시간 그래프와 더 큰 기반 모델을 탐구할 것이라고 명시했습니다.