A Novel Hierarchical Multi-Agent System for Payments Using LLMs

이 논문은 기존 LLM 기반 에이전트들이 해결하지 못했던 결제 업무의 자동화 과제를 해결하기 위해, 대화형 결제 에이전트부터 감독 및 라우팅 에이전트까지의 계층적 구조를 통해 종단 간 결제 워크플로우를 구현한 최초의 다중 에이전트 시스템인 HMASP 를 제안하고 그 타당성을 입증합니다.

핵심

이 논문은 "대형 언어 모델 (LLM, AI)"이 이제부터 쇼핑을 할 때, 직접 결제를 완료할 수 있게 해주는 새로운 시스템을 소개합니다.

기존의 AI 는 "이거 사줘"라고 말하면 장바구니에 담는 것까지는 해줬지만, "결제를 해줘"라고 하면 막혀버렸습니다. 왜냐하면 결제는 보안이 매우 엄격하고, AI 가 실수 (환각) 를 하면 큰 문제가 되기 때문입니다.

이 문제를 해결하기 위해 싱가포르 관리대학과 마스터카드 연구팀이 **'HMASP(결제용 계층형 다중 에이전트 시스템)'**라는 새로운 시스템을 개발했습니다.

이 시스템을 이해하기 쉽게 고급 레스토랑의 주방에 비유해서 설명해 드릴게요.

---

🍽️ 비유: 결제 시스템은 '고급 레스토랑'과 같습니다

이 시스템은 한 명의 AI 가 모든 일을 하는 게 아니라, 서로 다른 역할을 가진 여러 명의 AI 직원들이 팀을 이루어 작동합니다.

1. 메인 컨시어지 (CPA - 대화형 결제 에이전트)

• 역할: 레스토랑의 메인 도어맨이자 접수원입니다.
• 일: 손님이 들어오면 ("저기, 결제하고 싶어요") 가장 먼저 맞습니다. 손님의 요청이 진짜 결제와 관련된 건지, 아니면 농담인지 ("농담 좀 해줘") 구분합니다.
• 특징: 모든 요청은 이 사람이 먼저 받아서, 적절한 부서로 넘겨줍니다.

2. 부서장 (Supervisor Agent)

• 역할: 식당 내의 각 부서장들입니다 (예: 카드 등록 팀장, 카드 조회 팀장).
• 일: 메인 컨시어지가 "카드 등록 요청이 왔어요"라고 하면, 카드 등록 부서장에게 넘깁니다. 부서장은 "이 요청이 우리 팀 일이 맞나?"를 다시 한번 확인하고, 구체적인 담당자에게 지시합니다.

3. 실무 담당자 (Routing Agent)

• 역할: 실제 작업을 하는 요리사들입니다.
• 일: 부서장의 지시를 받고, 구체적인 작업 (예: 3D-secure 인증, 카드 정보 입력) 을 시작합니다. 만약 요청이 엉뚱하다면 여기서 멈추고 거절합니다.

4. 보고서 작성자 (Process Summary Agent)

• 역할: 작업 완료 후 결과를 정리하는 스태프입니다.
• 일: "카드 등록 성공!", "결제 실패 (이유: 정보 오류)" 같은 결과를 정리해서 다시 위로 (부서장 → 컨시어지) 전달합니다.

---

🔒 이 시스템의 핵심 기술 (왜 안전한가요?)

기존 AI 는 "내가 결제할게"라고 말하면서 실수로 가짜 카드 번호를 만들어내거나 (환각), 민감한 정보를 유출할 위험이 있었습니다. 하지만 이 시스템은 다음과 같은 안전 장치를 썼습니다.

1. 정보의 분리 (장부 관리):

   • 각 직원 (에이전트) 은 자신의 업무만 볼 수 있는 장부를 가집니다. 결제 담당자는 카드 번호만 보고, 카드 등록 담당자는 다른 정보는 못 봅니다.
   • 하지만 **필요한 정보 (예: 사용자 ID)**는 공유 장부에 적어서 팀원들이 서로 알 수 있게 합니다. 이렇게 하면 불필요한 정보가 섞여 유출되는 것을 막습니다.

2. 사람의 개입 (Interrupt - 인간이 확인하는 단계):

   • AI 가 결정을 내리기 전에, 반드시 사람이 직접 정보를 입력하게 합니다.
   • 예를 들어, "카드 번호를 입력해주세요"라고 AI 가 말하면, AI 는 멈추고 사람이 직접 숫자를 입력합니다. AI 가 임의로 숫자를 만들어내지 못하게 막는 것입니다.

3. 확실한 기록 (상태 변수):

   • 중요한 정보는 AI 가 "기억"하는 게 아니라, 시스템의 확실한 장부에 저장합니다. AI 가 망각하거나 헛소리를 해도, 장부에 적힌 사실대로 처리되므로 안전합니다.

---

📊 실험 결과: 잘 작동할까요?

연구팀은 이 시스템을 다양한 AI 모델 (오픈소스 모델과 GPT-4.1 같은 유료 모델) 로 테스트했습니다.

• 성공: 시스템이 잘 작동했습니다. 특히 Qwen2.5:32b라는 오픈소스 모델이 GPT-4.1 과 거의 비슷한 성능을 보여주었습니다.
• 의미: 비싼 유료 AI 가 아니더라도, 이 시스템을 잘 설계하면 무료나 저렴한 오픈소스 AI 로도 안전한 결제 자동화가 가능하다는 것을 증명했습니다.
• 최초 기록: 이 논문은 **"AI 가 자연어로 대화하며 끝까지 결제를 완료하는 첫 번째 시스템"**이라고 주장합니다.

💡 결론

이 논문은 **"AI 가 쇼핑을 끝까지 도와주는 시대"**가 왔음을 보여줍니다. 하지만 AI 가 무작정 결제하는 게 아니라, 여러 명의 AI 직원이 서로 역할을 나누고, 사람이 중요한 단계에서 확인하며, 정보를 안전하게 분리하는 시스템을 만들면, AI 결제가 현실화될 수 있다는 것을 증명했습니다.

앞으로 우리가 "AI, 이거 사주고 결제해줘"라고 말하면, AI 가 장바구니에 담고, 보안 확인을 거쳐, 우리가 직접 비밀번호만 입력하면 결제가 완료되는 세상이 올 수 있다는 희망을 줍니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

최근 OpenAI 의 'Operator'나 Anthropic 의 'Claude Computer Use'와 같은 자율적 LLM 에이전트들이 워크플로우 자동화 분야에서 큰 주목을 받고 있습니다. 그러나 이러한 에이전트들이 결제 (Payment) 작업을 수행하는 데에는 다음과 같은 근본적인 한계와 장벽이 존재합니다.

• 기술적 장벽: 전통적인 결제 네트워크는 봇 방지 메커니즘, 다중 인증 (3D-Secure 등), 사기 탐지 시스템 등을 통해 에이전트 기술의 도입을 제한합니다.
• 규제 및 보안: PCI DSS 와 같은 규제 프레임워크는 결제 데이터 처리에 대한 엄격한 요구사항을 부과하며, AI 가 결제 환경에서 민감한 데이터를 노출하지 않도록 제한합니다.
• 할루시네이션 (Hallucination) 위험: LLM 의 환각 현상은 결제와 같은 정밀한 작업에서 치명적인 오류를 초래할 수 있습니다.
• 연구 공백: 기존 연구들은 결제 네트워크의 경계까지만 에이전트 기능을 구현하거나, 기존 결제 시스템에 에이전트를 온보딩하는 방식에 그쳤을 뿐, 엔드투엔드 (End-to-End) 에이전트 결제 워크플로우를 구현하는 표준 참조 프레임워크는 부재했습니다.

2. 제안된 방법론: HMASP (Methodology)

저자들은 이러한 격차를 해소하기 위해 계층형 다중 에이전트 결제 시스템 (HMASP, Hierarchical Multi-Agent System for Payments) 을 제안했습니다. 이 시스템은 LangGraph 를 오케스트레이션 프레임워크로 사용하며, 모듈형 아키텍처를 기반으로 합니다.

2.1 계층적 에이전트 구조 (4 단계)

시스템은 기능과 전문성에 따라 4 단계의 에이전트 레벨로 구성됩니다.

1. 대화형 결제 에이전트 (CPA, Conversational Payment Agent): 시스템의 진입점입니다. 모든 외부 요청을 수신하고, 요청의 적절성을 판단하여 하위 레벨의 감독 에이전트 (Supervisor) 로 작업을 위임하거나 불필요한 요청을 거절합니다.
2. 감독 에이전트 (Supervisor Agent): 도메인별 (예: 카드 관련, 결제 관련) 워크플로우의 의사결정자이자 오케스트레이터입니다. CPA 로부터 요청을 받아 구체적인 작업별 워크플로우 (예: 카드 등록) 로 위임하고, 결과를 CPA 에게 보고합니다.
3. 라우팅 에이전트 (Routing Agent): 특정 작업 워크플로우 내에서 최종 결정 계층입니다. Supervisor 로부터 입력을 받아 해당 작업을 실행할지, 아니면 거부하거나 요약 에이전트로 라우팅할지 결정합니다.
4. 프로세스 요약 에이전트 (Process Summary Agent): 작업 완료 후 결과를 요약하여 Supervisor 에게 반환합니다. 성공/실패 요약 및 거부 응답을 생성합니다.

2.2 핵심 아키텍처 패턴

• 구조화된 핸드오프 (Structured Handoffs): LangGraph 를 활용하여 에이전트 간 원활한 프로세스 전달을 구현합니다. 입력의 맥락에 따라 하위 에이전트로 연결하거나, 불필요한 경우 즉시 응답하여 거절합니다.
• 상태 분리 및 공유 (State Management):
  • 역할 기반 상태 변수: CPA, 카드 관련 작업, 결제 관련 작업 등 역할에 따라 상태 변수를 분리하여 민감 정보의 유출을 방지합니다.
  • 공유 변수: 사용자 ID, 카드 ID 등 필요한 정보만 공유 변수로 정의하여 모듈성을 유지하면서도 정보 공유가 가능하도록 설계했습니다.
  • 분리된 메시지 상태: 에이전트가 자신의 역할에 맞는 메시지만 해석하도록 하여 토큰 사용량을 줄이고 민감 정보 노출을 최소화합니다.
• 결정론적 실행 (Determinism) 및 인간 개입 (Human-in-the-Loop):
  • 인터럽트 메커니즘: 민감한 정보 (카드 번호 등) 수집 시 워크플로우를 일시 정지하고 사용자의 자연어 입력을 받습니다.
  • 검증: 입력된 정보는 LLM 이 생성하는 것이 아니라, 상태 변수에서 가져오거나 Luhn Check 등 외부 함수를 통해 검증하여 할루시네이션과 데이터 변조를 방지합니다.

3. 주요 기여 (Key Contributions)

1. 혁신적인 계층형 다중 에이전트 결제 프레임워크: LLM 기반 다중 에이전트 시스템이 엔드투엔드 결제 워크플로우를 수행할 수 있는 최초의 참조 프레임워크를 제시했습니다.
2. 모듈형 결제 실행 설계: CPA, Supervisor, Routing, Summary 에이전트로 구성된 모듈형 설계를 통해 다양한 에이전트 간 작업 분산 및 조율을 가능하게 했습니다.
3. LLM 플랫폼 호환성: 오픈 가중치 (Open-weight) 모델과 독점 (Proprietary) 모델 모두를 활용할 수 있어 유연성이 높습니다.
4. 실증 가능성 입증: 시뮬레이션 환경에서 엔드투엔드 에이전트 결제 워크플로우의 성공적인 구현을 입증했습니다.

4. 실험 결과 (Results)

Mastercard 의 연구 데이터를 기반으로 1,000 개의 데이터 포인트 (카드 등록, 카드 조회, 결제 처리, 무관한 입력) 로 실험을 수행했습니다.

• 작업 성공률 (Task Success Rate):
  • 독점 모델인 GPT-4.1이 모든 작업에서 최상의 성능을 보였습니다.
  • 오픈 가중치 모델 중 Qwen2.5:32b가 모든 작업에서 95% 이상의 높은 성공률 (Task 1~3) 을 기록하며 GPT-4.1 과 유사한 성능을 입증했습니다.
  • 반면, Llama3.1 시리즈나 Mistral 일부 모델은 특정 작업 (카드 조회, 결제 처리) 에서 50% 미만의 낮은 성공률을 보이며 워크플로우가 초기 단계 (CPA 또는 Supervisor) 에서 멈추는 경향을 보였습니다.
• 에이전트 핸드오프 성능 (F1-Score):
  • GPT-4.1 과 Qwen2.5:32b 는 관련 없는 입력 (Task 4) 을 CPA 단계에서 정확히 거절하여 높은 F1 점수를 기록했습니다.
  • Llama3.1 모델들은 관련 없는 입력을 거절하지 않고 불필요하게 Supervisor 로 전달하는 오류가 빈번하여 F1 점수가 낮았습니다.
• 비교 분석: 기존 연구 (LLMPA 등) 는 전체 결제 처리 (Full Payment Processing) 를 지원하지 못했으나, 제안된 HMASP 는 전체 결제 처리를 지원하며 높은 성공률과 정밀도/재현율을 달성했습니다.

5. 의의 및 결론 (Significance)

• 첫 번째 엔드투엔드 에이전트 결제 시스템: LLM 기반 다중 에이전트 시스템이 결제 도메인에서 엔드투엔드 워크플로우를 구현한 최초의 사례로, 해당 분야의 새로운 기준을 제시했습니다.
• 보안과 자동화의 균형: LLM 의 환각 위험을 최소화하면서도 (결정론적 실행, 인간 개입), 민감한 결제 데이터를 보호하는 아키텍처를 설계하여 실제 적용 가능성을 높였습니다.
• 미래 방향: 현재 데이터셋의 크기와 복잡성 한계를 극복하기 위해 더 큰 규모의 데이터셋을 통한 검증, 에이전트 결제에 특화된 보안 가드레일 개발, 그리고 민감 정보의 안전한 토큰화 연구가 향후 과제로 제시되었습니다.

이 연구는 AI 에이전트가 단순한 정보 제공을 넘어, 실제 금융 거래와 같은 고위험 업무까지 자동화할 수 있는 기술적 토대를 마련했다는 점에서 의의가 큽니다.