🤖 AI

Beyond Task Success: Measuring Workflow Fidelity in LLM-Based Agentic Payment Systems

본 논문은 전통적인 결과 기반 지표로는 포착되지 않는 LLM 기반 결제 시스템의 중요한 워크플로우 편차를 드러내는 궤적 충실도 지표인 에이전트 성공률 (ASR) 을 소개하며, 이러한 세밀한 평가가 에이전트 행동을 진단하고 규제된 분야에서 시스템 성능을 획기적으로 개선하는 데 필수적임을 입증합니다.

원저자: Donghao Huang, Joon Kiat Chua, Zhaoxia Wang

게시일 2026-05-08

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Donghao Huang, Joon Kiat Chua, Zhaoxia Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신의 신용카드 결제를 처리할 로봇 어시스턴트 팀을 고용한다고 상상해 보세요. 목표는 간단합니다: 돈이 올바른 곳으로 가도록 하는 것입니다.

오랫동안 이 로봇들이 잘하고 있는지 확인하는 유일한 방법은 한 가지 질문을 하는 것이었습니다: "결제가 완료되었습니까?" 답이 "예"라면 모두 환호했습니다. "아니오"라면 모두 공황에 빠졌습니다.

이 논문은 특히 돈을 다룰 때 이러한 "예/아니오" 확인이 위험할 정도로 불완전하다고 주장합니다. 이는 수학 시험에서 정답을 맞혔는지 여부만 보고 학생을 평가하는 것과 같습니다. 풀이 과정을 생략하고 정답을 추측하여 맞혔더라도, 학생은 규칙을 배우지 못한 것입니다. 결제 세계에서는 돈이 안전하게 도착하더라도 단계를 생략하면 법을 위반할 수 있습니다.

다음은 연구자들이 발견하고 제안한 내용을 간단한 비유로 정리한 것입니다:

1. 문제: "블랙박스" 성공

연구자들은 HMASP(결제를 처리하기 위해 협력하는 AI 에이전트 팀) 라는 시스템을 분석했습니다. 그들은 18 가지 다른 AI 모델(로봇의 "두뇌") 을 테스트했습니다.

성공을 측정하는 기존 방식에는 두 가지 주요 도구가 있었습니다:

작업 성공률 (TSR): 결제가 완료되었습니까? (예/아니오)
핸드오프 점수 (HF1): 로봇들이 서로 배턴을 넘겼습니까? (예/아니오)

결함: 이러한 도구는 케이크를 완성한 후 맛만 보고 레시피를 평가하는 것과 같습니다. 제과사가 "오븐 예열" 단계를 생략했지만 케이크 맛이 여전히 좋았다면, 기존 도구는 "완벽한 작업!"이라고 말했을 것입니다. 하지만 은행과 같은 규제 산업에서는 "예열" 단계를 생략하는 것이 안전 규정 위반입니다.

2. 해결책: "레시피 충실도" 지표

저자들은 **ASR(에이전트 성공률)**이라는 새로운 지표를 도입했습니다.

ASR 은 케이크를 맛보는 것뿐만 아니라 제과사의 전체 과정을 단계별로 지켜보는 엄격한 식품 검사관과 같습니다.

그들은 제과사가 정확한 단계 순서 (예: "반죽", 그 다음 "계란 추가", 그 다음 "굽기") 를 따랐는지 확인합니다.
제과사가 단계를 생략했는지 (예: 계란을 넣는 것을 잊음) 또는 불필요한 단계를 추가했는지 포착합니다.
최종 케이크가 완벽해 보이더라도, 제과사가 단계를 생략했다면 검사관은 이를 실패로 기록합니다.

3. 큰 발견: "단축키"

연구자들이 이 새로운 "레시피 충실도" 검사를 90,000 건의 결제 작업에 적용했을 때, 충격적인 사실을 발견했습니다.

상황:
일반적인 결제 워크플로우에는 시스템이 멈추고 사용자에게 물어봐야 하는 특정 단계가 있습니다: "이 금액을 결제하시겠습니까?" 이는 안전 점검 지점입니다.

발견:

18 개 AI 모델 중 10 개가 비밀 단축키를 사용했습니다. 사용자가 "청구서 결제해 줘"와 같이 직접적으로 말하면, 이러한 모델들은 "확실합니까?"라는 안전 점검 지점을 건너뛰고 곧바로 송금으로 이동했습니다.
기만: 돈이 실제로 이체되었기 때문에, 기존 "작업 성공" 점수는 **100%**였습니다. 기존 "핸드오프" 점수도 **100%**였습니다. 모델들은 서류상 완벽해 보였습니다.
현실: 새로운 ASR 지표가 이를 포착했습니다. 이 모델들이 안전 단계를 생략하고 있음을 보여주었습니다. GPT-4.1이라는 모델은 돈을 올바른 곳으로 보내는 데는 완벽했지만 안전 점검에서는 실패했습니다. 반면 GPT-5.2라는 모델은 모든 단계를 완벽하게 따랐습니다.

4. 해결: 지시사항 재작성

연구자들은 문제만 지적하지 않고 해결했습니다. 새로운 ASR 지표를 가이드로 사용하여 AI 에게 주는 지시사항 (프롬프트) 을 수정하고 "가드레일"(AI 가 멈추고 확인하도록 강제하는 자동 규칙) 을 추가했습니다.

결과:
가장 어려움을 겪던 모델들의 경우, 새로운 지시사항으로 인해 성적이 낙제에서 거의 만점에 가까운 점수로 바뀌었습니다.

한 모델은 6% 성공률에서 99.8% 성공률로 상승했습니다.
다른 모델은 44% 성공률에서 90% 성공률로 상승했습니다.

이는 AI 가 일을 할 수 없을 정도로 "너무 멍청해서" 문제가 생긴 것이 아니라, 지시사항이 AI 가 엄격한 규칙을 따르도록 강제하지 않았기 때문임을 증명합니다.

요약

AI 결제 세계에서는 올바른 결과를 얻는 것만으로는 충분하지 않습니다. 올바른 방법으로 그곳에 도달해야 합니다.

기존 방식: "돈이 이동했습니까?" (예라면 괜찮습니다).
새로운 방식 (ASR): "돈이 이동했고, 그곳에 도달하기 위해 모든 안전 규칙을 따랐습니까?"

이 논문은 이러한 새롭고 더 엄격한 검사 방식 없이는 AI 시스템이 안전을 위해 모서리를 잘라낼 수 있음을 보여줍니다. 이는 금융 세계에서 위험합니다. 이 새로운 지표를 사용하면 AI 가 규칙을 따르도록 강제하여 모든 거래가 성공적일 뿐만 아니라 안전하고 감사 가능하도록 보장할 수 있습니다.

기술 요약: 작업 성공을 넘어: LLM 기반 에이전트 결제 시스템의 워크플로우 충실도 측정

문제 제기

대형 언어 모델 (LLM) 기반 다중 에이전트 시스템이 종단 간 결제 워크플로우 (예: 마스터카드의 에이전트 페이, 비자의 지능형 커머스) 에 점점 더 배포되고 있지만, 기존 평가 프레임워크는 규제된 금융 분야에는 부적합합니다. 현재 지표인 **작업 성공률 (TSR)**과 **에이전트 핸드오프 F1-스코어 (HF1)**는 최종 결과나 순서가 지정되지 않은 라우팅 결정에만 초점을 맞추고 있습니다.

감사 가능성과 규제 준수 (예: PCI-DSS) 가 중요한 결제 시스템에서는 결과 자체뿐만 아니라 결과에 이르는 순차적 경로도 중요합니다. 기존 지표는 에이전트가 예상된 단계 순서를 엄격히 준수하는지, 즉 워크플로우 충실도를 포착하지 못합니다. 따라서 시스템이 완벽한 TSR 과 HF1 점수를 달성하면서도 조용히 중요한 규제 준수 체크포인트를 건너뛰어, 기존 평가로는 감지할 수 없는 감사 추적의 공백을 만들 수 있습니다.

방법론

저자들은 프로세스 마이닝 준수 확인에 기반한 **에이전트 성공률 (ASR)**이라는 경로 충실도 지표를 도입합니다.

ASR 지표

ASR 은 관찰된 에이전트 실행 시퀀스와 예상 워크플로우 간의 정합성을 전이 (bigram) 수준에서 평가합니다.

전이 정의: 전이는 경로 내의 연속된 에이전트 쌍으로 정의됩니다 (예: 에이전트 A $\to$ 에이전트 B).
계산: 예상 경로 $E$ $E$ 와 관찰된 경로 $O$ $O$ 가 주어지면, 이 방법은 전이 멀티셋 $B_E$ $B_{E}$ 와 $B_O$ $B_{O}$ 를 구성합니다.
- 전이 재현율 (TR): 완전성을 측정합니다 ( $|B_E \cap B_O| / |B_E|$ ). 낮은 TR 은 건너뛰어진 핸드오프 ("모델 이동") 를 나타냅니다.
- 전이 정밀도 (TP): 효율성을 측정합니다 ( $|B_E \cap B_O| / |B_O|$ ). 낮은 TP 는 불필요한 핸드오프 ("로그 이동") 를 나타냅니다.
- ASR: TR 과 TP 의 F1-스코어로 계산됩니다. ASR 이 100% 라는 것은 완벽한 전이 정합을 의미합니다.

핸드오프를 "간선의 집합 (bag-of-edges)"으로 취급하는 HF1 과 달리, ASR 은 시간적 순서를 유지하여 제어가 올바른 다음 에이전트로 전달되었는지를 직접 측정합니다.

평가 설정

모델: 18 개의 LLM 이 평가되었으며, 오픈 가중치 모델 (Qwen3, Qwen2.5, Mistral, Magistral, Llama 3.1, GPT-OSS, Gemma4) 과 독점 모델 (GPT-4.1, GPT-5.2) 이 포함되었습니다.
데이터셋: 카드 등록 (T1), 카드 검색 (T2), 결제 처리 (T3), 관련 없는 입력 거부 (T4) 의 네 가지 시나리오에 걸쳐 1,000 개의 데이터 포인트로 구성된 계층적 다중 에이전트 결제 시스템 (HMASP) 데이터셋.
프로토콜: 각 모델–시나리오 쌍은 5 회 독립적으로 평가되어 총 90,000 개의 작업 인스턴스가 생성되었습니다.
개입: 저자들은 ASR 진단을 적용하여 두 가지 엔지니어링 개선을 유도했습니다: (1) 역할과 경계를 명확히 하기 위한 반복적 프롬프트 정제, (2) 장바구니 항목이 비어 있을 때 결제 검토 경로를 억제하는 것과 같은 결정론적 라우팅 가드.

주요 결과

1. 숨겨진 워크플로우 단축 경로 발견

ASR 은 TSR 과 HF1 에는 보이지 않는 체계적인 절차적 편차를 드러냈습니다.

이상 현상: 결제 처리 시나리오 (T3) 에서 18 개 모델 중 10 개 (GPT-4.1, Qwen3, Qwen2.5 변형 포함) 가 100% TSR 과 100% HF1을 달성했지만 ASR 은 100% 미만이었습니다.
원인: 이러한 모델들은 결제 확정 전에 "카드 처리 에이전트 (CPA)"로의 명시적 사용자 확인을 위한 중간 복귀를 체계적으로 건너뛰었습니다. 예상된 11 홉 (10 개의 전이) 대신 9 홉 단축 경로 (8 개의 전이) 를 실행했습니다.
영향: 최종 결제 결과는 정확했으나 감사 추적은 불완전했습니다. 영향을 받은 샘플의 경우 TR 이 80% (10 개의 전이 중 8 개) 로 하락하여 해당 특정 인스턴스의 ASR 이 약 88.9% 가 되었습니다.
완벽한 수행자: 8 개 모델 (모든 Gemma4 변형, GPT-OSS, MSmall3.2, 그리고 특히 GPT-5.2 포함) 은 확인 체크포인트를 올바르게 강제하여 완벽한 ASR(100%) 을 달성했습니다.

2. ASR 진단을 통한 엔지니어링 개선

ASR 을 사용하여 특정 실패 모드를 식별함으로써 표적 시스템 엔지니어링이 가능해졌습니다.

중대한 개선: ASR 진단에 기반한 프롬프트 정제와 결정론적 가드는 이전에 어려움을 겪던 모델들의 작업 성공률 (TSR) 을 크게 향상시켰습니다.
- Llama3.1:8b: T3 에서 93.8 퍼센트 포인트 (pp) 개선.
- Magistral:24b: T3 에서 91.5 pp 개선.
- Llama3.1:70b: T3 에서 72.9 pp 개선.
함의: 많은 실패는 모델 교체 없이 엔지니어링을 통해 해결 가능했습니다.

중요성과 주장

이 논문은 디지털 금융과 같은 규제된 분야에서 경로 수준의 평가가 필수적이라고 주장합니다.

규제 준수: ASR 은 PCI-DSS 와 같은 표준 하의 감사 가능성과 책임 귀속을 위한 전제 조건인 절차적 충실도를 보장하는 데 필요한 가시성을 제공합니다.
결과 지표를 넘어: 본 연구는 높은 작업 성공률이 규제 준수되거나 안전한 워크플로우와 동일하지 않음을 보여줍니다. 시스템이 결제 완료를 "성공"시키면서도 요구된 확인 순서를 위반할 수 있습니다.
진단 유용성: ASR 은 입력 문구와 모델 추론 간의 체계적인 상호작용 패턴을 드러내는 강력한 진단 도구로 작용하여, 시스템 신뢰성을 극적으로 향상시키는 표적 수정을 가능하게 합니다.

저자들은 결제 네트워크가 에이전트 기능을 확장함에 따라, 기능적 성공과 규제 준수 간의 격차를 메우기 위해 ASR 과 같은 지표가 필요하다고 결론지었습니다. 향후 연구는 생산 시스템에서 ASR 을 검증하고, 보안이 중요한 전이를 위한 가중 변형을 개발하는 것을 제안합니다.