Audit Detection Risk Reduction Using Machine Learning: Evidence from 3.3 million Transactions
이 연구는 몽골 에너지 공기업의 330만 건의 실제 거래 데이터를 바탕으로 비지도 및 지도 학습 모델을 활용함으로써 기존 방식에 비해 감사 탐지 위험과 처리 시간을 유의미하게 감소시키는 4계층 머신러닝 프레임워크를 도입 및 검증하는 동시에, 벤포드의 법칙(Benford's Law) 이상치에서 나타나는 새로운 '집계 마스킹 효과(aggregation masking effect)'를 밝혀낸다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신이 수백만 권의 책(거래 내역)이 있는 거대한 도서관 속에 숨어 있는 몇 명의 영악한 도둑들을 찾아내려는 탐정이라고 상상해 보십시오. 과거에 감사인들은 **금액 단위 샘플링(Monetary Unit Sampling, MUS)**이라는 방법으로 "도둑 찾기" 게임을 했습니다. 이것은 마치 감사인이 가장 크고 무거운 책들만 조사하는 것과 같습니다. 왜냐하면 그들은 가장 큰 책들이 나쁜 것들을 숨기고 있을 가능성이 높다고 가정하기 때문입니다. 그들은 검사할 책의 약 **20%**를 선택했습니다.
문제는 이 오래된 방식에 거대한 공백이 있었다는 점입니다. 연구에 따르면, "무거운" 책들만 확인했기 때문에 이 구식 방법은 도둑을 38%에서 52% 확률로 놓쳤습니다. 이는 마치 도둑들이 더 가볍고 작은 책들 속에 숨어 있지 않을 것이라고 희망하며 도서관의 절반을 조사하지 않은 채 방치한 것과 같았습니다.
새로운 슈퍼 스캐너
연구진은 단순히 무거운 책들뿐만 아니라 도서관의 모든 책을 확인하기 위해 머신러닝을 사용한 네 층 구조의 "슈퍼 스캐너"를 구축했습니다. 그들은 (보통 AI의 문제점이 되는) 학습을 위한 알려진 도둑 목록을 가지고 있지 않았습니다. 대신, 세 가지 서로 다른 탐지 도구가 협력하여 스스로 "이상함"을 찾아내도록 스캐너를 가르쳤습니다:
- 고립 포레스트(Isolation Forest): 군중 속에서 눈에 띄게 튀는 항목을 찾아내는 도구입니다.
- Z-점수(Z-score): 숫자가 평균에서 얼마나 멀리 떨어져 있는지 측정하는 자입니다.
- 차변-대변 비율(Debit-Credit Ratio): 들어오는 돈과 나가는 돈이 일치하는지 확인하는 저울입니다.
만약 이 도구들이 특정 계정이 의심스럽다는 데 동의하면, 시스템은 이를 플래그(flag)로 표시했습니다. 그 후, "교사"(Random Forest와 같은 지도 학습 모델)는 이 플래그를 통해 문제를 포착하는 법을 배우며 더욱 정교해졌습니다.
결과: 거대한 도약
연구진이 몽골의 한 에너지 기업으로부터 얻은 3,329,189건의 거래를 대상으로 이 새로운 스캐너를 기존의 "20% 검사" 방식과 비교 테스트했을 때, 결과는 놀라웠습니다:
- 속도: 기존 방식은 인간이 이 작업을 수행하는 데 310~357시간이 걸렸습니다. 새로운 스캐너는 단 4.5시간 만에 끝냈습니다. 이는 **98.7%**의 시간 단축입니다!
- 정확도: 기존 방식의 "탐지 위험"(도둑을 놓칠 확률)은 **38.05% ~ 52.7%**였습니다. 새로운 Random Forest 모델은 이 위험을 단 **2.01%**로 낮추었습니다.
- "놓친 비율": 맥니머 검정(McNemar's test)이라는 통계적 테스트에서, 기존 방식이 잡아낸 계정 하나당, 새로운 모델은 기존 방식이 완전히 무시했던 계정을 107개나 더 잡아냈습니다.
이 모델은 매우 뛰어난 성능을 보여주, 한 번도 본 적 없는 새로운 해의 데이터(FY2025)로 테스트했을 때도 0.955라는 정확도(F1)를 기록했습니다. 또한 다른 산업 분야에 적용했을 때도 어느 정도 잘 작동했지만, 학습 데이터에서 가장 최고의 성능을 보였습니다.
"마법의 기술"인 집계(Aggregation)
이 논문에서 저자들이 **"집계 마스킹 효과(Aggregation Masking Effect)"**라고 부르는 매우 흥istic한 발견 중 하나가 있습니다.
구슬 주머니를 상상해 보십시오. 각 구슬을 개별적으로 본다면, 구슬에 그려진 숫자들이 이상한 패턴(숫자가 자연스럽게 나타나는 방식을 예측하는 벤포드의 법칙(Benford's Law) 위반)을 따르고 있다는 것을 알 수 있습니다. 하지만 이 구슬들을 모두 으깨어 하나의 거대하고 매끄러운 찰흙 공으로 만든다면(계정 합계로 집계한다면), 그 이상한 패턴은 사라집니다! 숫자는 완벽하게 정상적으로 보입니다.
연구에 따르면, 330만 개의 개별 거래를 살펴보았을 때는 숫자들이 수상할 정도로 이상했지만(p < 0.05), 9,909개의 계정 요약본(찰흙 공)을 보았을 때는 이상함이 사라졌고 숫자는 완벽하게 정상적으로 보였습니다(MAD < 0.006).
이는 계정 합계(찰흙 공)만을 확인하는 표준 감사 소프트웨어가 개별 구슬(거래 내로) 속에 숨겨진 사기를 놓치고 있음을 의미합니다. 논문은 모든 것을 잡기 위해 감사인이 두 수준을 모두 확인해야 한다고 제안합니다.
감사인들이 실제로 이 기술을 좋아하는 이유
보통 AI는 "문제를 발견했습니다, 저를 믿으세요"라고 말하는 블랙박스입니다. 하지만 이 시스템은 자신의 발견을 감사인이 이미 사용하는 언어(국제감사기준, ISA)로 번역하는 특별한 층을 포함하고 있습니다. "특성 X가 높다"라고 말하는 대신, "이 계정은 전년 대비 잔액이 847% 급증하여 ISA 520의 규칙을 위반했기 때문에 플래그가 지정되었습니다"라고 설명합니다.
국가감사원(National Audit Office)의 실제 감사인들이 이 설명들을 검토했을 때, **94%**가 내용을 수정할 필요 없이 공식 보고서에 그대로 사용할 준비가 되었다고 답했습니다.
이것이 아닌 것 (한계점)
논문은 이 기술이 아직 모든 상황에 적용되는 마법 지팡이가 아님을 분명히 하고 있습니다.
- 이 모델은 하나의 특정 몽골 에너지 기업을 대상으로 테스트되었습니다. 다른 산업 분야에서도 테스트했을 때 잘 작동하긴 했지만, 저자들은 이 모델이 보편적인 해결책이 될 수 있는지 판단하기 위해 더 많은 유형의 조직에서 검증될 필요가 있다고 말합니다.
- 이 모델은 구조화된 숫자(예: 스프레드시트)만 다룹니다. 아직은 지저精한 손글씨 메모, PDF 계약서, 또는 이야기를 읽을 수 없습니다.
- "실제 정답(Ground Truth, 누가 도둑인지 확실히 아는 것)"은 FY2023 및 FY2024의 공식 감사 보고서로부터 왔습니다. 모델은 이를 바탕으로 검증되었지만, 저자들은 다양한 국가와 회계 방식에 걸친 더 많은 테스트가 필요하다고 언급했습니다.
결-론
연구진은 수백만 건의 거래를 몇 분 만에 스캔하여, 기존의 "큰 책을 확인하는" 방식이 놓치는 사기 위험을 19배 더 자주 찾아낼 수 있는 무료 오픈 소스 도구인 Audit AI v10.0을 구축했습니다. 이는 모든 것을 샘플링하는 대신 '전부'를 확인하고, 데이터가 큰 요약본으로 매끄럽게 변하기 전의 미세한 디테일을 살펴봄으로써, 훨씬 더 빠르고 높은 확신을 가지고 범인을 잡을 수 있음을 증명합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.