💻 computer science

Adaptive Neural Threshold Networks for SEC Accounting Enforcement Triage

본 연구는 문맥 의존적 임계값을 학습함으로써 회계 집행 검토를 위한 SEC 공시 자료의 우선순위를 정하는 데 있어 로지스틱 회귀보다 뛰어난 성능을 보이는 적응형 신경 임계 네트워크를 제안하는 동시에, 해당 시스템이 법적 증거가 아닌 기밀 분류 보조 도구로서 사용되도록 보장하기 위한 거버넌스 요구사항의 프레임워크를 구축한다.

원저자: Maha Moussa, Sayed Sayed, Khater A. E. Gad, Mahmoud Ibrahim

게시일 2026-09-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Maha Moussa, Sayed Sayed, Khater A. E. Gad, Mahmoud Ibrahim

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매년 수천 개의 미국 상장 기업들이 자신들의 자금, 부채, 그리고 이익에 관한 상세한 보고서를 제출합니다. 이 문서들은 투자자와 규제 기관이 경제 상태를 이해할 수 있도록 돕기 위한 공공 기록입니다. 하지만 이러한 신고 내용을 감시할 책임을 맡은 기관인 증권거래위원회(SEC)는 거대한 문제에 직면해 있습니다. 바로 읽어야 할 보고서가 너무 많다는 것입니다. 이 기관은 공식적인 법적 결정이 내려지기도 전에, 사기나 심각한 회계 오류를 숨기고 있을 법한 파일들을 먼저 조사하기 위해 어떤 몇 개의 파일을 우선적으로 살펴볼지 결정해야 합니다. 이는 제한된 인간의 주의력을 가장 의심스러운 사례로 집중시켜야 하는 분류 작업이자 트리아지(triage, 환자 분류) 과정입니다.

수십 년 동안 규제 기관들은 재무제표에서 경고 신호를 포착하기 위해 인간 전문가들에게 의존해 왔습니다. 그러나 최근 연구자들은 컴퓨터가 이를 도울 수 있을지 의문을 제기했습니다. 그 아이디어는 인간 조사관을 대체하는 것이 아니라, 데이터에서 가장 이례적인 패턴을 강조해 주는 필터 역할을 하게 하는 것입니다. 문제는 사기를 찾아내는 것이 매우 어렵다는 점입니다. 대부분의 기업은 정직하며, 적발되는 기업은 전체의 아주 작은 부분에 불과합니다. 더욱이 범죄의 '증거'는 종종 몇 년이 지나야 나타나기 때문에, 과거 데이터로 학습된 컴퓨터는 아직 완전히 형성되지 않은 패턴을 찾고 있을 수도 있습니다. 질문은 머신러닝 시스템이 정상적인 비즈니스 변화의 소음 속에서 길을 잃지 않고, 문제의 초기 징후를 포착하는 법을 배울 수 있느냐는 것입니다.

한 연구팀이 이 작업을 위해 특별히 설계된 새로운 종류의 컴퓨터 시스템을 개발했습니다. 그들은 특정 기업의 유죄나 무죄를 선언하려고 시도하지 않는 도구를 만들었습니다. 대신, 이 도구는 수천 개의 신고 기간을 순위 매겨 인간 전문가가 더 자세히 살펴봐야 할 대상을 제안하는 우선순위 지정 보조 도구 역할을 합니다. 이 시스템은 14,000개 이상의 서로 다른 기업으로부터 나온 330,000개 이상의 신고 기간을 포함하는 방대한 데이터셋을 통해 테스트되었습니다. 연구진은 2009년부터 2018년까지의 데이터로 시스템을 학습시킨 후, 2021년과 2022년의 가장 최근의 완전한 데이터를 사용하여 테스트했습니다. 목표는 시스템이 나중에 공식적인 집행 조치, 즉 회계 및 감사 집행 발표(AAER)와 연결된 신고들을 올바르게 식별할 수 있는지 확인하는 것이었습니다.

연구진은 자신들의 새로운 시스템인 '적응형 신경망 임계값 네트워크(adaptive neural threshold network)'가 표준 통계 방법보다 더 우수한 성능을 보였다는 것을 발견했습니다. 기존 모델은 상위 10%의 목록을 검토할 때 문제 있는 신고의 약 23.6%를 식별할 수 있었던 반면, 새로운 시스템은 30.9%를 찾아냈습니다. 이 향상이 작아 보일 수 있지만, 실제 문제가 있는 신고가 극히 일부에 불과한 세상에서는, 나쁜 사례를 더 많이 찾아내는 것이 조사관들의 귀중한 시간을 절약해 준다는 의미가 됩니다. 이 시스템은 모든 사람에게 적용되는 단 하나의 경직된 규칙을 사용하는 대신, 특정 시점의 특정 기업에 대해 무엇이 '정상'인지를 학습함으로써 작동합니다. 시스템은 기업의 성장 속도, 부채 규모, 그리고 현금 흐름이 보고된 이익과 일치하는지 등의 요인을 살펴봅니다. 기업의 수치가 그 규모와 산업군에서 기대되는 범위를 너무 벗어나면 시스템은 경고를 보냅니다.

결정적으로, 연구진은 이 시스템이 투명하도록 설계했습니다. 추론 과정이 숨겨진 '블랙박스'처럼 작동하는 많은 현대 인공지능 도구와 달리, 이 시스템은 왜 경고를 보냈는지 정확히 보여줍니다. 시스템은 재고가 매출보다 훨씬 빠르게 증가했다거나, 현금 보유량이 예기치 않게 급감했다는 이유로 특정 기업을 분류했음을 분석가에게 알려줄 수 있습니다. 이를 통해 인간 검토자는 경고를 촉발한 구체적인 회계적 편차를 확인할 수 있습니다. 연구진은 이 점수가 범죄의 증거가 아님을 강조합니다. 그것은 단지 "여기를 먼저 보라"는 신호일 뿐입니다. 높은 점수가 사기를 입증하는 것도 아니며, 낮은 점수가 기업이 안전하다는 것을 입증하는 것도 아닙니다. 이 시스템은 엄격하게 분류를 위한 도구이지, 판결을 위한 도구가 아닙니다.

또한 이 연구는 과거의 데이터를 사용하여 미래의 집행을 예측하는 것의 한계를 강조합니다. 연구진은 법적 조치의 타이밍이 매우 중요하다는 것을 발견했습니다. 만약 신고가 발생한 것과 동일한 해에 일어난 집행 조치를 예측하려고 시도했다면, 시스템은 거의 완전히 실패했을 것입니다. 그러나 3년의 창(window)을 두고 관찰했을 때, 시스템은 훨씬 더 효과적이었습니다. 이는 법적 절차가 느리다는 것을 시사합니다. 재무 보고서에 나타난 문제의 징후는 종가 공식적인 조사로 이어지기까지 종종 몇 년이 걸립니다. 시스템은 이러한 장기적인 패턴을 인식하는 법을 배웠지만, 연구진은 이것이 규제 기관이 과거에 추구하기로 선택했던 것에 의해 편향된 집행 기록으로부터 학습하고 있다는 점을 경고합니다.

궁극적으로, 이 논문은 이 기술이 규제 기관이 산더미 같은 서류를 분류하는 방식에 실질적인 개선을 제공할 수는 있지만, 인간의 판단을 대체할 수는 없다고 결론짓습니다. 이 시스템은 시간이나 자원의 부족으로 인해 가장 의심스러운 사례를 놓치지 않도록 보장하는 방법으로 보는 것이 가장 적절합니다. 연구진은 이러한 도구가 현실 세계에서 어떻게 사용되어야 하는지에 대한 엄격한 규칙을 제안합니다. 그들은 점수가 반드시 비밀로 유지되어야 하며, 인간 전문가가 조치를 취하기 전에 항상 결과를 검증해야 하고, 시스템이 특정 유형의 기업을 불공정하게 표적으로 삼지 않도록 지속적으로 모니터링되어야 한다고 주장합니다. 목표는 법을 자동화하는 것이 아니라, 법을 집행하는 사람들에게 어디서부터 여정을 시작해야 할지에 대한 더 나은 지도를 제공하는 것입니다.

기술 요약: SEC 회계 집행 트리아지(Triage)를 위한 적응형 신경 임계값 네트워크

문제 정의
미국 증권거래위원회(SEC)와 같은 공공 집행 기관은 규제 대상 금융 공시(10-K 및 10-Q 보고서)의 양이 심층 조사를 위한 역량을 초과하는 "트리아지 문제(triage problem)"에 직면해 있다. 머신러닝이 우선순위 결정에 도움을 줄 수 있지만, 공공 행정에 예측 점수를 적용하는 것은 독특한 법적 및 실증적 과제를 수반한다. 구체적으로, 집행 라벨(회계 및 감사 집행 공고, 즉 AAER)은 선택적이고, 지연되며, 법적으로 모호하다. 이는 근본적인 행위와 기관의 재량적 탐지 및 조사 과정의 결합을 반영한다. 또한, 표준 분류 지표는 모델의 출력이 법적 사기나 책임의 결정이 아니라 우선순위 지정 보조 도구라는 제도적 현실을 포착하는 데 실패하는 경우가 많다. 핵심 과제는 신고 기간을 검토 대상으로 순위화하면서도, 행정적 트리아지와 판결 사이의 구분을 존중하고, 시스템이 해석 가능하며, 검토 가능하고, 법적 경계 내에 머물도록 하는 시스템을 개발하는 것이다.

방법론
본 연구는 발행인 수준의 미래 AAER 연관성을 기준으로 SEC 공시 기간의 순위를 매기도록 설계된, 법률 인지적이고 해석 가능한 신경 시스템을 구축한다.

데이터 및 결과 구성:
- 패널: 데이터셋은 2009~2023 회계연도 동안의 SEC 재무제표 데이터 세트(XBRL 공시)에서 추출된 14,047개 고유 기업의 331,388개 관측치로 구성된다.
- 라벨링: 타겟 변수는 향후 3년 간의 AAER 연관성이다. AAER를 발행인과 연결하기 위해 엄격한 2단계 검토 프로세스를 적용하였으며, 개인 전용, 감사인 전용 또는 모호한 매칭은 제외하였다. 이를 통해 초기 후보 양성 사례 2,889개를 검토된 발행인 수준의 연결 904개로 축소하였다.
- 시계열 분할: 모델은 FY2009–2018 데이터를 학습시키고, FY2019–2020 데이터로 검증하며, 3년 추적 창이 완료된 "성숙한" 테스트 세트(FY2021–2022)에서 평가한다. FY2023은 불완전한 추적 관계로 인해 기술적(descriptive) 용도로만 취급한다.
- 특징량(Features): 모델은 표준 재무 비율, 전년 대비 변화량, Beneish 스타일 지수(예: DSRI, GMI, AQI)를 포함한 125개의 예측 변수를 활용하며, 이들은 학습 세트의 통계치를 사용하여 표준화 및 결측치 처리가 된다.
모델 아키텍처 (적응형 신경 임계값):
- "DeepCut" 아키텍처에서 영감을 얻은 제안 모델은 임계 변수(예: 발생액, 레버리지, 손실 상태)와 맥락 변수(예: 기업 규모, 산업, 공시 유형)를 분리한다.
- 2계층 신경망은 각 임계 변수에 대해 맥락 의존적인 하한( $c^L_{ij}$ ) 및 상한( $c^H_{ij}$ ) 임계값을 생성한다.
- 모델은 "초과(exceedance)" 항을 계산한다: 관측값이 맥락 특화적 하한 또는 상한으로부터 벗어난 정도. 이러한 비음수 초과값들은 가중치가 부여되어 합산된 후 리스크 로짓(risk logit)을 생성한다.
- 해석 가능성: 아키텍처는 불투명한 은닉 표현 대신 특정 회계적 편차(예: "현금 약화" 또는 "비정상적인 매출채권 증가") 형태의 설명을 생성하도록 설계되었다.
평가 및 거버넌스 프레임워크:
- 지표: 성능은 ROC-AUC, PR-AUC, 그리고 고정된 검토 예산(2%, 5%, 10%)에서의 재현율(recall)을 사용하여 평가된다.
- 추론: 기업 내 상관관계를 고려하기 위해 1,000회 반복되는 발행인 클러스터링 부트스트랩을 통해 불확실성을 추정한다.
- 거버넌스: 본 연구는 "목적 제한"(점수는 우선순위 지정만을 위함)을 강조하는 배포 프레임워크, 독립적인 인간의 판단, 감사 로그, 그리고 점수가 사실상의 혐의(allegation)가 되는 것을 방지하는 메커니즘을 도출한다.

주요 결과

성性能: 적응형 신경 임계값 모델(DeepCut)은 성숙한 테스트 세트에서 0.7569의 ROC-AUC와 0.01244의 PR-AUC를 달 기록했다. 이는 로지스틱 회귀(ROC-AUC 0.6837, PR-AUC 0.00709) 및 여러 트리 기반 앙상블 방법들을 능가했다.
통계적 유의성: 쌍을 이룬 발행인 클러스터링 부트스트랩 결과, 전역적 순위 지정에서 통계적으로 유의미한 개선(ROC-AUC 차이 0.0733; 95% CI: 0.0224–0.1265; $p=0.012$ )이 나타났다. 그러나 PR-AUC 및 특정 고정 예산(예: 5% 및 10%)에서의 재현율 차이는 통계적으로 해결되지 않았거나 불확실한 상태로 남았다.
예산 대비 재현율: 10% 검토 예산에서 적응형 모델은 양성 사례의 **30.9%**를 포착한 반면, 로지스틱 회귀는 23.6%를 포착했다. 5% 예산에서는 두 모델 모두 17.9%를 포착했다.
절제 실험(Ablation) 및 안정성:
- 맥락 적응(기업 규모/산업에 따라 임계값을 학습)은 고정된 전역 임계값에 비해 성능을 향 향상시켰다.
- 그러나 "맥락 전용" 신경망(임계층이 없는 경우)은 전체 적응형 모델과 유사한 성능을 보였는데, 이는 임계층의 주요 가치가 고유한 예측력보다는 구조화된 설명 인터페이스에 있음을 시사한다.
- 모델은 5개의 무작위 시드에 대해 안정성을 입증했다.
라벨 시계열 민감도: 연구 결과, 당해 연도 AAER 라벨은 거의 예측력이 없었으며(ROC-AUC ~0.50), 예측 성능은 1년, 2년, 3년의 시계열이 길어질수록 유의미하게 증가했다. 이는 법적 집행이 보고 기간과 시간적으로 불일치함을 강조한다.

의의 및 주장
본 논문은 자신의 기여를 해결된 사기 탐지 문제가 아니라, 행정적 트리아지를 위한 겸손한 수준의 해석 가능한 순위 신호로 위치시킨다.

법률-AI 기여: 본 연구는 판결 단계와 구별되는 "사전 결정적(pre-decisional)" 행정 단계를 다룬다. 예측 시스템은 단순히 정확성뿐만 아니라, 선택적 라벨, 지연된 결과, 그리고 우선순위 점수를 혐의로 전환할 위험을 어떻게 처리하는지에 따라 평가되어야 한다고 주장한다.
라벨 구축으로서의 설계: 본 연구는 결과 변수(발행인-AAER 연결)의 구축을 중요한 법적-제도적 설계 문제로 취급한다. AAER를 엄격하게 필터링(비발행인 매칭 제거)함으로써 "더 어렵지만 더 방어 가능한" 과업을 생성하였으며, 이는 데이터 정제가 이 영역에서는 단순한 통계적 작업이 아닌 법적 필수 사항임을 강조한다.
거버넌스 및 검토 가능성: 본 논문은 목적 제한, 독립적 인간 권한, 감사 추적, 드리프트 모니터링을 포함한 구체적인 거버넌스 요구 사항을 도출한다. 저자들은 이 문맥에서의 "해석 가능성"이 법적 집행의 이유를 제공하는 것이 아니라, 인간의 검토를 지원하기 위해 (예: 특정 회계적 초과 현상과 같은) 진단적 설명을 제공하는 것임을 명시한다.
겸손한 기술적 주장: 저자들은 시스템이 기밀 전문가 검토를 위해 우선순위를 정하는 데 적합한 "중등도의 순위 가치"를 달성한다고 명시적으로 밝힌다. 이 점수가 책임, 의도 또는 중요성을 확립할 수 없음을 경고하며, 놓친 양성(false negatives)은 시스템의 제한된 역량에 따른 필연적인 결과임을 명시한다. 결론적으로, 적응형 모델이 전역적 변별력을 높이기는 하지만 특정 운영 능력(예: 고정된 검토 예산)에서의 우월성은 여전히 불확실하며, 자동화 편향과 피드백 루프를 방지하기 위해 엄격한 안전장치와 함께 배치되어야 한다고 주장한다.

유사한 논문