Financial Audit Assistance using Misinformation Detection and Explanation

기술 요약: 오정보 탐지 및 설명을 활용한 재무 감사 지원

문제 정의
재무 감사(Financial auditing)는 대차대조표(BS), 손익계산서(IS), 현금흐름표(CS)를 포함한 공시 재무제표(FS)의 무결성, 정확성 및 공정성을 보장하기 위한 복잡하고 지식 집약적인 분야이다. 그러나 기업들은 종종 재무 상태를 왜곡하기 위해(예: 세금 부채를 줄이거나 투자자 신뢰를 높이기 위해) 정보를 은폐, 누락 또는 조작할 유인을 가진다. 전통적인 감사는 수동적인 증거 수집과 깊은 도메인 전문 지식에 크게 의존하며, 이는 과정을 시간 소모적이고 주관적으로 만든다. 더욱이, 특정 재무제표에 오정보가 포함되어 있는지 여부를 나타내는 실제 정답(ground-truth) 라벨은 거의 존재하지 않으므로, 표준적인 지도 학습(supervised learning) 접근 방식을 적용하기 어렵다. 본 논문은 재무제표에서 오정보 사례를 자동으로 탐지하고, 탐지된 이상 징후에 대해 인간이 이해할 수 있는 설명을 생성하여 감사인을 지원할 수 있는 AI 지원 시스템의 필요성을 다룬다.

방법론
제안된 접근 방식은 비지도 학습 기술과 자연어 처리(NLP)를 통합하여 확장 가능한 감사 지원 시스템을 구축한다. 방법론은 세 가지 주요 단계로 구성된다:

1. 데이터 준비 및 실버 라벨링(Silver Labeling):

   • 데이터셋: 시스템은 5년(2010~2014년) 동안 2,292개 인도 상장 기업으로부터 추출한 총 11,460개의 레코드를 포함하는 반구조화된 재무제표 대규모 코퍼스를 활용한다. 각 레코드에는 42개의 재무 변수(BS, IS, CS에서 추출)와 22개의 재무 비율이 포함된다.
   • 실버 라벨 생성: 오정보에 대한 실제 정답 라벨을 사용할 수 없으므로, 저자들은 관련 감사 보고서를 분석하여 "실버 라벨"을 생성한다. 이들은 T5 기반 인코더-디코더 모델과 MISTRAL-7B-Instruct 대규모 언어 모델(LLM) 두 가지 모델을 사용하여 감사 보고서의 문장을 "부정적 의견(Adverse Remarks)"(잠재적 불일치 또는 부정 가능성을 나타냄) 또는 "해당 없음(NA)"으로 분류한다.
   • 라벨링 로직: 특정 기업-연도 튜플이 T5와 MISTRAL 모델 모두에 의해 "부정적 의견"으로 분류된 문장을 최소 2개 이상 포함하는 경우 "MISINFO" 라벨이 부여된다. 이 과정의 결과, 약 19.8%의 레코드가 오정보를 포함하는 것으로 라벨링되었다.

2. 오정보 탐지 (비지도 학습 기술):

   • 이상 탐지 (Anomaly Detection, AD): 저자들은 PyOD 패키지에 구현된 17가지 비지도 이상 탐지 알고리즘(COF, LOF, iForest, Mahalanobis distance 등 포함)을 적용한다. 앙상블 방법론을 통해 가장 많은 알고리즘에 의해 이상 징후로 지목된 상위 20개 기업을 선정한다.
   • 단계별 회귀 (Step-wise Regression): 시스템은 다른 상관관계가 있는 변수들을 기반으로 "취약한" 재무 변수(예: 부채)를 예측하기 위해 회귀 모델(OLS, Lasso, Ridge, SVR, Random Forest)을 구축한다. 제곱 예측 오차가 가장 높은 기업들이 의심스러운 기업으로 분류된다. 서포트 벡터 회귀(SVR) 모델이 이 범주에서 가장 높은 정밀도를 보였다.

3. 설명 생성:

   • 목적: 기업이 이상 징후로 분류된 데 책임을 지는 구체적인 재무 변수를 식별한다.
   • 실버 표준 설명 (Silver Standard Explanations): 수동 검증 대신, 저자들은 감사 보고서의 "부정적 의견" 문장을 재무 변수에 매핑함으로써 "실버 표준" 설명을 구축한다. 이는 문장에 XBRL(eXtensible Business Reporting Language) 카테고리를 할당하고, 이 카테고리를 42개의 재무 변수에 매핑하는 과정을 포함한다.
   • 알고리즘: 세 가지 설명 생성 방법이 실버 표준에 대해 평가된다:
     • EMD (Mahalanobis Distance를 이용한 설명): 이상치의 순위 차이가 통계적 임계값을 초과하는 특징(feature)의 하위 집합을 식별한다.
     • EiForest (iForest를 이용한 설명): Isolation Forest 트리의 경로 기반 특징을 사용하여 변수의 기여도를 식별한다.
     • EMI (Maximal Isolation을 이용한 설명): 데이터셋의 나머지 부분으로부터 이상치를 최대한 고립시키는 조건들의 결합을 찾기 위해 정수 선형 계획법(ILP) 과제로 문제를 공식화한다.
   • 감사 제언: 시스템은 식별된 설명 변수를 과거 감사 보고서의 특정 부정적 의견 문장에 다시 매핑하여, 실행 가능한 감사 제언(예: "미납 세금에 대한 충당금이 설정되었는지 확인")으로 변환한다.

주요 기여
본 논문은 이전 연구(특히 Shinde et al., 2022; Vaishampayan et al., 2022; Pawar et al., 2023)와 비교하여 다음과 같은 몇 가지 새로운 기여를 주장한다:

1. 규모 및 범위: 데이터셋이 훨씬 크며(이전 연구의 단일 연도 데이터와 달리 5년간 11,460개 레코드), 대차대조표뿐만 아니라 손익계산서(IS)와 현금흐름표(CS)를 통합한다.
2. 확장된 변수: 손익계산서 및 현금흐름표의 추가적인 재무 변수를 포함함으로써 탐지 효과를 높였다.
3. 자동 실버 라벨링: 소규모의 수동 라벨링된 부분 집합을 대체하기 위해, 전체 데이터셋에 대해 실버 라벨을 자동으로 생성하는 두 가지 전략(LLM 및 T5 분류기 사용)을 제안한다.
4. 개선된 분류 모델: 감사 보고서의 문장 분류를 위해 T5 인코더-디코더 모델을 사용하여 분류 라벨과 설명을 모두 제공하며, 이는 기존의 Attn-BERT 모델보다 우수한 성능을 보인다.
5. 자동 설명 생성: XBRL 매핑을 사용하여 실버 표준 설명을 자동으로 생성하는 방법을 도입함으로써, 이전 연구에서 요구되었던 수동 노력을 제거하였다.
6. 엔드 투 엔드 자동화: 이러한 구성 요소들을 통합하여 제언 생성 과정에서의 수동 노동을 제거하고 효율성, 확장성 및 객관성을 목표로 하는 시스템을 구축한다.

결과

• 탐지 성능: 이상 탐지에서, Connectivity-Based Outlier Factor (COF) 알고리즘이 2014년 기준으로 가장 높은 Precision@20 (0.60)을 달 기록했으며, Local Outlier Factor (LOF)는 5개년 전체에서 가장 높은 평균 정밀도(0.56)를 보였다. 회귀 모델 중에서는 SVR 기반 모델이 가장 높은 평균 Precision@20 (특정 모델의 경우 최대 0.83)을 달성했다.
• 설명 성능: EiForest 알고리즘이 실버 표준 정답 설명과 비교했을 때 가장 높은 평균 정밀도(0.25), 재현율(0.27) 및 F1-score(0.24)를 보였다. EMI 알고리즘은 평균 정밀도 0.21을 기록했다. 저자들은 변수의 복잡성과 개수(이전 연구의 18개 대비 42개)를 고려할 때, 이러한 수치가 낮아 보일 수 있으나 이전 연구들에 비해 개선된 결과라고 언급했다.
• 모델 비교: T5 분류기는 부정적 의견 분류에서 0.80의 F1-score를 달성하여, Attn-BERT 모델(F1=0.72)보다 우수한 성능을 보였다.

의의 및 주장
본 논문은 이 연구를 AI 기반 감사 지원 시스템을 향한 기초적인 단계로 위치시킨다. 주요 의의는 대규모의 역사적 재무제표 및 감사 보고서 코퍼스로부터 통찰력을 추출하여 객관적이고 데이터 중심적인 지원을 제공할 수 있다는 점에 있다. 저자들은 오정보 탐지와 설명 생성(XBRL 매핑을 통해)을 자동화함으로써 감사의 시간, 비용 및 주관성을 줄일 수 있다고 주장한다. 이는 감사인이 시스템이 식별한 특정 고위험 영역에 집중할 수 있도록 돕는 것을 목표로 한다. 저자들은 이 시스템이 인간 감사사를 대체하는 것이 아니라, 비즈니스 프로세스의 조사 및 검증을 위한 집중적인 제언을 제공함으로써 인간 감사사를 지원하도록 설계되었음을 명시적으로 밝히고 있다. 본 연구는 이전 연구의 통합 및 확장을 보여주며, 훨씬 더 크고 다양한 데이터셋에서 그 효용성을 입증한다.