AuditFraudBench: Benchmarking Audit Judgment in Detecting Fraudulent Misstatements

AuditFraudBench 기술 요약: 부정적 왜곡 탐지에서의 감사 판단 벤치마킹

문제 정의
대규모 언어 모델(LLM)이 재무 분석, 예측 및 표면적인 사실적 또는 수치적 오류를 탐지하는 데 탁월한 능력을 보여주었으나, 부정적인 재무 왜곡(fraudulent misstatements)을 식별하는 능력은 아직 충분히 탐구되지 않았습니다. 단순한 오류와 달리, 부정적인 왜곡은 실제 성과 동인을 은폐하기 위해 그럴듯하고 겉보기에 준수해 보이는 공시를 포함하는 경우가 많습니다. 이러한 공시는 수치상으로는 내부적으로 일관될 수 있지만, 실제 성과의 원천(예: 성장이 지속 가능한 운영에 의한 것이 아니라 수익 인식 시점 조절이나 비용 이연에 의해 발생함)을 투자자에게 오도하도록 전략적으로 구성될 수 있습니다. 기존 벤치마크는 주로 사실 검증, 수치 일관성 또는 규칙 준수에 초점을 맞추고 있어, 실제 집행 사례에 근거한 전략적 오도 서사 및 위장된 회계 조작을 탐지하는 더 복잡한 과업을 평가하는 데 실패하고 있습니다.

방법론
이러한 격차를 해소하기 위해 저자들은 실제 기업 공시 자료와 규제 자료로 구축된 집행 근거 기반 벤치마크인 AuditFraudBench를 소개합니다. 이 데이터셋은 미국 증권거래위원회(SEC)의 회계 및 감사 집행 릴리스(AAER), 원본 및 재작성된 10-K 및 10-Q 공시, 구조화된 재무제표, 그리고 경영진의 설명 및 분석(MD&A) 공시로부터 추출되었습니다.

벤치마크 구축 파이프라인은 다음과 같습니다:

1. 데이터 수집: SEC AAER 인덱스 페이지를 크롤링하여 메타데이터를 추출하고 집행 문서를 다운로드합니다.
2. 처리 및 정제: 텍스트 추출, 세그멘테이션 및 품질 관리를 통해 손상되었거나 파싱할 수 없는 파일을 제거합니다.
3. 사례 식별: 규칙 기반 기능과 의미론적 이해(DeepSeek 활용)를 결합하여 실질적인 회계 조작 사례를 식별합니다.
4. 구조적 강화 및 정렬: 특정 필드(예: 조작 메커니즘, 회계 기간)를 추출하고, AAER를 SEC EDGAR 시스템의 상응하는 원본 및 재작성된 공시와 정렬하여 "원본-재작성" 쌍을 생성합니다.
5. 샘플 구성: 구조화된 재무 사실 신호(XBRL 데이터)와 서사적 증거 신호(MD&A 구절)를 통합하여 지도 학습 샘플을 형성합니다.

본 벤치마크는 세 가지 상호 보완적인 과업을 통해 LLM을 평가합니다:

• 과업 1: 이익 원천 귀속 (Profit Source Attribution): 경영진의 성과 변화에 대한 설명이 올바른지 아니면 오도된 것인지 결정하고, 원본 대 재작성 수치를 바탕으로 실제 근저에 있는 동인(예: 조기 수익 인식, 충당금 환입)을 식별합니다.
• 과업 2: 오도적 서사 탐지 (Misleading Narrative Detection): 공시 구절이 (비록 텍스트 자체가 명시적으로 거짓은 아닐지라도) 선택적 강조나 맥락 누락을 통해 오도하는 인상을 주는지 평가합니다.
• 과업 3: 부정 패턴 분류 (Fraud Pattern Classification): 집행 조치에 기술된 구체적인 부정 메커니즘을 사전 정의된 범주(수익 인식 시점 조절, 회계 추정치 조작, 이익 평활화, 비용 이연, 또는 서사 왜곡)에 매핑합니다.

주요 기여

1. AuditFraudBench 데이터셋: 감사된 기업 보고에서 부정적인 재무적 오정보를 탐지하도록 설계된, 최초의 집행 근거 기반 벤치마크를 구축하였습니다. 이는 특히 오도하는 서사와 위장된 회계 조작에 초점을 맞춥니다.
2. 과업 설계: 단순한 사실 검증을 넘어, 재무 수치, 공시 프레이밍, 재작성 증거 및 집행 근거 기반의 부정 메커니즘을 공동으로 추론해야 하는 세 가지 상호 보완적 과업을 정립했습니다.
3. 증거 기반 평가: 실제 규제 출처(AAER)와 공시 자료로부터 벤치마크를 구축함으로써, 감사 판단 및 투자자 관련 공시 분석을 더 잘 반영할 수 있는 평가를 가능하게 했습니다.

평가 결과
저자들은 다양한 독점 모델(GPT 시리즈)과 오픈 소스 모델(DeepSeek, Qwen 시리즈)을 포함한 추론형 및 비추론형 모델들을 평가했습니다.

• 과업 1 (이익 원출 귀속): 대부분의 모델이 거의 완벽한 분류 정확도(종종 1.000)를 달ert하여, 귀속 내용이 오도되었는지 여부를 정확히 식별했습니다. 그러나 설명 지표(ROUGE)는 낮게 나타났습니다(예: GPT-5.5는 ROUGE-1 0.249에 불과함). 이는 모델들이 올바른 분류를 수행하더라도 실제 회계 동인을 정밀하게 설명하는 데는 실패함을 나타냅니다.
• 과업 2 (오도적 서사 탐지): 이 과업이 가장 어려운 것으로 드러났습니다. 모든 모델이 저조한 성능을 보였으며, 가장 우수한 모델인 Qwen3-32b-R조차 정확도 0.245, F1 점수 0.393을 기록했습니다. 이는 명시적으로 거짓이 아닌 오도하는 인상을 탐지하는 데 상당한 어려움이 있음을 시사합니다.
• 과업 3 (부정 패턴 분류): 모델들은 보통 수준의 제한적인 능력을 보였습니다. GPT-5.5가 가장 높은 분류 정확도(0.522)를 달성했으며, Qwen3-32b-R은 가장 좋은 설명 점수를 기록했습니다.
• 일반적 관찰 사항:
  • 추론형 vs 비추론형: 추론 특화 모델이 비추론형 모델보다 일관되게 우수한 성능을 보이지 않았으며, 어떤 경우에는 오히려 성능이 더 낮았습니다.
  • 모델 규모: 모델 크기 증가(예: Qwen3-8b에서 Qwen3-32b로)가 특히 설명 품질에 있어서는 개선을 보장하지 못했습니다.
  • 모델 제품군 성능: 강력한 독점 모델(GPT, DeepSeek)이 모든 지표에서 작은 규모의 오픈 소스 모델(Qwen)을 일관되게 압도하지 못했습니다.

의의
본 논문은 AuditFraudBench가 LLM에 대한 감사 관련, 증거 기반의 도전적인 테스트베드를 제공한다고 주장합니다. 결과는 현재의 모델들이 모델 규모나 일반적인 추론 튜닝과는 무관하게, 재무 증거, 서사 프레이밍, 집행 근거 기반의 부정 메커니즘을 공동으로 추론하는 데 어려움을 겪고 있음을 보여줍니다. 저자들은 이러한 고위험의 의도적으로 위장된 오정보를 탐지하기 위해서는 일반적인 모델 규모나 범용적인 추론 튜닝을 넘어서는 전문적인 재무 및 회계 추론 능력이 필요하다고 결론짓습니다. 따라서 본 벤치마크는 LLM이 전략적 오정보를 인식하는 데 있어 재무 분석 및 감사 지원을 수행할 수 있는지 체계적으로 평가하기 위한 필수적인 도구 역할을 합니다.