1. 문제 정의 (Problem Definition)

배경 및 도전 과제:

• 금융 감사의 복잡성: 현대 금융 감사 (Financial Auditing) 는 단순한 텍스트 처리를 넘어, 대규모 공개 문서 (XBRL 형식) 간의 의미적, 구조적, 수치적 불일치를 탐지하는 고도의 추론 작업이 필요합니다.
• XBRL 의 구조적 특성: 금융 보고서는 일반 텍스트가 아닌, 회계 기준 (GAAP) 에 의해 정의된 계층적 구조와 엄격한 토폴로지 (Taxonomy) 를 가진 XML 형식 (XBRL) 으로 제출됩니다. 이는 단순한 키워드 검색이 아닌, 구조화된 정보 추출 (Structured Information Retrieval) 과 복잡한 추론을 요구합니다.
• 기존 LLM 의 한계: 최근 대규모 언어 모델 (LLM) 은 금융 태스크에서 성과를 보이지만, 전문적인 감사 수준 (Professional-grade auditing) 에서의 능력은 명확하지 않습니다. 특히 다음과 같은 한계가 있습니다:
  • 문맥적 고립 (Contextual Isolation): 기존 벤치마크는 단일 문서나 텍스트 조각에 의존하여, 실제 감사에서 필수적인 '다중 문서 간 의존성'을 반영하지 못함.
  • 표면적 평가 (Surface-Level Evaluation): 계층적 구조나 다단계 수치 추론을 평가하지 않고, 국소적인 의미나 수치 정확성만 평가함.
  • 토폴로지 미활용 (Taxonomy Underutilization): 공식 회계 기준 (GAAP) 이 정의하는 개념과 관계의 제약을 모델이 준수하는지 평가하지 않음.

2. 방법론 (Methodology)

FINAUDITING 벤치마크 구축:

• 데이터 소스: 실제 미국 SEC 에 제출된 US-GAAP 준수 XBRL 파일과 데이터 품질 위원회 (DQC) 가 발행한 오류 메시지 (Error Signals) 를 기반으로 구축되었습니다.
• 데이터 구성: 372 개 회사의 2020~2024 년 데이터에서 9 가지 주요 DQC 오류 유형을 선별하여, 1,102 개의 주석 달린 인스턴스를 생성했습니다. 각 인스턴스는 평균 33,000 토큰 이상의 긴 컨텍스트를 포함합니다.
• XBRL 파싱 및 디지털화:
  • 인스턴스 문서 (Instance), 스키마 (Schema), 계산/표시/정의/라벨 링크베이스 (Linkbases) 를 분리하여 구조적 의존성을 유지합니다.
  • US-GAAP 토폴로지를 '핵심 조각 (Core Chunks)'과 '관계 조각 (Relation Chunks)'으로 디지털화하여 구조화된 검색과 추론을 가능하게 합니다.

세 가지 핵심 태스크 (Subtasks):

1. FinSM (Financial Semantic Matching):
   • 목표: XBRL 파일 내 텍스트 언급과 표준화된 US-GAAP 토폴로지 개념 간의 불일치 (Misalignment) 탐지.
   • 평가 지표: Hit Rate, Recall, Macro-F1 (검색 성능).
2. FinRE (Financial Relationship Extraction):
   • 목표: 재무 항목 간의 계층적 및 구성적 관계 (Hierarchical & Compositional) 에서 발생하는 구조적 오류 탐지.
   • 오류 유형: 역전 (Reversal), 부적절성 (Inappropriateness), 결합 오류 (CombinationErr).
   • 평가 지표: 정확도 (Acc), Macro Precision, Recall, F1.
3. FinMR (Financial Mathematical Reasoning):
   • 목표: 회계 논리와 계산 계층 구조에 기반하여 보고된 수치 값의 정확성 검증.
   • 평가 지표: 전체 정확도 (Accuracy) 및 세부 오류율 (구조적 오류 SER, 추출 오류 EER, 계산 오류 CER).

3. 주요 기여 (Key Contributions)

1. 첫 번째 토폴로지 기반 금융 벤치마크: 실제 XBRL 파일과 공식 GAAP 토폴로지를 통합하여, 다중 문서 구조와 규제 기반 제약을 명시적으로 평가하는 최초의 벤치마크를 공개했습니다.
2. 구조 인식 태스크 설계: 의미적 정합성 (FinSM), 구조적 관계 (FinRE), 수치 추론 (FinMR) 을 아우르는 세 가지 상호 보완적인 태스크를 제안하여, 금융 정보의 구조적 특성을 포괄적으로 평가합니다.
3. 포괄적인 LLM 평가: 13 개의 최신 LLM (GPT-4o, DeepSeek-V3, Llama 시리즈, Fin 특화 모델 등) 을 대상으로 한 체계적인 제로샷 (Zero-shot) 평가를 수행하여, 현재 모델들의 한계를 규명했습니다.

4. 실험 결과 및 분석 (Results & Analysis)

전반적 성능:

• 저조한 성능: 13 개의 SOTA LLM 들 중 어떤 모델도 FINAUDITING 에서 높은 성능을 보이지 못했습니다. 이는 모델의 크기나 금융 전문성 학습 여부와 무관하게, 구조적 제약을 준수하는 추론 능력이 부족함을 시사합니다.
• FinSM (검색): Hit Rate@20 이 13% 미만으로 매우 낮았습니다. 모델들은 토폴로지에 정의된 엄격한 제약 하에서 의미적으로 부적절한 회계 개념을 식별하는 데 실패했습니다.
• FinRE (관계 추출): GPT-4o 가 가장 높은 성능을 보였으나, 오픈소스 모델들은 계층적 관계와 교차 문서 제약을 이해하는 데 어려움을 겪었습니다. 특히 'CombinationErr(축과 멤버의 잘못된 결합)' 유형에서 대부분의 모델이 실패했습니다.
• FinMR (수치 추론): 전체 정확도가 매우 낮았습니다 (최고 모델인 Fin-o1-14B 도 약 13.86%).
  • 오류 원인: 계산 오류 (CER) 가 전체 실패의 70~83% 를 차지했습니다. 모델은 관련 사실을 찾기는 하지만, 토폴로지에 정의된 다단계 계산 규칙을 올바르게 실행하거나 검증하지 못했습니다.
  • 구조적 오류: 많은 모델이 요구된 JSON 형식을 준수하지 못해 (SER) 정답을 제대로 표현하지 못했습니다.

모델 비교:

• 규모의 한계: 모델 파라미터 수를 늘린다고 해서 성능이 비례하여 향상되지 않았습니다.
• 도메인 특화 모델의 부재: 금융 전문 데이터로 학습된 모델 (Fin-o1, Fin-R1) 이 일반 모델보다 뚜렷한 우위를 보이지 않았으며, 일부는 오히려 더 낮은 성능을 보였습니다. 이는 단순한 도메인 노출이 구조적 감사 능력을 보장하지 않음을 의미합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 현실적인 평가 기준의 필요성: 기존 NLP 벤치마크는 금융 감사의 복잡성 (다중 문서, 계층적 구조, 규제 준수) 을 반영하지 못했습니다. FINAUDITING 은 이러한 격차를 메우고 현실적인 평가 환경을 제공합니다.
• LLM 의 한계 지적: 현재 최첨단 LLM 들도 전문적인 금융 감사 작업에서 구조적 이해와 토폴로지 기반 추론에 심각한 한계를 가지고 있음을 증명했습니다.
• 향후 방향: 단순한 텍스트 이해를 넘어, 구조화된 정보 검색 (SIR) 과 명시적 추론 (Explicit Reasoning) 능력을 갖춘 모델 개발이 필요하며, RAG(검색 증강 생성) 파이프라인이나 멀티 에이전트 시스템과 같은 아키텍처의 평가에 이 벤치마크가 필수적입니다.
• 공개: 데이터셋과 평가 코드는 공개되어 있으며, 현재 진행 중인 공개 평가 대회 (SecureFinAI Contest 2026) 의 공식 벤치마크로 사용되고 있습니다.

이 논문은 금융 AI 연구가 단순한 텍스트 분석을 넘어, 규제 준수와 구조적 정확성이 요구되는 실제 감사 업무에 적용되기 위해서는 어떤 새로운 평가 기준과 모델 설계가 필요한지를 명확히 제시합니다.