기술 요약: FinBalance: 다중 문서 회계 조정 벤치마크

문제 정의

현재의 금융 자연어 처리(NLP) 벤치마크는 주로 공시 자료에서 추출된 테이블이나 이미 계산된 재무제 statements와 같이 전처리된 결과물을 평가하는 데 중점을 둡니다. 모델들은 대개 이미 구조화된 출력물에 대해 질문에 답하거나 분석을 수행하는 과제를 부여받습니다. 그러나 실제 회계 워크플로우는 이보다 훨씬 앞 단계부터 시작됩니다. 즉, 원천 소스 문서(인보이스, 은행 명세서, 계약서, 지급 통지서)를 분개장(journal entries)으로 조정하고, 해당 분개를 재무상태표로 집계하며, 문서 번들 내의 모순을 탐지하는 과정이 필요합니다.

기존 벤치마크는 이러한 "소스-투-스테이트먼트(source-to-statement)" 파이프라인을 테스트하는 데 실패하고 있습니다. 기존 벤치마크는 모델에게 다음을 요구하지 않습니다:

1. 특정 증빙 문서를 인용하여 균형 잡힌 분개 항목을 추출할 것.
2. 회계 등식을 준수하며 최종 재무상태표로 항목들을 집계할 것.
3. 소스 문서 간의 불일치를 단순히 해결하는 것이 아니라, 이를 식별하고 분류할 것.

방법론: FinBalance 벤치마크

저자들은 실제 회계 조정 파이프라인을 시뮬레이션하기 위해 설계된, 합성되었으나 인간이 작성한(human-authored) 벤치마크인 FinBalance를 소개합니다.

벤치마크 구축

• 생성기 아키텍처: 결정론적 생성기가 인간이 작성한 명세(specifications)를 기반으로 레코드를 구성합니다. 이 명세는 비즈니스 시나리오, 문서 스키마, 회계 정책, 세금/외환(FX) 처리 방식, 그리고 불일치 템플릿을 정의합니다.
• 데이터 구성: 생성기는 이러한 명세를 샘플링하여 다음을 포함하는 문서 번들을 생성합니다:
  • 전기 문서(Posting Documents): 인보이스, 청구서, 명세서, 바우처.
  • 증빙 문서(Support Documents): 계약서, 요율표, 인증서.
  • 조정 문서(Adjustment Documents): 기말 결산 미지급 비용, 이월 항목.
  • 방해 요소(Distractors): 시각적으로 그럴듯하지만 중립적인 문서(중복 문서, 무효 통지서).
  • 기초 시산표(Opening Trial Balance): 원장의 시작 상태.
• 그라운드 트루스(Ground Truth): 생성기가 고정된 복식 부기 원장을 사용하기 때문에, 그라운드 트루스(분개 항목, 최종 재무상태표, 불일치 코드)는 계산 가능하며, 감사 가능하고, 재현 가능합니다. 생성 후 별도의 수동 라벨링은 이루어지지 않습니다.
• 범위: 이 벤치마크는 8개 산업군(예: 소매, 의료, SaaS), 3가지 기간 유형(월, 분기, 연도), 5단계 난이도를 다룹니다. 또한 ASC 606 수익 인식, 리스, 이연 법인세, 다국적 세무와 같은 복잡한 회계 영역을 위한 컨셉 플래그를 포함합니다.
• 불일치 처리: 특정 하위 레코드 세트(메인 스플릿의 32%)에는 "강제된 불일치"(예: 인보이스 총액 불일치, 유효하지 않은 면세 인증서)가 포함되어 있습니다. 이 경우 모델의 올바른 출력은 조정된 재무상태표가 아니라 불일치 플래그와 코드입니다.

평가 지표

논문은 항목 생성과 자기 일관성(self-consistency)을 구분하기 위해 두 가지 상호 보완적인 지표를 도입합니다:

1. $BS_{exact}$: 모델이 스스로 보고한 최종 재무상태표가 그라운드 트루스와 정확히 일치하는지 측정합니다.
2. $BS_{recon}$: 모델이 생성한 분개 항목을 파싱하여, 결정론적 원장에 따라 기초 잔액에 대입해 재생(replay)한 뒤, 그 결과로 도출된 암시적(implied) 재무상태표가 그라운드 트루스와 일치하는지 확인합니다.
   • 이 차이($BS_{recon} - BS_{exact}$)는 **집계 격차(aggregation gap)**로 정의되며, 모델이 올바른 항목을 생성할 수는 있지만 이를 일관되게 집계할 수 있는지를 나타냅니다.
3. 항목 매칭(Entry Matching): 차변/대변 계정, 금액, 그리고 정렬된 문서 참조($doc\_refs$)가 정확히 일치해야 하는 엄격한 매칭을 요구합니다.
4. 불일치 코드 매칭(Inconsistency Code Match): 강제 불일치 레코드의 경우, 특정 모순 코드를 올바르게 식별하는 비율을 측정합니다.

실험 설정

• 모델: 6개의 최신 대규모 언어 모델(LLM)을 평가했습니다: Gemini 3 Flash, GPT-5, Claude Haiku 4.5, Grok-4.3, DeepSeek Chat, Qwen 3 235B.
• 절제 연구(Ablation Studies): 저자들은 다음과 같은 다양한 개입을 테스트했습니다:
  • 인용 압박(Citation Pressure): 문서를 인용하도록 명시적으로 프롬프트하는 것.
  • 가시성(Visibility): 계정 목록이나 증빙 문서를 제거하는 것.
  • 컨텍스트 스트레스(Context Stress): 방해 요소를 추가하거나 관련 증거의 출현 시점을 늦추는 것.
  • 원장 피드백(Ledger Feedback): 모델에게 보고된 재무상태표와 자신의 항목들로 인해 암시되는 재무상태표 사이의 차이(delta)를 제공하여, 한 번의 수정 기회를 주는 것.
  • Best-of-3: 여러 후보를 샘플링하고 그 중 최적을 선택하는 것.
• 검증: 주요 투자 은행의 금융 전문가와 공인 회계사가 레코드의 일부를 검토하여 벤치마크 설계, 난이도 보정 및 라벨 정확성을 검증했습니다.

주요 결과

1. 낮은 전반적 성능

710개 레코드의 평가 스플릿에서, 가장 높은 성능을 보인 모델(GPT-5)조차 최종 재무상태표 정확도($BS_{exact}$)에서 단 **46%**만을 달성했습니다. 엄격한 문서 근거 기반의 엔드-투-엔드 정확도는 이보다 현저히 낮았습니다.

2. 집계 격차 (The Aggregation Gap)

핵심적인 발견은 항목의 품질과 최종 명서의 일관성 사이의 괴리입니다:

• 6개 모델 중 4개 모델이 $BS_{recon}$(재생된 항목)과 $BS_{exact}$(자가 보고된 항목) 사이에서 26~41 퍼센트 포인트의 격차를 보였습니다.
• 예를 들어, DeepSeek Chat은 $BS_{recon}$은 47.3%였으나 $BS_{exact}$는 6.7%에 불رت했습니다.
• 이는 모델들이 수치적으로 그럴듯한 분개 항목을 생성할 수는 있지만, 이를 증거에 결합하거나 스스로 일관된 재무제표로 집계하는 데 실패함을 의미합니다. GPT-5는 높은 자기 일관성($BS_{exact}$ 46.5% vs $BS_{recon}$ 46.3%)을 보인 예외적인 사례였습니다.

3. 주요 실패 요인: 문서 연결 (Document Linking)

• 검색 디스앰비규에이션(Retrieval Disambiguation): 계정과 금액이 정확한 항목에서도, **52%**가 잘못된 증빙 문서를 인용했습니다.
• 프롬프트의 무력함: 명시적인 "인용 압박" 프롬프트는 이 오류율을 단 1.4 퍼센트 포인트 감소시키는 데 그쳤습니다.
• 증거 의존성: 모델에게 "증거 전용" 오라클(방해 요소를 숨긴 상태)을 제공했을 때, 불일치율이 26.4 퍼센트 포인트 감소했습니다. 이는 실패의 원인이 인용 지침을 따르는 능력이 아니라, 적절한 증거를 선택하는 능력에 있음을 시사합니다.

4. 원장 피드백의 영향

• 재무상태표 복구: 모델에게 원장 피드백(보고된 재무상태표와 암시된 재무상태표 사이의 차이)을 제공했을 때, 집계 격차가 있는 모델들의 $BS_{exact}$가 30~33 퍼센트 포인트 개선되었습니다.
• 트레이드오프(Trade-off): 이러한 개선에는 대가가 따랐습니다. 원장 피드백은 작은 규모의 모델에서 불일치 코드 탐지 능력을 13~52 퍼센트 포인트 저하시켰습니다. 피드백 메커니즘은 모델이 모순되는 문서를 플래그(flag)하는 대신, 이를 조정(reconcile)하도록 편향되게 만듭니다.

5. 난이도 및 컨텍스트

• 난이도 스케일링: 정확도는 난이도 레벨 1의 88%에서 레벨 5의 0%로 급격히 떨어졌습니다.
• 컨텍스트 vs 논리: 방해 요소를 추가하는 것(컨텍스트 스트레스)은 정확도를 낮추었지만, 주요 실패 동인은 단순히 컨텍스트의 길이가 아니라 회계적 의존 관계와 문서 선택의 복잡성이었습니다.

의의 및 주장

저자들은 FinBalance를 해결된 문제가 아니라, 진단용 테스트베드이자 실무 배포를 위한 통제된 전제 조건으로 규정합니다.

• 벤치마크의 필요성: 논문은 모델이 완전히 명시된 깨끗한 문서 번들을 정확한 그라운드 트루스와 함께 조정하지 못한다면, 레이아웃, OCR 오류, 누락된 증거 등이 훨씬 더 혼란스러운 실제 회계 환경에서는 신뢰받기 어려울 것이라고 주장합니다.
• 합성되었으나 인간이 작성한 데이터: 데이터는 합성되었지만, 회계 로직, 정책, 시나리오는 인간이 작성한 것이므로, 이 벤치마크는 모델이 임의로 만들어낸 패턴이 아닌 진정한 도메인 추론 능력을 테스트합니다.
• 진단적 가치: 이 벤치마크는 표준 QA 벤치마크에서는 보이지 않는 구체적인 실패 모드(집계 격차, 검색 디스앰비규에이션)를 드러냅니다.
• 미래적 유용성: 저자들은 단순한 정적 데이터셋이 아니라 생성기(generator) 자체를 공개함으로써, 데이터 오염을 방지하고 수동 라벨링 없이도 새로운 산업, 정책, 모순 상황(새로운 산업, 정책, 모순)으로 시나리오 공간을 확장할 수 있도록 합니다.

결론적으로, 본 논문은 현재의 LLM들이 문서에 근거한 전체 파이프라인을 처리하는 데 어려움을 겪고 있다고 밝힙니다. 모델들은 종종 그럴듯한 항목을 식별할 수는 있지만, 이를 증거와 일관되게 연결하고 정확한 최종 재무제표로 집계하는 데는 실패하며, 이는 전문적인 회계 워크플로우의 요구 사항과 현재의 능력 사이에 상당한 간극이 있음을 보여줍니다.