FinRule-Bench: A Benchmark for Joint Reasoning over Financial Tables and Principles

이 논문은 실제 재무제표와 회계 원칙을 결합하여 규칙 기반 재무 추론 능력을 평가하는 새로운 벤치마크인 'FinRule-Bench'를 제안하고, 대형 언어 모델이 단일 규칙 검증에서는 잘 수행하지만 복잡한 규칙 식별 및 다중 위반 진단에서는 성능이 급격히 저하됨을 보여줍니다.

핵심

📊 핀룰-벤치 (FinRule-Bench): AI 의 '회계사' 시험지

이 논문은 **"거대 언어 모델 (LLM, 예: 챗트봇 등) 이 진짜 회계사가 될 수 있을까?"**라는 질문에 답하기 위해 만들어진 새로운 시험지, FinRule-Bench에 대한 이야기입니다.

기존의 AI 테스트들은 "숫자 더하기"나 "문서 요약" 같은 쉬운 문제를 냈다면, 이번 연구는 **"회계 원칙이라는 엄격한 법규를 지키고 있는지, 그리고 실수가 있다면 정확히 어디에 있는지 찾아내는 능력"**을 테스트합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 왜 새로운 시험지가 필요할까요? (배경)

지금까지 AI 를 평가할 때는 주로 **"질문하면 답을 잘 내놓는가?"**를 봤습니다.

• 기존 방식: "A 회사의 매출이 얼마야?" → AI 가 "100 억 원이야." (정답)
• 문제점: 하지만 실제 회계 감사는 단순히 답을 맞추는 게 아닙니다. "이 보고서가 법규를 위반하지 않았는지, 만약 위반했다면 정확히 몇 줄, 몇 칸이 틀렸는지 찾아내야 합니다."

기존 시험지는 AI 가 **가짜 데이터 (실수가 있는 데이터)**를 보고 실수를 찾는 능력을 테스트했지만, 실제 세상은 데이터는 완벽하게 정리되어 있는데, AI 가 복잡한 규칙을 적용하는 과정에서 실수를 하는 경우가 많습니다.

💡 비유:
기존 시험지는 "이 그림에 빨간색 공이 몇 개 있을까?"를 묻는 것이었다면,
FinRule-Bench는 "이 그림이 법적으로 허용된 그림인지 확인하고, 어떤 선이 법을 위반했는지 찾아내라"는 더 어려운 미션을 줍니다.

---

2. FinRule-Bench 는 어떻게 작동할까요? (세 가지 미션)

이 벤치마크는 AI 에게 세 단계의 난이도가 다른 미션을 줍니다.

🟢 미션 1: 규칙 확인 (Rule Verification)

• 상황: "이 회사의 자산 = 부채 + 자본"이라는 하나의 법칙만 주어집니다.
• 과제: "이 보고서가 이 법칙을 지켰나요? (O/X)"
• 난이도: ⭐ (쉬움)
• 결과: AI 들은 이 정도는 대부분 잘합니다.

🟡 미션 2: 규칙 찾기 (Rule Identification)

• 상황: "자산, 부채, 현금 흐름 등 16 가지의 복잡한 회계 법칙 중 하나가 위반되었습니다."
• 과제: "어떤 법칙이 위반되었나요?"
• 난이도: ⭐⭐⭐ (중간)
• 결과: AI 들이 헷갈리기 시작합니다. "아, 이거는 법칙 3 번 위반이구나"라고 정확히 골라내기가 어렵습니다.

🔴 미션 3: 종합 진단 (Joint Rule Diagnosis)

• 상황: "이 보고서에는 여러 개의 법칙이 동시에 위반되어 있습니다. 그리고 위반된 곳이 정확히 몇 번째 줄, 몇 번째 칸인지 찾아내세요."
• 과제: "모든 위반 사항을 찾아내고, 그 위치를 정확히 표시하세요."
• 난이도: ⭐⭐⭐⭐⭐ (매우 어려움)
• 결과: AI 들이 가장 많이 실패합니다. "어디서 실수가 있었는지"는 알겠는데, "모든 실수를 다 찾지 못하거나" "잘못된 곳을 실수라고 지적"하는 경우가 많습니다.

---

3. AI 들의 실수 패턴 (결과 분석)

연구팀은 AI 들이 왜 실패하는지 분석했고, 흥미로운 사실을 발견했습니다.

1. 일부만 찾음 (Partial Coverage):
   • 비유: 교사가 숙제를 채점할 때, 틀린 문제가 3 개 있는데 1 개만 발견하고 "다 맞았네"라고 하는 경우입니다. AI 는 실수의 일부만 찾아냅니다.
2. 잘못된 곳 지적 (Mislocalization):
   • 비유: "여기서 실수했어!"라고 말하면서 실수가 아닌 다른 곳을 가리키는 경우입니다.
3. 복잡할수록 무너지는 이유:
   • AI 는 단순한 숫자 계산은 잘하지만, **"조건이 맞아야 적용되는 법칙"**이나 "여러 페이지를 넘겨서 연결해야 하는 법칙" 같은 복잡한 상황에서는 혼란을 겪습니다.

---

4. 새로운 학습법: "만약에 (Counterfactual)" 놀이

연구팀은 AI 가 더 잘하도록 돕기 위해 **"인과관계와 반사실 (Counterfactual) 추론"**이라는 새로운 학습법을 시도했습니다.

• 기존 학습: "이게 틀렸어."
• 새로운 학습 (인과/반사실):
  • "이 숫자가 100 이 아니라 101 이었으면 법칙이 깨졌어. (원인)"
  • "만약 이 숫자를 100 으로 고친다면 법칙이 지켜질 거야. (해결책)"
  • 이렇게 **"왜 틀렸는지"와 "어떻게 고쳐야 하는지"**를 예시로 보여주니, AI 가 규칙을 더 잘 이해하게 되었습니다. 특히 가벼운 모델 (LLaMA 등) 에서 효과가 컸습니다.

---

5. 결론: AI 는 아직 '감리사'가 될 수 없습니다

이 논문의 핵심 메시지는 다음과 같습니다.

"현재의 AI 는 '질문하면 답을 찾는 비서'는 잘 하지만, '법규를 감시하는 회계 감리사'는 아직 못 합니다."

• AI 는 단순한 계산은 잘하지만, 복잡한 규칙을 종합적으로 적용하고, 실수의 정확한 위치를 찾아내는 능력은 여전히 부족합니다.
• FinRule-Bench 는 AI 가 금융 분야에서 얼마나 신뢰할 수 있는지, 그리고 어떤 부분에서 실패하는지를 정확히 진단할 수 있는 도구입니다.

한 줄 요약:

FinRule-Bench 는 AI 에게 "너는 회계법규를 지키는 감시자가 될 수 있니?"를 묻는 시험지로, AI 가 복잡한 규칙을 다룰 때 여전히 허약하다는 것을 밝혀냈습니다.

이 연구는 앞으로 AI 가 금융이나 법률 같은 중요한 분야에서 쓰일 때, 얼마나 안전한지 검증하는 기준이 될 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 이 금융 분석에 점점 더 많이 적용되고 있지만, 명시적인 회계 원칙 (Accounting Principles) 하에서 구조화된 재무제표를 감사 (Audit) 하는 능력은 여전히 충분히 연구되지 않았습니다.

• 기존 벤치마크의 한계: 기존 금융 또는 표 (Table) 관련 벤치마크 (예: FinQA, TAT-QA 등) 는 주로 단순한 질문 응답 (QA), 수치적 추론, 또는 인위적으로 손상된 (synthetically corrupted) 데이터에서의 이상 탐지에 초점을 맞추고 있습니다.
• 실제 감사의 요구사항: 실제 금융 감사에서는 모델이 단순히 정답을 내거나 개별 불일치를 찾는 것을 넘어, 명시적인 회계 규칙 체계 (Formal Rule System) 를 재무표에 대해 포괄적으로 (exhaustively) 적용해야 합니다.
  • 진단적 완전성 (Diagnostic Completeness): 재무제표가 모든 관련 규칙을 준수하는지 확인하고, 위배된 경우 어떤 규칙이 위배되었는지 식별하며, **구체적인 레코드 (Record) 수준에서 위배 원인을 국소화 (Localization)**해야 합니다.
• 핵심 문제: 현재 LLM 은 단순한 수치 계산이나 단일 규칙 확인에는 능숙할 수 있으나, 복잡한 상호 의존적 규칙 간의 충돌을 식별하고, 여러 위배 사항을 동시에 탐지하며, 정확한 위치를 특정하는 공동 추론 (Joint Reasoning) 능력에서는 심각한 한계를 보입니다.

2. 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 FinRule-Bench를 제안했습니다. 이는 실제 세계의 재무제표와 인간이 선별한 명시적인 회계 원칙을 결합한 벤치마크입니다.

가. 데이터셋 구성 (Dataset Construction)

• 데이터 소스: 실제 기업 공시 자료 (2024 년 Form 10-K) 에서 추출된 재무제표 (대차대조표, 현금흐름표, 손익계산서, 자본변동표) 를 사용합니다.
• 정제 및 검증: 추출된 데이터는 인위적으로 변조되지 않은 'Ground-truth' 상태이며, **결정론적 검증기 (Deterministic Validators)**를 통해 각 회계 원칙의 준수 여부를 프로그램적으로 검증합니다.
• 제어된 오류 주입 (Controlled Error Injection):
  • 깨끗한 재무제표에 특정 회계 원칙을 위반하도록 **최소한의 편집 (Minimal Edits)**을 가하여 오류를 주입합니다.
  • 단일 위배 (Single-violation): 규칙 식별 및 확인을 위한 단일 오류.
  • 다중 위배 (Multi-violation): 현실적인 감사 시나리오를 모방하기 위해 하나의 표에 여러 규칙을 동시에 위반하는 오류.

나. 작업 태스크 (Task Suite)

세 가지 점진적으로 난이도가 높은 감사 작업을 정의합니다:

1. 규칙 검증 (Rule Verification): 주어진 단일 규칙에 대해 재무표가 준수하는지 이진 (True/False) 판별.
2. 규칙 식별 (Rule Identification): 주어진 규칙 집합 중 어떤 규칙이 위배되었는지 식별 (단일 위배 가정).
3. 공동 규칙 진단 (Joint Rule Diagnosis): 재무표 내 모든 위배 사항을 탐지하고, 구체적인 레코드 수준에서 위배된 규칙을 식별 및 국소화하는 작업 (다중 위배 가능).

다. 추론 및 평가 프로토콜 (Reasoning & Evaluation Protocol)

• 인과 - 반사실 추론 (Causal-Counterfactual Reasoning): 모델이 단순히 결정만 내리는 것이 아니라, **위배의 인과 관계 (Causal Explanation)**를 설명하고, **최소한의 반사실 수정 (Counterfactual Modification)**이 위배를 해결할 수 있는지 평가하도록 프롬프트를 설계했습니다. 이는 모델의 추론 일관성을 진단하는 도구로 사용됩니다.
• 평가 지표: 정확도 (Accuracy), 정밀도/재현율, 그리고 다중 위배 작업의 경우 정확 일치 (Exact Match) 및 마이크로 F1을 사용하여 부분적 발견이나 잘못된 국소화를 엄격하게 평가합니다.

3. 주요 기여 (Key Contributions)

1. FinRule-Bench 벤치마크 도입: 실제 재무제표와 명시적 회계 원칙을 결합하여, 단순 QA 를 넘어 규칙 기반 추론의 진단적 완전성을 평가하는 최초의 벤치마크입니다.
2. 점진적 추론 태스크 설계: 규칙 확인 $\rightarrow$ 규칙 식별 $\rightarrow$ 다중 위배 진단으로 이어지는 3 단계 작업을 통해 LLM 의 추론 한계를 체계적으로 분석합니다.
3. 인과 - 반사실 평가 프레임워크: 모델의 결정, 설명, 그리고 반사실 판단 간의 일관성을 평가하여, 기존 벤치마크가 놓치고 있는 **체계적인 실패 모드 (Systematic Failure Modes)**를 규명합니다.
4. 오픈 소스 및 재현성: 모든 검증 코드, 오류 주입 스크립트, 프롬프트 템플릿을 공개하여 연구의 재현성을 보장합니다.

4. 실험 결과 (Experimental Results)

GPT-4o, Gemini 2.5 Pro, LLaMA 3.3 등 주요 LLM 을 대상으로 실험한 결과는 다음과 같습니다:

• 작업별 성능 저하:
  • 규칙 검증: 모델들은 단일 규칙 준수 여부를 확인하는 데 비교적 높은 성능을 보였습니다.
  • 규칙 식별: 여러 규칙 중 위배된 것을 골라내는 작업에서 성능이 급격히 떨어졌습니다.
  • 공동 규칙 진단: 다중 위배를 탐지하고 정확한 위치를 특정하는 작업에서 모델들의 성능은 매우 낮았습니다. 특히 정확 일치 (Exact Match) 점수가 매우 낮게 나타났습니다.
• 주요 오류 유형:
  • 불완전한 커버리지 (Incomplete Coverage): 모델은 일부 위배 사항을 찾았지만, 모든 위배 사항을 발견하지 못했습니다.
  • 잘못된 국소화 (Mislocalization): 위배된 규칙은 맞았으나, 그 원인이 발생한 구체적인 행 (Record) 을 잘못 특정했습니다.
  • 위양성/위음성: 수치적 제약 조건에서는 위양성 (False Positive) 이, 문맥 의존적 규칙에서는 위음성 (False Negative) 이 주로 발생했습니다.
• 프롬프트 전략의 영향:
  • 인과 - 반사실 프롬포팅 (Few-shot + CR): 경량 모델 (Gemini 2.0 Flash, LLaMA 3.3) 에서는 성능 향상을 보였으나, 고도의 추론 능력을 가진 모델 (GPT-4o, Gemini 2.5 Pro) 에서는 오히려 성능이 저하되거나 일관되지 않은 결과를 보였습니다. 이는 과도한 설명이 이미 내재된 추론 능력을 방해할 수 있음을 시사합니다.
  • 구조적 복잡성: 재무제표의 구조적 복잡성이 높을수록 (예: 손익계산서), 인과적 프롬포팅의 이점이 더 크게 나타났습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 새로운 평가 패러다임: FinRule-Bench 는 LLM 이 고위험 금융 분석 분야에서 **규칙 준수 (Compliance)**를 검증할 수 있는지, 그리고 진단적 완전성을 갖출 수 있는지에 대한 엄격한 기준을 제시합니다.
• 모델 한계의 규명: 현재 LLM 은 표면적인 수치 일관성은 잘 처리하지만, 복잡한 상호 의존적 규칙 하에서의 **포괄적 진단 (Exhaustive Diagnosis)**과 정밀한 국소화에는 근본적인 한계가 있음을 보여줍니다.
• 향후 연구 방향: 단순한 정확도 향상을 넘어, 모델이 규칙 위반의 인과 관계를 이해하고, 여러 제약 조건을 동시에 고려하여 신뢰할 수 있는 감사를 수행할 수 있도록 하는 신뢰성 있는 엔드 - 투 - 엔드 준수 검증 기술 개발의 필요성을 강조합니다.

이 벤치마크는 LLM 이 금융 감사와 같은 고위험 분야에서 실제 적용되기 전에 반드시 통과해야 할 필수적인 진단 도구로 자리 잡을 것으로 기대됩니다.