기술 요약: V-FiLLM: 검증된 금융 LLM 추론 벤치마크

문제 정의

기존의 벤치마크들이 STEM 및 일반 수치 추론 분야에서 대규모 언어 모델(LLM)의 평가를 발전시켜 왔으나, 구조화된 표 형식의 데이터에 대한 금융 추론 영역은 여전히 미개척 상태로 남아 있습니다. 현재의 금융 QA 데이터셋(예: FinQA, TAT-QA)은 실제 문서로부터 인간의 주석(annotation)이나 모델 보조 추출 방식에 크게 의존하고 있습니다. 이러한 접근 방식은 다음과 같은 중대한 한계를 지닙니다:

1. 노이즈 혼재(Noise Conflation): 순수한 추론 실패와 소스 수준의 노이즈(형식 불규칙성, 누락된 값, 모호한 문구 등)로 인한 오류를 구분하기 어렵습니다.
2. 확장성 및 제어 가능성 부족: 수동으로 주석을 달는 벤치마크는 규모를 키리는 데 비용이 많이 들 뿐만 아니라, 명시적이고 제어 가능한 난이도 축이 부족하여 추론 깊이나 구성적 복잡성과 같은 특정 실패 모드를 격리하여 파악하기 어렵습니다.
3. 정답 신뢰도: 휴리스틱 추출이나 수동 라벨링은 정답(ground truth)에 오류를 도입할 수 있어, 모델 성능 평가를 복잡하게 만듭니다.

방법론

저자들은 실제 테이블 구조를 기반으로 한 합성 실행 가능 계산 트리(synthetic, executable computation trees)로부터 금융 추론 벤치마크를 생성하는 결정론적 프레임워크인 V-FiLLM을 소개합니다. 이 파이프라인은 답이 구조적으로 올바름을 보장함으로써, 수동 주석의 필요성을 제거하고 생성기 오류율을 없앱니다.

1. 데이터 생성

• 합성 금융 데이터: 프레임워크는 두 가지 데이터 소스를 구축합니다: (a) 실제 기업 보고서를 모사한 합성 10-Q 공시 자료, (b) 추론 과정을 포맷팅 노이즈로부터 격리하기 위해 일관된 컬럼명과 단위를 가진 정규화된 재무 시트.
• 타입화된 원자(Typed Atoms): 스프레드시트 셀은 수치 값과 의미론적 메타데이터(개념, 회사, 연도, 단위)를 포함하는 "타입화된 금융 원자"로 분해됩니다.
• 계산 트리: 질문은 금융 원자를 리프(leaf) 노드로 하고 연산(덧셈, 뺄셈, 곱셈, 비율, min/max/average)을 내부 노드로 하는 타입화된 이진 트리를 샘플링하여 생성됩니다.
  • 제어 가능한 난이도: 프레임워크는 다음 네 가지 축을 명시적으로 제어합니다:
    • 깊이(Depth): 추론 단계의 수 (트리 깊이).
    • 너비(Breadth): 요구되는 병렬 하위 결과의 수 (균형 잡힌 트리).
    • 개념 복잡도(Concept Complexity): 숨겨진 실행 가능 공식을 가진 특수 원자로 저장된 파생 금융 개념(예: 매출총이익, 당기순이익)의 포함 여부.
    • 컨텍스트 크기(Context Size): 관련 테이블 항목의 수.
• 렌더링: 트리는 하향식(bottom-up) 의미론적 절차를 통해 자연어 질문으로 렌더링됩니다. 견고성을 테스트하기 위해, 파이프라인은 근본적인 계산 그래프를 유지하면서 경량 언어 데이터 증강(오타, 대소문자 변경, 문구 변형)을 적용합니다.

2. 벤치마크 확장

• 멀티 턴(Multi-Turn) 평가: 복잡한 단일 턴 문제를 대화형 턴으로 분해하며, 각 턴은 표현 트리의 하나의 노드를 해결합니다. 이를 통해 중간 산술 오류와 구성적 계획(compositional planning) 실패를 격리할 수 있습니다.
• 적대적 강건성(Adversarial Robustness): 프레임워크는 질문/답변은 유지한 채 입력 테이블을 변형하여 실제 환경의 파이프라인 실패를 시뮬레이션합니다:
  • 결측치 (빈 셀).
  • 가비지 값 (예: -10^7 또는 "ERROR"와 같은 이상치).
  • OCR 유사 문자 (숫자 치환, 예: 0→O).
  • 교차 시트 오염 (회사 간 행 교체).
  • 방해 정보 (질문에 부가된 무관한 텍text).

3. 미세 조정 전략

저자들은 검증된 Chain-of-Thought(CoT) 궤적(trace)을 사용하여 오픈 소스 모델(특히 Qwen3.5-4B)을 미세 조정하기 위해 **Low-Rank Adaptation (LoRA)**을 사용합니다. 생성된 CoT가 표현 트리에서 유도된 정답 값과 일치하는 예시만을 학습에 유지합니다 (유지율 88%).

주요 결과

1. 모델 성능 및 추론 깊이

• 깊이 민감도: 추론 깊이가 증가함에 따라 정확도가 급격히 하락합니다. 단순화된 문장에서 DeepSeek-v4-Flash와 같은 모델의 정확도는 6단계에서 약 84%에서 8단계에서 약 26%로 떨어집니다. Gemma-31B는 더 높은 회복력을 보이지만, 동일한 범위에서 85%에서 55%로 감소합니다.
• 실제 vs. 단순화: 실제 10-Q 공시 자료는 레이아웃의 무질서함과 혼합된 단위로 인해, 깊이 3~4 단계에서 단순화된 문장보다 약 20%포인트 더 어렵습니다.
• 모델 순위: Gemma-31B는 더 큰 모델들(예: GPT-OSS-120B, Llama-3.3-70B)보다 일관되게 우수한 성능을 보이며 Qwen3.7-Plus와 대등하거나 이를 능가합니다. 이는 전문화된 학습 데이터와 테이블 파싱 메커니즘이 파라미터 규모보다 더 중요하다는 것을 시사합니다.

2. 멀티 턴 평가

복잡한 프롬프트를 순차적인 하위 쿼리로 분해하면 성능 저하를 크게 완화할 수 있습니다.

• Qwen3.5-9B는 단일 턴(55.2%)에서 멀티 턴(86.8%)으로 성능이 향상되었습니다.
• Llama-3.3-70B는 80.8%에서 86.8%로 향상되었습니다.
• 이는 쿼리 분해가 단일 단계 추론에 필요한 컨텍스트 부하를 완화함을 시사합니다.

3. 적대적 강건성

• 일반적 영향: 모든 모델이 변형 하에서 상당한 정확도 하락을 겪습니다. Gemma-31B는 10-Q 공시 자료에서 약 27포인트, DeepSeek-v4-Flash는 약 30포인트 하락합니다.
• 단위/스케일 변화: 이것이 가장 파괴적인 변형입니다. 단위나 스케일을 변경하면 Gemma-31B의 정확도가 10-Q 공시 자료에서 3.0%로 급락하며, 이는 모델이 숫자만 읽고 단위 라벨을 확인하지 않는 경우가 많음을 나타냅니다.
• 결합된 노이즈: 모든 노이즈가 결합되었을 때 실제 문서에서의 정확도는 17~26%로 떨어지며, 이는 오류 누적이 성능을 심각하게 저하시설 수 있음을 시사합니다.

4. LoRA 미세 조정

• 검증된 CoT 궤적에 대해 Qwen3.5-4B를 미세 조정했을 때, 홀드아웃(held-out) 문제에 대한 정확도가 81.1%에서 85.6%로 향상되었습니다.
• 최적의 설정(Rank $r=8$, Scaling $\alpha=8$, Dropout 0.10)은 $\alpha/r$ 비율이 매우 중요함을 보여주었습니다. $\alpha/r \neq 1$인 설정은 베이스라인보다 개선되지 못했습니다.
• 외부 FinQA 데이터셋에서 LoRA로 미세 조정된 모델은 정답 개수가 27/100에서 32/100으로 향상되었으며, 이는 이 성과가 단순히 과적합(overfitting)에 의한 것이 아님을 시사합니다.

의의 및 주장

본 논문은 구성적 금융 추론의 체계적 평가를 가능하게 하는 재현 가능하고 주석이 필요 없는 벤치마크를 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 실패 모드의 격리: 추론 깊이, 너비, 도메인 복잡성을 분리함으로써, V-FiLLM은 연구자들이 모델이 정확히 어디에서, 왜 실패하는지(예: 산술 오류와 계획 실패의 구분)를 파악할 수 있게 합니다.
2. 확장성: 기존 벤치마크의 높은 확장 비용 문제를 해결하며, 주석 비용 없이 임의의 규모로 항목을 생성할 수 있습니다.
3. 강건성 통찰: 연구는 OCR 스타일의 문자 손상과 단위/스케일 변화가 누락된 데이터나 방해 정보보다 더 큰 도전 과제임을 강조하며, 금융 애플리케이션에서 견고한 수치 추출의 필요성을 역설합니다.
4. 타겟 적응: 결과는 검증된 궤적에 대한 경량화된 타겟 적응(LoRA)이 금융 QA의 구성적 추론을 개선하는 유망한 방향임을 시사하지만, 더 깊은 추론 작업에 대해서는 여전히 개선의 여지가 큼을 보여줍니다.

저자들은 제한된 컴퓨팅 자원(테스트된 모델 수와 미세 조정 평가 세트의 크기 제한)과 수학적 정답의 정확성에도 불구하고 발생할 수 있는 생성된 질문의 언어적 모호성 등의 한계를 인정하며 신중한 입장을 유지합니다. 그들은 V-FiLLM을 검증자 가이드 학습(verifier-guided training) 및 교차 문서 추론을 위한 미래 연구의 기초적인 도구로 제시합니다.