Can Open-Weight Models Compete on Financial Text Comprehension?

기술 요약: 오픈 웨이트 모델이 금융 텍스트 이해력에서 경쟁할 수 있는가?

문제 제로 (Problem Statement)
중국 AI 연구소의 오픈 웨이트 언어 모델들이 일반적인 벤치마크에서는 최근 프런티어 모델과의 성능 격차를 좁혔으나, 실제 금융 업무에서의 신뢰성은 아직 검증되지 않았습니다. 2025~2026년 LLM 평가의 주요 과제는 공개 데이터셋이 학습 코퍼스에 흡수되는 벤치마크 오염(benchmark contamination)입니다. 또한, 금융 연례 보고서는 그 길이(700페이지 이상), 이질성(서사, 규제 관련 정형 문구, 복잡한 표의 혼합), 그리고 관할권의 다양성(22개국 및 다양한 회계 기준 포함)으로 인해 매우 까다로운 도메인입니다. 기존 벤치마크들은 주로 짧은 컨텍스트나 단일 문서에 의존하여, 구조화되지 않은 다중 페이지 보고서에서 특정 금융 지표를 추출하는 복잡성을 포착하는 데 실패했습니다.

방법론 (Methodology)
저자는 Financial Touchstone 벤치마크를 업데이트하여, 480개 보고서에 걸친 2,878개의 질문을 495개의 국제 연례 보고서에 걸친 **2,967개의 질문-컨텍스트-답변 삼중항(triplets)**으로 확장했습니다 (v1.2). 이 데이터셋은 모든 글로벌 산업 분류 표준(GICS) 섹터를 다루며 2021~2023년의 보고서를 포함합니다.

• 모델 평가: 본 연구는 이전의 11개 모델 세트를 확장하여 10개 제공업체의 20개 모델을 평가했습니다. 여기에는 최근의 오픈 웨이트 모델(예: Kimi K2.6, GLM 5, DeepSeek V3.2)과 프런티어 모델(예: Qwen3-Max, Claude Opus 4.6, Gemini 2.5 Pro)이 포함됩니다.
• 파이프라인: 보고서를 1,000토큰 윈도우로 나누는 검색 증강 생성(RAG) 파이프라인이 채택되었습니다. 상위 5개의 청크는 고정된 임베딩 모델(text-embedding-3-small)과 FAISS를 사용하여 검색됩니다. 결정적으로, 검색 단계 자체가 과업의 일부입니다. 즉, 관련 컨텍스트를 검색하지 못한 실패는 상류(upstream) 이슈로 변명되지 않고 시스템 실패로 간주됩니다.
• 평량 지표: 성능은 다음을 통해 측정됩니다:
  1. 정확도(Accuracy): 인간이 큐레이션한 "골든 답변(golden answer)"에 대한 필수 정보의 재현율.
  2. 환각률(Hallucination Rate): 소스 텍스트에 의해 뒷받침되지 않는 주장의 비율.
  3. 실패 분류(Failure Taxonomy): 오류는 검색 실패(Retrieval Failures), 모델 이해 오류(Model Comprehension Errors), 또는 환각(Hallucinations)으로 분류됩니다.
• 품질 관리: 모델 인 더 루프(model-in-the-loop) 방식의 건전성 검사와 이중 주석 프로세스를 사용하여 67개의 미완성 답변과 15개의 환각된 골든 답변을 수정했습니다. 인간 베이스라인 정확도는 82.8%, 환각률은 2.8%입니다.

주요 결과 (Key Results)

• 모델 성능: Anthropic의 Claude Opus 4.6이 가장 높은 정확도(88.4%)를 기록했으며, Claude Sonnet 4.6(86.7%)이 그 뒤를 이었습니다. 주목할 점은 오픈 웨이트 모델인 Kimi K2.6이 83.5%로 3위를 차지하며 인간 베이스라인을 넘어섰다는 것입니다. 비 추론(non-reasoning) 모델인 GLM 5(82.0%)와 Mistral 3(81.3%) 역시 상위 5위 안에 들어, 강력한 금융 이해력을 위해 추론 아키텍처가 필수적이라는 가설에 도전했습니다.
• 환각 vs 정확도: Google의 Gemini 2.5 Pro는 가장 낮은 환각률(0.08%)을 유지하여 인간 베이스라인보다 현저히 낮았으나, 정확도에서는 13위를 기록했습니다(76.6%). 반면, Mistral 3는 준수한 정확도에도 불구하고 높은 환각률(13.0%)을 보였습니다. Kimi K2.6은 낮은 환각률(0.13%)과 함께 정확도 3위를 기록하며 강력한 균형을 보여주었습니다.
• 오류 원인: **정보 검색(Information retrieval)**이 여전히 주요 병목 구간이며, 전체 실패의 **48.9%**를 차지했습니다. 모델 이해 오류는 44.7%, 단독 환각은 9.1%를 차지했습니다. 검색이 실패할 경우, 모든 모델의 정확도는 77.9%에서 12.0%로 급격히 떨어집니다.
• 콘텐츠 필터링: 새로운 발견으로서, 중국 모델들이 정당한 금융 질문을 거부하는 지정학적 콘텐츠 필터를 보유하고 있음이 문서화되었습니다. 23,736회의 시도 중 18회의 거부(0.08%)가 벤치마크 데이터에서 지속되었습니다. 거부는 중국 정치 지도자 언급(예: Kweichow Moutai 보고서), 홍콩 시위, 또는 국영 은행 언급 시 발생했습니다. 결정적으로, 거부 동작은 **경로 의존적(route-dependent)**임이 밝혀졌습니다. 동일한 요청이라도 제3자 프록시를 통해 라우팅되면 답변되는 경우가 많았던 반면, 네이티브 API 호출은 거부되었습니다.

의의 및 주장 (Significance and Claims)
본 논문은 금융 AI 환경의 세 가지 실질적인 변화를 주장합니다:

1. 오픈 웨이트의 경쟁력: 오픈 웨이트 모델, 특히 중국 연구소의 모델들이 금융 텍스트 이해력 측면에서 프런티어 모델과의 격차를 좁혔으며, 일부 모델(Kimi K2.6, GLM 5)은 기존의 추론 모델들을 능가했습니다.
2. 추론 vs 비추론: "추론" 아키텍처와 금융 성능 사이의 상관관계가 약화되었습니다. 비 추론 모델(Mistral 3, GPT-4o)과 오픈 웨이트 모델은 이 특정 과업에서 전용 추론 모델(예: Magistral, Grok 4)과 대등하거나 더 우수한 성능을 보입니다.
3. 배포 리스크: 본 연구는 중국 모델의 콘텐츠 필터링이 글로벌 금융 분석에 있어 측정 가능한 배포 리스크임을 식별했습니다. 특정 관할권이나 엔티티에 관한 정당한 질의가 지정학적 트리거에 의해 차단될 수 있으며, 이러한 행동은 접근 경로에 따라 달라집니다.

저자는 모델의 생성 능력은 향상되었으나, **검색 병목(retrieval bottleneck)**이 여전히 고정밀 금융 AI를 위한 가장 큰 장벽이라고 결론짓습니다. 저자는 생성기(generator)를 교체하는 것보다 RAG 스택(예: GraphRAG를 통한 개선)을 개선하는 것이 성능 향상에 더 큰 잠재력을 제공한다고 제안합니다. 데이터셋과 평가 프레임워크는 재현성을 지원하기 위해 공개적으로 배포되었습니다.