기술 요약: EBISU – 일본 금융 분야의 대규모 언어 모델 벤치마킹

문제 정의

대규모 언어 모델(LLM)은 고유한 언어 구조와 문화적 의사소통 규범이 교차하는 지점인 일본어 금융 언어를 처리할 때 상당한 어려움에 직면합니다. 일본어는 교착어이자 머리-뒤(head-final) 언어로, 양태(modality), 부정(negation), 태도(stance)가 문장 시작 부분이 아닌 문장 수준에서 인코딩되는 경우가 많습니다. 또한, 일본의 금융 커뮤니케이션은 고맥락적이고 간접적인 표현에 크게 의존하며, 거절이나 약속은 명시적인 진술보다는 화용론적 단서를 통해 전달되는 경우가 빈번합니다.

다국어 또는 금융 특화 LLM을 위한 기존 벤치마크는 교차 언어 비교 가능성과 확장 가능한 감독(supervision)에 최적화되어 있어, 짧은 컨텍스트, 명시적 타겟, 안정적인 레이블 체계를 선호하는 경향이 있습니다. 이러한 프레임워크는 간접적인 표현으로부터 추론되는 담화 수준의 의도나 문장 종결 형태론을 통한 태도 해결과 같은 일본어 금융의 핵심 현상을 포착하지 못합니다. 또한, 일본 금융 용어는 중첩된 명사 구(nested nominal compounds)와 혼합 스크립트 변체(한자, 히라가나, 가타카나)를 포함하고 있어, 현재의 모델들이 해결하기 어려운 용어 경계 및 의미 범위의 모호성을 생성합니다.

방법론

저자들은 두 가지 전문가 주석 작업(expert-annotated tasks)을 통해 네이티브 일본어 금융 언어 이해를 평가하도록 설계된 벤치마크인 EBISU를 소개합니다.

1. JF-ICR (일본 금융 암묵적 약속 인식)

• 목적: 투자자 대상 Q&A에서 암묵적 태도(동의, 헤징 또는 거절)를 추론하는 모델의 능력을 평가합니다.
• 데이터: 4개 주요 일본 기업의 실적 발표 컨퍼런스 콜, 주주 총회, 재무 결과 브리핑에서 수집한 94개의 단일 턴 질문-답변 쌍(2023~2026년).
• 주석: 네이티브 수준의 일본어 금융 전문가가 5단계 척도로 주석을 달았습니다: 강한 약속(+2), 약한/조건부 약속(+1), 중립/헤징(0), 약한 거절(-1), 강한 거절(-2).
• 지표: 정확도(Accuracy).

2. JF-TE (일본 금융 용어 추출)

• 목적: 전문 공시 자료로부터 금융 용어의 추출 및 계층적 순위 산정을 평가하며, 특히 중첩된 복합어와 스크립트 변체 외래어를 다룹니다.
• 데이터: EDINET을 통해 추출된 10개의 유가증권 보고서(Yūka shōken hōkokusho)에서 추출된 202개의 노트 수준 인스턴스로, 전문가가 선별한 2,412개의 용어 언급을 포함합니다.
• 주석: 전문가들이 최대 금융 용어 범위(maximal financial term spans)와 그에 중첩된 하위 용어들을 식별했습니다.
• 지표: 최대 용어 추출에 대한 F1 점수 및 중첩된 용어의 순위 산정에 대한 HitRate@K (K=1, 5, 10).

평가 프로토콜

본 벤치마크는 다음을 포함한 22개의 다양한 LLM을 평가했습니다:

• 오픈 소스 범용 모델 (예: Llama, Qwen, DeepSeek).
• 독점 폐쇄형 모델 (예: GPT-4o, Claude, Gemini).
• 영어 금융 도메인 특화 모델.
• 일본어 범용 및 일본어 금융 도메인 특화 모델.

평가는 일관성을 보장하기 위해 결정론적 설정(temperature=0)을 갖춘 통합 파이프라인(LM Evaluation Harness)을 사용했습니다.

주요 결과

평가 결과, 최첨단 시스템들조차 일본어 금융 작업에서 상당한 어려움을 겪고 있음이 드러났습니다:

• 전반적인 성능: 모든 모델 카테고리에서 성능이 낮게 유지되었습니다. 가장 우수한 전체 성능을 보인 모델은 오픈 소스인 Llama-3.3-70B-Instruct (평균 점수: 0.4011)였으며, GPT-4o (0.2461) 및 Claude-Sonnet-4.5 (0.3618)와 같은 상위 독점 모델들도 제한적인 능력만을 보여주었습니다.
• 규모의 영향: 모델 규모를 키우는 것은 미미한 개선을 가져왔습니다 (예: 모델 패밀리 내에서 더 큰 모델과 작은 모델을 비교할 때 JF-ICR에서 +0.33 Accuracy, JF-TE에서 +0.38 F1). 그러나 이러한 이득은 핵심 과제를 해결하기에는 불충분합니다.
• 적응의 영향:
  • 언어 적응: 일본어 적응 모델이 동일한 규모의 영어 대응 모델보다 일관되게 우수한 성능을 보이지 못했습니다. 예를 들어, 일본어 적응 모델인 Llama-3.3-Swallow-70B-Instruct는 영어 기반의 Llama-3.3-70B-Instruct보다 낮은 성능을 보였습니다.
  • 도메인 적응: 일본어 금융 텍스트에 대한 지속적인 사전 학습(continued pretraining)은 오히려 성능을 저하시키는 경우가 많았습니다. 일본어 금융 모델인 nekomata-14b-pfn-qfin은 일반 일본어 모델(0.0251) 및 원본 영어 백본(0.0857)보다 낮은 점수(0.0198)를 기록했습니다.
• 오류 분석:
  • JF-ICR: 오류는 화용론적 현상에 집중되었습니다. 모델들은 간접적인 거절이나 전략적 비약속을 중립 또는 약한 동의로 오해하는 경우가 많았으며, 진정한 약속과 헤징된 응답을 구분하는 데 실패했습니다. 영어 중심 모델들은 약속을 과대평가하는 체계적인 편향을 보였습니다.
  • JF-TE: 복합어의 깊이가 깊어지고 스크립트 변체가 늘어남에 따라 성능이 저하되었습니다. HitRate@1과 HitRate@10 사이의 격차는 금융 어휘의 부족보다는 용어 경계 해결 및 변체 처리의 어려움을 시사합니다.

기여

본 논문은 다음과 같은 네 가지 주요 기여를 합니다:

1. EBISU 벤치마크: 특정 언어적 및 담화 조건 하에서 화용론적 태도 추론과 금융 용어 그라운딩(grounding)을 목표로 하는, 네이티브 일본어 금융 언어 이해를 위한 집중 벤치마크를 제공합니다.
2. 새로운 태스크 및 데이터셋: 높은 평가자 간 일치도(Macro-F1 > 0.82)를 가진, 일본 금융 관행에 깊이 뿌리를 두고 전문가가 주석을 단 JF-ICR 및 JF-TE를 도입합니다.
3. 포괄적 평가: 22개의 LLM에 대한 진단적 분석을 통해 규모 확장(scaling)과 적응(adaptation)의 효과를 분리하여, 현재의 전략(규모 확장, 언어 적응, 도메인 사전 학습)이 일본 금융의 형태 통사적 및 화용론적 메커니즘을 신뢰성 있게 포착하지 못함을 입증합니다.
4. 공공 리소스: 언어적 및 문화적으로 인지된 금융 NLP 연구를 촉진하기 위해 데이터셋, 주석 가이드라인 및 평가 코드를 공개합니다.

의의 및 주장

저자들은 EBISU를 영어 중심의 패러다임을 넘어 일본어 금융 NLP를 발전시키기 위한 필수적인 도구로 규정합니다. 본 논문은 현재의 규모 확장 및 적응 전략이 일본 금융 커뮤니케이션의 핵심인 특정 언어적, 문화적 메커니즘을 포착하는 데 실패한다고 주장합니다. 암묵적 약속 인식과 용어 순위 산정에서의 체계적인 어려움을 노출함으로써, EBISU는 현재의 모델 능력과 실제 일본 금융 분석 요구 사항 사이의 상당한 간극을 강조합니다.

저자들은 본 벤치마크가 엄격하지만, 생산 준비성(production readiness)을 나타내는 지표는 아니라고 강조합니다. EBISU에서의 높은 성능이 추가적인 검증 없이 자동 투자 분석이나 규제 준수와 같은 고위험 애플리케이션에 적합하다는 것을 보장하지는 않는다고 경고합니다. 이 벤치마크는 일본 금융의 "교착적, 머리-뒤 언어 구조, 혼합 표기 체계, 고맥락 커뮤니케이션 규범"을 더 잘 이해하는 모델의 개발을 유도하기 위해 설계되었습니다.