YouZhi: Towards High-Concurrency Financial LLMs via Adaptive GQA-to-MLA Transition

기술 요약: YouZhi-LLM

문제 정의

대규모 언어 모델(LLM)은 디지털 금융 분야에서 상당한 혁신을 주도해 왔으나, 실제 운영 환경의 고동시성 시나리오(예: 모바일 뱅킹)에 배포할 때는 결정적인 병목 현상인 KV 캐시 메모리 오버헤드에 직면합니다. 기존의 금융 특화 LLM(예: BloombergGPT, FinGPT)은 사전 학습(Pre-training) 또는 지도 미세 조정(SFT)을 통해 도메인 지식을 개선하지만, 일반적으로 표준적인 그룹 쿼리 어텐션(GQA) 또는 멀티 헤드 어텐션(MHA) 구조를 유지합니다. 이러한 구조는 추론 시 높은 메모리 소비를 야기하여 확장성을 제한하고 인프라 비용을 증가시킵니다. 또한, 기존 방식들은 모델의 역량과 서빙 효율성을 별개의 문제로 취급하는 경향이 있어, 이론적 성능과 실제 생산 환경의 배포 가능성 사이의 구조적 단절을 해결하지 못하고 있습니다.

방법론

저자들은 화웨이 어센드(Huawei Ascend) 생태계에 네이티브하게 구축된 고효율 금융 LLM인 YouZhi-LLM을 제안합니다. 이 솔루션은 세 가지 핵심 구성 요소로 이루어집니다.

1. 계층 적응형 GQA-to-MLA 전환 (Layer-Adaptive GQA-to-MLA Transition)

KV 캐시 오버헤드를 줄이기 위해, 본 논문은 모델 아키텍처를 GQA에서 **멀티 헤드 잠재 어텐션(Multi-Head Latent Attention, MLA)**으로 전환합니다. 그러나 단순한 변환(예: 균일한 설정을 사용하는 TransMLA 프레임워크 사용)은 심각한 퍼플렉서티(Perplexity) 저하를 초래합니다.

• 관찰: 저자들은 트랜스포머의 각 레이어가 전환 과정에서 서로 상반된 저하 특성을 보인다는 것을 발견했습니다. 얕은 레이어(Shallow layers)는 더 큰 압축(더 큰 FreqFold 크기)으로부터 이득을 얻는 반면, 중간 레이어(Middle layers)는 회전 위치 임베딩(RoPE)의 주파수 정보를 보존하기 위해 최소한의 압축(더 작은 FreqFold 크기)이 필요합니다.
• 알고리즘: 모든 레이어에 균일한 FreqFold 크기를 적용하는 대신, 저자들은 계층 적응형 전환 프레임워크를 제안합니다. 이들은 FreqFold 크기 선택을 조합 최적화 문제로 정식화하였으며, 이를 다회차 순차적 의사결정 과정을 통해 해결합니다. 이를 통해 각 레이어에 최적의 FreqFold 크기를 동적으로 할당함으로써, 퍼플렉서티 저하를 최소화하면서 KV 캐시 압축을 극대화합니다.

2. 포괄적인 사후 학습 파이프라인 (Comprehensive Post-Training Pipeline)

구조적 전환으로 인해 손실된 표현 능력을 회복하고 도메인 전문성을 주입하기 위해, 어센드 클러스터 상에서 2단계 사후 학습 파이프라인이 구현됩니다.

• 1단계: 일반화된 지식 증류 (Generalized Knowledge Distillation, GKD): 원래의 GQA 모델이 변환된 MLA 학생 모델의 교사(Teacher) 역할을 수행합니다. 혼합된 오프라인 데이터셋에 대해 포워드 KL 발산(Forward KL divergence)과 오프-폴리시(Off-policy) 전략을 사용하여, 아키텍처 변경으로 인해 저하된 일반 언어 모델링 능력을 복구합니다.
• 2단계: 금융 도메인 특화 SFT: 주요 금융 하위 도메인을 포괄하는 970,000개의 고품질 지시어-응답 쌍으로 구성된 큐레이션 데이터셋을 통해 모델을 미세 조정합니다.

3. 고급 데이터 구축 (Advanced Data Construction)

데이터 파이프라인은 구조적 전환 및 도메인 요구사항에 의해 발생하는 특정 과제들을 해결하도록 설계되었습니다.

• 계층적 데이터 압축: 3단계 방법(태깅, 계층적 필터링, 클러스터 내 엔트로피 압축)을 통해 일반 데이터와 금융 데이터의 균형을 맞추며, 카테カテゴリ의 완전성과 난이도 균형을 보장하는 동시에 중복성을 줄입니다.
• 도메인 증강: 누락된 능력(예: 특정 금융 추론, 불완전한 데이터에 대한 거절 처리)을 해결하기 위해 점진적 다양성 데이터 생성, 답변 불가능한 질문을 위한 로직 트리 모델링, 그리고 역량 특화 데이터 증폭을 위한 Self-Instruct/Evol-Instruct를 사용합니다.
• 지시어 준수 (Instruction-Following): 금융 애플리케이션에서 요구되는 구조화된 형식(JSON, Markdown) 출력을 강화하기 위해 특정 템플릿을 사용합니다.

주요 기여

1. 레이어별 분석: 본 논문은 GQA-to-MLA 전환 시 얕은 레이어와 깊은 레이어가 서로 다른 저하 패턴을 보인다는 점을 밝혀내어, 균일한 변환 전략이 최적이라는 가설에 도전합니다.
2. 계층 적응형 알고리즘: 레이어별로 FreqFold 크기를 동적으로 할당하는 새로운 알고리즘을 통해, 여러 LLM 백본에 걸쳐 균일한 베이스라인(TransMLA) 대비 퍼플렉서티 저하를 최대 **35%**까지 감소시켰습니다.
3. 통합 학습 파이프라인: GKD와 금융 SFT를 결합하여 변환된 MLA 모델에 특화된 포괄적인 사후 학습 전략을 제시하며, 이를 통해 손실된 역량을 회복하고 금융 성능을 향상시킵니다.
4. Ascend 네이티브 배포: vLLM-Ascend 프레임워크를 사용하여 화웨이 어센드 NPU 상에 YouZhi-LLM을 구현함으로써, 이 접근 방식의 실제 생산 환경 적용 가능성을 입증했습니다.

실험 결과

실험은 화웨이 어센드 A3 클러스터에서 vLLM-Ascend 추론 프레임워크를 사용하여 수행되었습니다.

• 언어 모델링: 계층 적응형 방식은 퍼플렉서티 저하를 크게 줄였습니다. 예를 들어, Llama3-8B의 경우 TransMLA 베이스라인 대비 저하를 65% 감소시켰습니다.
• 금융 벤치마크:
  • YouZhi-7B (OpenPangu-7B 기반)는 베이스 모델 대비 평균 금융 벤치마크 점수에서 12.3% 향상된 성과를 보였습니다.
  • YouZhi-14B (Qwen2.5-14B 기반)는 **7.0%**의 정확도 이득을 달성했습니다.
  • 두 모델 모두 강력한 금융 특화 모델(예: YiZhao-12B-Chat, DianJin-R1-7B) 및 최신 범용 모델(Qwen3/3.5)보다 우수한 성능을 보였습니다.
• 고동시성 효율성:
  • KV 캐시 감소: YouZhi-7B는 KV 캐시 크기를 72% 감소시켰습니다 (2,048개 요소에서 576개 요소로).
  • 동시성: 이 감소는 YouZhi-7B의 최대 동시 요청 수를 (95에서 256으로) 2.69배, YouZhi-14B의 경우 2.43배 증가시켰습니다.
  • 처리량 (Throughput): YouZhi-7B의 피크 처리량이 1.76배 증가했습니다.
• 실제 애플리케이션: 모바일 뱅킹 시나리오(의도 인식 및 슬롯 필링)에서 YouZhi-7B는 베이스 모델과 대등한 성능(의도 인식 평균 정확도 ~97.7%, 슬롯 필링 ~99.0%)을 유지하면서도 더 우수한 동시성을 제공했습니다.

의의

본 논문은 비용 효율적이고 높은 처리량을 가진 금융 추론을 위한 새로운 패러다임을 구축한다고 주장합니다. 아키텍처 효율성(적응형 MLA 전환을 통해)과 도메인 역량(타겟팅된 사후 학습을 통해) 사이의 간극을 메움으로써, YouZhi-LLM은 높은 정확도와 높은 동시성이라는 두 마리 토끼를 잡는 "파레토 최적(Pareto frontier)"을 달eric 수 있음을 보여줍니다. 이 연구는 실제 금융 서비스에 필요한 저지연, 고동시성, 높은 작업 완료율이라는 운영 제약을 해결하며, 화웨이 어센드 생태계에 네이티브하게 산업 특화 LLM을 배포하는 경로를 검증합니다.