YouZhi: Towards High-Concurrency Financial LLMs via Adaptive GQA-to-MLA Transition

Technische Samenvatting: YouZhi-LLM

Probleemstelling

Large Language Models (LLMs) hebben gezorgd voor significante innovatie in digitale financiën, maar de inzet ervan in real-world scenario's met hoge concurrency (bijv. mobiel bankieren) staat voor een kritieke flessenhals: de geheugenoverhead van de KV-cache. Hoewel bestaande financiële LLM's (bijv. BloombergGPT, FinGPT) de domeinkennis verbeteren door middel van pre-training of supervised fine-tuning (SFT), behouden zij doorgaans standaard Grouped-Query Attention (GQA) of Multi-Head Attention (MHA) architecturen. Deze structuren lijden onder een hoog geheugengebruik tijdens de inferentie, wat schaalbaarheid beperkt en de infrastructuurkosten verhoogt. Bov�rake behandelen bestaande benaderingen modelcapaciteit en serveerefficiëntie vaak als geïsoleerde zaken, waardoor ze er niet in slagen de structurele kloof tussen theoretische prestaties en productie-inzetbaarheid aan te pakken.

Methodologie

De auteurs stellen YouZhi-LLM voor, een hoogefficiënt financieel LLM dat natief is gebouwd op het Huawei Ascend-ecosysteem. De oplossing bestaat uit drie kerncomponenten:

1. Laag-adaptieve GQA-naar-MLA Transitie

Om de KV-cache overhead te verminderen, transformeert het artikel de modelarchitectuur van GQA naar Multi-Head Latent Attention (MLA). Echter, een naïeve conversie (bijv. het gebruik van het TransMLA-framework met een uniforme configuratie) veroorzaakt significante degradatie in perplexiteit.

• Observatie: De auteurs ontdekten dat verschillende transformer-lagen diametraal tegenovergestelde degradatiekenmerken vertonen tijdens de transitie. Ondiepe lagen profiteren van grotere compressie (grotere FreqFold-groottes), terwijl middelste lagen minimale compressie vereisen (kleinere FreqFold-groottes) om de Rotary Position Embedding (RoPE) frequentie-informatie te behouden.
• Algoritme: In plaats van een uniforme FreqFold-grootte toe te passen op alle lagen, stellen de auteurs een laag-adaptief transitiekader voor. Zij formuleren de selectie van FreqFold-groottes als een combinatorisch optimalisatieprobleem, dat wordt opgelost via een multi-round sequentieel besluitvormingsproces. Dit wijst dynamisch optimale FreqFold-groottes per laag toe, waardoor de KV-cache compressie wordt gemaximaliseerd terwijl de perplexiteitsdegradatie wordt geminimaliseerd.

2. Omvattende Post-Training Pipeline

Om de verloren representatiecapaciteit tijdens de structurele transitie te herstellen en domeinexpertise te injecteren, wordt een twee-fasen post-training pipeline geïmplementeerd op Ascend-clusters:

• Fase 1: Generalized Knowledge Distillation (GKD): Het originele GQA-model dient als 'teacher' voor het geconverteerde MLA 'student'-model. Door gebruik te maken van forward KL-divergentie en een off-policy strategie op gemengde offline datasets, herstelt deze fase de algemene taalmodellering-capaciteiten die zijn gedegradeerd door de architectuurwijziging.
• Fase 2: Financiële Domeinspecifieke SFT: Het model wordt gefinetuned op een gecureerde dataset van 970.000 hoogwaardige instructie-respons paren die de belangrijkste financiële subdomeinen dekken.

3. Geavanceerde Dataconstructie

De trainingsdatapipeline is ontworpen om specifieke uitdagingen aan te pakken die worden geïntroduceerd door de structurele transitie en de domeineisen:

• Gestreifieerde Datacompressie: Een drie-fasen methode (tagging, gestreifieerde filtering, intra-cluster entropiecompressie) balanceert algemene en financiële data, waarbij de categorale volledigheid en moeilijkheidsgraad worden gewaarborgd terwijl redundantie wordt verminderd.
• Domeinaugmentatie: Ontbrekende capaciteiten (bijv. specifieke financiële redenering, weigeringsafhandeling bij incomplete data) worden aangepakt via progressieve diversiteitsgeneratie, logische boommodellering voor onbeantwoordbare vragen, en Self-Instruct/Evol-Instruct voor capaciteit-specifieke data-amplificatie.
• Instructie-opvolging: Specifieke templates worden gebruikt om het vermogen van het model te versterken om gestructureerde formaten (JSON, Markdown) te produceren die vereist zijn in financiële toepassingen.

Belangrijkste Bijdragen

1. Laag-specifieke Analyse: Het artikel onthult dat ondiepe en diepe lagen verschillende degradatiepatronen vertonen tijdens GQA-naar-MLA transities, wat de aanname uitdaagt dat uniforme conversiestrategieën optimaal zijn.
2. Laag-adaptief Algoritme: Een nieuw algoritme dat dynamisch per laag FreqFold-groottes toewijst, waardoor de perplexiteitsdegradatie met wel 35% wordt verminderd ten opzichte van uniforme baselines (TransMLA) over meerdere LLM-backbones.
3. Geïntegreerde Training Pipeline: Een uitgebreide post-training strategie die GKD en financiële SFT combineert, specifiek afgestemd op geconverteerde MLA-modellen, die verloren gegane capaciteiten herstelt en de financiële prestaties verbetert.
4. Ascend-Native Deployment: Implementatie van YouZhi-LLM op Huawei Ascend NPU's met behulp van het vLLM-Ascend framework, wat de praktische levensvatbaarheid van de aanpak in productieomgevingen aantoont.

Experimentele Resultaten

Evaluaties werden uitgevoerd op Huawei Ascend A3-clusters met behulp van het vLLM-Ascend inferentie-framework.

• Taalmodellering: De laag-adaptieve aanpak verminderde de perplexiteitsdegradatie aanzienlijk. Bijvoorbeeld, op Llama3-8B werd de degradatie met 65% verminderd vergeleken met de TransMLA-baseline.
• Financiële Benchmarks:
  • YouZhi-7B (gebaseerd op OpenPangu-7B) behaalde een verbetering van 12,3% in de gemiddelde financiële benchmarkscores vergeleken met het basismodel.
  • YouZhi-14B (gebaseerd op Qwen2.5-14B) behaalde een nauwkeurigheidswinst van 7,0%.
  • Beide modellen presteerden beter dan sterke financiële baselines (bijv. YiZhao-12B-Chat, DianJin-R1-7B) en recente algemene modellen (Qwen3/3.5).
• Efficiëntie bij Hoge Concurrency:
  • KV Cache Reductie: YouZhi-7B verminderde de KV-cache grootte met 72% (van 2.048 naar 576 elementen).
  • Concurrency: Deze reductie vertaalde zich in een 2,69× toename van het maximaal aantal gelijktijdige verzoeken voor YouZhi-7B (van 95 naar 256) en een 2,43× toename voor YouZhi-14B.
  • Doorvoersnelheid (Throughput): De piekdoorvoersnelheid nam met 1,76× toe voor YouZhi-7B.
• Real-World Applicatie: In scenario's voor mobiel bankieren (intentieherkenning en slot filling) behield YouZhi-7B een prestatie die vergelijkbaar is met het basismodel (gemiddelde nauwkeurigheid ~97,7% voor intentie, ~99,0% voor slot filling) terwijl het superieure concurrency bood.

Betekenis

Het artikel beweert een nieuw paradigma te hebben gevestigd voor kosteneffectieve, hoog-doorvoersnelle financiële inferentie. Door de kloof te overbruggen tussen architecturale efficiëntie (via adaptieve MLA-transitie) en domeincapaciteit (via gerichte post-training), demonstreert YouZhi-LLM dat het mogelijk is om de "Pareto-front" van zowel hoge nauwkeurigheid als hoge concurrency te bereiken. Het werk valideert een pad voor de inzet van industrie-specifieke LLM's die natief draaien op het Huawei Ascend-ecosysteem, waarmee de kritieke operationele beperkingen van lage latentie, hoge concurrency en hoge taakvoltooiingspercentages die vereist zijn door real-world financiële diensten, worden geadresseerd.