YouZhi: Towards High-Concurrency Financial LLMs via Adaptive GQA-to-MLA Transition

Resumo Técnico: YouZhi-LLM

Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) impulsionaram inovações significativas nas finanças digitais, mas sua implantação em cenários do mundo real de alta concorrência (ex: bancos móveis) enfrenta um gargalo crítico: o overhead de memória do cache KV. Embora os LLMs financeiros existentes (ex: BloombergGPT, FinGPT) melhorem o conhecimento de domínio por meio de pré-treinamento ou ajuste fino supervisionado (SFT), eles tipicamente mantêm arquiteturas padrão de Grouped-Query Attention (GQA) ou Multi-Head Attention (MHA). Essas estruturas sofrem com alto consumo de memória durante a inferência, limitando a escalabilidade e aumentando os custos de infraestrutura. Além disso, as abordagens existentes frequentemente tratam a capacidade do modelo e a eficiência de serviço como preocupações isoladas, falhando em abordar a desconexão estrutural entre o desempenho teórico e a capacidade de implantação em produção.

Metodologia

Os autores propõem o YouZhi-LLM, um LLM financeiro de alta eficiência construído nativamente no ecossistema Huawei Ascend. A solução compreende três componentes principais:

1. Transição Adaptativa de Camada GQA-para-MLA

Para reduzir o overhead do cache KV, o artigo transiciona a arquitetura do modelo de GQA para Multi-Head Latent Attention (MLA). No entanto, a conversão ingênua (ex: usando o framework TransMLA com uma configuração uniforme) causa uma degradação significativa da perplexidade.

• Observação: Os autores descobriram que diferentes camadas do transformer exibem características de degradação diametralmente opostas durante a transição. As camadas rasas beneficiam-se de uma compressão maior (tamanhos de FreqFold maiores), enquanto as camadas médias exigem compressão mínima (tamanhos de FreqFold menores) para preservar a informação de frequência do Rotary Position Embedding (RoPE).
• Algoritmo: Em vez de aplicar um tamanho de FreqFold uniforme em todas as camadas, os autores propõem um framework de transição adaptativo por camada. Eles formulam a seleção de tamanhos de FreqFold como um problema de otimização combinatória, que é resolvido via um processo de decisão sequencial de múltiplas rodadas. Isso atribui dinamicamente tamanhos de FreqFold ideais por camada, maximizando a compressão do cache KV enquanto minimiza a degradação da perplexidade.

2. Pipeline Abrangente de Pós-Treinamento

Para recuperar a capacidade de representação perdida durante a transição estrutural e injetar expertise de domínio, um pipeline de pós-treinamento de dois estágios é implementado em clusters Ascend:

• Estágio 1: Destilação de Conhecimento Generalizada (GKD): O modelo GQA original serve como professor para o modelo aluno MLA convertido. Usando divergência KL direta e uma estratégia off-policy em conjuntos de dados offline mistos, este estágio restaura as capacidades de modelagem de linguagem geral degradadas pela mudança de arquitetura.
• Estágio 2: SFT Específico de Domínio Financeiro: O modelo é ajustado finamente em um conjunto de dados curado de 970.000 pares de instrução-resposta de alta qualidade cobrindo os principais subdomínios financeiros.

3. Construção Avançada de Dados

O pipeline de dados de treinamento é projetado para abordar desafios específicos introduzidos pela transição estrutural e requisitos de domínio:

• Compressão de Dados Estratificada: Um método de três estágios (etiquetagem, filtragem estratificada, compressão de entropia intra-cluster) equilibra dados gerais e financeiros, garantindo completude de categoria e equilíbrio de dificuldade, ao mesmo tempo em que reduz a redundância.
• Aumento de Domínio: Capacidades ausentes (ex: raciocínio financeiro específico, tratamento de recusa para dados incompletos) são abordadas via geração de dados de diversidade progressiva, modelagem de árvore lógica para perguntas sem resposta, e Self-Instruct/Evol-Instruct para amplificação de dados de capacidade específica.
• Seguimento de Instruções: Templates específicos são usados para reforçar a habilidade do modelo em gerar formatos estruturados (JSON, Markdown) exigidos em aplicações financeiras.

Principais Contribuições

1. Análise por Camada: O artigo revela que as camadas rasas e profundas exibem padrões de degradação distintos durante as transições GQA-para-MLA, desafiando a suposição de que estratégias de conversão uniformes são ideais.
2. Algoritmo Adaptativo de Camada: Um novo algoritmo que atribui dinamicamente tamanhos de FreqFold por camada, reduzindo a degradação da perplexidade em até 35% em comparação com baselines uniformes (TransMLA) em múltiplos backbones de LLM.
3. Pipeline de Treinamento Integrado: Uma estratégia abrangente de pós-treinamento combinando GKD e SFT financeiro, especificamente adaptada para modelos MLA convertidos, que recupera capacidades perdidas e aumenta o desempenho financeiro.
4. Implantação Nativa em Ascend: Implementação do YouZhi-LLM em NPUs Huawei Ascend usando o framework vLLM-Ascend, demonstrando a viabilidade prática da abordagem em ambientes de produção.

Resultados Experimentais

As avaliações foram conduzidas em clusters Huawei Ascend A3 usando o framework de inferência vLLM-Ascend.

• Modelagem de Linguagem: A abordagem adaptativa de camada reduziu significativamente a degradação da perplexidade. Por exemplo, no Llama3-8B, a degradação foi reduzida em 65% em relação ao baseline TransMLA.
• Benchmarks Financeiros:
  • YouZhi-7B (baseado em OpenPangu-7B) alcançou uma melhoria de 12,3% nas pontuações médias de benchmarks financeiros em comparação ao seu modelo base.
  • YouZhi-14B (baseado em Qwen2.5-14B) alcançou um ganho de precisão de 7,0%.
  • Ambos os modelos superaram fortes baselines financeiros (ex: YiZhao-12B-Chat, DianJin-R1-7B) e modelos gerais recentes (Qwen3/3.5).
• Eficiência de Alta Concorrência:
  • Redução de Cache KV: O YouZhi-7B reduziu o tamanho do cache KV em 72% (de 2.048 para 576 elementos).
  • Concorrência: Esta redução traduziu-se em um aumento de 2,69× nas requisições simultâneas máximas para o YouZhi-7B (de 95 para 256) e um aumento de 2,43× para o YouZhi-14B.
  • Throughput: O throughput de pico aumentou em 1,76× para o YouZhi-7B.
• Aplicação no Mundo Real: Em cenários de banking móvel (reconhecimento de intenção e preenchimento de slots), o YouZhi-7B manteve o desempenho comparável ao seu modelo base (precisão média de ~97,7% para intenção, ~99,0% para preenchimento de slots) enquanto oferecia concorrência superior.

Significância

O artigo afirma estabelecer um novo paradigma para a inferência financeira de baixo custo e alto throughput. Ao unir a eficiência arquitetônica (via transição MLA adaptativa) e a capacidade de domínio (via pós-treinamento direcionado), o YouZhi-LLM demonstra que é possível atingir a "fronteira de Pareto" de alta precisão e alta concorrência. O trabalho valida um caminho para implantar LLMs específicos de indústria nativamente no ecossistema Huawei Ascend, abordando as restrições operacionais críticas de baixa latência, alta concorrência e altas taxas de conclusão de tarefas exigidas pelos serviços financeiros do mundo real.