Resumen Técnico: YouZhi-LLM

Planteamiento del Problema

Los Modelos de Lenguaje Extensos (LLMs) han impulsado una innovación significativa en las finanzas digitales, pero su despliegue en escenarios del mundo real con alta concurrencia (por ejemplo, banca móvil) enfrenta un cuello de botella crítico: la sobrecarga de memoria del caché KV. Aunque los LLMs financieros existentes (por ejemplo, BloombergGPT, FinGPT) mejoran el conocimiento del dominio mediante pre-entrenamiento o ajuste fino supervisado (SFT), típicamente mantienen arquitecturas estándar de Atención de Consulta Agrupada (GQA) o Atención de Múltiples Cabezales (MHA). Estas estructuras sufren un alto consumo de memoria durante la inferencia, lo que limita la escalabilidad y aumenta los costos de infraestructura. Además, los enfoques existentes a menudo tratan la capacidad del modelo y la eficiencia de servicio como preocupaciones aisladas, sin abordar la desconexión estructural entre el rendimiento teórico y la capacidad de despliegue en producción.

Metodología

Los autores proponen YouZhi-LLM, un LLM financiero de alta eficiencia construido nativamente sobre el ecosistema Huawei Ascend. La solución consta de tres componentes principales:

1. Transición Adaptativa por Capas de GQA a MLA

Para reducir la sobrecarga del caché KV, el artículo realiza la transición de la arquitectura del modelo de GQA a Atención Latente de Múltiples Cabezales (MLA). Sin embargo, una conversión ingenua (por ejemplo, utilizando el marco TransMLA con una configuración uniforme) provoca una degradación significativa de la perplejidad.

• Observación: Los autores descubrieron que diferentes capas del transformador exhiben características de degradación diametralmente opuestas durante la transición. Las capas superficiales se benefician de una mayor compresión (tamaños de FreqFold más grandes), mientras que las capas medias requieren una compresión mínima (tamaños de FreqFold más pequeños) para preservar la información de frecuencia de la Incrustación de Posición Rotatoria (RoPE).
• Algoritmo: En lugar de aplicar un tamaño de FreqFold uniforme en todas las capas, los autores proponen un marco de transición adaptativo por capas. Formulan la selección de tamaños de FreqFold como un problema de optimización combinatoria, el cual se resuelve mediante un proceso de decisión secuencial de múltiples rondas. Esto asigna dinámicamente tamaños de FreqFold óptimos por capa, maximizando la compresión del caché KV y minimizando la degradación de la perplejidad.

2. Pipeline Integral de Post-Entrenamiento

Para recuperar la capacidad de representación perdida durante la transición estructural e inyectar experiencia de dominio, se implementa un pipeline de post-entrenamiento de dos etapas en clústeres Ascend:

• Etapa 1: Destilación de Conocimiento Generalizada (GKD): El modelo GQA original actúa como profesor para el modelo estudiante MLA convertido. Utilizando la divergencia KL hacia adelante y una estrategia fuera de política (off-policy) en conjuntos de datos offline mixtos, esta etapa restaura las capacidades de modelado de lenguaje general degradadas por el cambio de arquitectura.
• Etapa 2: SFT Específico del Dominio Financiero: El modelo es ajustado mediante un conjunto de datos curado de 970,000 pares de instrucción-respuesta de alta calidad que cubren los principales subdominios financieros.

3. Construcción Avanzada de Datos

El pipeline de datos de entrenamiento está diseñado para abordar desafíos específicos introducidos por la transición estructural y los requisitos del dominio:

• Compresión de Datos Estratificada: Un método de tres etapas (etiquetado, filtrado estratificado, compresión de entropía intra-clúster) equilibra los datos generales y financieros, asegurando la completitud de las categorías y el equilibrio de dificultad, al tiempo que reduce la redundancia.
• Aumentación de Dominio: Las capacidades faltantes (por ejemplo, razonamiento financiero específico, manejo de rechazo para datos incompletos) se abordan mediante la generación de datos de diversidad progresiva, modelado de árbol lógico para preguntas no contestables, y Self-Instruct/Evol-Instruct para la amplificación de datos específicos de capacidad.
• Seguimiento de Instrucciones: Se utilizan plantillas específicas para reforzar la capacidad del modelo de producir formatos estructurados (JSON, Markdown) requeridos en aplicaciones financieras.

Contribuciones Clave

1. Análisis por Capas: El artículo revela que las capas superficiales y profundas exhiben patrones de degradación distintos durante las transiciones de GQA a MLA, desafiando la suposición de que las estrategias de conversión uniforme son óptimas.
2. Algoritmo Adaptativo por Capa: Un nuevo algoritmo que asigna dinámicamente tamaños de FreqFold por capa, reduciendo la degradación de la perplejidad hasta en un 35% en comparación con las bases uniformes (TransMLA) a través de múltiples backbones de LLM.
3. Pipeline de Entrenamiento Integrado: Una estrategia integral de post-entrenamiento que combina GKD y SFT financiero, diseñada específicamente para modelos MLA convertidos, lo que recupera las capacidades perdidas y mejora el rendimiento financiero.
4. Despliegue Nativo en Ascend: Implementación de YouZhi-LLM en NPUs Huawei Ascend utilizando el framework vLLM-Ascend, demostrando la viabilidad práctica del enfoque en entornos de producción.

Resultados Experimentales

Las evaluaciones se realizaron en clústeres Huawei Ascend A3 utilizando el framework de inferencia vLLM-Ascend.

• Modelado de Lenguaje: El enfoque adaptativo por capas redujo significativamente la degradación de la perplejidad. Por ejemplo, en Llama3-8B, la degradación se redujo en un 65% en comparación con la base de referencia TransMLA.
• Benchmarks Financieros:
  • YouZhi-7B (basado en OpenPangu-7B) logró una mejora del 12.3% en los puntajes promedio de los benchmarks financieros en comparación con su modelo base.
  • YouZhi-14B (basado en Qwen2.5-14B) logró una ganancia de precisión del 7.0%.
  • Ambos modelos superaron a bases de referencia financieras sólidas (por ejemplo, YiZhao-12B-Chat, DianJin-R1-7B) y modelos generales recientes (Qwen3/3.5).
• Eficiencia de Alta Concurrencia:
  • Reducción del Caché KV: YouZhi-7B redujo el tamaño del caché KV en un 72% (de 2,048 a 576 elementos).
  • Concurrencia: Esta reducción se tradujo en un aumento de 2.69× en las solicitudes concurrentes máximas para YouZhi-7B (de 95 a 256) y un aumento de 2.43× para YouZhi-14B.
  • Throughput (Rendimiento): El throughput máximo aumentó en 1.76× para YouZhi-7B.
• Aplicación en el Mundo Real: En escenarios de banca móvil (reconocimiento de intención y llenado de slots), YouZhi-7B mantuvo un rendimiento comparable a su modelo base (precisión promedio de ~97.7% para intención, ~99.0% para llenado de slots) ofreciendo al mismo tiempo una concurrencia superior.

Significado

El artículo afirma establecer un nuevo paradigma para la inferencia financiera rentable y de alto rendimiento. Al cerrar la brecha entre la eficiencia arquitectónica (mediante la transición de MLA adaptativa) y la capacidad de dominio (mediante el post-entrenamiento dirigido), YouZhi-LLM demuestra que es posible alcanzar la "frontera de Pareto" de alta precisión y alta concurrencia. El trabajo valida una vía para desplegar LLMs específicos de la industria de forma nativa en el ecosistema Huawei Ascend, abordando las restricciones operativas críticas de baja latencia, alta concurrencia y altas tasas de finalización de tareas requeridas por los servicios financieros del mundo real.