Resumen Técnico: Publicidad Eficiente Basada en LLM mediante Compresión de Modelos y Verificación Paralela

Declaración del Problema

La integración de Modelos de Lenguaje Grande (LLM) en la publicidad en línea, específicamente para la segmentación generativa (generación de anuncios de extremo a extremo en tiempo real basada en consultas de usuario), ha introducido un dilema significativo entre escalabilidad y eficiencia. Aunque los LLM ofrecen capacidades superiores de generalización y razonamiento en comparación con los modelos discriminativos tradicionales, sus crecientes conteos de parámetros y los estrictos requisitos de latencia en tiempo real crean un cuello de botella crítico en el rendimiento.

La investigación existente se ha centrado en gran medida en optimizaciones del lado de la precisión (por ejemplo, estrategias de entrenamiento, prompting), pero a menudo descuida las optimizaciones del lado de la eficiencia. Esta omisión es perjudicial para escenarios comerciales sensibles al tiempo como la entrega de anuncios en línea, donde la alta latencia de inferencia y los costos computacionales hacen que las implementaciones estándar de LLM sean poco prácticas. El desafío central es optimizar la velocidad de inferencia sin comprometer la calidad o la precisión de la recomendación.

Metodología

Los autores proponen un marco integral que comprende dos componentes principales: Compresión de Modelos y Verificación Paralela Basada en Árbol de Prefijos.

1. Compresión de Modelos

Este componente tiene como objetivo reducir el tamaño del modelo y la sobrecarga computacional mediante una combinación de cuantización y dispersión, optimizada para cargas de trabajo GEMV (Multiplicación General de Matriz-Vectores).

• Cuantización Adaptativa por Grupos: En lugar de utilizar estrategias de agrupamiento predefinidas, los autores proponen un método adaptativo que ajusta la granularidad de la cuantización a la sensibilidad de las capas lineales individuales.
  • Capas/canales sensibles: Se asignan más grupos para una cuantización más fina (minimizando el error).
  • Capas/canales no sensibles: Se asignan menos grupos para reducir la sobrecarga computacional.
  • Este enfoque comprime el modelo de FP16 a INT4.
• Dispersión Semi-Estructurada Adaptativa por Capas: El marco emplea una estrategia de poda $N:M$ por capas basada en la importancia relativa de los parámetros.
  • Las capas críticas retienen una mayor densidad (por ejemplo, dispersión 2:4).
  • Las capas menos significativas se podan de manera más agresiva (por ejemplo, dispersión 1:4).
  • La importancia de los elementos de peso se cuantifica utilizando una expansión de Taylor de segundo orden del error de aproximación, considerando tanto la magnitud del peso como la norma de la activación de entrada.
• Kernel SparseGemv Personalizado: Para abordar la sobrecarga de los datos de índices dispersos y el ancho de banda de memoria, los autores desarrollaron un kernel personalizado:
  • Compresión de Índices: Introdujeron una estructura 2bit-CSR con índices comprimidos. Los índices se reordenan, se convierten a binario y se codifican (por ejemplo, hexadecimal) para reducir el tamaño de los índices y los pesos al 30% del tamaño CSR original.
  • Optimización de Memoria: Las activaciones se mueven de la Memoria Local a la Memoria Compartida utilizando una disposición de datos basada en intercambio para eliminar conflictos de banco. El intercambio de datos a nivel de bloque se utiliza para mejorar la eficiencia de la transferencia de HBM a Memoria Compartida.
  • Optimización Computacional: El kernel utiliza la instrucción de ensamblaje lop3.b32 para una descuantización eficiente de INT4 a FP16 y optimiza la indexación CSR con operaciones bit a bit para un acceso rápido.

2. Verificación Paralela Basada en Árbol de Prefijos

Este componente acelera la decodificación aprovechando los patrones de datos específicos de los objetivos publicitarios.

• Construcción del Árbol de Prefijos: Utilizando agrupamiento jerárquico (inspirado en el Índice de Búsqueda Diferenciable, DSI), los identificadores de anunciantes en texto plano se transforman en un árbol de prefijos (trie) estructurado semánticamente. El árbol es ancho en la parte superior y estrecho en la parte inferior, reduciendo el espacio de búsqueda de candidatos a medida que avanza la decodificación.
• Mecanismo de Disparo Dinámico: El sistema determina dinámicamente el momento óptimo para cambiar de la verificación secuencial a la paralela. Calcula la compensación entre la sobrecarga de la verificación paralela y el tiempo requerido para los pasos autoregresivos secuenciales, activando el paralelismo cuando el beneficio predicho se maximiza.
• Decodificación Basada en Árbol: El proceso implica:
  1. Construir secuencias de entrada mediante Búsqueda en Profundidad (DFS) en el trie.
  2. Decodificación paralela de estas secuencias con restricciones basadas en árboles (solo rutas válidas).
  3. Búsqueda en Haz (Beam Search): Utilizando la suma logarítmica para combinar las puntuaciones de los nodos padres con las puntuaciones de los tokens ($T_{score}$) para calcular las puntuaciones de los nodos ($B_{score}$), seleccionando las secuencias principales.
  4. Reconstruir la secuencia final rastreando hacia atrás los nodos con la puntuación más alta.

Contribuciones Clave

El artículo afirma las siguientes contribuciones específicas:

1. 2bit-CSR con Índices Comprimidos: Una estructura de datos optimizada para dispersión mixta que reduce el tamaño de índices y pesos al 30% del CSR original.
2. Kernel SparseGemv Personalizado: Un kernel acelerado por hardware que soporta multiplicación de matrices dispersas INT4, llenando un vacío dejado por las bibliotecas existentes de NVIDIA (cuSPARSE/cuSparseLT) para operaciones GEMV eficientes.
3. Cuantización Adaptativa por Grupos: Una estrategia de cuantización novedosa que mejora la flexibilidad y la precisión ajustando los tamaños de grupo según la sensibilidad de la capa.
4. Búsqueda en Haz Constrained por Árbol de Prefijos: El primer flujo de trabajo propuesto que combina la decodificación restringida por árbol de prefijos con la búsqueda en haz, aplicado específicamente a tareas generativas en segmentación publicitaria.
5. Despliegue en Producción: El marco ha sido desplegado en la plataforma publicitaria de Baidu, sirviendo tráfico en tiempo real.

Resultados Experimentales

El marco fue evaluado utilizando el modelo ERNIE 1.5B en dos escenarios: Generación de Creatividad Publicitaria y Publicidad Segmentada.

• Publicidad Segmentada:
  • El marco completo (Dispersión + Cuantización + Verificación Paralela de Árbol) logró una Recuperación (Recall) de 0.081 con una longitud promedio de 6, en comparación con una recuperación base de 0.084.
  • La combinación de técnicas aseguró una aceleración significativa mientras mantenía niveles de recuperación aceptables adecuados para el despliegue en línea.
• Generación de Creatividad Publicitaria:
  • Evaluado en el conjunto de datos CSL (metadatos de revistas académicas).
  • El enfoque híbrido (Dispersión + Cuantización) logró el mejor equilibrio entre eficiencia y calidad.
  • Estudios de Ablación:
    • Cuantización (INT4): Redujo la latencia de 6.6s a 4.8s (aceleración de 1.37×) con un impacto mínimo en BLEU (0.4247 $\to$ 0.4178) y puntuaciones Meteor.
    • Dispersión (2:4): Proporcionó ganancias moderadas (aceleración de 1.25×) con una ligera pérdida de calidad.
    • Dispersión Agresiva (1:4): Proporcionó una alta aceleración (1.43×) pero causó una degradación notable de la calidad.
    • Combinado (Dispersión 2:4 + Cuantización): Logró una aceleración de 1.65× con una puntuación Meteor de 0.6195.
    • Combinado (Dispersión 1:4 + Cuantización): Logró una aceleración de 1.89× pero con una caída significativa de calidad.
    • Dispersión Mixta + Cuantización: Logró una aceleración de 1.78× con una puntuación Meteor de 0.6127.
• Despliegue en el Mundo Real:
  • En producción en la plataforma publicitaria de Baidu, el sistema logró una aceleración superior a 1.8× en experimentos del mundo real mientras mantenía una precisión competitiva.

Significado y Afirmaciones

El artículo posiciona este trabajo como una solución pionera al problema de la "Segmentación Generativa" en la publicidad de búsqueda. Su significado radica en:

• Cerrar la Brecha de Eficiencia: Aborda el cuello de botella crítico de la latencia de inferencia en sistemas de recomendación potenciados por LLM, haciendo viables los enfoques generativos para entornos comerciales estrictos en tiempo real.
• Optimización Holística: A diferencia de trabajos anteriores centrados únicamente en la precisión o la compresión simple, este marco integra innovaciones algorítmicas (cuantización adaptativa, dispersión jerárquica) con ingeniería de sistemas de bajo nivel (kernels personalizados, compresión de índices) y lógica específica del negocio (construcción de árboles de prefijos).
• Viabilidad Industrial: El despliegue exitoso en una plataforma publicitaria líder demuestra que las estrategias agresivas de compresión de modelos y verificación paralela pueden aplicarse a escala sin sacrificar la calidad requerida para la entrega comercial de anuncios.

Los autores señalan que, aunque el marco es altamente efectivo para la segmentación publicitaria comercial, sus estrategias de optimización están adaptadas a los patrones de datos y restricciones específicos de este dominio, lo que sugiere que sería necesaria una adaptación adicional para otros contextos de aplicación.