Resumo Técnico: Publicidade Eficiente Baseada em LLM via Compressão de Modelo e Verificação Paralela

Declaração do Problema

A integração de Modelos de Linguagem de Grande Escala (LLMs) na publicidade online, especificamente para direcionamento generativo (geração de anúncios ponta a ponta, em tempo real, baseada em consultas do usuário), introduziu um dilema significativo entre escalabilidade e eficiência. Embora os LLMs ofereçam capacidades superiores de generalização e raciocínio em comparação com modelos discriminativos tradicionais, seus crescentes números de parâmetros e requisitos estritos de latência em tempo real criam um gargalo de desempenho crítico.

A pesquisa existente focou-se amplamente em otimizações do lado da precisão (por exemplo, estratégias de treinamento, prompting), mas frequentemente negligencia otimizações do lado da eficiência. Essa omissão é prejudicial para cenários comerciais sensíveis ao tempo, como a entrega de anúncios online, onde alta latência de inferência e custos computacionais tornam as implantações padrão de LLM impraticáveis. O desafio central é otimizar a velocidade de inferência sem comprometer a qualidade ou a precisão da recomendação.

Metodologia

Os autores propõem um framework abrangente composto por dois componentes principais: Compressão de Modelo e Verificação Paralela Baseada em Árvore de Prefixos.

1. Compressão de Modelo

Este componente visa reduzir o tamanho do modelo e a sobrecarga computacional através de uma combinação de quantização e esparsidade, otimizada para cargas de trabalho GEMV (Multiplicação Geral de Matriz-Vetor).

• Quantização Adaptativa por Grupos: Em vez de usar estratégias de agrupamento pré-determinadas, os autores propõem um método adaptativo que ajusta a granularidade da quantização à sensibilidade das camadas lineares individuais.
  • Camadas/canais sensíveis: Recebem mais grupos para uma quantização mais fina (minimizando o erro).
  • Camadas/canais não sensíveis: Recebem menos grupos para reduzir a sobrecarga computacional.
  • Esta abordagem comprime o modelo de FP16 para INT4.
• Esparsidade Semi-Estruturada Adaptativa por Camada: O framework emprega uma estratégia de poda $N:M$ por camada baseada na importância relativa dos parâmetros.
  • Camadas críticas retêm maior densidade (por exemplo, esparsidade 2:4).
  • Camadas menos significativas são podadas de forma mais agressiva (por exemplo, esparsidade 1:4).
  • A importância dos elementos de peso é quantificada usando uma expansão de Taylor de segunda ordem do erro de aproximação, considerando tanto a magnitude do peso quanto a norma da ativação de entrada.
• Kernel SparseGemv Personalizado: Para abordar a sobrecarga dos dados de índice esparsos e da largura de banda de memória, os autores desenvolveram um kernel personalizado:
  • Compressão de Índice: Eles introduziram uma estrutura 2bit-CSR com índice comprimido. Os índices são reordenados, convertidos para binário e codificados (por exemplo, hexadecimal) para reduzir os tamanhos de índice e peso para 30% do tamanho CSR original.
  • Otimização de Memória: As ativações são movidas da Memória Local para a Memória Compartilhada usando um layout de dados baseado em embaralhamento para eliminar conflitos de banco. O compartilhamento de dados em nível de bloco é utilizado para melhorar a eficiência da transferência de HBM para Memória Compartilhada.
  • Otimização Computacional: O kernel utiliza a instrução de assembly lop3.b32 para desquantização eficiente de INT4 para FP16 e otimiza a indexação CSR com operações de bits para acesso rápido.

2. Verificação Paralela Baseada em Árvore de Prefixos

Este componente acelera a decodificação aproveitando os padrões de dados específicos dos alvos publicitários.

• Construção de Árvore de Prefixos: Usando agrupamento hierárquico (inspirado no Índice de Busca Diferenciável, DSI), identificadores de anunciantes em texto puro são transformados em uma árvore de prefixos (trie) semanticamente estruturada. A árvore é larga no topo e estreita na base, reduzindo o espaço de busca de candidatos à medida que a decodificação progride.
• Mecanismo de Gatilho Dinâmico: O sistema determina dinamicamente o momento ideal para alternar da verificação sequencial para a verificação paralela. Ele calcula a compensação entre a sobrecarga da verificação paralela e o tempo necessário para etapas autoregressivas sequenciais, acionando o paralelismo quando o benefício previsto é maximizado.
• Decodificação Baseada em Árvore: O processo envolve:
  1. Construção de sequências de entrada via Busca em Profundidade (DFS) na trie.
  2. Decodificação paralela dessas sequências com restrições baseadas em árvore (apenas caminhos válidos).
  3. Busca em Feixe (Beam Search): Usando soma logarítmica para combinar pontuações de nós pais com pontuações de tokens ($T_{score}$) para calcular pontuações de nós ($B_{score}$), selecionando as sequências principais.
  4. Reconstrução da sequência final rastreando de volta os nós de maior pontuação.

Principais Contribuições

O artigo afirma as seguintes contribuições específicas:

1. 2bit-CSR com Índice Comprimido: Uma estrutura de dados otimizada para esparsidade mista que reduz os tamanhos de índice e peso para 30% do CSR original.
2. Kernel SparseGemv Personalizado: Um kernel acelerado por hardware que suporta multiplicação de matriz esparsa INT4, preenchendo uma lacuna deixada pelas bibliotecas NVIDIA existentes (cuSPARSE/cuSparseLT) para operações GEMV eficientes.
3. Quantização Adaptativa por Grupos: Uma estratégia de quantização inovadora que aumenta a flexibilidade e a precisão ajustando os tamanhos dos grupos com base na sensibilidade da camada.
4. Busca em Feixe com Restrições de Árvore de Prefixos: O primeiro fluxo de trabalho proposto que combina decodificação com restrições de árvore de prefixos com busca em feixe, aplicado especificamente a tarefas generativas no direcionamento publicitário.
5. Implantação em Produção: O framework foi implantado na plataforma publicitária da Baidu, atendendo tráfego em tempo real.

Resultados Experimentais

O framework foi avaliado usando o modelo ERNIE 1.5B em dois cenários: Geração de Criativos Publicitários e Publicidade Direcionada.

• Publicidade Direcionada:
  • O framework completo (Esparsidade + Quantização + Verificação Paralela em Árvore) alcançou um Recall de 0,081 com um comprimento médio de 6, comparado a um recall de base de 0,084.
  • A combinação de técnicas garantiu uma aceleração significativa enquanto mantinha níveis de recall aceitáveis adequados para implantação online.
• Geração de Criativos Publicitários:
  • Avaliado no conjunto de dados CSL (metadados de revistas acadêmicas).
  • A abordagem híbrida (Esparsidade + Quantização) alcançou a melhor compensação entre eficiência e qualidade.
  • Estudos de Ablação:
    • Quantização (INT4): Reduziu a latência de 6,6s para 4,8s (aceleração de 1,37×) com impacto mínimo no BLEU (0,4247 $\to$ 0,4178) e nas pontuações Meteor.
    • Esparsificação (2:4): Proporcionou ganhos moderados (aceleração de 1,25×) com leve perda de qualidade.
    • Esparsificação Agressiva (1:4): Entregou alta aceleração (1,43×), mas causou degradação perceptível da qualidade.
    • Combinado (Esparsidade 2:4 + Quantização): Alcançou uma aceleração de 1,65× com uma pontuação Meteor de 0,6195.
    • Combinado (Esparsidade 1:4 + Quantização): Alcançou uma aceleração de 1,89×, mas com queda significativa de qualidade.
    • Esparsidade Mista + Quantização: Alcançou uma aceleração de 1,78× com uma pontuação Meteor de 0,6127.
• Implantação no Mundo Real:
  • Em produção na plataforma publicitária da Baidu, o sistema alcançou uma aceleração superior a 1,8× em experimentos do mundo real, mantendo precisão competitiva.

Significado e Afirmações

O artigo posiciona este trabalho como uma solução pioneira para o problema do "Direcionamento Generativo" na publicidade de busca. Seu significado reside em:

• Superando a Lacuna de Eficiência: Aborda o gargalo crítico da latência de inferência em sistemas de recomendação aprimorados por LLMs, tornando abordagens generativas viáveis para ambientes comerciais em tempo real estritos.
• Otimização Holística: Diferentemente de trabalhos anteriores focados apenas na precisão ou compressão simples, este framework integra inovações algorítmicas (quantização adaptativa, esparsidade hierárquica) com engenharia de sistema de baixo nível (kernels personalizados, compressão de índice) e lógica específica de negócios (construção de árvore de prefixos).
• Viabilidade Industrial: A implantação bem-sucedida em uma plataforma publicitária líder demonstra que estratégias agressivas de compressão de modelo e verificação paralela podem ser aplicadas em escala sem sacrificar a qualidade exigida para a entrega comercial de anúncios.

Os autores observam que, embora o framework seja altamente eficaz para o direcionamento publicitário comercial, suas estratégias de otimização são adaptadas aos padrões de dados e restrições específicos deste domínio, sugerindo que adaptações adicionais seriam necessárias para outros contextos de aplicação.