Resumo Técnico: TileQ - Quantização de Baixo Rank Eficiente de Mistura de Especialistas com Ladrilhamento 2D

1. Declaração do Problema

Modelos de Mistura de Especialistas (MoE) tornaram-se um paradigma dominante para escalar Modelos de Linguagem de Grande Escala (LLMs) ativando esparsamente sub-redes especializadas chamadas "especialistas". Embora essa arquitetura reduza os custos computacionais durante a inferência, ela introduz um gargalo crítico de memória: todo o conjunto de parâmetros dos especialistas deve permanecer residente na memória, mesmo que apenas um pequeno subconjunto esteja ativo por token. Essa grande pegada de memória limita severamente a implantação em hardware com recursos restritos e aumenta os custos de inferência na nuvem.

Os métodos existentes de Quantização Pós-Treinamento (PTQ), particularmente as abordagens de baixo rank, oferecem um caminho para compressão. No entanto, os métodos atuais de última geração enfrentam três limitações significativas quando aplicados a modelos MoE:

1. Degradação de Precisão: Esquemas de quantização simples sofrem quedas severas de desempenho em larguras de bits extremamente baixas (por exemplo, 2 bits).
2. Sobrecarga de Memória: PTQs de baixo rank tradicionais frequentemente incorrem em sobrecarga de memória adicional não negligenciável devido ao armazenamento de fatores de baixo rank para cada especialista independentemente ou ao uso de estratégias de compartilhamento 1D que não exploram totalmente a redundância entre especialistas.
3. Latência de Inferência: Métodos de quantização de alta precisão frequentemente introduzem latência significativa. Em modelos MoE, onde os especialistas são pequenos e esparsos, a sobrecarga de gerenciar matrizes de baixo rank disjuntas para cada especialista pode degradar a velocidade de inferência em mais de 50%, anulando os benefícios da esparsidade.

Além disso, métodos baseados em ajuste fino (como LoRA) degradam a generalização do modelo e são inadequados para adaptação rápida a tarefas sem retreinamento. O objetivo é alcançar alta precisão e taxas de compressão com latência de inferência mínima sem ajuste fino.

2. Metodologia: TILEQ

Os autores propõem o TILEQ, um método PTQ sem ajuste fino que emprega quantização estruturada de baixo rank com ladrilhamento 2D. A inovação central reside no compartilhamento de fatores de baixo rank através das dimensões de entrada e saída dos especialistas MoE, em vez de tratar os especialistas independentemente ou compartilhar apenas ao longo de uma única dimensão.

2.1. Quantização Estruturada de Baixo Rank com Ladrilhamento 2D

O método aproxima a matriz de pesos $W_k$ de cada especialista $k$ organizando todos os $K$ especialistas em um layout ladrilhado 2D. Isso permite o compartilhamento de fatores de baixo rank $U$ e $V$ através da grade.

O processo envolve cinco etapas principais:

1. Escala: Uma matriz de escala diagonal é aplicada à matriz de pesos de cada especialista com base em dados de calibração para alinhar vetores singulares com os espaços de recursos de entrada/saída.
2. Extração: Fatores SVD de rank aproximado $r_0$ ($U_k, V_k$) são extraídos para cada especialista escalado. Estes são vetorizados e normalizados para criar embeddings de recursos.
3. Agrupamento: Um algoritmo de biclustering (K-Means) é aplicado aos embeddings normalizados para atribuir cada especialista a uma coordenada de grade ideal $(m, n)$ em uma grade de ladrilhos $M \times N$. Isso agrupa especialistas com subespaços singulares semelhantes.
4. Posicionamento em Ladrilhamento 2D: Para resolver conflitos onde múltiplos especialistas mapeiam para o mesmo ladrilho, é utilizada uma estratégia de alocação espacial gananciosa. Isso minimiza a distância entre a posição de cluster ideal de um especialista e sua posição física real no ladrilho. Os especialistas são então colocados em uma grande matriz de bloco $W_{big}$.
5. Quantização: A grande matriz ladrilhada $W_{big}$ sofre uma decomposição global de baixo rank (aproximada via Esboço Gaussiano para evitar SVD custoso). Os fatores de baixo rank compartilhados resultantes ($U, V, \Sigma$) são armazenados, e o erro residual para cada especialista é quantizado usando métodos conscientes do Hessian (GPTQ/GPTVQ) e técnicas de rotação (LOPRO).

Insight Técnico Chave: Ao estruturar especialistas em uma grade 2D, o TILEQ permite que especialistas na mesma linha compartilhem uma base esquerda (espaço de saída) e especialistas na mesma coluna compartilhem uma base direita (espaço de entrada). Isso reduz a sobrecarga de armazenamento significativamente em comparação com métodos de compartilhamento 1D ou elemento a elemento.

2.2. Inferência Esparsa de Baixo Rank Fundida Eficiente

Para abordar o gargalo de latência, o TILEQ introduz o LoTileMoE, um algoritmo de inferência que funde múltiplos cálculos de especialistas de baixo rank em uma operação de passagem única.

• Mecanismo: Em vez de realizar despacho esparso irregular por token para cada especialista, o algoritmo projeta todo o lote de entrada sobre o fator esquerdo compartilhado $(U\Sigma)$ uma única vez. Em seguida, ele remodela essa projeção em um tensor 3D, aplica pesos de roteamento para selecionar ladrilhos ativos e realiza uma única multiplicação de matriz em lote com o fator direito compartilhado $V$.
• Otimização: O método evita a construção explícita de grandes tensores intermediários 3D usando um buffer de acumulação no local. Isso substitui acessos irregulares à memória por operações de tensor densas e regulares (GEMMs) altamente otimizadas em hardware moderno (GPUs/TPUs).
• Complexidade: A abordagem reduz a complexidade de lidar com $K$ pequenos GEMMs separados para dois grandes GEMMs bem estruturados, melhorando significativamente a utilização de hardware e reduzindo a sobrecarga de lançamento de kernel.

3. Contribuições Principais

1. PTQ de Baixo Rank com Ladrilhamento 2D: Um método de quantização inovador e sem ajuste fino que aproveita a similaridade entre especialistas via ladrilhamento 2D para permitir representações compartilhadas eficientes através das dimensões de entrada e saída, alcançando taxas de compressão mais altas do que métodos de compartilhamento 1D ou independentes.
2. Algoritmo de Inferência Fundida: Uma técnica de inferência otimizada (LoTileMoE) que funde cálculos de especialistas de baixo rank em uma operação de passagem única, eliminando a sobrecarga de latência associada ao despacho esparso de especialistas em modelos MoE.
3. Eficiência de Desempenho: O método alcança precisão de quantização de última geração enquanto reduz o uso de memória extra de baixo rank em até 10$\times$ e a latência de inferência para aproximadamente 5% da sobrecarga da linha de base, sem exigir ajuste fino.

4. Resultados Experimentais

Os autores avaliaram o TILEQ em vários modelos MoE representativos, incluindo Qwen1.5-MoE-A2.7B, Qwen3-30B-A3B, Qwen3-Next-80B-A3B, Mixtral-8$\times$7B e Deepseek-MoE-16B.

• Precisão: O TILEQ demonstra robustez sob configurações de bits extremamente baixas (2 bits e 3 bits).
  • No Mixtral-8$\times$7B em 2 bits, o TILEQ alcança uma perplexidade de 4,78, superando significativamente o GPTQ (15,3) e o GPTVQ (5,28).
  • Em 3 bits, o TILEQ se aproxima do desempenho FP16 (por exemplo, perplexidade 4,10 vs. 3,87 para FP16 no Mixtral) e alcança pontuações MMLU comparáveis a modelos não quantizados.
  • Ele consistentemente supera linhas de base como GPTQ, GPTVQ, MOEQUANT e LOPRO em várias tarefas downstream (ARC, PIQA, Winogrande, MMLU, HellaSwag).
• Eficiência de Memória: O TILEQ reduz a sobrecarga de memória adicional necessária para fatores de baixo rank em até 90% (redução de 10$\times$) em comparação com métodos por especialista. Por exemplo, no Qwen3-30B-A3B, ele alcança uma redução de 8$\times$ na sobrecarga de memória em comparação com a quantização de baixo rank por especialista.
• Latência de Inferência:
  • Preenchimento (Prefill): O TILEQ reduz a latência para menos de 5% ao substituir o despacho esparso irregular por GEMMs estruturados.
  • Decodificação (Decode): Embora limitado pela memória, o TILEQ mantém baixa latência (cerca de 5-10% de sobrecarga) utilizando layouts de pesos contíguos e acesso vetorizado, enquanto métodos elemento a elemento e compartilhados 1D sofrem aumentos de latência de 15-75%.
• Estudos de Ablação: Experimentos confirmam que o mecanismo de ladrilhamento 2D é o principal motor de desempenho, pois removê-lo aumenta os requisitos de largura de bits em 8$\times$ enquanto mantém precisão semelhante. O método é escalável em modelos com variadas esparsidades e tamanhos de especialistas.

5. Significância e Alegações

O artigo afirma que o TILEQ fornece uma solução escalável e amigável ao hardware para implantar modelos MoE sob restrições estritas de memória e computação. Ao estruturar conjuntamente especialistas em um layout de ladrilhamento 2D e fundir operações de inferência, o TILEQ supera os trade-offs entre precisão, compressão e latência que afligem os métodos existentes de PTQ de baixo rank.

Os autores enfatizam que o TILEQ serve como uma extensão leve e de propósito geral para frameworks PTQ existentes (como GPTQ), permitindo a implantação de modelos MoE esparsos de próxima geração sem a necessidade de ajuste fino ou retreinamento computacionalmente caros. O método é particularmente significativo para cenários que exigem quantização de bits ultra-bajos (2-3 bits), onde métodos tradicionais falham em manter a fidelidade.