Quantization with Unified Adaptive Distillation to enable multi-LoRA based one-for-all Generative Vision Models on edge

Título: Quantização com Destilação Adaptativa Unificada para Habilitar Modelos Visuais Generativos "Um para Todos" Baseados em Multi-LoRA em Dispositivos de Borda

1. O Problema

A Inteligência Artificial Generativa (GenAI) está sendo integrada em aplicativos móveis para tarefas como edição de imagens, remoção de objetos e transformação guiada por prompts. No entanto, a implantação de Modelos Visuais de Grande Escala (LVMs) em dispositivos com recursos limitados (como smartphones) enfrenta desafios significativos:

• Requisitos de Recursos: LVMs exigem muita memória e poder computacional.
• Ineficiência de Implantação Atual: A abordagem padrão para suportar múltiplas tarefas (usando LoRAs - Low-Rank Adapters) envolve compilar binários de modelo separados para cada LoRA + uma cópia do modelo base. Isso resulta em:
  • Redundância massiva de armazenamento (ROM).
  • Sobrecarga de tempo de execução devido à necessidade de recarregar ou recompilar modelos para trocar de tarefa.
  • Incompatibilidade com aceleradores de hardware (NPUs) que exigem parâmetros de quantização fixos, pois LoRAs treinados independentemente frequentemente possuem distribuições e escalas diferentes.

2. Metodologia Proposta

Os autores propõem um framework unificado que permite que múltiplas tarefas de GenAI compartilhem um único modelo compilado em dispositivos de borda. A solução é dividida em três pilares principais:

A. LoRA como Entrada de Runtime (Grafo Congelado)

• Em vez de fundir os pesos do LoRA no grafo do modelo antes da compilação (o que cria múltiplas versões estáticas), o framework trata os pesos do LoRA como tensores de entrada em tempo de execução.
• O modelo base (LVM) é congelado e compilado uma única vez.
• Durante a inferência, os pesos específicos da tarefa (LoRA) são carregados dinamicamente e injetados no grafo congelado. Isso permite a troca de tarefas sem recompilação e sem recarregar o modelo base da memória.

B. QUAD (Quantização com Destilação Adaptativa Unificada)
Para permitir que múltiplos LoRAs operem sob um único perfil de quantização (necessário para NPUs), foi desenvolvido o framework QUAD:

• Alinhamento de Distribuição: Como LoRAs treinados independentemente têm distribuições diferentes, o framework identifica o LoRA mais "sensível à quantização" (aquele que sofre maior queda de precisão ao ser quantizado) para definir os parâmetros de quantização fixos (escala e ponto zero) compartilhados por todos.
• Destilação de Conhecimento: Os LoRAs restantes são ajustados (fine-tuned) usando destilação de conhecimento. O modelo de precisão completa atua como "professor" e o modelo quantizado (com parâmetros do LoRA de referência) como "aluno". O LoRA é otimizado para minimizar a perda de reconstrução entre as saídas do professor e do aluno, alinhando sua distribuição aos parâmetros de quantização compartilhados.

C. Stack de Software e Otimização de Grafo

• O grafo convertido é otimizado para hardware (fusão de escalas, eliminação de código morto).
• Um runtime leve gerencia o carregamento de buffers de LoRA e a vinculação às entradas do modelo, permitindo troca rápida de tarefas.

3. Contribuições Chave

1. Arquitetura "Um para Todos": Primeira abordagem que permite a execução dinâmica de múltiplos LoRAs em um único binário de modelo em dispositivos móveis, eliminando a redundância de armazenamento.
2. Framework QUAD: Uma estratégia de treinamento e quantização que garante a compatibilidade de múltiplos adaptadores sob um único perfil de quantização de baixa precisão, mantendo a qualidade visual.
3. Flexibilidade de Implantação: Suporte para atualização "Over-the-Air" (OTA) de novos LoRAs sem alterar o modelo base, facilitando a extensibilidade futura.
4. Agnosticismo de Hardware: O sistema foi validado em múltiplos chipsets (Qualcomm, MediaTek, Samsung Exynos), demonstrando portabilidade.

4. Resultados Experimentais

Os experimentos foram realizados em dispositivos reais (Galaxy S25, Tab S11) com modelos baseados em Stable Diffusion 1.5:

• Redução de Memória:
  • Até 6x de redução na pegada de memória (ROM) comparado à abordagem tradicional de múltiplos binários.
  • Exemplo: Um cenário com 10 LoRAs que exigiria 15GB na abordagem tradicional foi reduzido para 2.6GB com o método proposto.
• Latência e Desempenho:
  • Até 4x de melhoria na latência de tempo de execução.
  • Redução de ~1.5 segundos no tempo de ponta a ponta (end-to-end) devido à eliminação da sobrecarga de troca de grafos.
• Qualidade Visual:
  • Manutenção de alta qualidade de imagem. Métricas como FID (5.52 para remoção de objetos), SSIM (0.94) e PSNR (33.04) demonstraram que a quantização (INT8/INT16) e a destilação não degradaram significativamente a saída em comparação com modelos de precisão completa (FP32) rodando em servidores.
• Eficiência de Quantização:
  • A configuração W8A16 (Pesos em INT8, Ativações em INT16) ofereceu o melhor equilíbrio entre precisão e eficiência. Tentativas de reduzir ativações para INT8 (W8A8) resultaram em quedas significativas de qualidade.

5. Significado e Impacto

Este trabalho representa um avanço crucial para a IA Generativa na Borda (On-Device GenAI). Ao resolver o dilema entre a eficiência de parâmetros (LoRA) e a eficiência de implantação (quantização/compilação estática), o framework permite que smartphones executem múltiplas capacidades de IA generativa complexas localmente.

Isso traz benefícios diretos para o usuário final:

• Privacidade: Os dados não precisam ser enviados para a nuvem.
• Velocidade: Eliminação da latência de rede.
• Economia de Armazenamento: Permite que aplicativos ofereçam dezenas de funcionalidades de IA sem ocupar gigabytes de espaço no dispositivo.

Em resumo, o QUAD e a estratégia de "LoRA como entrada" transformam a viabilidade de modelos generativos multi-tarefa em hardware móvel, tornando a IA generativa mais acessível, rápida e privada.