🤖 machine learning

MiCoPro: End-to-End Mixed Precision HW/SW Co-design with HW-aware Proxy Model

O artigo apresenta o MiCoPro, um framework de co-design hardware-software end-to-end que utiliza um modelo de proxy consciente de hardware e um novo algoritmo de otimização para buscar eficientemente esquemas de quantização de precisão mista, permitindo a implantação rápida de modelos de IA de borda com redução significativa de latência e perda mínima de precisão.

Autores originais: Zijun Jiang, Yangdi Lyu

Publicado 2026-08-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zijun Jiang, Yangdi Lyu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando encaixar um filme enorme e de alta definição em um pequeno tocador de MP3 antigo. O filme é uma "Rede Neural", um tipo de cérebro computacional que aprende a reconhecer gatos, traduzir idiomas ou dirigir carros. O problema é que esses cérebros são geralmente construídos com números de ponto flutuante pesados (como 32 bits ou 64 bits), que ocupam muito espaço e exigem muita energia para serem processados. Para fazer com que eles funcionem em dispositivos pequenos como smartwatches ou drones, os engenheiros usam a "Quantização". Pense nisso como comprimir o filme: em vez de usar milhões de cores, você força a imagem a usar apenas alguns tons de cinza. Isso torna o arquivo menor e mais rápido de reproduzir, mas se você comprimir demais, a imagem fica borrada e a IA deixa de reconhecer o gato.

Por muito tempo, os engenheiros tentaram comprimir o filme inteiro com a mesma baixa qualidade, como transformar cada quadro em um esboço de 4 bits. Mas isso é como forçar uma cena de ação em câmera lenta e uma cena de diálogo silenciosa a terem a mesma baixa resolução; isso desperdiça espaço nas partes silenciosas e estraga as partes de ação. Uma ideia mais inteligente é a "Quantização de Precisão Mista" (MPQ). Isso é como um algoritmo de compressão inteligente que mantém as cenas de ação em alta definição (8 bits), mas reduz as cenas de diálogo entediantes para esboços minúsculos (2 bits). O desafio, no entanto, é descobrir exatamente quais cenas encolher e o quanto. Se você errar o palpite, o filme fica terrível. Se acertar, você obtém um arquivo minúsculo que ainda parece incrível. Este é o quebra-cabeça que os pesquisadores deste artigo se propuseram a resolver.

O artigo apresenta um novo conjunto de ferramentas chamado MiCo (e sua versão atualizada, MiCoPro) para resolver este quebra-cabeça automaticamente. Em vez de um humano tentar ajustar manualmente cada camada de uma rede neural — o que seria como tentar editar um filme de 100 horas quadro a quadro — o sistema MiCo atua como um editor superinteligente de avanço rápido. Ele usa um "modelo proxy", que é essencialmente uma bola de cristal treinada para prever quão rápido um esquema de compressão específico rodará em um hardware real sem precisar executá-lo de fato.

Os pesquisadores descobriram que a maneira antiga de estimar a velocidade era como contar o número de palavras em um livro para adivinhar quanto tempo leva para lê-lo. É uma estimativa bruta, mas ignora se a fonte é pequena, se o leitor está cansado ou se o livro é pesado. O artigo argumenta que esse método antigo (chamado de "Operações de Bits" ou BOPs) frequentemente leva a escolhas ruins porque não entende as peculiaridades específicas do hardware. O MiCoPro, por outro lado, constrói um "velocímetro" personalizado para cada dispositivo específico. Ele aprende como diferentes hardwares lidam com diferentes tipos de matemática, permitindo encontrar a mistura perfeita de alta e baixa precisão que faz a IA rodar o mais rápido possível sem perder sua precisão.

Em seus experimentos, a equipe testou este sistema em vários modelos de IA, desde simples reconhecedores de imagem até grandes modelos de linguagem. Eles descobriram que, ao usar seu novo "Proxy Consciente de Hardware", conseguiram reduzir o tempo que a IA leva para pensar (latência) em até 40%, perdendo menos de 3% de sua precisão. É como encontrar uma maneira de fazer a bateria do seu telefone durar 40% mais sem deixar a tela menos brilhante.

O artigo também destaca que isso não é apenas uma teoria; eles realmente construíram o software para pegar um modelo projetado em Python (uma linguagem de programação popular) e transformá-lo em código C puro de baixo nível que pode rodar diretamente em chips, incluindo aceleradores especializados e processadores RISC-V modificados. Eles mostraram que seu método funciona melhor do que algoritmos de "busca" anteriores, que frequentemente se perdem no enorme número de combinações possíveis. Ao usar uma técnica chamada "Amostragem Próxima à Restrição" (Near-Constraint Sampling), o MiCo foca sua busca no "ponto ideal" logo próximo ao limite de velocidade, em vez de perder tempo verificando opções que são lentas demais ou rápidas demais.

Fundamentalmente, o artigo sugere que, para tirar o máximo proveito da IA em dispositivos pequenos, precisamos parar de tratar todas as camadas de uma rede neural da mesma forma. Ao usar um guia inteligente e consciente do hardware para misturar e combinar níveis de precisão, podemos tornar a IA mais rápida e eficiente. Os autores demonstram que essa abordagem é robusta, funcionando em diferentes tipos de chips e modelos, e fornecem um framework de código aberto para que outros possam usar. Embora os resultados sejam baseados em simulações e testes de hardware específicos, o sucesso consistente em diferentes cenários sugere que esta estratégia de "compressão inteligente" é uma ferramenta poderosa para o futuro da IA de borda (Edge AI).

Resumo Técnico: MiCoPro: Co-design de Hardware/Software de Precisão Mista Ponta-a-Ponta com Modelo de Proxy Sensível ao Hardware

Definição do Problema
Redes Neurais Quantizadas (QNNs) são essenciais para implantar IA em dispositivos de borda com recursos limitados. Embora a quantização de precisão mista (MPQ) camada a camada ofereça um caminho para maximizar a eficiência sem sacrificar a precisão, os algoritmos de exploração existentes enfrentam limitações significativas. Os métodos convencionais lutam contra a alta dimensionalidade e as correlações complexas do espaço de busca da MPQ, dependendo frequentemente de buscas heurísticas ineficientes ou técnicas de aprendizado de máquina que exigem orçamentos de avaliação excessivos. Além disso, métricas de custo de hardware padrão, como Operações de Bits (BOPs), falham em prever com precisão a latência real em alvos de hardware específicos porque ignoram nuances arquiteturais como empacotamento de operandos, largura de banda de memória e utilização de SIMD. Finalmente, há uma falta de um framework unificado, de ponta a ponta, que possa explorar eficientemente esquemas de MPQ baseados em características de hardware e implantar diretamente os modelos resultantes do PyTorch para código C bare-metal em diversas plataformas.

Metodologia
Os autores propõem o MiCo, um framework holístico para exploração de MPQ, e sua extensão MiCoPro, que integra um Modelo de Proxy Sensível ao Hardware (HAP - Hardware-Aware Proxy).

Algoritmo de Exploração de MPQ (MiCo):
- Formulação: A busca é tratada como um problema de otimização de caixa-preta com restrição de orçamento.
- Modelagem de Substituição (Surrogate Modeling): O framework utiliza aprendizado de conjunto de Floresta Aleatória (RF) para prever a precisão do modelo com base nas configurações de quantização. A RF foi escolhida por sua capacidade de modelar interações não lineares em espaços de busca discretos com dados de treinamento limitados.
- Estratégia de Amostragem:
  - Amostragem Inicial Ortogonal: Em vez de amostragem aleatória uniforme, o método gera um conjunto inicial de amostras que inclui larguras de bits extremas (ex: W8A8, W1A1) e combinações ortogonais onde camadas específicas são quantizadas enquanto outras permanecem em precisão total. Isso garante que o preditor aprenda os limites e as interações do espaço de busca de forma eficiente.
  - Amostragem Próxima à Restrição (NCS): Um algoritmo genético gera esquemas candidatos dentro de uma Região de Interesse (ROI) próxima à restrição de hardware (ex: limite de latência ou BOPs). A ROI começa estreita e se expande se nenhuma solução viável for encontrada, priorizando esquemas que maximizam a precisão perto da fronteira da restrição.
- Estratégia de Avaliação: O framework utiliza uma abordagem de avaliação bifurcada. Para larguras de bits $\ge$ 4 bits, utiliza Quantização Pós-Treinamento (PTQ) para estimativa rápida. Para configurações abaixo de 4 bits, emprega uma fase de re-treinamento de Quantização Consciente de Treinamento (QAT) de curta duração para recuperar a precisão, equilibrando o custo de busca com a precisão.
Proxy Sensível ao Hardware (MiCoPro):
- Perfilamento de Kernel: O sistema coleta dados de latência de ciclo preciso para kernels de precisão mista (MatMul, Conv2D) através de várias formas e combinações de precisão no hardware alvo.
- Engenharia de Atributos (Feature Engineering): Para superar as limitações dos BOPs, os autores introduzem as Operações de Bits Compostas (CBOPs). Esses atributos decompõem o custo de hardware em:
  - BMACs (Bit Multiply-Accumulate): $\max(b_w, b_a) \times MACs$ , capturando o gargalo da extensão de operandos de largura mista.
  - ALoads/WLoads: Termos separados para tráfego de memória de ativação e de peso, capturando impactos assimétricos na largura de banda.
- Calibração e Transferência: Uma calibração min-max dependente da rede alinha as previsões do proxy com as latências reais de hardware nos extremos de precisão. Adicionalmente, um mecanismo de transferência de aprendizado permite que o proxy se adapte a novos variantes de hardware (ex: diferentes configurações de núcleos RISC-V) usando dados de perfilamento novos mínimos, aprendendo o erro residual de um modelo pré-treinado.
Implantação de Ponta a Ponta:
- O framework inclui um pipeline de implantação que converte o modelo PyTorch otimizado em um grafo PyTorch FX.
- Ele suporta conversão de grafo para simuladores específicos (ex: BitFusion) e gera código C bare-metal para CPUs.
- Utiliza uma biblioteca de kernels de precisão mista customizada (estendendo o baremetal-NN) com variantes aceleradas por SIMD para operações de 8/4/2/1-bit, permitindo a execução direta em processadores RISC-V e aceleradores.

Principais Contribuições

Algoritmo de Exploração Inovador: Uma estratégia de Amostragem Próxima à Restrição guiada por Floresta Aleatória (RF+NCS) que explora eficientemente esquemas de MPQ, alcançando menores quedas de precisão sob restrições rigorosas em comparação com métodos heurísticos e baseados em aprendizado por reforço.
Modelo de Proxy Sensível ao Hardware: Um método de previsão de latência usando CBOPs e transferência de aprendizado que supera significativamente as métricas tradicionais de BOPs na previsão da latência real de hardware, permitindo uma verdadeira otimização sensível ao hardware.
Framework Holístico: Um pipeline de ponta a ponta de código aberto que une a exploração de MPQ e a implantação, suportando diversos alvos, incluindo aceleradores dedicados (BitFusion) e processadores RISC-V com extensão SIMD.

Resultados Experimentais
O framework foi avaliado em um conjunto diversificado de modelos (CNNs, ResNets, ViT, TinyLLaMa) e alvos de hardware (acelerador BitFusion, variantes VexiiMiCo RISC-V).

Eficiência de Busca: Em buscas PTQ, o MiCo superou consistentemente os métodos de estado da arte (HAWQ-V3, HAQ, BOMP, w-based) em vários modelos e restrições. Por exemplo, no SqueezeNet, o MiCo alcançou 68,22% de precisão em 32 iterações, enquanto o HAQ exigiu 91 iterações para atingir o mesmo nível.
Desempenho QAT: Em buscas QAT de baixa largura de bits (1/2/4/8-bit), o MiCo manteve uma precisão competitiva, particularmente em modelos menores onde outros métodos tiveram dificuldades com espaços de busca de alta dimensionalidade.
Precisão do Proxy: O modelo HAP usando CBOPs e atributos completos alcançou uma precisão de previsão significativamente maior (ex: $R^2$ de 0,94 vs. 0,50 para BOPs no BitFusion) e um Erro Percentual Absoluto Médio (MAPE) mais baixo em comparação com as linhas de base baseadas em BOPs.
Aceleração de Implantação: A implantação de ponta a ponta demonstrou que a exploração guiada pelo HAP produz acelerações reais superiores. No BitFusion, a MPQ guiada pelo HAP reduziu a latência para 60% da linha de base (vs. 72% para a guiada por BOPs) com perda de precisão negligenciável. Nos processadores RISC-V, a exploração guiada pelo HAP alcançou até 40% de redução de latência em comparação com a quantização uniforme, enquanto a exploração guiada por BOPs apresentou acelerações significativamente menores devido aos overheads de hardware não modelados.

Significância
O artigo afirma que o MiCoPro aborda a lacuna crítica entre a eficiência teórica de quantização e a implantação prática de hardware. Ao ir além das simples métricas de BOPs para um modelo de proxy sensível ao hardware e fornecer um stack de implantação unificado, o framework permite a exploração rápida e a implantação direta de modelos MPQ que alcançam aceleração genuína em dispositivos de borda. Os resultados demonstram que a otimização sensível ao hardware é essencial para realizar o pleno potencial da quantização de precisão mista, alcançando até 40% de redução de latência com menos de 3% de queda de precisão em diferentes arquiteturas de hardware.

Mais como este