Resumo Técnico: Ajuste de Aproximação Orientado por Compilador para Computação Hiperdimensional

Declaração do Problema

À medida que a Lei de Moore atinge limites físicos e econômicos, abordagens específicas de domínio tornam-se cada vez mais necessárias para acelerar cargas de trabalho de aprendizado de máquina. A Computação Hiperdimensional (HDC) surgiu como um paradigma promissor, oferecendo uma alternativa inspirada no cérebro ao aprendizado profundo, com tolerância inerente ao ruído e eficiência de hardware. No entanto, embora os algoritmos de HDC sejam resilientes a ruídos e aproximações, o espaço de projeto para explorar essas propriedades é combinatorialmente grande.

Uma única aplicação de HDC pode conter dezenas de operações primitivas, cada uma oferecendo múltiplas estratégias de aproximação (por exemplo, precisão reduzida, iterações puladas, variantes algorítmicas). Ao visar hardware heterogêneo (CPUs, GPUs e aceleradores de memória in-memory como ReRAM e PCM), o espaço de busca expande-se ainda mais para incluir controles de hardware específicos, como resolução de ADC, profundidade de write-verify e configurações de célula de múltiplos níveis (MLC). Navegar manualmente por este espaço é impraticável porque as configurações raramente se transferem entre conjuntos de dados ou backends, e as interações entre operações são difíceis de prever sem avaliação empírica. Os frameworks existentes ou carecem de suporte de compilador específico de domínio para primitivas de HDC (ex: EnerJ, ApproxHPVM) ou dependem de ajuste de hiperparâmetros limitado e não integrado ao compilador (ex: MicroHD), falhando em otimizar conjuntamente aproximações de software e hardware através de alvos heterogêneos.

Metodologia: ApproxHDC

Para enfrentar esses desafios, os autores apresentam o ApproxHDC, um framework automatizado para identificar e aplicar aproximações específicas de domínio em cargas de trabalho de HDC. O ApproxHDC estende a infraestrutura de compilador HPVM-HDC existente para permitir compilação retargetable e ajuste automatizado.

Arquitetura do Sistema

O framework opera através de um processo de compilação e ajuste de ciclo fechado:

1. Identificação de Primitivas de HDC: Uma passagem do compilador realiza análise estática no código-fonte HDC++ para identificar todas as invocações de primitivas de HDC. Ela extrai metadados contextuais (função, bloco básico, ordem de execução) e gera uma representação JSON estruturada das operações do programa.
2. Construção do Espaço de Projeto de Aproximação: O Sistema de Ajuste ApproxHDC (implementado em Python usando OpenTuner) constrói um espaço de busca abrangendo tanto aproximações de software quanto de hardware.
   • Aproximações de Software: Inclui Perfuração de Redução (pular iterações de loop em operações de redução), Binarização Automática (converter hipervetores para representações de bit único compactadas), ajuste de Dimensionalidade de Codificação, Representação de Tipo de Elemento (ex: FP32 para INT8) e Escolha Algorítmica (ex: Similaridade de Cosseno vs. Distância de Hamming).
   • Aproximações de Hardware: Para aceleradores de memória in-memory (ReRAM/PCM), o sistema modela controles como resolução de ADC, ciclos de write-verify, escala de quantização analógica e bits de Célula de Múltiplos Níveis (MLC).
3. Poda do Espaço de Busca: Para tornar a busca tratável, o ApproxHDC emprega duas estratégias:
   • Poda Consciente do Domínio: O sistema utiliza conhecimento de HDC para eliminar regiões pouco promissoras (ex: reconhecer que certas etapas de codificação são sensíveis demais à aproximação).
   • Poda Guiada pelo Desenvolvedor: Desenvolvedores podem usar anotações leves de código fonte (__hetero_hdc_no_approx) para excluir primitivas ou subgrafos específicos do espaço de busca, evitando que o sintonizador perca tempo em estágios críticos e não tolerantes.
4. Ajuste Iterativo: O sistema explora configurações empiricamente, medindo métricas de Qualidade de Serviço (QoS) (ex: acurácia, pontuação NMI), tempo de execução e energia. Ele insere as anotações de aproximação selecionadas de volta no código fonte, recompila via HPVM-HDC e itera até que um orçamento de tempo ou limite de convergência seja atingido.

Principais Contribuições

O artigo descreve quatro contribuições primárias:

1. Framework ApproxHDC: Um sistema de auto-ajuste que automatiza a seleção de aproximação para otimizar conjuntamente o desempenho end-to-end, energia e QoS através de hardware heterogêneo (CPUs, GPUs e aceleradores simulados de ReRAM/PCM).
2. Suporte Unificado Software-Hardware: O primeiro framework que integra controles de acelerador in-memory em um loop de ajuste orientado por compilador, tratando tanto transformações de software quanto parâmetros de nível de hardware como dimensões de primeira classe do espaço de busca.
3. Técnicas de Poda Específicas de HDC: Métodos para reduzir o espaço de busca de aproximação em até 86 ordens de magnitude (ex: reduzindo um espaço de $10^{89}$ para $10^3$). Isso combina poda automática consciente do domínio com anotações de desenvolvedor, permitindo a descoberta de configurações de alta qualidade em minutos.
4. Avaliação Abrangente: Avaliação extensa em quatro benchmarks (HD-Classification, HD-Clustering, RelHD, HD-HashTable) e múltiplos conjuntos de dados, demonstrando acelerações significativas enquanto adere às restrições de QoS definidas pelo usuário.

Resultados Experimentais

A avaliação foi conduzida em CPUs AMD EPYC, GPUs NVIDIA RTX 2080 Ti e um simulador SpecPCM.

• Acelerações de Desempenho: O ApproxHDC alcançou até 17,25× de aceleração em CPUs, 15,02× em GPUs e 4,69× no SpecPCM enquanto mantinha as restrições de QoS (tipicamente dentro de 5% de perda de acurácia ou limiares específicos de NMI).
• Comparação com o Estado da Arte: Quando comparado ao framework MicroHD (uma abordagem baseada em Python e não orientada a compilador), o ApproxHDC demonstrou uma vantagem de 3,49× em aceleração. Em um benchmark de classificação específico, o ApproxHDC encontrou uma configuração que gerou 24,65× de aceleração (com 4,8% de perda de acurácia) comparado ao melhor resultado de 7,07× de aceleração do MicroHD. Essa lacuna foi atribuída à capacidade do ApproxHDC de explorar a perfuração de redução por operação e escolhas algorítmicas que o MicroHD não podia acessar.
• Eficiência de Busca: As técnicas de poda foram críticas; sem elas, o espaço de busca seria grande demais para encontrar configurações ideais dentro do orçamento de ajuste de 3 horas. Por exemplo, no HD-Classification, habilitar a perfuração total de redução sem dicas impediu o sintonizador de encontrar configurações de alto desempenho, enquanto a configuração "End-only + hint" identificou com sucesso as configurações ideais.
• Aproximação de Hardware: No SpecPCM, o sintonizador conseguiu equilibrar controles de hardware (ex: reduzir a resolução de ADC, ajustar escalas de quantização) com parâmetros de software (ex: reduzir iterações de treinamento) para alcançar reduções significativas de energia e latência com impacto mínimo na acurácia.

Significância e Alegações

O artigo afirma que o ApproxHDC preenche a lacuna entre a tolerância teórica ao ruído da HDC e a dificuldade prática de ajustar manualmente espaços de aproximação complexos. Ao tratar a aproximação como um processo orientado por compilador e automatizado, em vez de uma tarefa de engenharia manual, o framework permite:

• Retargetabilidade: Uma única aplicação HDC++ pode ser otimizada para diversos backends de hardware sem a necessidade de manter múltiplas versões específicas para cada alvo.
• Escalabilidade: A capacidade de navegar em um espaço de projeto exponencialmente grande através de poda inteligente, tornando o ajuste automatizado viável para aplicações do mundo real.
• Otimização Holística: A capacidade única de otimizar conjuntamente aproximações de software e hardware, aproveitando a resiliência específica da HDC ao ruído tanto nas camadas algorítmicas quanto físicas.

Os autores enfatizam que nenhuma estratégia de poda única alcança uniformemente o maior desempenho em todas as aplicações, ressaltando a importância de fornecer aos desenvolvedores mecanismos para guiar produtivamente a busca. O trabalho demonstra que, com a infraestrutura de compilador e estratégias de ajuste corretas, a HDC pode alcançar ganhos substanciais de desempenho e energia em plataformas heterogêneas enquanto mantém uma qualidade de inferência aceitável.