Resumen Técnico: Ajuste de Aproximación Impulsado por Compilador para Computación Hiperdimensional

Planteamiento del Problema

A medida que la Ley de Moore alcanza límites físicos y económicos, se vuelven necesarios enfoques específicos de dominio para acelerar las cargas de trabajo de aprendizaje automático. La Computación Hiperdimensional (HDC, por sus siglas en inglés) ha emergido como un paradigma prometedor, ofreciendo una alternativa inspirada en el cerebro con una tolerancia inherente al ruido y eficiencia de hardware. Sin embargo, mientras los algoritmos de HDC son resilientes al ruido y a la aproximación, el espacio de diseño para explotar estas propiedades es combinatoriamente grande.

Una sola aplicación de HDC puede contener docenas de operaciones primitivas, cada una de las cuales ofrece múltiples estrategias de aproximación (por ejemplo, precisión reducida, iteraciones omitidas, variantes algorítmicas). Al dirigirse a hardware heterogéneo (CPUs, GPUs y aceleradores de memoria en proceso como ReRAM y PCM), el espacio de búsqueda se expande aún más para incluir perillas específicas de hardware, como la resolución del ADC, la profundidad de escritura-verificación y las configuraciones de celdas multinivel. Navegar manualmente por este espacio es impráctico porque las configuraciones rara vez se transfieren entre conjuntos de datos o backends, y las interacciones entre operaciones son difíciles de predecir sin una evaluación empírica. Los marcos de trabajo existentes carecen de soporte de compilador específico para las primitivas de HDC (por ejemplo, EnerJ, ApproxHPVM) o dependen de un ajuste de hiperparámetros limitado y no integrado en el compilador (por ejemplo, MicroHD), fallando al no optimizar conjuntamente las aproximaciones de software y hardware a través de objetivos heterogéneos.

Metodología: ApproxHDC

Para abordar estos desafíos, los autores presentan ApproxHDC, un marco automatizado para identificar y aplicar aproximaciones específicas de dominio en las cargas de trabajo de HDC. ApproxHDC extiende la infraestructura del compilador HPVM-HDC existente para permitir una compilación retargetable y un ajuste automatizado.

Arquitectura del Sistema

El marco opera a través de un proceso de compilación y ajuste de bucle cerrado:

1. Identificación de Primitivas de HDC: Un paso del compilador realiza un análisis estático en el código fuente de HDC++ para identificar todas las invocaciones de primitivas de HDC. Extrae metadatos contextuales (función, bloque básico, orden de ejecución) y genera una representación JSON estructurada de las operaciones del programa.
2. Construcción del Espacio de Diseño de Aproximación: El Sistema de Ajuste de ApproxHDC (implementado en Python usando OpenTuner) construye un espacio de búsqueda que abarca tanto aproximaciones de software como de hardware.
   • Aproximaciones de Software: Incluye Perforación de Reducción (omitir iteraciones de bucle en operaciones de reducción), Binarización Automática (convertir hipervectores a representaciones de bit único empaquetadas), ajuste de la Dimensionalidad de Codificación, Representación del Tipo de Elemento (por ejemplo, de FP32 a INT8) y Elección Algorítmica (por ejemplo, Similitud de Coseno frente a Distancia de Hamming).
   • Aproximaciones de Hardware: Para aceleradores de memoria en proceso (ReRAM/PCM), el sistema modela perillas como la resolución del ADC, ciclos de escritura-verificación, escala de cuantificación analógica y bits de Celda Multinivel (MLC).
3. Poda del Espacio de Búsqueda: Para hacer que la búsqueda sea tratable, ApproxHDC emplea dos estrategias:
   • Poda Consciente del Dominio: El sistema aprovecha el conocimiento de HDC para eliminar regiones poco prometedoras (por ejemplo, reconociendo que ciertas etapas de codificación son demasiado sensibles a la aproximación).
   • Poda Guiada por el Desarrollador: Los desarrolladores pueden usar anotaciones ligeras en el código fuente (__hetero_hdc_no_approx) para excluir primitivas o subgrafos específicos del espacio de búsqueda, evitando que el sintonizador pierda tiempo en etapas críticas y no tolerantes.
4. Ajuste Iterativo: El sistema explora empíricamente las configuraciones, midiendo métricas de Calidad de Servicio (QoS) (por ejemplo, precisión, puntuación NMI), tiempo de ejecución y energía. Inserta las anotaciones de aproximación seleccionadas de nuevo en el código fuente, recompila vía HPVM-HDC e itera hasta alcanzar un presupuesto de tiempo o un límite de convergencia.

Contribuciones Clave

El artículo describe cuatro contribuciones principales:

1. Marco de Trabajo ApproxHDC: Un sistema de auto-ajuste que automatiza la selección de aproximaciones para optimizar conjuntamente el rendimiento final, la energía y la QoS a través de hardware heterogéneo (CPUs, GPUs y aceleradores simulados de ReRAM/PCM).
2. Soporte Unificado de Software-Hardware: El primer marco que integra perillas de aceleradores de memoria en proceso dentro de un bucle de ajuste impulsado por el compilador, tratando tanto las transformaciones de software como los parámetros a nivel de hardware como dimensiones de primera clase del espacio de búsqueda.
3. Técnicas de Poda Específicas de HDC: Métodos para reducir el espacio de búsqueda de aproximación hasta en 86 órdenes de magnitud (por ejemplo, reduciendo un espacio de $10^{89}$ a $10^3$). Esto combina la poda automática consciente del dominio con anotaciones del desarrollador, permitiendo el descubrimiento de configuraciones de alta calidad en cuestión de minutos.
4. Evaluación Exhaustiva: Evaluación extensa a través de cuatro benchmarks (HD-Classification, HD-Clustering, RelHD, HD-HashTable) y múltiples conjuntos de datos, demostrando aceleraciones significativas mientras se cumplen las restricciones de QoS especificadas por el usuario.

Resultados Experimentales

La evaluación se realizó en CPUs AMD EPYC, GPUs NVIDIA RTX 2080 Ti y un simulador SpecPCM.

• Aceleraciones de Rendimiento: ApproxHDC logró hasta un 17.25× de aceleración en CPUs, 15.02× en GPUs y 4.69× en SpecPCM mientras mantenía las restricciones de QoS (típicamente dentro de un 5% de pérdida de precisión o umbrales NMI específicos).
• Comparación con el Estado del Arte: Al compararse con el marco MicroHD (un enfoque basado en Python y no basado en compilador), ApproxHDC demostró una ventaja de aceleración de 3.49×. En un benchmark de clasificación específico, ApproxHDC encontró una configuración que arrojó una aceleración de 24.65× (con una pérdida de precisión del 4.8%) en comparación con la mejor aceleración de 7.07× de MicroHD. Esta brecha se atribuyó a la capacidad de ApproxHDC para explorar la perforación de reducción por operación y las elecciones algorítmicas a las que MicroHD no podía acceder.
• Eficiencia de Búsqueda: Las técnicas de poda fueron críticas; sin ellas, el espacio de búsqueda era demasiado grande para encontrar configuraciones óptimas dentro del presupuesto de ajuste de 3 horas. Por ejemplo, en HD-Classification, habilitar la perforación de reducción completa sin pistas impidió que el sintonizador encontrara configuraciones de alto rendimiento, mientras que la configuración "Solo final + pista" identificó con éxito los ajustes óptimos.
• Aproximación de Hardware: En SpecPCM, el sintonizador logró equilibrar las perillas de hardware (por ejemplo, reducir la resolución del ADC, ajustar las escalas de cuantificación) con los parámetros de software (por ejemplo, reducir las iteraciones de entrenamiento) para lograr reducciones significativas de energía y latencia con un impacto mínimo en la precisión.

Significado y Reivindicaciones

El artículo afirma que ApproxHDC cierra la brecha entre la tolerancia teórica al ruido de HDC y la dificultad práctica de ajustar manualmente espacios de aproximación complejos. Al tratar la aproximación como un proceso automatizado impulsado por el compilador, en lugar de una tarea de ingeniería manual, el marco permite:

• Retargetabilidad: Una única aplicación de HDC++ puede optimizarse para diversos backends de hardware sin mantener múltiples versiones específicas de cada objetivo.
• Escalabilidad: La capacidad de navegar por un espacio de diseño exponencialmente grande mediante una poda inteligente, haciendo que el ajuste automatizado sea factible para aplicaciones del mundo real.
• Optimización Holística: La capacidad única de optimizar conjuntamente las aproximaciones de software y hardware, aprovechando la resiliencia específica de HDC al ruido tanto en las capas algorítmicas como en las físicas.

Los autores enfatizan que ninguna estrategia de poda única logra uniformemente el mayor rendimiento en todas las aplicaciones, lo que subraya la importancia de proporcionar a los desarrolladores mecanismos para guiar productivamente la búsqueda. El trabajo demuestra que, con la infraestructura de compilador y las estrategias de ajuste adecuadas, HDC puede lograr ganancias sustanciales de rendimiento y energía en plataformas heterogéneas manteniendo una calidad de inferencia aceptable.