🤖 machine learning

MiCoPro: End-to-End Mixed Precision HW/SW Co-design with HW-aware Proxy Model

El artículo presenta MiCoPro, un marco de co-diseño de hardware-software de extremo a extremo que utiliza un modelo proxy consciente del hardware y un nuevo algoritmo de optimización para buscar eficientemente esquemas de cuantificación de precisión mixta, permitiendo el despliegue rápido de modelos de IA en el borde con una reducción significativa de la latencia y una pérdida mínima de precisión.

Autores originales: Zijun Jiang, Yangdi Lyu

Publicado 2026-08-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zijun Jiang, Yangdi Lyu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando meter una película masiva de alta definición en un reproductor de MP3 diminuto y antiguo. La película es una "Red Neuronal", un tipo de cerebro informático que aprende a reconocer gatos, traducir idiomas o conducir coches. El problema es que estos cerebros suelen construirse con números de punto flotante pesados (como de 32 o 64 bits), que ocupan mucho espacio y requieren mucha energía para procesarse. Para que funcionen en dispositivos pequeños como relojes inteligentes o drones, los ingenieros utilizan la "Cuantización". Piensa en esto como comprimir la película: en lugar de usar millones de colores, obligas a la imagen a usar solo unos pocos tonos de gris. Esto hace que el archivo sea más pequeño y rápido de reproducir, pero si lo comprimes demasiado, la imagen se vuelve borrosa y la IA deja de reconocer al gato.

Durante mucho tiempo, los ingenieros intentaron comprimir la película entera con la misma baja calidad, como convertir cada fotograma en un boceto de 4 bits; esto es como forzar una escena de acción en cámara lenta y una escena de diálogo tranquila a tener la misma resolución baja; desperdicia espacio en las partes tranquilas y arruina las partes de acción. Una idea más inteligente es la "Cuantización de Precisión Mixta" (MPQ). Esto es como un algoritmo de compresión inteligente que mantiene las escenas de acción en alta definición (8 bits) pero reduce las escenas de diálogos aburridos a pequeños bocetos (2 bits). El desafío, sin embargo, es averiguar exactamente qué escenas comprimir y en qué medida. Si adivinas mal, la película se ve terrible. Si adivinas bien, obtienes un archivo diminuto que sigue viéndose increíble. Este es el rompecabezas que los investigadores de este artículo se propusieron resolver.

El artículo presenta una nueva caja de herramientas llamada MiCo (y su versión mejorada, MiCoPro) para resolver este rompecabezas de forma automática. En lugar de que un humano intente ajustar manualmente cada capa de una red neuronal —lo que sería como intentar editar una película de 100 horas fotograma por fotograma—, el sistema MiCo actúa como un editor superinteligente que avanza rápido. Utiliza un "modelo proxy", que es esencialmente una bola de cristal entrenada para predecir qué tan rápido se ejecutará un esquema de compresión específico en el hardware real sin tener que ejecutarlo realmente.

Los investigadores descubrieron que la forma antigua de adivinar la velocidad era como contar el número de palabras en un libro para adivinar cuánto tiempo toma leerlo. Es una estimación aproximada, pero ignora si la letra es pequeña, si el lector está cansado o si el libro es pesado. El artículo argumenta que este método antiguo (llamado "Operaciones de Bits" o BOPs) a menudo conduce a malas decisiones porque no entiende las peculiaridades específicas del hardware. MiCoPro, por otro lado, construye un "velocímetro" personalizado para cada dispositivo específico. Aprende cómo diferentes hardwares manejan diferentes tipos de matemáticas, lo que le permite encontrar la mezcla perfecta de alta y baja precisión que hace que la IA funcione más rápido sin perder su precisión.

En sus experimentos, el equipo probó este sistema en varios modelos de IA, desde simples reconocedores de imágenes hasta modelos de lenguaje más grandes. Descubrieron que, al usar su nuevo "Proxy consciente del Hardware", podían reducir el tiempo que tarda la IA en pensar (latencia) hasta en un 40% perdiendo menos del 3% de su precisión. Es como encontrar la manera de que la batería de tu teléfono dure un 40% más sin que la pantalla se vea más tenue.

El artículo también destaca que esto no es solo una teoría; de hecho, construyeron el software para tomar un modelo diseñado en Python (un lenguaje de programación popular) y convertirlo en código C puro y de bajo nivel que puede ejecutarse directamente en chips, incluyendo aceleradores especializados y procesadores RISC-V modificados. Demostraron que su método funciona mejor que los algoritmos de "búsqueda" anteriores, que a menudo se pierden en la enorme cantidad de combinaciones posibles. Al utilizar una técnica llamada "Muestreo de Cercanía de Restricción" (Near-Constraint Sampling), MiCo enfoca su búsqueda en el "punto ideal" justo cerca del límite de velocidad, en lugar de perder tiempo revisando opciones que son demasiado lentas o demasiado rápidas.

En última instancia, el artículo sugiere que para sacar el máximo provecho de la IA en dispositivos pequeños, debemos dejar de tratar todas las capas de una red neuronal de la misma manera. Al usar un guía inteligente y consciente del hardware para mezclar y combinar niveles de precisión, podemos hacer que la IA sea más rápida y eficiente. Los autores demuestran que este enfoque es robusto, funcionando a través de diferentes tipos de chips y modelos, y proporcionan un marco de trabajo de código abierto para que otros lo utilicen. Aunque los resultados se basan en simulaciones y pruebas de hardware específicas, el éxito constante en diferentes escenarios sugiere que esta estrategia de "compresión inteligente" es una herramienta poderosa para el futuro de la IA en el borde (edge AI).

Resumen Técnico: MiCoPro: Co-diseño de HW/SW de Precisión Mixta de Extremo a Extremo con un Modelo de Proxy Consciente del Hardware

Planteamiento del Problema
Las Redes Neuronales Cuantizadas (QNN) son esenciales para el despliegue de IA en dispositivos periféricos (edge) con recursos limitados. Si bien la cuantización de precisión mixta (MPQ) por capa ofrece una vía para maximizar la eficiencia sin sacrificar la precisión, los algoritmos de exploración existentes enfrentan limitaciones significativas. Los métodos convencionales luchan contra la alta dimensionalidad y las complejas correlaciones del espacio de búsqueda de MPQ, dependiendo a menudo de búsquedas heurísticas ineficientes o técnicas de aprendizaje automático que requieren presupuestos de evaluación excesivos. Además, las métricas de costo de hardware estándar, como las Operaciones de Bits (BOPs), no logran predecir con precisión la latencia real en objetivos de hardware específicos porque ignoran los matices arquitectónicos como el empaquetado de operandos, el ancho de banda de memoria y la utilización de SIMD. Finalmente, existe una falta de un marco unificado de extremo a extremo que pueda explorar eficientemente los esquemas de MPQ basados en las características del hardware y desplegar directamente los modelos resultantes desde PyTorch a código C de bare-metal a través de diversas plataformas.

Metodología
Los autores proponen MiCo, un marco holístico para la exploración de MPQ, y su extensión MiCoPro, que integra un Modelo de Proxy Consciente del Hardware (HAP).

Algoritmo de Exploración de MPQ (MiCo):
- Formulación: La búsqueda se trata como un problema de optimización de caja negra con restricciones de presupuesto.
- Modelado de Sustituto: El marco emplea el aprendizaje de conjunto de Bosques Aleatorios (RF) para predecir la precisión del modelo basada en las configuraciones de cuantización. Se elige RF por su capacidad para modelar interacciones no lineales en espacios de búsqueda discretos con datos de entrenamiento limitados.
- Estrategia de Muestreo:
  - Muestreo Inicial Ortogonal: En lugar de un muestreo aleatorio uniforme, el método genera un conjunto inicial de muestras que incluye anchos de bits extremos (p. ej., W8A8, W1A1) y combinaciones ortogonales donde capas específicas son cuantizadas mientras otras permanecen en precisión completa. Esto asegura que el predictor aprenda los límites e interacciones del espacio de búsqueda de manera eficiente.
  - Muestreo de Cercanía a la Restricción (NCS): Un algoritmo genético genera esquemas candidatos dentro de una Región de Interés (ROI) cercana a la restricción de hardware (p. ej., límite de latencia o BOPs). La ROI comienza estrecha y se expande si no se encuentran soluciones factibles, priorizando esquemas que maximizan la precisión cerca del límite de la restricción.
- Estrategia de Evaluación: El marco utiliza un enfoque de evaluación bifurcado. Para anchos de bits $\ge$ 4 bits, utiliza la Cuantización Post-Entrenamiento (PTQ) para una estimación rápida. Para configuraciones de sub-4 bits, emplea una fase corta de re-entrenamiento de Cuantización Consciente del Entrenamiento (QAT) para recuperar la precisión, equilibrando el costo de búsqueda con la precisión.
Modelo de Proxy Consciente del Hardware (MiCoPro):
- Perfilado de Kernel: El sistema recolecta datos de latencia de ciclo exacto para kernels de precisión mixta (MatMul, Conv2D) a través de diversas formas y combinaciones de precisión en el hardware objetivo.
- Ingeniería de Características: Para superar las limitaciones de las BOPs, los autores introducen las Operaciones de Bits Compuestas (CBOPs). Estas características descomponen el costo de hardware en:
  - BMACs (Bit Multiply-Accumulate): $\max(b_w, b_a) \times MACs$ , capturando el cuello de botella de la extensión de operandos de ancho mixto.
  - ALoads/WLoads: Términos separados para el tráfico de memoria de activación y de peso, capturando impactos asimétricos en el ancho de banda.
- Calibración y Transferencia: Una calibración de mínimo-máximo dependiente de la red alinea las predicciones del proxy con las latencias reales de hardware en los extremos de precisión. Además, un mecanismo de transferencia de aprendizaje permite que el proxy se adapte a nuevas variantes de hardware (p. ej., diferentes configuraciones de núcleos RISC-V) utilizando un mínimo de nuevos datos de perfilado mediante el aprendizaje del error residual de un modelo pre-entrenado.
Despliegue de Extremo a Extremo:
- El marco incluye un pipeline de despliegue que convierte el modelo optimizado de PyTorch en un grafo PyTorch FX.
- Soporta la conversión de grafos para simuladores específicos (p. ej., BitFusion) y genera código C de bare-metal para CPUs.
- Utiliza una biblioteca de kernels de precisión mixta personalizada (extendiendo baremetal-NN) con variantes aceleradas por SIMD para operaciones de 8/4/2/1 bits, permitiendo la ejecución directa en procesadores RISC-V y aceleradores.

Contribuciones Clave

Algoritmo de Exploración Novedoso: Una estrategia de Muestreo de Cercanía a la Restricción guiada por Bosques Aleatorios (RF+NCS) que explora eficientemente los esquemas de MPQ, logrando caídas de precisión menores bajo restricciones estrictas en comparación con los métodos heurísticos y basados en aprendizaje por refuerzo.
Modelo de Proxy Consciente del Hardware: Un método de predicción de latencia usando CBOPs y transferencia de aprendizaje que supera significativamente las métricas tradicionales de BOPs en la predicción de la latencia real de hardware, permitiendo una verdadera optimización consciente del hardware.
Marco Holístico: Un pipeline de extremo a extremo de código abierto que une la exploración de MPQ y el despliegue, soportando diversos objetivos incluyendo aceleradores dedicados (BitFusion) y procesadores RISC-V con extensiones SIMD.

Resultados Experimentales
El marco fue evaluado en una diversidad de modelos (CNNs, ResNets, ViT, TinyLLaMa) y objetivos de hardware (acelerador BitFusion, variantes de RISC-V VexiiMiCo).

Eficiencia de Búsqueda: En búsquedas PTQ, MiCo superó consistentemente a los métodos de vanguardia (HAWQ-V3, HAQ, BOMP, w-based) en varios modelos y restricciones. Por ejemplo, en SqueezeNet, MiCo logró un 68.22% de precisión en 32 iteraciones, mientras que HAQ requirió 91 iteraciones para alcanzar ese mismo nivel.
Desempeño de QAT: En búsquedas QAT de bajo ancho de bits (1/2/4/8-bit), MiCo mantuvo una precisión competitiva, particularmente en modelos más pequeños donde otros métodos tuvieron dificultades con los espacios de búsqueda de alta dimensionalidad.
Precisión del Proxy: El modelo HAP usando CBOPs y características completas logró una precisión de predicción significativamente mayor (p. ej., un $R^2$ de 0.94 frente a 0.50 para BOPs en BitFusion) y un Error Absoluto Porcentual Medio (MAPE) más bajo en comparación con las líneas base basadas en BOPs.
Aceleración de Despliegue: El despliegue de extremo a extremo demostró que la exploración guiada por HAP produce aceleraciones reales superiores. En BitFusion, la MPQ guiada por HAP redujo la latencia al 60% de la línea base (frente al 72% para las guiadas por BOPs) con una pérdida de precisión insignificante. En CPUs RISC-V, la exploración guiada por HAP logró hasta un 40% de reducción de latencia en comparación con la cuantización uniforme, mientras que la exploración guiada por BOPs produjo aceleraciones significativamente menores debido a los costos de hardware no modelados.

Significancia
El artículo afirma que MiCoPro aborda la brecha crítica entre la eficiencia teórica de la cuantización y el despliegue práctico de hardware. Al ir más allá de las simples métricas de BOPs hacia un modelo de proxy consciente del hardware y proporcionar un stack de despliegue unificado, el marco permite la exploración rápida y el despliegue directo de modelos MPQ que logran una aceleración genuina en dispositivos periféricos. Los resultados demuestran que la optimización consciente del hardware es esencial para realizar todo el potencial de la cuantización de precisión mixta, logrando hasta un 40% de reducción de latencia con menos del 3% de caída en la precisión a través de diferentes arquitecturas de hardware.

Más como este