🤖 machine learning

FQTree: Fine-grained Quantization and Hardware Generation of Boosted Decision Trees

Este artículo presenta FQTree, un algoritmo de entrenamiento consciente de la cuantización de grano fino combinado con el marco de generación de hardware QXXGB, el cual optimiza los árboles de decisión potenciados para el despliegue en FPGA reduciendo el uso de LUT entre un 26 y un 57% mientras mantiene o mejora la precisión.

Autores originales: Zhiqiang Que, Chang Sun, Haiyang Wang, Dinesh Pamunuwa, Roshan Weerasekera, Qijia Tang, Bakhtiar Zadeh, Wayne Luk, Maria Spiropulu

Publicado 2026-08-13

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Zhiqiang Que, Chang Sun, Haiyang Wang, Dinesh Pamunuwa, Roshan Weerasekera, Qijia Tang, Bakhtiar Zadeh, Wayne Luk, Maria Spiropulu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a tomar decisiones, como un árbitro en un videojuego o un guardia de seguridad en un club. No quieres que el robot sea un pensador lento y pesado; quieres que sea ultrarrápido, tomando decisiones en fracciones de segundo sin tartamudear. Este es el mundo de los "Árboles de Decisión Potenciados" (BDT, por sus siglas en inglés). Piensa en un BDT no como un único cerebro gigante, sino como un equipo de muchos tomadores de decisiones pequeños y simples. Cada uno hace una pregunta sencilla como: "¿Está la temperatura por encima de los 20 grados?" o "¿Es la velocidad superior a 50 mph?". Basándose en la respuesta, el equipo pasa el testigo al siguiente en la fila. Al final de la fila, todo el equipo ha sumado sus opiniones para tomar una decisión final. Estos equipos son famosos por ser excelentes detectando patrones en datos desordenados, pero tienen un problema: suelen ser demasiado pesados y lentos para los chips diminutos y superrápidos (llamados FPGAs) que impulsan sistemas en tiempo real como los coches autónomos o los experimentos de física de partículas.

El gran desafío es que estos equipos de decisión suelen entrenarse utilizando números "flotantes" (como 3.14159...), que son precisos pero ocupan mucho espacio y energía para almacenarse. Para que puedan ejecutarse en chips diminutos, los ingenieros suelen intentar comprimir estos números en cajas más pequeñas y simples (como números enteros). Pero es como intentar meter una gelatina gigante y temblorosa en una caja pequeña y rígida: si solo la aplastas para que quepa después de que la gelatina ya se haya asentado, se rompe, y el robot empieza a cometer errores tontos. La forma antigua de hacer esto era adivinar el tamaño de caja adecuado para todos, lo que a menudo desperdiciaba espacio o arruinaba la inteligencia del robot.

Este artículo presenta un nuevo y astuto método llamado FQTree (Árbol de Cuantización de Grano Fino) y una herramienta complementaria llamada QXGB que cambia la forma en que construimos estos equipos de decisión. En lugar de entrenar al equipo con números grandes y flotantes y luego intentar comprimirlos en una caja más tarde, FQTree enseña al equipo a pensar en cajas pequeñas y simples mientras están aprendiendo. Es como entrenar a un gimnasta para que realice una actuación sobre una viga de equilibrio estrecha desde el primer día, en lugar de dejar que practique en un suelo ancho y luego obligarlo a subir a la viga justo antes de la competición.

El ingrediente secreto es que FQTree se da cuenta de que no todos los miembros del equipo de decisión son igualmente importantes. Los primeros miembros, que toman las decisiones grandes y obvias, necesitan ser muy precisos. Los miembros posteriores, que solo hacen pequeños ajustes para corregir errores menores, no necesitan ser tan precisos. FQTree calcula automáticamente cuánta "capacidad cerebral" necesita cada miembro. Le da a los grandes pensadores más bits (más detalle) y a los pequeños pensadores menos bits (menos detalle), ahorrando una enorme cantidad de espacio. También utiliza un truco llamado "plegado de sesgo" (bias folding), que es como desplazar todos los números para que sean todos positivos, permitiendo que el hardware elimine el bit de signo y se vuelva aún más simple.

Una vez que el equipo se entrena de esta manera eficiente, el marco de trabajo QXGB actúa como un traductor mágico. Toma el equipo entrenado y construye instantáneamente un plano de hardware personalizado para un chip, sin necesidad de que un ingeniero humano vuelva a dibujar los circuitos para cada nuevo diseño. Los resultados son impresionantes: en tres pruebas diferentes (una para reconocer dígitos escritos a mano, otra para detectar partículas de chorro en física y otra para encontrar intrusos en redes), este método utilizó entre un 26% y un 57% menos de espacio de hardware (específicamente Tablas de Búsqueda, o LUTs) que los mejores métodos actuales, manteniendo la precisión igual de alta o incluso mejorándola. En algunos casos, incluso hizo que las decisiones fueran el doble de rápidas. Es una situación en la que todos ganan: el robot se vuelve más pequeño, más rápido y tan inteligente como antes.

Resumen Técnico: FQTree – Cuantización de Grano Fino y Generación de Hardware para Árboles de Decisión Potenciados

Planteamiento del Problema

Los Árboles de Decisión Potenciados (BDT, por sus siglas en inglés) se utilizan ampliamente en aplicaciones de latencia crítica debido a su rendimiento predictivo y tamaño compacto, lo que los hace adecuados para el despliegue en FPGAs. Sin embargo, la implementación eficiente en hardware sigue siendo un desafío. Los diseños de BDT orientados a FPGA existentes suelen depender de representaciones de punto fijo uniformes o ajustadas manualmente en todo el modelo. Este enfoque no tiene en cuenta los roles numéricos heterogéneos de los diferentes componentes de los BDT (características de entrada, umbrales de división, valores de hoja y lógica de acumulación), lo que a menudo conduce a costos de hardware innecesarios o a una degradación de la precisión evitable.

Además, la cuantización post-entrenamiento (PTQ) directa suele ser ineficaz para los BDT. A diferencia de las redes neuronales, donde la cuantización perturba la aritmética de forma continua, la cuantización de los BDT puede causar cambios discretos en el enrutamiento; pequeñas perturbaciones en las características o los umbrales pueden cambiar las decisiones de ramificación, alterando completamente la hoja seleccionada. Esta sensibilidad requiere un enfoque de Entrenamiento con Conciencia de Cuantización (QAT) que exponga al modelo a los efectos de la cuantización durante la optimización, permitiendo que los parámetros numéricos se adapten a la precisión reducida mientras se preserva la calidad predictiva.

Metodología

El Algoritmo FQTree

Los autores proponen FQTree, un algoritmo de QAT de grano fino y consciente del hardware para BDT. A diferencia de la PTQ, FQTree incorpora la cuantización directamente en el bucle de entrenamiento.

Potenciación con Cuantización: Durante el proceso de potenciación etapa por etapa, cada árbol recién ajustado se cuantiza inmediatamente antes de ser utilizado en las etapas de entrenamiento posteriores. Esto asegura que los árboles posteriores se adapten a los errores residuales del conjunto ya cuantizado, compensando tanto los residuales de la tarea como la distorsión inducida por la cuantización.
Esquema de Cuantización de Valores de Hoja: La innovación central es una estrategia de cuantización de valores de hoja orientada al hardware. En lugar de una precisión uniforme, FQTree asigna la precisión basándose en la magnitud de los valores de las hojas:
- Paso Global y Desplazamiento por Árbol: Se utiliza un tamaño de paso de cuantización global ( $s$ ) en todo el conjunto, combinado con un factor de desplazamiento por árbol ( $f(\vec{v})$ ).
- Representación de Enteros No Negativos: El esquema transforma los valores de las hojas en enteros no negativos compactos. Los valores negativos se recortan a cero y se aplica un desplazamiento para eliminar el bit de signo, simplificando el datapath.
- Plegado de Sesgo (Bias Folding): El desfase eliminado durante el rebasado se pliega en un término de sesgo a nivel de árbol o de clase, que se añade solo una vez después de la acumulación, en lugar de transportarse a través de cada trayectoria de árbol.
- Ancho de Bits Dinámico: El ancho de bits para cada árbol ( $b_t$ ) se determina mediante el rango dinámico de sus valores enteros cuantizados ( $\lceil \log_2(\max(\vec{v}'_{int}) + 1) \rceil$ ). Los árboles iniciales, que contribuyen más a la predicción final, reciben naturalmente más bits, mientras que los árboles correctivos posteriores utilizan menos bits.
Cuantización de Características/Umbral: Se aplica una cuantización uniforme estándar a las características y los umbrales, con su precisión alineada naturalmente en hardware mediante sustractores con signo.

El Marco QXGB

Para cerrar la brecha entre el entrenamiento y el despliegue, los autores introducen QXGB (XGBoost Cuantizado), un compilador para la generación automática de hardware.

Representación de Flujo de Datos: El BDT cuantizado entrenado se reduce a una representación intermedia (IR) de Conjunto de Instrucciones de Aritmética Distribuida (DAIS) extendida. Esta IR se extiende con una instrucción MUX explícita para capturar el enrutamiento condicional de los nodos de decisión, tratando la inferencia de BDT como un kernel de flujo de datos sin estado.
Generación Automática: El compilador traza simbólicamente el grafo de computación y genera código sintetizable en RTL o HLS (Síntesis de Alto Nivel). Este flujo soporta la emulación de precisión exacta y permite la exploración sistemática del compromiso entre precisión-latencia-recursos sin rediseño manual.

Contribuciones Clave

Algoritmo FQTree: Un enfoque de QAT de grano fino que presenta una formulación de cuantización de valores de hoja orientada al hardware que utiliza un paso global, un desplazamiento por árbol y plegado de sesgo para permitir representaciones de enteros no negativos compactas.
Marco QXGB: Un flujo escalable basado en compiladores para generar implementaciones de BDT en FPGA eficientes y de baja latencia tanto para HLS como para RTL, minimizando la latencia y el uso de recursos.
Evaluación Exhaustiva: Demostración de que el método reduce el uso de tablas de búsqueda (LUT) entre un 26% y un 57% en comparación con los diseños de BDT basados en FPGA de última generación, manteniendo o mejorando la precisión.

Resultados Experimentales

El método fue evaluado en tres conjuntos de datos: JSC (Clasificación de Subestructura de Jets en física de altas energías), MNIST (clasificación de dígitos escritos a mano) y NID (Detección de Intrusión en Redes).

Conjunto de Datos JSC: FQTree logró un 75.7% de precisión con 1,652 LUTs y 2 ciclos (4.0 ns). En comparación con TreeLUT (75.6% de precisión, 2,234 LUTs, 3 ciclos), FQTree mejoró la precisión reduciendo el uso de LUTs en aproximadamente un 26% y la profundidad del pipeline. En un punto de menor costo, FQTree alcanzó un 74.8% de precisión con solo 548 LUTs (un 31% menos que TreeLUT) y 1 ciclo de latencia.
Conjunto de Datos MNIST: La configuración de mayor precisión alcanzó un 97.7% de precisión con 8,147 LUTs y 2 ciclos, superando al anterior mejor (POLYBiNN, 97.2%) con una latencia y un uso de recursos significativamente menores. En puntos moderados, FQTree alcanzó un 96.7% de precisión con 2,744 LUTs, lo que representa una reducción de aproximadamente un 39% en LUTs respecto a TreeLUT para una precisión similar.
Conjunto de Datos NID: FQTree logró un 93.1% de precisión con solo 157 LUTs y 1 ciclo, una reducción de aproximadamente un 55% en LUTs comparado con TreeLUT (92.7% de precisión, 345 LUTs).
Línea Base de PTQ: Al compararse con una línea base de cuantización post-entrenamiento utilizando el mismo cuantizador, FQTree proporcionó consistentemente mejores compromisos de precisión-recursos, confirmando que las ganancias se derivan tanto del diseño del cuantizador como del proceso de optimización QAT.

Significado y Reivindicaciones

El artículo afirma proporcionar el primer flujo de trabajo unificado para el despliegue de BDT en FPGA que combina la cuantización de valores de hoja orientada al hardware, el entrenamiento con conciencia de cuantización y la generación automática de hardware.

Los autores enfatizan que su enfoque aborda los desafíos específicos de los BDT, donde la cuantización afecta las decisiones de enrutamiento, no solo la precisión aritmética. Al integrar el control de precisión de grano fino en el entrenamiento y automatizar la generación de hardware mediante el marco QXGB, el método permite la exploración sistemática del compromiso entre precisión, latencia y recursos. Los resultados demuestran que FQTree puede identificar implementaciones compactas y de alta calidad que superan significativamente a los diseños actuales en términos de eficiencia de hardware (uso de LUT) manteniendo o incluso mejorando la precisión predictiva.