🤖 AI

Quantization with Unified Adaptive Distillation to enable multi-LoRA based one-for-all Generative Vision Models on edge

Este trabajo presenta un marco unificado con una estrategia de cuantización y destilación adaptativa (QUAD) que permite ejecutar múltiples tareas de IA generativa en dispositivos móviles mediante un único modelo compartido, reduciendo significativamente la huella de memoria y la latencia sin comprometer la calidad visual.

Autores originales: Sowmya Vajrala, Aakash Parmar, Prasanna R, Sravanth Kodavanti, Manjunath Arveti, Srinivas Soumitri Miriyala, Ashok Senapati

Publicado 2026-04-01

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Sowmya Vajrala, Aakash Parmar, Prasanna R, Sravanth Kodavanti, Manjunath Arveti, Srinivas Soumitri Miriyala, Ashok Senapati

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que quieres tener un estudio de arte mágico en tu bolsillo (tu teléfono), capaz de hacer de todo: borrar objetos de fotos, cambiar el fondo, o crear imágenes desde cero con solo escribir una frase.

El problema es que estos "artistas" (llamados Modelos de Visión Generativa o LVMs) son gigantes. Son tan pesados y grandes que no caben en un teléfono normal, o si caben, se comen toda la memoria y la batería.

Hasta ahora, la solución era tener un "estudio" diferente para cada tarea. Si querías borrar un objeto, cargabas el estudio de "borrado". Si querías cambiar el fondo, cargabas el estudio de "fondos". Esto es como tener 10 libretas de dibujo diferentes en tu mochila, cada una con sus propios lápices y reglas. Ocupa mucho espacio y es lento cambiar de una a otra.

Este paper presenta una solución brillante llamada QUAD. Aquí te lo explico con una analogía sencilla:

1. El Problema: La "Mochila Llena de Libretas"

Imagina que tienes un cuaderno base (el modelo principal) que sabe dibujar muy bien. Para hacer cosas específicas (como dibujar un gato o un paisaje), normalmente necesitas pegar una hoja nueva con instrucciones específicas (llamadas LoRA) dentro del cuaderno.

El problema actual es que, para cada tarea, tienes que crear un cuaderno completo nuevo con esa hoja pegada.

Resultado: Si tienes 10 tareas, tienes 10 cuadernos. Tu teléfono se llena, se vuelve lento y no puedes cambiar de tarea rápido.

2. La Solución: El "Cuaderno Mágico de Hojas Volantes"

Los autores dicen: "¿Por qué pegar la hoja? ¡Hagámosla volátil!".

En lugar de pegar las instrucciones (LoRA) dentro del cuaderno, proponen un sistema donde:

Tienes un solo cuaderno base (el modelo principal) que ya está optimizado y listo.
Las instrucciones específicas (LoRA) son como hojas sueltas que guardas en un bolsillo.
Cuando quieres dibujar un gato, sacas la "hoja de gato" y se la pones al cuaderno al momento. Cuando quieres un paisaje, cambias la hoja por la "hoja de paisaje".

La ventaja: Solo necesitas un cuaderno en la mochila. Cambiar de tarea es instantáneo porque no tienes que cargar un cuaderno nuevo, solo cambiar la hoja.

3. El Truco Secreto: "La Regla de Oro" (QUAD)

Aquí viene la parte más ingeniosa. Cada "hoja" (LoRA) tiene su propio estilo de dibujo y sus propias reglas de cómo usar los lápices (llamado cuantización).

Si intentas usar la hoja de "gato" en el cuaderno base, a veces los lápices no encajan bien y el dibujo sale borroso o feo.
Además, las computadoras de los teléfonos (NPU) son como chefs muy estrictos: solo pueden cocinar si todos los ingredientes están cortados en el mismo tamaño exacto.

Para solucionar esto, crearon QUAD (Cuantificación con Destilación Adaptativa Unificada).

La analogía: Imagina que tienes a 10 chefs diferentes (las tareas) que quieren usar la misma cocina (el teléfono). Cada uno quiere cortar las verduras de forma distinta.
Lo que hace QUAD: Es como un entrenador maestro que les enseña a todos los chefs a cortar las verduras exactamente igual (mismo tamaño y forma) antes de que entren a la cocina.
El resultado: Todos los chefs pueden usar la misma cocina, con las mismas herramientas, sin que la comida salga mal. El teléfono entiende todas las tareas sin tener que reconfigurarse.

4. ¿Qué ganan con esto?

Gracias a este sistema de "Cuaderno Único + Hojas Volantes + Entrenamiento Maestro":

Ahorro de espacio (Memoria): En lugar de guardar 10 cuadernos, guardas 1. El paper dice que ahorran hasta 6 veces más espacio. ¡Es como si tu teléfono pudiera guardar 6 veces más fotos o apps!
Velocidad (Latencia): Cambiar de tarea es instantáneo. No hay que esperar a cargar un programa nuevo. Ganan hasta 4 veces más velocidad.
Calidad: A pesar de todo esto, las imágenes siguen saliendo increíbles, casi tan buenas como si estuvieras usando un superordenador gigante.

En resumen

Esta tecnología convierte a tu teléfono en un estudio de arte universal. En lugar de tener una app para borrar objetos y otra para cambiar fondos, tienes una sola app que, con un clic, cambia su "personalidad" al instante para hacer cualquier cosa, ocupando muy poca memoria y funcionando rapidísimo.

Es como tener un camión de mudanzas que, en lugar de llevar 10 camiones diferentes para 10 mudanzas, lleva un solo camión inteligente que cambia sus herramientas en segundos para hacer cualquier trabajo. ¡Genial para el futuro de la inteligencia artificial en nuestros móviles!

Título: Cuantización con Destilación Adaptativa Unificada para habilitar Modelos de Visión Generativa "Uno para Todos" basados en múltiples LoRA en el Edge

1. Planteamiento del Problema

La Inteligencia Artificial Generativa (GenAI) está integrando funciones como edición de imágenes, eliminación de objetos y transformación guiada por prompts en aplicaciones móviles. Sin embargo, desplegar Modelos de Visión de Gran Escala (LVMs) en dispositivos con recursos limitados (como smartphones) presenta desafíos críticos:

Requisitos de Recursos: Los LVMs son intensivos en memoria y cómputo, lo que obliga a depender de la inferencia en la nube, introduciendo latencia de red, problemas de privacidad y dependencia de conectividad.
Ineficiencia en el Despliegue de LoRA: Aunque los Adaptadores de Bajo Rango (LoRA) permiten una adaptación eficiente de parámetros para tareas específicas, las pipelines de despliegue actuales suelen compilar binarios de modelo separados para cada combinación de "Modelo Base + LoRA".
Consecuencias: Esto genera una redundancia masiva en el almacenamiento (ROM), aumenta la sobrecarga de tiempo de ejecución y dificulta el cambio dinámico entre tareas. Además, la cuantización independiente de cada LoRA resulta en parámetros incompatibles (escalas y puntos cero diferentes), impidiendo su ejecución eficiente en aceleradores de hardware fijos como las NPUs (Unidades de Procesamiento Neuronal).

2. Metodología Propuesta

Los autores proponen un marco unificado que combina una arquitectura de ejecución dinámica con una estrategia de entrenamiento específica para la cuantización.

A. LoRA como Entrada en Tiempo de Ejecución (Runtime)
En lugar de fusionar los pesos de LoRA en el grafo del modelo antes de la compilación, el sistema trata los pesos de LoRA como tensores de entrada en tiempo de ejecución.

Grafo Congelado Único: Se compila un único grafo de inferencia del modelo base (LVM) que acepta los tensores $A$ y $B$ de LoRA como entradas dinámicas.
Cambio de Tarea Dinámico: Durante la inferencia, el sistema carga los pesos de LoRA específicos desde la memoria y los inyecta en el grafo sin necesidad de recompilar o recargar el modelo base. Esto permite cambiar entre tareas (ej. de "eliminación de objetos" a "transformación de estilo") instantáneamente.

B. Marco QUAD (Cuantización con Destilación Adaptativa Unificada)
Para que múltiples LoRAs funcionen bajo un único perfil de cuantización en hardware de borde, se introduce la estrategia QUAD:

Análisis de Sensibilidad: Se identifica el LoRA más "sensible" a la cuantización (aquel cuya precisión cae más drásticamente al cuantizarse) para definir los parámetros de cuantización compartidos (escala $s$ y punto cero $z$ ).
Destilación de Conocimiento: Se realiza un ajuste fino (fine-tuning) de los LoRAs menos sensibles utilizando al modelo cuantizado del LoRA más sensible como "maestro".
- Se simula la cuantización (QuantSim) utilizando los parámetros del LoRA ancla.
- Se minimiza la pérdida de reconstrucción entre las salidas del modelo de precisión completa (maestro) y el modelo cuantizado (estudiante).
Objetivo: Alinear las distribuciones de todos los LoRAs para que sean compatibles con un único conjunto de parámetros de cuantización, permitiendo su ejecución en un grafo estático optimizado para NPU.

C. Stack de Software y Optimización
Se implementa un stack de tiempo de ejecución ligero compatible con NPUs móviles, que incluye:

Optimización de Grafos: Fusión de constantes, plegado de escalas y eliminación de código muerto.
Gestión de Memoria: Los tensores de LoRA se almacenan como buffers en RAM y se vinculan a las entradas del modelo mediante APIs ligeras.

3. Contribuciones Clave

Arquitectura "One-for-All": Habilita múltiples tareas de GenAI compartiendo un único binario compilado, eliminando la duplicidad de modelos.
Interfaz Dinámica: Trata los adaptadores LoRA como entradas de datos en tiempo de ejecución, no como parte estática del grafo.
Estrategia QUAD: Un método novedoso de entrenamiento que utiliza destilación de conocimiento para forzar la compatibilidad de la cuantización entre múltiples adaptadores independientes.
Independencia del Chipset: El sistema ha sido validado en múltiples plataformas (Qualcomm, MediaTek, LSI/Exynos), demostrando agnosticismo de hardware.

4. Resultados Experimentales

El sistema se evaluó en dispositivos reales (Samsung Galaxy S25, Tab S11) con modelos basados en Stable Diffusion 1.5 (1.1B y 0.7B parámetros).

Reducción de Memoria: Se logró una reducción de hasta 6x en la huella de memoria (ROM).
- Ejemplo: Un modelo base de 1.4GB con 10 LoRAs requeriría ~15GB si se compilara por separado. Con QUAD, requiere solo ~2.6GB.
Mejora de Latencia: Se observó una mejora de hasta 4x en la latencia de tiempo de ejecución.
- El cambio de tareas sin recargar el grafo base ahorra aproximadamente 1.5 segundos en la inferencia de extremo a extremo comparado con el enfoque tradicional de cambiar grafos completos.
Calidad Visual: Se mantuvo una alta calidad de imagen.
- En la tarea de transformación guiada por prompts, la similitud semántica (simimage) fue de 0.881 y la pérdida de estructura de 0.045 comparado con el modelo FP32.
- En eliminación de objetos, el puntaje FID fue de 5.5287.
Análisis de Ablación: La configuración W8A16 (pesos INT8, activaciones INT16) ofreció el mejor equilibrio. Se exploró W8A8 (activaciones INT8), pero resultó en una caída significativa de la calidad (FID aumentó a 599 en el peor caso), aunque se logró una reducción adicional de 1.5x en el tamaño ROM con una pérdida marginal de precisión en configuraciones mixtas.

5. Significancia e Impacto

Este trabajo representa un avance crucial para la democratización de la GenAI en el dispositivo (On-Device AI).

Privacidad y Latencia: Al eliminar la dependencia de la nube, se mejora la privacidad de los datos del usuario y se reduce la latencia a niveles en tiempo real.
Escalabilidad: Permite a los fabricantes de dispositivos móviles ofrecer múltiples capacidades de IA generativa sin saturar el almacenamiento del usuario ni requerir actualizaciones masivas de software para cada nueva característica.
Viabilidad de Hardware: Demuestra que es posible ejecutar modelos generativos complejos y dinámicos en hardware de borde limitado mediante la combinación inteligente de adaptación de parámetros y cuantización unificada.

En resumen, el marco QUAD resuelve el cuello de botella de almacenamiento y flexibilidad en el despliegue de LVMs, permitiendo una experiencia de usuario fluida y privada en dispositivos móviles.