💻 computer science

Slimmable ConvNeXt: Width-Adaptive Inference for Efficient Multi-Device Deployment

El artículo introduce Slimmable ConvNeXt, un marco de inferencia adaptable al ancho que aprovecha el diseño moderno de ConvNeXt para permitir una implementación eficiente en múltiples dispositivos con un único conjunto de pesos compartido, logrando una precisión superior frente a las restricciones computacionales variables en comparación con los enfoques existentes de CNN y Transformadores de Visión, sin requerir mecanismos de normalización complejos.

Autores originales: Janek Haberer, Jon Eike Wilhelm, Olaf Landsiedel

Publicado 2026-05-22

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Janek Haberer, Jon Eike Wilhelm, Olaf Landsiedel

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un equipo de chefs (un modelo de visión por computadora) que necesita cocinar comidas para una multitud. A veces, la cocina es enorme, con personal completo y equipos elegantes (un servidor en la nube potente). Otras veces, estás cocinando en una pequeña furgoneta campera con solo una hornilla y un suministro limitado de ingredientes (un teléfono móvil con batería baja).

Tradicionalmente, si querías que tus chefs trabajaran en ambos entornos, tendrías que contratar dos equipos completamente diferentes: un equipo grande para la cocina grande y un equipo pequeño y especializado para la furgoneta campera. Tendrías que entrenarlos por separado, guardar sus recetas por separado y cambiar entre ellos dependiendo de dónde te encuentres. Esto es costoso y desordenado.

El problema con los "chefs flexibles" antiguos
Algunos investigadores intentaron crear un "superchef" que pudiera encogerse o crecer sobre la marcha. Construyeron un solo equipo que podía operar con 100 chefs, 50 chefs o 10 chefs. Sin embargo, estos métodos antiguos tenían un defecto mayor: requerían un complejo "tablero de conmutación" (llamado normalización por lotes conmutable) para rastrear las estadísticas de cada tamaño de equipo posible. Era como tener un juego diferente de tazas medidoras para cada tamaño de ingrediente individual, lo que hacía que la cocina fuera caótica y difícil de entrenar.

La nueva solución: Slimmable ConvNeXt
Este artículo introduce un nuevo tipo de equipo de chefs llamado Slimmable ConvNeXt. Los autores descubrieron que el diseño moderno de la arquitectura ConvNeXt es naturalmente perfecto para encogerse y crecer sin el desordenado tablero de conmutación.

Así es como funciona, usando analogías simples:

1. La magia de "LayerNorm" (Sin tablero de conmutación necesario)

Los modelos flexibles antiguos necesitaban reglas especiales para manejar diferentes tamaños de equipo. Slimmable ConvNeXt utiliza una técnica llamada LayerNorm.

La analogía: Imagina un equipo tradicional donde el gerente necesita saber exactamente cuántas personas hay en la habitación para dar instrucciones. Si el tamaño de la habitación cambia, el gerente entra en pánico y necesita un nuevo reglamento.
La nueva forma: LayerNorm es como un gerente que da instrucciones basándose en lo que cada persona está haciendo en ese momento, independientemente de cuántas personas haya en la habitación. Ya sea que tengas 100 chefs o 10, el gerente se adapta instantáneamente. Esto significa que ya no necesitas el complejo "tablero de conmutación". El proceso de entrenamiento se vuelve mucho más simple y limpio.

2. El "cuello de botella invertido" (Fácil de cortar)

ConvNeXt utiliza una estructura llamada "cuello de botella invertido".

La analogía: Piensa en un sándwich estándar: Pan (pequeño), Carne (grande), Pan (pequeño). Si quieres hacer un sándwich más pequeño, tienes que cortar el pan y la carne, lo cual es complicado.
La nueva forma: Un cuello de botella invertido es como un sándwich donde el relleno es enorme, pero el pan es delgado. La "carne" (el cálculo pesado) está concentrada en el medio. Cuando quieres encoger el modelo, simplemente cortas los bordes exteriores de la carne. Es muy fácil cortar una rebanada del medio sin desordenar toda la estructura. Esto hace que sea fácil crear versiones más pequeñas del modelo simplemente "cortando" los canales (el ancho de los datos).

3. Cómo funciona en la práctica

Los investigadores entrenaron un solo modelo que contiene múltiples versiones "anidadas" de sí mismo dentro de él.

El entrenamiento: Imagina que los chefs practican todos los días. Algunos días practican con el equipo completo de 100. Otros días, practican solo con 50, y otros días con solo 25. Todos comparten la misma base de conocimientos (pesos). Como practican en todos estos diferentes tamaños, aprenden a ser buenos en cualquier tamaño.
El resultado: Cuando implementas el modelo, no necesitas recargar un archivo nuevo. Solo le dices al modelo: "Oye, hoy solo tenemos batería para 25 chefs", y cambia instantáneamente a su modo de 25 chefs. Si mañana tienes una fuente de energía completa, cambia de nuevo a 100 chefs.

Los resultados: Mejor rendimiento, menos matemáticas

El artículo probó esto en un conjunto de datos masivo llamado ImageNet-1k (una biblioteca de 1,28 millones de imágenes). Compararon su nuevo "Slimmable ConvNeXt" con los mejores modelos flexibles existentes (que estaban mayormente basados en Vision Transformers, un tipo diferente de arquitectura de IA).

El ganador: El Slimmable ConvNeXt fue más rápido y más preciso.
- En un nivel de computación medio, obtuvo una precisión del 80,8%. El siguiente mejor competidor obtuvo un 78,4%.
- En un nivel de computación muy bajo (como un teléfono débil), obtuvo un 77,4%, mientras que el competidor obtuvo un 73,0%.
La escala: Probaron versiones pequeñas, medianas y grandes de su modelo. Las versiones más grandes fueron aún mejores al encogerse sin perder demasiada precisión. Por ejemplo, la versión más grande podía funcionar a plena potencia con una precisión del 82,8%, e incluso cuando se reducía a la mitad de su tamaño, se mantenía increíblemente fuerte.

Por qué esto es importante (según el artículo)

El artículo afirma que esta es la primera vez que se aplica esta técnica específica de "corte" a ConvNeXt.

Simplicidad: Elimina la necesidad de interruptores de normalización complejos requeridos por los métodos antiguos.
Eficiencia: Como no utiliza "autoatención" (un proceso pesado utilizado por los modelos Transformer), requiere menos operaciones matemáticas (GMACs) para obtener el mismo resultado.
Versatilidad: Permite que un solo modelo se ejecute en un servidor masivo, una computadora portátil o un teléfono móvil sin necesidad de almacenar múltiples archivos diferentes.

En resumen, los autores construyeron un "cuchillo suizo" de modelos de IA. En lugar de llevar un cuchillo, un destornillador y un sacacorchos por separado, tienes una herramienta que puede transformarse en cualquiera de ellos instantáneamente, y lo hace mejor y más eficientemente que la generación anterior de herramientas multiusos.

Resumen Técnico: ConvNeXt Ajustable

Planteamiento del Problema

Desplegar modelos de visión en dispositivos con restricciones de recursos heterogéneas, o en un único dispositivo donde la disponibilidad de cómputo fluctúa debido al estado de la batería, la limitación térmica o los plazos de latencia, típicamente requiere entrenar y mantener modelos separados para cada plataforma objetivo. Este enfoque es costoso e impráctico para entornos dinámicos. Si bien la inferencia adaptable al ancho ofrece una solución al entrenar un único conjunto de pesos compartidos que contiene múltiples subredes anidadas, los enfoques anteriores enfrentan limitaciones arquitectónicas específicas:

CNNs Clásicas: Métodos como Redes Ajustables (Slimmable Networks) y US-Nets requieren normalización por lotes conmutable para mantener estadísticas de ejecución separadas para diferentes anchos de canal, lo que añade complejidad y parámetros.
Transformadores de Visión (ViTs): Métodos escalables recientes (por ejemplo, HydraViT, MatFormer) dependen de mecanismos de atención que imponen restricciones estructurales sobre cómo pueden extraerse las subredes (por ejemplo, eliminar cabezas de atención en múltiplos de la dimensión de la cabeza o retener dimensiones de incrustación completas), limitando la granularidad y el rango de escalabilidad.

Metodología

El artículo propone ConvNeXt Ajustable, la primera aplicación de ajuste de ancho de canal a la familia de arquitecturas ConvNeXt. El método aprovecha decisiones de diseño específicas inherentes a ConvNeXt para simplificar el pipeline de entrenamiento y mejorar la eficiencia.

Diseño Arquitectónico

Cada bloque ConvNeXt se asigna una tasa de ajuste $p \in (0, 1]$ , que determina la fracción de canales activos.

Corte de Canales: Todos los tensores de pesos dentro de un bloque (convolución profunda, convoluciones puntuales y parámetros de Normalización de Capa) se cortan para retener solo los primeros $\lfloor p \cdot C \rfloor$ canales.
Botellas Invertidas: La capa intermedia de expansión (expansión 4 $\times$ ) también se corta a $4 \cdot \lfloor p \cdot C \rfloor$ , preservando la relación de expansión.
Manejo de Residuos: Cuando un bloque ajustado produce menos canales que su entrada, la salida se rellena con ceros para igualar la dimensión original antes de añadir la conexión residual. Esto evita introducir parámetros de proyección adicionales.
Normalización: A diferencia de las CNNs ajustables clásicas, ConvNeXt utiliza Normalización de Capa en lugar de Normalización por Lotes. La Normalización de Capa calcula estadísticas por muestra y corte de canal, lo que le permite adaptarse naturalmente a cualquier conteo de canales sin requerir capas de normalización conmutables o estadísticas de ejecución separadas.

Procedimiento de Entrenamiento

El modelo se entrena utilizando un procedimiento de entrenamiento conjunto con anchos alternos:

Selección Estocástica: Se define un conjunto de listas de $p$ (que definen la tasa de ajuste para cada bloque). Durante el entrenamiento, se selecciona aleatoriamente una lista de $p$ por lote.
Pesos Compartidos: Todas las subredes comparten los mismos pesos. Una subred con tasa $p < 1$ utiliza un subconjunto estricto de los parámetros utilizados en $p=1$ .
Optimización: El modelo realiza pasadas estándar de adelante-atrás a través de la subred seleccionada. Esta alternancia estocástica es análoga al entrenamiento de caída de cola en HydraViT, pero aplicado a las dimensiones de canal.
AutoSlim (Opcional): Para optimizar anchos no uniformes por bloque, el artículo investiga AutoSlim. Esta búsqueda codiciosa comienza con anchos uniformes y reduce iterativamente la tasa del bloque menos importante (basado en la caída de precisión de validación) hasta alcanzar una tasa promedio objetivo. Esto típicamente preserva etapas iniciales y finales más amplias mientras ajusta agresivamente las etapas intermedias.

Contribuciones Clave

Adecuación de la Arquitectura: Los autores demuestran que el diseño de ConvNeXt, específicamente el uso de Normalización de Capa y botellas invertidas, lo convierte en un candidato ideal para el ajuste de ancho adaptable. Esto elimina la sobrecarga de la normalización por lotes conmutable requerida por enfoques CNN anteriores y evita las restricciones estructurales de los métodos ViT basados en atención.
Pipeline Simplificado: El enfoque produce un pipeline de entrenamiento más simple que los métodos ajustables anteriores tanto de CNN como de ViT, sin requerir normalización conmutable, destilación de conocimiento ni reglas de entrenamiento de sándwich.
Rendimiento: El método logra precisión de última generación en una amplia gama de presupuestos de cómputo en ImageNet-1k, superando tanto a las líneas base basadas en ViT como a las CNN clásicas.

Resultados Experimentales

Los autores evaluaron ConvNeXt Ajustable en ImageNet-1k en tres tamaños de modelo: ConvNeXt-Tiny (T), Small (S) y Base (B). Todos los modelos se entrenaron desde cero durante 600 épocas.

ConvNeXt-Tiny (3 Subredes)

Capacidad Completa (4.5 GMACs): 80.8% de precisión top-1.
Media Capacidad (1.2 GMACs): 77.4% de precisión top-1.
Comparación: Supera a la subred de 6 cabezas de HydraViT (78.4% a 4.6 GMACs) en 2.4 puntos porcentuales y a su configuración de 3 cabezas (73.0% a 1.3 GMACs) en 4.4 puntos porcentuales. También supera a MatFormer-S y SortedNet-S en GMACs comparables.

ConvNeXt-Base (4 Subredes)

Capacidad Completa (15.4 GMACs): 82.8% de precisión top-1.
Media Capacidad (4.0 GMACs): 81.6% de precisión top-1.
Comparación: A media capacidad, logra 81.6% con 4.0 GMACs, superando el 80.2% de HydraViT a 4.6 GMACs (13% menos operaciones). Cubre un rango de cómputo de 1.1 a 15.4 GMACs desde un único conjunto de pesos, mientras que MatFormer se limita aproximadamente a la mitad hasta la capacidad completa.

Escalado y Robustez

Degradación Gradual: Los modelos más grandes (ConvNeXt-B) exhiben una degradación más gradual bajo ajuste en comparación con los modelos más pequeños (ConvNeXt-T), reteniendo el 98.7% de su precisión de capacidad completa a media capacidad.
Número de Subredes: Aumentar el número de subredes (por ejemplo, de 3 a 5) generalmente conduce a rendimientos decrecientes o ligeras caídas de precisión para modelos más pequeños, pero ConvNeXt-B permanece robusto, con 4 subredes mejorando realmente la precisión máxima.
AutoSlim: AutoSlim proporciona mejoras modestas a bajas capacidades (por ejemplo, +1.0% a un cuarto de capacidad para ConvNeXt-T), pero ofrece beneficios marginales o ligeramente negativos a capacidad completa, probablemente debido a la estrategia de relleno con ceros en las conexiones residuales.

Significado y Afirmaciones

El artículo afirma que ConvNeXt Ajustable proporciona un único modelo elástico capaz de ajustar dinámicamente su costo computacional en tiempo de inferencia para coincidir con presupuestos de recursos variables. Esto habilita escenarios de despliegue donde un único modelo puede servir a una flota heterogénea de dispositivos o adaptarse a restricciones de tiempo de ejecución (batería, térmica, latencia) sin recargar pesos.

Los autores enfatizan que la combinación de Normalización de Capa (eliminando la normalización conmutable) y botellas invertidas (facilitando el corte directo de parámetros) permite que ConvNeXt logre una precisión superior a las líneas base de última generación en casi cada punto de operación, manteniendo al mismo tiempo la simplicidad y la compatibilidad de hardware de las arquitecturas convolucionales. El trabajo sugiere que para escenarios de despliegue que requieren capacidad reducida, comenzar desde un modelo base más grande y ajustar agresivamente puede producir mejores resultados que entrenar un modelo más pequeño a ancho completo.