💻 computer science

Efficient PEFT Methods with Adaptive Checkpointing for Vision Models and VLMs on Resource Constrained Consumer-GPUs

Este artículo evalúa cinco métodos de ajuste fino eficiente en parámetros y tres estrategias de control de puntos de control de gradiente a través de diversos modelos de visión y de visión-lenguaje en GPUs de consumo con recursos limitados, revelando que QLoRA y BitFit ofrecen ahorros significativos de energía con una pérdida mínima de precisión, mientras que un algoritmo de control de puntos de control adaptativo reduce drásticamente el uso de memoria pico y DINOv2 supera a los modelos ajustados en eficiencia energética en benchmarks específicos.

Autores originales: Altay Toktassyn, Jurn-Gyu Park

Publicado 2026-07-03

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Altay Toktassyn, Jurn-Gyu Park

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un robot muy inteligente y altamente entrenado (un "Modelo de Visión") que puede reconocer objetos en imágenes. Este robot fue entrenado en una fábrica masiva y superpotente (un centro de datos con enormes GPUs). Ahora, quieres enseñarle una nueva habilidad específica —como distinguir entre 100 tipos diferentes de juguetes o reconocer texturas específicas— directamente en tu propio dispositivo, como una computadora portátil o un pequeño brazo robótico.

¿El problema? Tu dispositivo tiene una caja de memoria diminuta (VRAM) y una batería limitada. El robot es demasiado pesado para caber en tu caja de memoria, e intentar enseñarle suele causar que tu dispositivo se bloquee o se quede sin energía.

Este artículo es como una guía para meter ese robot gigante en tu pequeña mochila sin romperla. Los autores probaron cinco diferentes "estrategias de enseñanza" (métodos PEFT) y dos tipos de cerebros robóticos (arquitecturas Transformer y Mamba) para ver qué funciona mejor con un presupuesto ajustado (simulando un límite de memoria de 2 GB, como una laptop de gama baja o una Jetson Nano).

Aquí está el desglose de sus hallazgos usando analogías cotidianas:

1. Las Estrategias de Enseñanza (Métodos PEFT)

En lugar de reentrenar a todo el robot (que es como intentar reescribir toda la enciclopedia de su cerebro), los autores probaron formas de simplemente ajustar algunas partes específicas.

Full Fine-Tuning (Ajuste Fino Completo): Reescribir el libro entero. Es lo más preciso pero requiere una memoria del tamaño de una biblioteca. En tu pequeño dispositivo, esto es como intentar meter una ballena en una bañera: simplemente no cabe.
LoRA y QLoRA: Estas son como añadir notas adhesivas al libro existente. No cambias el texto original; solo pegas pequeñas notas de bajo rango en las páginas para enseñarle la nueva habilidad.
- QLoRA es el campeón aquí. Es como escribir esas notas adhesivas en pequeños trozos de papel comprimidos (cuantización de 4 bits). Ahorra una cantidad masiva de espacio y energía mientras aprende casi tan bien como el método de reescribir todo el libro.
BitFit: Esto es como cambiar solo los signos de puntuación (los términos de sesgo o bias) en el libro. Es el cambio más pequeño posible. Ahorra la mayor cantidad de energía y memoria, aunque a veces aprende un poco menos que el método de las notas adhesivas.
AdaLoRA: Una versión inteligente de las notas adhesivas que decide qué páginas necesitan más notas y cuáles menos. Es bueno, pero a veces es un poco más pesado que los otros.

El Veredicto: Si estás con un presupuesto ajustado, QLoRA y BitFit son tus mejores amigos. Reducen tu uso de energía en un 20–30% con casi ninguna pérdida de precisión.

2. Los Cerebros Robóticos (Arquitecturas)

Los autores probaron dos tipos de cerebros robóticos:

Transformers (ViT, TinyViT): El cerebro clásico y potente. Es excelente en precisión, pero puede volverse "desordenado" con el uso de memoria.
Mamba (Vim, MambaVision): Un diseño de cerebro más nuevo y eficiente que procesa la información en línea recta (como leer una oración) en lugar de mirar todo a la vez.

El Giro Sorprendente:

ViT-Small fue el más preciso y equilibrado.
MambaVision-Tiny fue el más eficiente energéticamente, pero ligeramente menos preciso.
Vim-Small (el Mamba puro) fue sorprendentemente pesado. Aunque es un diseño "nuevo" y eficiente, en esta tarea específica, consumió de 3 a 4 veces más energía que el Transformer para obtener el mismo resultado. Es como un coche deportivo que tiene un consumo de gasolina terrible en el tráfico de la ciudad.

3. El Truco de la Memoria (Gradient Checkpointing)

Cuando el robot aprende, necesita recordar cada paso que dio para corregir sus errores. Este "recuerdo de pasos" consume mucha VRAM.

Static Checkpointing (Puntos de control estáticos): Imagina que se le dice al robot: "Olvida lo que acabas de hacer, pero recuerda dónde estás, y si necesitas revisar tu trabajo más tarde, simplemente vuelve a hacer ese paso". Esto ahorra una cantidad enorme de memoria (¡hasta un 90%!) pero hace que el robot trabaje el doble (más lento y con más energía).
Adaptive Checkpointing (Puntos de control adaptativos - La Nueva Idea): Es un gerente inteligente. Observa la caja de memoria en tiempo real. Si la caja se está llenando, le dice al robot que "olvide y vuelva a hacer" solo los pasos pesados. Si la caja tiene espacio, deja que el robot conserve la memoria.
- Resultado: Esto ahorró entre un 43% y un 79% de memoria con menos desperdicio de energía que el método de "siempre volver a hacer". Sin embargo, solo funcionó bien en los cerebros Transformer estándar. En los cerebros "híbridos" (TinyViT), el gerente se confundió por las diferentes partes del cerebro y de hecho empeoró las cosas.

4. La Opción de "No Enseñar" (Baselines Zero-Shot)

Los autores se preguntaron: "¿Realmente necesitamos enseñarle al robot? ¿Podemos simplemente usar uno ya pre-entrenado?"

DINOv2 (El Experto Autodidacta): Este modelo aprendió mirando millones de imágenes sin que nadie le dijera qué eran. Al ser probado, fue sorprendentemente bueno (0.917 de precisión en CIFAR-100), superando incluso a los robots a los que dedicamos tiempo y energía para ajustarlos. Es como un genio que aprendió todo por ósmosis.
- El inconveniente: Es pesado de ejecutar. Usarlo para cada imagen cuesta mucha energía.
VLMs Autorregresivos (Los Robots Charlatanes): Estos modelos (como PaliGemma) intentan "hablar" con la imagen para adivinar qué es. Funcionaron pésimamente en esta tarea. Se confundieron, dieron respuestas incorrectas y usaron una cantidad masosa de energía para generar texto que no era necesario. Es como pedirle a un loro parlante que identifique un tipo específico de pez; habla demasiado y se equivoca.

Resumen de la "Mejor Receta"

Si quieres ejecutar un modelo de visión en un dispositivo de consumo con memoria y batería limitadas:

Elige el Cerebro: Usa ViT-Small (Transformer) para obtener el mejor equilibrio entre precisión y velocidad. Evita el Mamba puro (Vim) a menos que tengas una razón específica, ya que consume demasiada energía.
Elige el Método: Usa QLoRA o BitFit. Son las "notas adhesivas" más eficientes para tu robot.
Usa el Truco: Si te estás quedando sin memoria, usa Static Checkpointing (el método de "olvidar y volver a hacer") en los Transformers. Es la opción más segura para evitar colapsos.
Salta la Charla: No uses los VLMs "charlatanes" para tareas simples de clasificación; son demasiado lentos e imprecisos.
Considera al Experto: Si no puedes permitirte entrenar nada en absoluto, DINOv2 es un fuerte contendiente, pero ten en cuenta que cuesta más energía ejecutarlo cada vez que tomas una foto.

La Conclusión: No necesitas una supercomputadora para ajustar la IA moderna. Usando las "notas adhesivas" correctas (QLoRA/BitFit) y el "cerebro" adecuado (ViT-Small), puedes obtener un 90%+ del rendimiento con una fracción del costo de energía y memoria.

Resumen Técnico: Métodos de PEFT Eficientes con Checkpointing Adaptativo para Modelos de Visión y VLMs en GPUs de Consumo con Recursos Limitados

1. Planteamiento del Problema

Los modelos de visión preentrenados modernos, incluyendo los Vision Transformers (ViTs) y las emergentes arquitecturas basadas en Mamba, logran una alta precisión pero demandan una cantidad sustancial de memoria GPU (VRAM) y energía para el ajuste fino (fine-tuning). Esto hace que el despliegue en el borde (edge deployment) en hardware de consumo (por ejemplo, Nvidia Jetson Nano, GTX 1650 con ~2 GB de VRAM utilizable) sea impráctico. El artículo identifica tres brechas específicas en la investigación actual:

Ceguera de Desplegabilidad: La mayoría de los benchmarks de Ajuste Fino de Parámetros Eficientes (PEFT) priorizan la precisión y el recuento de parámetros entrenables, ignorando las restricciones de memoria, energía y latencia que determinan la desplegabilidad real en hardware de consumo. Además, el compromiso entre las arquitecturas Transformer y Mamba bajo PEFT permanece inexplorado.
Limitaciones del Checkpointing Estático: El checkpointing de gradientes se aplica típicamente de forma uniforme (ya sea apagado o por capa), careciendo de mecanismos para decidir dinámicamente por capa si la recomputación es necesaria basándose en la VRAM en tiempo de ejecución, lo que conduce a sobrecostes evitables de energía y tiempo.
Compromisos entre Modelos Libres de Entrenamiento vs. Ajustados (Fine-Tuned): El rápido avance de los modelos fundacionales libres de entrenamiento (VLMs contrastivos, backbones autosupervisados, VLMs autorregresivos) plantea la cuestión de si el ajuste fino específico de la tarea sigue estando justificado bajo presupuestos de precisión-energía equiparados, particularmente en dominios de grano fino.

2. Metodología

El estudio evalúa cinco métodos de PEFT a través de cuatro arquitecturas de modelos bajo un estricto presupuesto de 2 GB de VRAM, simulando restricciones de dispositivos en el borde.

A. Arquitecturas y Métodos PEFT

Arquitecturas: El estudio compara dos familias:
- Transformers: ViT-Small (puro) y TinyViT (híbrido CNN+ViT).
- Mamba: Vim-Small (Mamba puro) y MambaVision-Tiny (híbrido CNN+Mamba).
- Todos los modelos se escalan a un presupuesto de parámetros comparable (21–32M) para aislar los mecanismos arquitectónicos.
Métodos PEFT: Full Fine-Tuning (FT), LoRA, AdaLoRA, QLoRA y BitFit.
Estrategias de Checkpointing:
- Ninguno: Línea base (baseline).
- Estático: Checkpointing aplicado a cada capa.
- Adaptativo (Propuesto): Un algoritmo consciente del presupuesto de memoria que monitorea la memoria GPU en tiempo de ejecución. Activa el checkpointing solo cuando la memoria asignada excede un umbral ( $\tau \cdot M$ ), aplicando el checkpoint de forma en cascada a las capas subsiguientes en el pase hacia adelante (forward pass) para evitar errores de Out-of-Memory (OOM) mientras minimiza la sobrecarga de recomputación.

B. Baselines de Modelos Fundacionales

Para abordar la Q3, el estudio compara tres familias de modelos libres de entrenamiento contra sus contrapartes ajustadas (fine-tuned):

VLMs Contrastivos: OpenCLIP y SigLIP (clasificación guiada por texto zero-shot).
Backbone KD-SSL: DINOv2 (características congeladas con $k$ -NN o sonda lineal).
VLMs Autorregresivos: PaliGemma, MobileVLM y SmolVLM (generación de texto basada en prompts).

C. Métricas de Evaluación

El artículo utiliza cuatro métricas principales: Precisión Top-1, Tiempo de Entrenamiento, Consumo de Energía (Wh) y VRAM Pico.

Familia NetScore: Para sintetizar estos compromisos multiobjetivo, los autores adoptan y extienden la métrica NetScore. Proponen dos nuevas variantes conscientes del despliegue:
- $NS_M$ : Se enfoca en los compromisos de precisión-memoria.
- $NS_\#$ : Se enfoca en los compromisos de precisión-memoria-energía.
- Estas se evalúan junto con las variantes estándar de NetScore ($NS$) y enfocadas en energía ( $NS_E$ ).

D. Configuración Experimental

Datasets: CIFAR-100 (clasificación de objetos) y DTD (reconocimiento de texturas).
Hardware: Una sola NVIDIA RTX 2060 SUPER (8 GB de VRAM), con presupuestos de memoria impuestos mediante torch.cuda.set_per_process_memory_fraction.
Restricciones: Se utiliza un límite estricto de 2 GB de VRAM para simular dispositivos de borde.

3. Contribuciones Clave

Benchmark Exhaustivo de PEFT: Un ranking cuantitativo de 20 configuraciones (arquitectura $\times$ PEFT), revelando que la elección óptima depende fuertemente de la arquitectura específica y el presupuesto de memoria, no solo del método PEFT.
Algoritmo de Checkpointing Adaptativo: Un novedoso método de checkpointing adaptativo consciente del presupuesto de memoria que reduce la VRAM pico entre un 43% y un 79% con una sobrecarga de energía del 9–30%, superando al checkpointing estático en backbones de Transformer uniformes.
Métricas Multiobjetivo: La introducción de las variantes $NS_M$ y $NS_\#$ para evaluar mejor los modelos bajo restricciones de despliegue (memoria y energía).
Comparación de Paradigmas: Una comparación rigurosa del ajuste fino (fine-tuning) de PEFT frente a los modelos fundacionales zero-shot, estableciendo que, si bien los modelos libres de entrenamiento sobresalen en conjuntos de datos genéricos, el ajuste fino de PEFT sigue siendo superior en dominios de grano fino.

4. Resultados Clave

A. Compromisos entre PEFT y Arquitectura (Q1)

Precisión vs. Energía: QLoRA y BitFit ofrecen consistentemente el mejor compromiso de precisión-energía, reduciendo la energía entre un 20% y un 30% con solo un coste de precisión del 1–2% comparado con el Full FT en backbones de Transformer.
Especificidades de la Arquitectura:
- ViT-Small: Logra la mayor precisión (0.897 en CIFAR-100) y es el Transformer más eficiente energéticamente.
- MambaVision-T: Es el backbone más eficiente energéticamente en general, pero sufre una penalización significativa de precisión (0.804 en CIFAR-100) comparado con ViT-S.
- Vim-Small: Recupera una precisión cercana a la de ViT-S (0.872) pero incurre en una penalización de energía de 3–4 $\times$ debido a sus 24 bloques secuenciales.
- TinyViT: Está dominado por el frente de Pareto; tiene menor precisión que ViT-S y un mayor consumo de energía que MambaVision-T.
Comportamiento de la Memoria: La suposición de que menos parámetros entrenables equivalen a menor VRAM es falsa. Por ejemplo, BitFit (pocos parámetros) a menudo consume más VRAM que LoRA/QLoRA porque el entrenamiento de los sesgos (biases) en cada capa mantiene vivo el grafo de activación completo, mientras que LoRA permite descartar las activaciones de las capas congeladas.

B. Checkpointing de Gradientes (Q2)

Estático vs. Adaptativo: El checkpointing estático proporciona la máxima reducción de memoria (hasta un 95% en Vim-S) pero incurre en una alta sobrecarga de energía (incremento del 17–44%).
Rendimiento Adaptativo: El método adaptativo propuesto reduce la memoria pico entre un 43% y un 79% con una menor sobrecarga de energía (9–30%).
Dependencia de la Arquitectura: El checkpointing adaptativo es altamente efectivo en backbones de Transformer uniformes (ViT-S), pero funciona mal en híbridos heterogéneos (TinyViT) donde el stem MBConv crea huellas de memoria no uniformes, superando a veces los costes del checkpointing estático. Para modelos Mamba puros (Vim-S), el checkpointing estático es obligatorio, ya que el Full FT provoca OOM sin él.

C. Fine-Tuning vs. Baselines Zero-Shot (Q3)

DINOv2 (KD-SSL): Supera a todos los modelos ajustados (fine-tuned) en CIFAR-100 (0.917 vs. 0.897) con una fracción de la energía de entrenamiento, lo que lo convierte en la opción preferida para dominios genéricos donde el entrenamiento no es una opción.
VLMs Contrastivos (OpenCLIP/SigLIP): Ofrecen una sólida precisión zero-shot con baja energía de inferencia, sirviendo como una línea base viable cuando se necesita una amplia cobertura de etiquetas.
VLMs Autorregresivos: Permanecen poco competitivos. Exhiben una precisión significativamente menor (por ejemplo, MobileVLM con 0.274 en CIFAR-100) y una energía de inferencia sustancialmente mayor (órdenes de magnitud superior a los modelos PEFT) debido a la sobrecarga de la generación de texto.
Dominios de Grano Fino (DTD): En el dataset DTD, los baselines de modelos fundacionales se quedan cortos frente al ajuste fino de PEFT. Los métodos de PEFT (específicamente QLoRA/BitFit) superan a los baselines zero-shot tanto en precisión como en energía de inferencia, justificando el coste de entrenamiento de una sola vez.

5. Significación y Afirmaciones

El artículo afirma que para las GPUs de consumo con recursos limitados:

PEFT es Esencial para el Borde (Edge): Mientras que los modelos libres de entrenamiento son viables para tareas genéricas, el ajuste fino de PEFT específico de la tarea es necesario para dominios de grano fino y ofrece una eficiencia de inferencia superior una vez que se amortiza el coste de entrenamiento de una sola vez.
La Arquitectura Importa: No existe una única "mejor" arquitectura. ViT-S es el líder en precisión, MambaVision-T es el líder en energía y Vim-S es ineficiente bajo presupuestos de memoria estrictos. La elección debe ser impulsada por los restricciones de despliegue específicas (precisión vs. energía vs. memoria).
El Checkpointing Adaptativo es Viable: El algoritmo adaptativo propuesto equilibra con éxito la seguridad de la memoria y la eficiencia energética, particularmente para arquitecturas Transformer uniformes, ofreciendo una alternativa práctica a la pesada sobrecarga del checkpointing estático.
Los VLMs Autorregresivos No Están Listos: Los actuales VLMs autorregresivos de pequeña escala no son adecuados para la clasificación estándar de conjunto cerrado en dispositivos de borde debido a su baja precisión y a los prohibitivos costes de energía de inferencia en comparación con los enfoques contrastivos o ajustados.

El estudio concluye que un enfoque de "talla única" para la selección de PEFT y arquitectura es insuficiente; en su lugar, las estrategias de despliegue deben adaptarse al backbone específico y a la naturaleza del dataset objetivo (genérico vs. grano fino).