Resumen Técnico: Métodos de PEFT Eficientes en Energía y Memoria para SLM Personalizados en Dispositivos mediante GPUs de Consumo

Declaración del Problema

A pesar del rápido avance de los Modelos de Lenguaje Grandes (LLMs), el despliegue y la personalización de estos en dispositivos de consumo con recursos limitados (por ejemplo, una sola GPU de consumo, dispositivos móviles, sistemas embebidos) sigue siendo poco práctico. La tendencia de que "más grande es mejor" ha llevado a modelos que requieren cientos de gigabytes de VRAM, creando barreras para el despliegue en dispositivos en cuanto a latencia, privacidad y costos operativos. Además, el proceso de ajuste fino (fine-tuning) para estos modelos grandes exacerba los problemas de consumo de VRAM, tiempo de entrenamiento y uso de energía. Aunque los Modelos de Lenguaje Pequeños (SLMs) (1–2 mil millones de parámetros) y el Ajuste Fino de Parámetros Eficientes (PEFT) ofrecen soluciones teóricas, existe una falta de datos empíricos exhaustivos que comparen estas estrategias a través de diferentes arquitecturas (Transformers vs. Modelos de Espacio de Estados) y tareas (comprensión general vs. personalización) teniendo en cuenta la eficiencia energética. Los estudios existentes suelen centrarse en una única familia de arquitecturas, omiten las evaluaciones de personalización o no informan el consumo de energía, dejando a los desarrolladores sin un marco estandarizado para determinar la combinación óptima de arquitectura de modelo y estrategia de ajuste fino para la IA en dispositivos.

Metodología

Los autores desarrollaron un marco experimental unificado para evaluar las compensaciones entre rendimiento, eficiencia y sostenibilidad.

• Modelos: Se evaluaron cuatro SLMs de dos familias arquitectónicas:
  • Basados en Transformer: TinyLlama-1.1B y Qwen3-1.7B.
  • Basados en Modelos de Espacio de Estado (SSM): Mamba-1.4B y Mamba2-1.3B.
• Métodos de Ajuste Fino (Fine-Tuning): Se probaron cinco enfoques:
  • Ajuste Fino Completo (Full-FT).
  • Métodos PEFT: LoRA, LoRA+ (una versión mejorada con tasas de aprendizaje diferenciadas), QLoRA (LoRA cuantizado en 4 bits) y BitFit (actualizaciones solo de sesgo/bias).
  • Nota: QLoRA no fue compatible con los modelos SSM debido a las limitaciones de las librerías respecto a los mecanismos de escaneo selectivo.
• Benchmarks: Se utilizaron seis tareas para evaluar la comprensión general del lenguaje y la personalización del usuario:
  • GLUE (Comprensión General): SST-2 (sentimiento), QNLI (inferencia), STS-B (similitud).
  • LaMP (Personalización): LaMP-1 (citación), LaMP-2 (etiquetado de películas), LaMP-3 (calificación de productos).
• Hardware: Todos los experimentos se realizaron en una única NVIDIA RTX 4090 (24 GB de VRAM) para garantizar la consistencia.
• Métricas: Más allá de la precisión estándar de la tarea, el estudio midió el tiempo de entrenamiento, el uso pico de VRAM, el consumo de energía promedio y el consumo total de energía (Wh).
• Métrica de Evaluación (NetScore): Los autores utilizaron la métya de NetScore y sus variantes para crear una puntuación compuesta que equilibra el rendimiento frente a la eficiencia:
  • NetScore (NS): Penaliza el tamaño del modelo (parámetros y FLOPs).
  • NetScore-E (NS-E): Penaliza la energía y el tiempo (seleccionada como la regla principal para la selección del método).
  • NetScore-M (NS-M): Penaliza el pico de memoria (VRAM).
  • NetScore# (NS#): Combina todos los términos de eficiencia.
  • Regla de Selección: El método óptimo para cada configuración se determinó mediante una regla estricta de "prioridad de energía": se seleccionó el método con el mayor NS-E, rompiendo empates con el mayor NS#.

Contribuciones Clave

1. Comparación Empírica Exhaustiva: El estudio proporciona una comparación unificada de los métodos PEFT a través de arquitecturas Transformer y SSM tanto en benchmarks generales como de personalización, un vacío no abordado en la literatura previa.
2. Evaluación Consciente de la Energía: Introduce un marco de evaluación riguroso que incorpora el consumo de energía y el tiempo de entrenamiento junto con la precisión y la memoria, utilizando la familia de métricas NetScore.
3. Perspectivas Específicas de la Arquitectura: El artículo analiza los comportamientos distintos de los SSM frente a los Transformers bajo PEFT, particularmente la eficacia de LoRA+ y las limitaciones de los actuales stacks de software para SSM.
4. Reproducibilidad: Todos los scripts de entrenamiento y evaluación se han publicado para asegurar la reproducibilidad de los resultados.

Resultados

Selección del Método PEFT Óptimo

• Dominio de LoRA+: LoRA+ fue el método seleccionado en 18 de 24 configuraciones de modelo-tarea. Logró el mayor NS-E en 19 de 24 casos y el mayor NS-M en 13 de 24. LoRA+ ofrece ganancias de precisión sobre el LoRA estándar con esencialmente cero costo adicional (mismo número de parámetros y FLOPs) al utilizar tasas de aprendizaje diferenciadas para las matrices de adaptadores, lo que conduce a una convergencia más rápida y una mejor estabilidad, particularmente para los SSM.
• QLoRA para Restricciones de Memoria: QLoRA fue seleccionado en solo 1 de 24 configuraciones (TinyLlama en LaMP-2) bajo la regla de prioridad de energía. Sin embargo, alcanzó consistentemente el mayor NS-M (eficiencia de memoria), reduciendo el pico de VRAM hasta 3.9× en comparación con LoRA en modelos Transformer. Es la opción preferida solo cuando la VRAM, en lugar de la energía, es la restricción limitante.
• Ajuste Fino Completo y BitFit: El Ajuste Fino Completo se seleccionó solo una vez (Qwen3 en LaMP-2) y generalmente no fue rentable en términos de costo. BitFit no generó resultados competitivos para la mayoría de las tareas, particularmente en regresión (STS-B) y tareas de personalización complejas, resultando a menudo en NetScores negativos.

Rendimiento y Eficiencia del Modelo

• TinyLlama-1.1B: Este modelo proporcionó la mejor combinación de modelo-método general bajo el NetScore base para los seis benchmarks. Su menor número de parámetros (1.1B) y su maduro stack de entrenamiento Transformer resultaron en un menor consumo de energía y tiempos de entrenamiento más rápidos en comparación con modelos más grandes.
• Rendimiento de SSM: Aunque los modelos Mamba mostraron una mejora significativa con LoRA+ (especialmente en tareas de personalización), generalmente se quedaron atrás de los Transformers en valores de NetScore debido a tiempos de entrenamiento más largos. Esto se atribuye a la inmadurez del ecososistema de software de los SSM y a los kernels menos optimizados para el escaneo secuencial, a pesar de su complejidad temporal lineal teórica. Mamba2-1.3B superó a Mamba-1.4B en la mayoría de las métricas, reflejando mejoras arquitectónicas.
• Diferencias de Tarea:
  • Tareas GLUE: Generalmente mostraron valores de NetScore más altos debido a longitudes de secuencia más cortas (128 tokens) y objetivos de clasificación.
  • Tareas LaMP: Estas tareas generativas (512 tokens) fueron significativamente más intensivas en energía. La "ventaja de LoRA+" fue más pronunciada aquí, particularmente para los SSM, donde las ganancias de precisión fueron sustanciales.

Análisis de Inferencia

Los requisitos de memoria de inferencia fueron significativamente menores que los de entrenamiento (reducción del 23–84%). Sin embargo, los SSM no demostraron la ventaja esperada de tiempo lineal durante la generación autorregresiva en estas tareas; por ejemplo, Mamba-1.4B fue más lento que TinyLlama en la inferencia de LaMP-2. QLoRA incurrió en latencia de inferencia adicional debido a la sobrecarga de descuantización, a pesar de sus beneficios de memoria.

Significado y Afirmaciones

El artículo concluye que los SLM compactos combinados con PEFT proporcionan un camino práctico y consciente de la energía para el despliegue personalizado en dispositivos. El estudio desafía la noción de que los modelos más grandes son necesarios para un alto rendimiento, demostando que los modelos de 1–2 mil millones de parámetros pueden igualar o superar los resultados del ajuste fino completo a una fracción del costo de recursos.

Los autores afirman que la estrategia óptima está dictada por la restricción dominante:

• Para la Eficiencia Energética: LoRA+ es el método superior, equilibrando la precisión con un bajo consumo de energía de entrenamiento.
• Para Restricciones de Memoria: QLoRA es el método preferido para modelos Transformer cuando la VRAM es el factor limitante.
• Para la Eficiencia de Parámetros: BitFit ofrece el mayor NetScore base, pero está limitado por caídas de precisión en tareas complejas.

Los hallazgos sugieren que la tendencia de modelos "cada vez más grandes" no es el único camino; en cambio, una combinación de arquitecturas compactas (específicamente TinyLlama-1.1B en este estudio) y un ajuste fino eficiente (LoRA+) ofrece una solución sostenible para la IA en dispositivos. El artículo reconoce las limitaciones, incluyendo la evaluación en una sola GPU, la indisponibilidad de QLoRA para SSM y la actual falta de penalización directa de VRAM en el NetScore base, sugiriendo que el trabajo futuro debería abordar estas restricciones y expandirse al hardware de borde (edge).