💻 computer science

Parameter-Efficient Fine-Tuning of Large Pretrained Models for Instance Segmentation Tasks

Este estudio demuestra que la aplicación de métodos de ajuste fino eficiente en parámetros, específicamente adaptadores y la adaptación de bajo rango (LoRA) a la atención deformable, permite que los modelos basados en transformers logren un rendimiento competitivo en segmentación de instancias ajustando solo del 1 al 6% de los parámetros, reduciendo significativamente el costo computacional en comparación con el ajuste fino tradicional.

Autores originales: Nermeen Abou Baker, David Rohrschneider, Uwe Handmann

Publicado 2026-06-02

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nermeen Abou Baker, David Rohrschneider, Uwe Handmann

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: El chef "sobre-ingenierizado"

Imagina que tienes a un chef de fama mundial (un Modelo Preentrenado Grande) que ha pasado años aprendiendo a cocinar todos los platos imaginables. Este chef lo sabe todo sobre la comida, desde la pastelería francesa hasta el sushi japonés.

Ahora, quieres que este chef cocine un plato local muy específico: Segmentación de Instancias. En términos de visión computacional, esto significa no solo decir "eso es un perro", sino dibujar un contorno perfecto alrededor de cada uno de los perros en una foto, distinguiendo uno de otro.

El Problema:
Para enseñarle a este chef tu plato local específico, la forma tradicional es hacer que reaprendan todo desde cero, o al menos que reaprendan entre el 40% y el 55% de toda su base de conocimientos. Esto es como obligar al chef a olvidar sus 10 años de entrenamiento previos y empezar de nuevo. Requiere una cantidad masiva de tiempo, energía y dinero (potencia de cómputo). Además, en el proceso, podrían olvidar cómo cocinar los otros platos por los que eran famosos.

La Solución (PEFT):
Este artículo explora una forma más inteligente llamada Ajuste de Parámetros Eficiente (PEFT, por sus siglas en inglés). En lugar de reentrenar a todo el chef, le damos una pequeña "tarjeta de recetas" especializada o un "delantal especializado" que le ayuda a adaptarse a tu plato específico sin cambiar su conocimiento central.

Los investigadores probaron dos tipos de estas "tarjetas de recetas":

Adaptadores (Adapters): Pequeños módulos adicionales añadidos al flujo de trabajo del chef.
LoRA (Low-Rank Adaptation): Una forma de retocar las notas existentes del chef con actualizaciones muy pequeñas y eficientes.

Los dos tipos de "tarjetas de recetas" explicados

1. Adaptadores: Los módulos de "misiones secundarias"

Piensa en los Adaptadores como añadir una pequeña cocina especializada a la cocina principal del chef.

Cómo funciona: Cada vez que el chef realiza un paso importante (como picar o saltear), hace una pausa y pasa los ingredientes por esta diminuta cocina lateral. La cocina lateral añade un poco de "sabor local" al plato antes de que este regrese al flujo principal.
El Experimento: Los investigadores probaron añadiendo 1, 2, 3 o 4 de estas cocinas laterales en fila.
El Hallazgo: Descubrieron que tener 2 o 3 cocinas laterales era el "punto ideal". Proporcionaba los mejores resultados sin saturar demasiado la cocina. Añadir una cuarta no ayudaba mucho más, pero hacía el proceso más lento.
El Costo: Este método solo requirió entrenar aproximadamente del 1% al 6% de los parámetros totales (los "ingredientes" que el chef necesita aprender), en comparación con el 40–55% necesarios para el método antiguo.

2. LoRA: El "marcador de textos"

Piensa en LoRA como un marcador de textos (resaltador) especial. En lugar de reescribir todo el libro de cocina del chef, simplemente resaltas frases específicas en el texto existente para cambiar ligeramente su significado.

Cómo funciona: Los investigadores aplicaron este marcador específicamente a las partes de "atención" del modelo (donde el chef decide a qué prestar atención en la imagen). Incluso probaron esto en un tipo complejo de atención llamado "atención deformable" por primera vez en este contexto.
El Hallante: LoRA es increíblemente eficiente. Solo necesitó aprender entre el 0.3% y el 1% de los parámetros.
El Problema: Aunque LoRA era súper rápido y ligero, no siempre ganaba. En algunas tareas muy desordenadas o difíciles (como imágenes de rayos X de basura), el "lado de la cocina" (los Adaptadores) hacía un mejor trabajo porque tenía un poco más de capacidad para manejar la complejidad. En tareas más sencillas y cotidianas (como escenas de calles de la ciudad), LoRA brillaba.

La prueba de manejo: Cuatro "cocinas" diferentes

Los investigadores probaron estos métodos en cuatro conjuntos de datos muy diferentes (tipos de imágenes) para ver qué tan bien funcionaban:

Delfines (NDD20): Imágenes claras de delfines arriba y debajo del agua.
- Resultado: Ambos métodos funcionaron bien, pero los Adaptadores (con más "cocinas laterales") fueron ligeramente mejores para capturar los detalles específicos de los delfines.
Basura en una cinta transportadora (ZeroWaste): Una pila desordenada de plástico, metal y cartón.
- Resultado: Este fue un trabajo difícil y desordenado. Los Adaptadores ganaron aquí. Fueron mejores para distinguir entre una bolsa de plástico arrugada y un trozo de metal.
Residuos en Rayos X (WIXray): Ver a través de la basura para encontrar baterías o vidrio en una radiografía.
- Resultado: Esta fue la tarea más difícil. Los Adaptadores nuevamente superaron a LoRA. Las "cocinas laterales" fueron mejores para aprender los patrones extraños y nuevos de las imágenes de rayos X que el chef no había visto antes.
Calles de la ciudad (Cityscapes): Coches, personas y edificios en una ciudad.
- Resultado: Este es un tipo de imagen muy común, similar a lo que el chef aprendió originalmente. Aquí, LoRA fue la superestrella. Fue tan eficiente que de hecho superó al método tradicional y a los Adaptadores, utilizando casi nada de memoria adicional.

El veredicto: ¿Qué aprendieron?

La eficiencia es la clave: No necesitas reentrenar todo el modelo. Puedes obtener el 90–95% del rendimiento entrenando solo el 1–6% del modelo.
No existe una talla única para todos:
- Si la tarea es compleja, desordenada o muy diferente de lo que el modelo aprendió originalmente (como los rayos X), usa Adaptadores (específicamente 2 o 3 de ellos). Son más flexibles.
- Si la tarea es similar a la vida cotidiana (como las calles de la ciudad), usa LoRA. Es lo más eficiente y rápido.
Velocidad vs. Potencia: Los Adaptadores añaden un poco de tiempo al proceso (como si añadir una cocina lateral tomara unos segundos extra), pero LoRA es instantáneo porque solo retoca las notas existentes.

Resumen

Este artículo demuestra que no necesitas una computadora gigante y costosa para enseñar a un modelo de IA masivo un trabajo nuevo y específico. Al usar complementos pequeños y astutos (Adaptadores) o ajustes eficientes (LoRA), podemos personalizar estos modelos gigantes para tareas específicas como encontrar objetos en fotos, ahorrando enormes cantidades de tiempo y dinero, obteniendo al mismo tiempo excelentes resultados. La clave es elegir la herramienta adecuada para el trabajo específico que se intenta realizar.

Resumen Técnico: Ajuste fino eficiente en parámetros de grandes modelos preentrenados para tareas de segmentación de instancias

Planteamiento del Problema
El rápido avance de los grandes modelos preentrenados (LPMs) en visión por computadora ha proporcionado resultados de vanguardia en diversas tareas. Sin embargo, el aumento sustancial de los parámetros del modelo crea barreras significativas para la adaptación a tareas derivadas. El ajuste fino completo tradicional requiere actualizar todos o gran parte de los pesos para cada nueva tarea, lo que conlleva altos costos computacionales y de memoria, riesgos de olvido catastrófico y sobreajuste en conjuntos de datos objetivo más pequeños. Los métodos de Ajuste Fino Eficiente en Parámetros (PEFT), como los Adapters y la Adaptación de Bajo Rango (LoRA), han ganado tracción en el Procesamiento de Lenguaje Natural (NLP), pero su aplicación a tareas complejas de Visión por Computadora (CV) —específicamente la segmentación de instancias utilizando arquitecturas basadas en transformadores— sigue estando poco explorada. Además, los métodos PEFT existentes suelen enfrentar limitaciones en escalabilidad y no están optimizados para los requisitos únicos de la segmentación de instancias, como las predicciones precisas a nivel de píxel y la diferenciación de instancias de objetos. Existe una brecha notable en la literatura con respecto a la integración de estas técnicas dentro de los módulos de atención deformable, que son centrales en los transformadores de detección modernos (DETR).

Metodología
Este estudio investiga la efectividad de dos estrategias de PEFT —Adapters dispuestos secuencialmente y LoRA— aplicadas a dos grandes modelos preentrenados de segmentación de instancias: el Modelo Segment Everything Everywhere (SEEM) y Mask DINO. La investigación se centra en adaptar estos modelos a través de cuatro conjuntos de datos de referencia de diversa complejidad: NDD20 (segmentación de delfines), ZeroWaste (cinta transportadora de residuos), WIXray (inspección de residuos por rayos X) y Cityscapes (escenas de calles urbanas).

Adapters: Los autores proponen una novedosa integración secuencial de módulos adapter. A diferencia de las implementaciones estándar que colocan un único adapter por capa, este estudio introduce múltiples bloques adapter ( $I$ ) de forma secuencial dentro de cada bloque transformer. Estos adapters se insertan después de las capas de atención cruzada (cross-attention) y de autoatención (self-attention). La arquitectura incluye una proyección descendente lineal, una activación ReLU, una proyección ascendente lineal y una conexión residual. El estudio explora diferentes configuraciones de conexión residual ( $\kappa$ , $\lambda$ , y $\kappa + \lambda$ ) para determinar el flujo de señal óptimo.
LoRA en Atención Deformable: Una contribución metodológica primaria es la aplicación de LoRA a los mecanismos de atención deformable multiescala. Mientras que LoRA se aplica típicamente a las capas de atención estándar (modificando las proyecciones de consulta y valor), este trabajo extiende la técnica a la atención deformable. Aquí, las matrices LoRA se aplican a las matrices de pesos responsables de predecir los desplazamientos ( $W_{offset}$ ) y las proyecciones de valor ( $W_V$ ), lo que permite al modelo aprender ubicaciones de muestreo y interpretaciones de valores específicas de la tarea sin alterar los pesos preentrenados principales.
Configuración Experimental: Los experimentos se realizaron utilizando GPUs NVIDIA Quadro RTX 8000. El estudio compara las configuraciones PEFT contra configuraciones de ajuste fino tradicional (cabezal de segmentación completo, solo decodificador y solo embeddings). Se realizó un barrido de parámetros para los rangos de LoRA ( $r = \{2, 4, 8, 16\}$ ) y el número de adapters ( $I = \{1, 2, 3, 4\}$ ).

Contribuciones Clave

Primera Aplicación de LoRA a la Atención Deformable: El artículo introduce un enfoque LoRA específicamente para capas de atención deformable multiescala, logrando eficiencia de parámetros al actualizar únicamente matrices de bajo rango dentro de estos mecanismos de atención especializados.
Integración de Adapters Secuenciales: El estudio presenta la primera implementación de módulos adapter dispuestos secuencialmente para grandes modelos de segmentación de instancias preentrenados, explorando la escalabilidad de añadir múltiples bloques adapter por capa transformer.
Benchmarking Exhaustivo: La investigación proporciona un análisis comparativo de los métodos PEFT a través de cuatro conjuntos de datos diversos, evaluando el rendimiento, la eficiencia de parámetros y la velocidad de inferencia en las arquitecturas SEEM y Mask DINO.

Resultos
El estudio demuestra que los métodos PEFT pueden lograr un rendimiento competitivo ajustando solo una pequeña fracción de los parámetros del modelo:

Eficiencia de Parámetros: Las configuraciones de Adapters requirieron entre el 1.23% y el 3.88% de los parámetros para SEEM y del 0.5% al 6.35% para Mask DINO. LoRA fue aún más eficiente, utilizando aproximadamente el 0.34% al 0.54% para SEEM y el 0.73% al 1.39% para Mask DINO (backbone ResNet-50). En contraste, el ajuste fino del cabezal completo requirió el 39.55% (SEEM) y el 54.91% (Mask DINO) de los parámetros.
Compromisos de Rendimiento:
- Adapters: Aumentar el número de adapters generalmente mejoró el rendimiento, siendo de 2 a 3 adapters por bloque la opción que ofreció el equilibrio óptimo entre precisión y cantidad de parámetros. En el conjunto de datos ZeroWaste, una configuración de 4 adapters para Mask DINO incluso superó al ajuste fino de cabezal completo del estado del arte (SOTA).
- LoRA: LoRA exhibió una fuerte eficiencia pero mostró un rendimiento variable dependiendo del conjunto de datos y la arquitectura. Destacó en el conjunto de datos Cityscapes (superando al ajuste fino de cabezal completo para Mask DINO con solo 0.24% de parámetros), pero tuvo un rendimiento inferior comparado con los adapters en tareas complejas con desplazamiento de dominio como WIXray (imágenes de rayos X) y ZeroWaste.
- Dependencia de la Arquitectura: Mask DINO (basado en atención deformable) a menudo logró resultados comparables o superiores al modelo SEEM más grande, lo que sugiere que el mecanismo de atención deformable combinado con el desruido contrastivo es altamente efectivo para la localización de instancias.
Velocidad de Inferencia: Los Adapters introdujeron una ligera sobrecarga computacional (1–2 ms por iteración por cada bloque adapter añadido) debido a las capas adicionales. LoRA, sin embargo, impuso una sobrecarga de inferencia insignificante, ya que los pesos se recombinan y se fusionan con el modelo base antes de la inferencia.

Significancia y Reivindicaciones
El artículo afirma demostrar el potencial de PEFT para permitir un aprendizaje por transferencia escalable, personalizable y computacionalmente eficiente para la segmentación de instancias. Los autores enfatizan que, si bien los métodos PEFT no siempre igualan el rendimiento máximo absoluto del ajuste fino completo, ofrecen una alternativa viable para entornos con restricciones de recursos. El estudio destaca que la elección entre Adapters y LoRA depende del contexto: los Adapters pueden ser preferibles para tareas que requieren una adaptación de dominio significativa o el manejo de objetos deformables complejos, mientras que LoRA es altamente efectivo para tareas cercanas a la distribución de preentrenamiento.

Los autores señalan modestamente que, aunque sus resultados son prometedores, existe margen para una mayor optimización. Reconocen que persisten brechas de rendimiento en ciertos escenarios complejos (por ejemplo, WIXray) y que el aumento en el tiempo de inferencia de los adapters puede limitar su uso en aplicaciones de tiempo real. El trabajo concluye haciendo un llamado a investigar más a fondo las estrategias híbridas, realizar benchmarks más amplios en diversas tareas de visión y desarrollar nuevas variantes de adapters para alcanzar plenamente el potencial de adaptar grandes modelos preentrenados para aplicaciones especializadas de visión por computadora.