🤖 AI

Gate-and-Merge: Zero-shot Compositional Personalization of Vision Language Models

تقدم هذه الورقة "Gate-and-Merge"، وهو إطار عمل للتعلم الصفري (zero-shot) للتخصيص التركيبي في نماذج الرؤية واللغة، والذي يتعلم المفاهيم بشكل مستقل عبر محولات LoRA ويدمجها عند الاستدلال باستخدام آلية بوابات (gating mechanism) لضمان أداء مفكك وخالٍ من التداخل دون الحاجة إلى تدريب على التزامن.

المؤلفون الأصليون: Guodong Ding, Angela Yao

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Guodong Ding, Angela Yao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً فائق الذكاء (نموذج لغوي بصري) يعرف كل شيء عن العالم — القطط، والكلاب، والسيارات، والأشجار. لكنه لا يعرف قطتك الخاصة، أو لعبتك المفضلة، أو أسلوبك الفني الفريد.

عادةً، لتعليم هذا الروبوت عن أغراضك الشخصية، سيتعين عليك إطلاعه على مئات الصور لقطتك وكلبك ولعبتك معاً في جلسة تدريبية واحدة كبيرة. هذا يشبه محاولة تعليم طباخ كيفية طهي طبق معين من خلال السماح له فقط بالممارسة عندما تكون جميع المكونات بالفعل موضوعة على الطاولة. إنه أمر فوضوي، وإذا أردت إضافة مكون جديد لاحقاً، فسيتعين عليك البدء من جديد.

تقدم هذه الورقة البحثية طريقة جديدة تسمى "البوابة والدمج" (Gate-and-Merge) لحل هذه المشكلة. إليك كيف تعمل، باستخدام تشبيهات بسيطة:

1. نهج "الأداة المتخصصة" (التعلم المنفرد)

بدلاً من خلط كل شيء معاً، يقوم الباحثون بتعليم الروبوت عن كل قطعة من أغراضك واحداً تلو الآخر، وبشكل منفصل.

الرمز (The Token): يمنحون كل قطعة علامة اسم خاصة (مثل لقب فريد، مثلاً <قطتي>).
محول "لورا" (The LoRA Adapter): تخيل هذا كأنه "كتيب تعليمات" صغير وخفيف الوزن أو مفتاح ربط متخصص يحتفظ به الروبوت في جيبه. عندما يعلمون الروبوت عن <قطتي>، فإنهم يكتبون فقط كتيب تعليمات جديد لـ <قطتي>. هم لا يلمسون عقل الروبوت الرئيسي أو معرفته بالقطط الأخرى.
النتيجة: أصبح لدى الروبوت الآن جيب مليء بكتيبات تعليمات منفصلة ونظيفة. واحد لقطتك، وواحد لكلبك، وواحد للعبتك. لا تختلط الأمور بينهم لأنهم مخزنون بشكل منفصل.

2. "البوابة" (تحديد ما يجب استخدامه)

الآن، تخيل أنك تري الروبوت صورة لقطتك وهي تجلس بجانب كلبك وتسأله: "من الموجود في هذه الصورة؟"

يحتاج الروبوت إلى معرفة أي كتيبات تعليمات يجب أن يسحبها من جيبه.
تعمل البوابة (The Gate) كحارس أمن ذكي. ينظر الحارس إلى دليلين:
1. ما قلته أنت: إذا ذكرت <قطتي>، يفتح الحارس الباب لكتيب تعليمات القطة.
2. ما أريته للروبوت: إذا رأى الروبوت صورة تبدو مثل قطتك، يفتح الحارس الباب لكتيب تعليمات القطة.
يسمح الحارس فقط للكتيبات ذات الصلة بالمرور ويمنع الكتيبات التي لا تنتمي للمشهد (مثل كتيب تعليمات السيارة، إذا كنت قد عرضت حيوانات فقط). هذا يمنع الروبوت من الارتباك أو "الهلوسة".

3. "الدمج" (الجمع بين الأدوات)

بمجرد أن يختار الحارس الكتيبات الصحيحة (على سبيل المثال، كتيب القطة وكتيب الكلب)، يحتاج الروبوت إلى استخدامها معاً للإجابة على سؤالك.

المشكلة: إذا قمت فقط بتكديس كتيبين فوق بعضهما البعض، فقد تختلط الصفحات أو قد تتعارض التعليمات (مثلاً: أحدهما يقول "انظر يساراً"، والآخر يقول "انظر يميناً"). هذا يؤدي إلى فشل الروبوت.
الحل: آلية "الدمج" (The Merge) هي بمث المحرر الدقيق. ينظر المحرر إلى التعليمات من كلا الكتيبين ويقوم فقط بدمج الأجزاء التي تتفق مع بعضها البعض. إذا قال أحد الكتيبين "أضف القليل من الأحمر" والآخر "أضف القليل من الأزرق"، فإن المحرر يمزجهما بعناية. وإذا حاول أحد الكتيبات مسح شيء يريد الآخر الاحتفاظ به، فإن المحرر يمنع حد ذلك.
هذا يخلق نسخة مؤقتة فائقة القدرة من الروبوت يفهم كلاً من قطتك وكلبك في نفس الوقت، دون أن يكون قد رآهما معاً من قبل.

لماذا يعد هذا أمراً هاماً؟

لا حاجة لـ "التدريب الجماعي": لست بحاجة لإظهار صور لقطتك وكلبك معاً لتعليم الروبوت. يمكنك تعليمهم بشكل منفصل، ومع ذلك يمكن للروبوت فهمهم معاً لاحقاً.
الخصوصية: لا يحتاج الروبوت لتخزين آلاف الصور الخام لأغراضك الشخصية. هو فقط يخزن تلك "كتيبات التعليمات" الصغيرة (محولات LoRA)، وهي أصغر بكثير وأكثر أماناً.
دقة أفضل: توضح الورقة أنه باستخدام نظام "البوابة والدمج" هذا، يصبح الروبوت أفضل بكثير في التعرف على المشاهد ووصفها عندما تحتوي على عناصر شخصية متعددة مقارنة بالطرق الأخرى التي تحاول تعلم كل شيء دفعة واحدة أو تعتمد على البحث في قاعدة بيانات.

باخت-الكلمات، "البوابة والدمج" يشبه إعطاء الروبوت مجموعة من الأدوات النمطية القابلة للتشغيل والتركيب. يتعلم كل أداة على حدة، ثم يتحقق من الأدوات المطلوبة للمهمة الحالية، ثم يدمجها بعناية لإنجاز المهمة بشكل مثالي، حتى لو كانت تركيبة جديدة من الأدوات لم يستخدمها معاً من قبل.

ملخص تقني: آلية "البوابة والدمج" (Gate-and-Merge) للتخصيص التكويني لنموذج الرؤية واللغة (VLM) في وضع الصفر-مُعرفة (Zero-Shot)

تعريف المشكلة

تمتلك نماذج الرؤية واللغة (VLMs) قدرات تعميم قوية للمهام مفتوحة العالم، لكنها تفتقر إلى القدرة على فهم المفاهيم المخصصة التي يحددها المستخدم (مثل وجوه معينة، أو حيوانات أليفة، أو أنماط فنية محددة) والتي تغيب عن بيانات التدريب المسبق. وبينما يمكن لطرق التخصيص الحالية تعلم مفاهيم فردية، إلا أنها تواجه صعوبة في التخصيص التكويني (Compositional Personalization): أي القدرة على التعرف على أو وصف مشاهد تحتوي على عدة مفاهيم محددة من قبل المستخدم في آن واحد دون تدريب مسبق على ظهورها معاً.

تواجه النهج الحالية قيوداً كبيرة:

الطرق القائمة على المعلمات (Parameter-based methods): (مثل المطالبات القابلة للتعلم أو تمثيلات المفاهيم) غالباً ما تؤدي إلى تشابك المفاهيم أثناء التدريب، مما يجعل من الصعب عزلها وإعادة دمجها في تكوينات جديدة.
الطرق القائمة على الاسترجاع (Retrieval-based methods): تتجنب تحديث المعلمات ولكنها تعتمد على قواعد بيانات خارجية، مما يثير مخاوف تتعلق بالخصوصية وتفشل في استيعاب المفاهيم لمهام الاستنتاج.
تفتقر الحلول الحالية عموماً إلى آلية لتركيب عدة مفاهيم تم تعلمها بشكل مستقل في وقت الاستنتاج دون تدهور الأداء بسبب التداخل.

المنهجية: البوابة والدمج (Gate-and-Merge)

يقترح البحث إطار عمل "البوابة والدمج"، وهو إطار عمل للصفر-مُعرفة (zero-shot) مصمم لتمكين التخصيص التكويني دون الحاجة إلى تدريب على الظهور المشترك أو قواعد بيانات خارجية. يعمل إطار العمل عبر مرحلتين متمايزتين:

1. تعلم المفهوم الفردي (مرحلة التدريب)

يتم تعلم كل مفهوم محدد من قبل المستخدم $c$ بشكل مستقل كتمثيل معياري خفيف الوزن يتكون من مكونين:

رمز المفهوم ( $\langle c \rangle$ ): رمز جديد يُضاف إلى مفردات أداة الترميز (tokenizer) مع متجه تمثيل قابل للتدريب $e_c$ وصف رصيد مخرجات مقابل $w_c$ . يعمل هذا كمعرّف نصي للمفهوم.
محول لورا (LoRA Adapter) ( $\delta_c$ ): وحدة تكيف منخفضة الرتبة ( $\delta_c = A_c B_c$ ) تُطبق على أوزان النموذج اللغوي. يسمح هذا للنموذج بالتكيف مع المظهر البصري للمفهوم دون تعديل مشفر الرؤية المجمد.

يبقى مشفر الرؤية مجمدًا طوال عملية التدريب للحفاظ على مساحة سمات مشتركة ومستقرة، مما يضمن بقاء السمات البصرية متوافقة عبر مختلف المفاهيم. يتم تدريب النموذج على مجموعة دعم صغيرة من الصور والنصوص باستخدام هدف نمذجة اللغة المقنعة القياسي.

2. تركيب المفاهيم المتعددة (مرحلة الاستنتاج)

في مرحلة الاستنتاج، يجب على النموذج التعامل مع مدخلات تحتوي على مفاهيم متعددة (على سبيل المثال، صورة تحتوي على المفهوم $A$ والمفهوم $B$ ) دون أن يكون قد رآهما معاً أثناء التدريب. يستخدم إطار العمل آلية "البوابة والدمج":

البوابية (الاختيار - Gating): تحدد آلية البوابة أي وحدات المفاهيم ذات الصلة بالمدخل الحالي (الصورة $x$ والاستعلام $q$ ) من خلال تقييم مؤشرين:
- الارتباط النصي: التحقق مما إذا كان رمز المفهوم $\langle c \rangle$ مذكوراً صراحة في الاستعلام.
- الارتباط البصري: حساب تشابه جيب التمام (cosine similarity) بين سمات رقعة الصورة (image patch features) والسمات النموذجية للمفهوم.
- يتم تفعيل المفهوم إذا تم ذكره نصياً أو إذا كان مدعوماً بصرياً فوق عتبة معينة $\tau$ .
الدمج (الاندماج - Merging): بمجرد تحديد مجموعة المفاهيم ذات الصلة $S$ ، يتم دمج تحديثات "لورا" المقابلة لها مباشرة في مساحة الأوزان. ولمنع التداخل المدمر الناتج عن الجمع الساذج للتحديثات:
- التقليل (Sparsification): يتم إسقاط كل تحديث "لورا" عشوائياً (Bernoulli masking) وإعادة تحجيمه للاحتفاظ فقط بالإشارات المهيمنة، مما يقلل من الصراعات بين المفاهيم.
- المتوسط الواعي للإشارة (Sign-Aware Averaging): تفرض الطريقة اتساق الإشارة. لكل إحداثي وزن، يتم استبعاد التحديثات ذات الإشارات المتضاربة، ويتم حساب متوسط التحديثات ذات الإشارة المتسقة فقط. يضمن ذلك أن المحول المدمج يحافظ على هوية كل مفهوم مع دمجهما.

النموذج المركب النهائي هو $M_{comp} = M \oplus \delta_{merge}$ ، حيث $\delta_{merge}$ هو المحول المدمج. هذه العملية تتم دون الحاجة لتدريب إضافي عند الاستنتاج.

المساهمات الرئيسية

إطار عمل "البوابة والدمال" (Gate-and-Merge): إطار عمل معياري للتخصيص التكويني في وضع الصفر-مُعرفة، يتعلم المفاهيم بشكل مستقل ويدمجها عند الاستنتاج دون إشراف على الظهور المشترك.
التمثيل المعياري: تصميم يمثل كل مفهوم عبر وحدة "لورا" خفيفة الوزن ورمز مفهوم فريد، مما يدعم التخصيص القابل للتوسع والحفاظ على الخصوصية.
التركيب الخالي من التدريب: آلية لتنشيط ودمج وحدات "لورا" بشكل انتقائي بناءً على الإشارات النصية والبصرية المعتمدة على المدخلات، باستخدام التقليل والدمج الواعي للإشارة للتخفيف من التداخل.
التحقق التجريبي: إثبات من خلال تجارب مكثفة أن الطريقة تتفوق على مناهج التخصيص القائمة على المعلمات في كل من إعدادات المفهوم الفردي والمفاهيم المتعددة.

النتائج التجريبية

قيم المؤلفون الطريقة باستخدام معيار تم بناؤه من مجموعة بيانات متعددة المفاهيم، تغطي 118 مفهوماً مختلفاً (أفراد حقيقيين، أشياء، شخصيات خيالية).

التعرف البصري: في المهام التي تتطلب تحديد مفهوم واحد أو أكثر في صورة، حققت "البوابة والدمج" أداءً فائقاً مقارنة بالنماذج المرجعية مثل MyVLM و Yo'LLaVA. ومن الجدير بالذكر أنه في الإعداد الصعب "متعدد-متعدد" (تحديد عدة مفاهيم مستعلم عنها في آن واحد)، حققت الطريقة المقترحة دقة بلغت 69.9%، متفوقة بشكل كبير على Yo'LLaVA (29.3%) مع الحفاظ على استدعاء متوازن عالٍ.
الاستجواب النصي والبصري (QA): أظهرت الطريقة متانة في كل من الاستنتاج النصي فقط والاستجواب البصري متعدد الوسائط (VQA)، محققة الأداء الأكثر توازناً عبر إعدادات المفهوم الفردي والمتعدد.
الوصف (Captioning): بينما أظهرت الطرق القائمة على الاسترجاع (RAP-MLLM) استدعاءً عالياً في إعدادات المفهوم الواحد، إلا أنها اعتمدت بشدة على "نسخ ولصق" النصوص المخزنة. قدمت "البوابة والدمج" تجذيراً (grounding) أكثر متانة للمفاهيم، حيث أنتجت أوصافاً تدمج الأدلة البصرية بشكل أفضل، رغم أن الأداء انخفض طبيعياً في سيناريوهات الوصف متعددة المفاهيم مقارنة بمهام المفهوم الواحد.
دراسات الاستئصال (Ablation Studies):
- نسبة التقليل ( $p$ ): بلغ الأداء ذروته عند نسبة تقليل تترا-وحوالى 0.7–0.8، مما يؤكد أن التقليل المتوسط يثبط التداخل بفعالية مع الاحتفاظ بإشارات التكيف.
- عتبة البوابية ( $\tau$ ): حققت العتبة 0.3 أفضل النتائج، حيث وازنت بين كبح التنشيطات غير ذات الصلة والاحتفاظ بالمفاهيم الصالحة.

الأهمية والادعاءات

يدعي البحث أن "البوابة والدمج" يعالج الفجوة الحرجة في تخصيص نماذج الرؤية واللغة من خلال تمكين الاستنتاج التكويني دون الحاجة إلى تدريب مشترك أو تخزين بيانات خارجية. من خلال إبقاء المفاهيم منفصلة أثناء التدريب ودمجها بذكاء عند الاستنتاج، تسمح الطريقة للنماذج بالتعامل مع تركيبات جديدة من المفاهيم المحددة من قبل المستخدم.

يضع المؤلفون هذا العمل كخطوة نحو تخصيص معياري وقابل للتوسع حيث يمكن إضافة المفاهيم أو إزالتها أو دمجها ديناميكياً. كما يقرون بالقيود، مشيرين إلى أن المفاهيم شديدة التشابك قد تتطلب آليات أكثر تعبيراً وأن عملية التقليل تحمل خطر فقدان التفاصيل الدقيقة. ومع ذلك، تشير النتائج إلى أن هذا النهج يقدم حلاً مستقراً وفعالاً لدمج المعرفة المخصصة في نماذج الرؤية واللغة لسيناريوهات معقدة متعددة المفاهيم.