🤖 AI

Selective LoRA for Visual Tokens and Attention Heads

تقدم الورقة البحثية Image-LoRA، وهي طريقة لضبط المعلمات بكفاءة عالية تهدف إلى تكييف الرموز المرئية فقط ومجموعة فرعية مدمجة من مسارات القيم لرؤوس الانتباه، وذلك لتقليل التكاليف الحسابية مع الحفاظ على أداء النموذج الأساسي المجمد في النصوص النقية.

المؤلفون الأصليون: Tiange Luo, Lajanugen Logeswaran, Jaekyeom Kim, Justin Johnson, Honglak Lee

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tiange Luo, Lajanugen Logeswaran, Jaekyeom Kim, Justin Johnson, Honglak Lee

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات.

الفكرة الكبرى: "الخياط البصري المتخصص"

تخ lập أن لديك أميناً للمكتبة ذكياً جداً ومطلعاً (وهو نموذج الرؤية واللغة أو VLM). هذا الأمين بارع في قراءة الكتب (النصوص)، ولكن يُطلب منه الآن تعلم كيفية وصف الصور (الصور) أيضاً.

عادةً، عندما نريد تعليم هذا الأمين مهارة جديدة، نستخدم طريقة تسمى LoRA (التكيف منخفض الرتبة). فكر في LoRA كأنك تعطي الأمين مجموعة من الملاحظات اللاصقة (Sticky Notes) تحتوي على تعليمات جديدة. الطريقة التقليدية للقيام بذلك هي وضع ملاحظة لاصقة على كل صفحة من الكتاب، بغض النظر عما إذا كانت الصفحة تحتوي على صورة أو مجرد نص.

المشكلة:
تجادل الورقة البحثية بأن نهج "الملاحظة اللاصقة على كل صفحة" هو أمر هدِر للموارد.

إنه فوضوي: قدرة الأمين على القراءة (الاستنتاج النصي) مثالية بالفعل. إضافة ملاحظات إلى صفحات النصوص قد يؤدي بالخطأ إلى إفساد مهاراته في القراءة.
إنه مكلف: كتابة الملاحظات على آلاف الصفحات النصية يستغｒق الكثير من الوقت والطاقة، رغم أن الأمين يحتاج فقط لتعلم كيفية التعامل مع الصور.

الحل: Image-LoRA
يقترح المؤلفون طريقة جديدة تسمى Image-LoRA. بدلاً من وضع الملاحظات في كل مكان، يعملون مثل خياط جراح لا يخيط إلا الأجزاء من الزي التي تحتاج إلى تغيير.

إليك كيف تعمل Image-LoRA، مقسمة إلى ثلاث خطوات بسيطة:

1. المس صفحات "الصور" فقط (انتقائية الرموز - Token Selectivity)

في نموذج الكمبيوتر، يتم تقسيم الصورة إلى قطع صغيرة تسمى "الرموز البصرية" (Visual Tokens)، ويتم تقسيم النص إلى "الرموز النصية" (Text Tokens).

Standard LoRA (الطريقة القياسية): تقوم بتحديث النموذج لجميع الرموز (النصوص والصور).
Image-LoRA: تطبق التحديثات على الرموز البصرية (أجزاء الصور) فقط.
التشبيه: تخيل أن الأمين يقرأ كتاباً مصوراً (كوميكس). الـ LoRA القياسية تعيد كتابة فقاعات الحوار (النص) والرسومات معاً. أما Image-LoRA فتقول: "نحن بحاجة فقط لإصلاح الرسومات. اترك فقاعات الحوار كما هي تماماً". هذا يضمن أن الأمين لن ينسى كيفية قراءة النصوص أثناء تعلمه عن الصور.

2. استخدم "أفضل العيون" فقط (انتقائية الرؤوس - Head Selectivity)

داخل النموذج، توجد العديد من "رؤوس الانتباه" (Attention Heads). فكر في هذه الرؤوس كأنها أزواج مختلفة من النظارات أو عيون متخصصة مختلفة تنظر إلى البيانات.

Standard LoRA: تحاول تعديل كل العيون، على أمل أن يصبح بعضها أفضل في رؤية الصور.
Image-LoRA: تقوم أولاً بإجراء اختبار سريع لمعرفة أي العيون المحددة جيدة فعلياً في النظر إلى الصور. ثم تقوم بتعديل تلك العيون المحددة فقط.
التشبيه: بدلاً من إعطاء عدسات جديدة لـ 100 شخص في حشد من الناس، تحدد هذه الطريقة الـ 20 شخصاً الذين ينظرون بالفعل إلى الصورة وتعطيهم نظارات جديدة فقط. هذا يوفر قدراً هائلاً من الجهد.

3. غيّر "المحتوى" فقط (انتقائية مسار القيمة - Value Path Selectivity)

داخل "عين" النموذج، هناك أجزاء مختلفة: جزء يقرر أين تنظر، وآخر يقرر ماذا ترى.

Standard LoRA: قد تحاول تغيير المكان الذي تنظر إليه العين وما تراه.
Image-LoRA: تغير فقط ما تراه العين (مسار "القيمة" أو الـ Value path).
التشبيه: تخيل أن الأمين ينظر إلى صورة قطة. الجزء الخاص بـ "أين" يقرر النظر إلى وجه القطة. الجزء الخاص بـ "ماذا" يقرر أن القطة فروية وبرتقالية اللون. تقوم Image-LoRA بتحديث جزء "ماذا" فقط لجعل وصف القطة أكثر دقة، دون إفساد جزء "أين".

لماذا يهم هذا؟ (النتائج)

اختبرت الورقة البحثية هذه الطة على عدة مهام، مثل العثور على الأشياء في لقطات الشاشة (ScreenSpot-Pro) والإجابة على أسئلة حول الصور (TextVQA).

أسرع وأرخص: لأنها تتخطى الصفحات النصية وتتجاهل "العيون السيئة"، فهي تتطلب طاقة حوسبة أقل بكثير (FLOPs) للتدريب. في بعض الحالات، كانت أسرع بـ 4 إلى 5 مرات في التدريب من الطريقة القياسية.
ذكية بنفس القدر: على الرغم من استخدام موارد أقل، فقد قدمت أداءً يضاهي الطريقة القياسية في المهام البصرية.
تحمي مهارات القراءة: عندما اختبروا الأمين في مسائل رياضية نصية بحتة (GSM8K) بعد تعليمه عن الصور، لم يفقد أمين المكتبة (الذي يستخدم Image-LoRA) أي قدرة على القراءة. بينما في المق المقابل، أصبحت الطريقة القياسية أسوأ قليلاً في الرياضيات لأنها أفسدت الصفحات النصية.

الملخص

Image-LoRA هي طريقة أذكى لتعليم نماذج الذكاء الاصطناعي عن الصور. فبدلاً من إعادة كتابة الكتاب بأكم، فهي تقوم فقط بتعديل الصور، وتستخدم أفضل العيون للنظر إليها، وتغير فقط وصف ما تراه. هذا يجعل التدريب أسرع، وأرخص، وأكثر أماناً لمهارات القراءة الموجودة لدى النموذج.

إليك ملخص تقني مفصل لورقة بحثية بعنوان "Selective LoRA for Visual Tokens and Attention Heads" (Image-LoRA).

بيان المشكلة

تعد طريقة (Low-Rank Adaptation - LoRA) التقليدية وسيلة مستخدمة على نطاق واسع للضبط الدقيق لبارامترات النماذج الضخمة بكفاءة (PEFT). ومع ذلك، عند تطبيقها على نماذج الرؤية واللغة (VLMs)، تفرض LoRA التقليدية "سابقة هيكلية" ضعيفة: فهي تطبق نفس التحديث منخفض الرتبة على جميع مواضع الرموز (الرموز النصية للنظام، والنصوص الخاصة بالمستخدم، والرموز البصرية، ورموز المخرجات) وعلى جميع رؤوس الانتباه (Attention Heads).

يجادل المؤلفون بأن نهج "كل الرموز، وكل الرؤوس" هذا غير فعال وقد يكون ضاراً بنماذج الرؤية واللغة للأسباب التالية:

التباين (Heterogeneity): تمزج مدخلات نماذج الرؤية واللغة بين وسائط (Modalities) متميزة. وتشير الأبحاث السابقة إلى أن رؤوس انتباه محددة فقط هي الحيوية للمهام البصرية (مثل التحديد أو الإشارة)، بينما تتعامل رؤوس أخرى مع اللغة.
الاضطراب غير الضروري (Unnecessary Perturbation): إن تعديل جميع الرموز، بما في ذلك النصوص الصرفة، يمكن أن يزعزع دون داعٍ قدرات الاستنتاج اللغوي القوية الموروثة من النموذج اللغوي الأساسي المجمد، حتى عند استخدام بيانات متعددة الوسائط.
عدم الكفاءة (Inefficiency): إن تطبيق التحديثات على نصوص المطالبات (Prompts) ورموز الإجابات (التي لا تحتوي على أي معلومات بصرية) يهدر الموارد الحسابية (FLOPs) والبارامترات أثناء التدريب.

المنهجية: Image-LoRA

يقترح المؤلفون Image-LoRA، وهي وصفة للضبط الدقيق (PEFT) موجهة للرؤية، تتعامل مع LoRA كتحديث متبقٍ (Residual Update) على مستوى الرمز ( $Y = XW + X\Delta W$ ) وتقيد هذا التحديث بناءً على ثلاثة أشكال من الانتقائية:

1. انتقائية الرموز (بصرية فقط - Visual-Only)
بدلاً من تطبيق المحول (Adapter) على التسلسل بأكم، تقوم Image-LoRA بحقن التحديث المتبقي فقط على نطاق الرموز البصرية ( $I_v$ ).

بالنسبة للمدخلات النصية الصرفة ( $I_v = \emptyset$ )، يكون المحول غير نشط، ويتبع النموذج الشبكة الأساسية المجمدة بدقة.
هذا يحافظ على قدرات الاستنتاج النصي للنموذج ويقلل من عمليات حساب الـ FLOPs أثناء التدريب عبر تخطي الحسابات لرموز المطالبة والإجابة.

2. انتقائية الرؤوس (مجموعة فرعية من رؤوس الانتباه - Head Selectivity)
تقوم Image-LoRA بتحديث مجموعة فرعية مدمجة فقط من رؤوس الانتباه بدلاً من جميع الرؤوس. يتم تحديد الاختيار عبر تقدير تأثير في تمريرة واحدة (one-pass influence estimate):

يتم إرفاق مسبار (Probe) خفيف الوزن من الرتبة 1 (خاص بالرموز البصرية فقط) بكل رأس.
يقوم النظام بتشغيل تمريرة أمامية-خلفية واحدة على مجموعة مسبار لحساب حساسية الخسارة (Loss) لتحديث كل رأس (درجة التأثير).
يتم ترتيب الرؤوس بناءً على هذه الدرجة. ولضمان التنوع، يتم تطبيق عملية اختيار "cosine farthest-first" على ميزات التنوع المستمدة من التدرجات (Gradients).
يتم توزيع ميزانية عالمية ( $K_{sel}$ ) عبر الطبقات بناءً على معامل درجة الحرارة ( $\tau$ ) الذي يتحكم في مدى صرامة اتباع الميزانية للأهمية الإجمالية لكل طبقة.

3. انتقائية الإسقاط (القيمة فقط - Value-Only Projection)
داخل الرؤوس المختارة، يقتصر التكيف على إسقاط القيمة (Value - V) فقط.

التعليل: من منظور رمز نصي، تحدد المفاتيح البصرية (Keys) "أين" يجب الانتباه، بينما تحدد القيم البصرية (Values) "ما" هو المحتوى الذي سيتم استرداده. إن تحديث القيم البصرية يغير الأدلة البصرية التي يستهلكها النموذج اللغوي دون تعديل تمثيلات الرموز غير البصرية مباشرة في موقع الحقن.
تظهر دراسات الاستئصال (Ablation studies) أن تصميم "V-only" هذا يتفوق على تعديل إسقاطات Q أو K أو O، أو مجموعاتها، خاصة في الأنظمة التي تعتمد بكثافة على الصور.

آليات إضافية:

مشاركة البارامترات (Parameter Sharing): يتم مشاركة المصفوفة $A$ في تفكيك LoRA ( $\Delta W = AB$ ) عبر جميع الرؤوس المختارة داخل الطبقة الواحدة، بينما تظل المصفوفة $B$ خاصة بكل رأس. وهذا يقلل بشكل كبير من البارامترات القابلة للتدريب.
تطبيع حجم الاختيار (Selection-Size Normalization): نظرًا لأن عدد الرؤوس المختارة يختلف لكل طبقة، يتم تطبيق عامل تطبيع $\nu(N_{chosen}) = 1/\sqrt{N_{chosen}}$ على عامل القياس (Scaling factor). هذا يعمل على تثبيت مقدار التحديثات لكل طبقة، مما يمنع الزيادة المتراكمة للزيادة الناتجة عن عدد الرؤوس المختارة.

المساهمات الرئيسية

إطار عمل Image-LoRA: طريقة جديدة للضبط الدقيق (PEFT) تقيد التكيف بالرموز البصرية، ومجموعة فرعية مختارة من رؤوس الانتباه، ومسار القيمة (Value path).
الكفاءة: تقلل الطريقة من البارامترات القابلة للتدريب وعمليات حساب الـ FLOPs الخاصة بالمحول فقط (Adapter-only) بشكل كبير مقارنة بـ LoRA القياسية.
الحفاظ على الاستنتاج النصي: من خلال استبعاد الرموز النصية من التكيف، تضمن الطريقة الحفاظ على قدرات الاستنتاج النصي الصرف (مثل GSM8K) بعد الضبط الدقيق للمهام البصرية.
عنق زجاجة المعلومات (Information Bottleneck): يفترض المؤلفون أن القيود الهيكلية الأكثر إحكاماً تعمل كعنق زجاجة للمعلومات مفيد، مما يجبر النموذج على الاعتماد على الأدلة البصرية بدلاً من الإشارات النصية السطحية.

النتائج التجريبية

قيم المؤلفون Image-LoRA باستخدام نماذج Qwen2.5-VL (7B و 72B)، و LLaVA-NeXT-7B، و InternVL3-8B عبر عدة اختبارات مرجعية:

التحديد البصري (ScreenSpot-Pro, RefCOCO):
- تحقق Image-LoRA دقة تماثل أو تقترب بشدة من دقة LoRA القياسية (التي تعدل إسقاطات Q و V على جميع الرموز والرؤوس).
- في الأنظمة التي تكثر فيها الرموز البصرية (على سبيل المثال، نسبة 1:5 نص إلى صورة)، تظهر Image-LoRA مقايضات مواتية، حيث تحقق دقة مماثلة بعدد أقل بكثير من البارامترات وعمليات حساب الـ FLOPs.
- بالنسبة لنموذج Qwen2.5-VL-7B على اختبار ScreenSpot-Pro، تستخدم Image-LoRA حوالي رُبع البارامترات وعدد أقل بكثير من عمليات حساب الـ FLOPs مقارم بـ LoRA القياسية.
التعميم (TextVQA, VideoQA):
- تتعمم الطريقة على المهام التي تتطلب أسئلة وأجوبة نصية غنية وصور/فيديو، مع الحفاظ على أداء مماثل لـ LoRA القياسية.
الحفاظ على النص الصرف (GSM8K):
- بعد الضبط الدقيق للمهام البصرية، تحتفظ نماذج Image-LoRA بأدائها الأصلي في اختبار GSM8K (الاستنتاج الرياضي)، بينما أظهرت نماذج LoRA القياسية تراجعاً طفيفاً.
عنق زجاجة المعلومات (ViLP):
- في اختبار ViLP (المصمم لاختبار الاعتماد على الأولويات اللغوية مقابل الأدلة البصرية)، تفوقت Image-LoRA على LoRA القياسية بنسبة 7.67%، مما يشير إلى أن الطريقة تنجح في تقليل "الاختصارات" عبر الأولويات اللغوية.

الأهمية والادعاءات

تزعم الورقة أن Image-LoRA توفر استراتيجية تكييف أكثر استهدافاً وكفاءة لنماذج الرؤية واللغة. فمن خلال الإقرار بالطبيعة المتباينة لمدخلات هذه النماذج، تحقق الطريقة ما يلي:

تحسين الكفاءة: تقلل بشكل جذري من التكلفة الحسابية للضبط الدقيق (عمليات حساب الـ FLop للأدابتور فقط) وعدد البارامترات القابلة للتدريب دون التضحية بالأداء في المهام البصرية.
حماية القدرات اللغوية: تمنع تدهور مهارات الاستنتاج النصي الصرف التي تحدث غالباً عند تعديل جميع الرموز.
تعزيز التحديد البصري (Visual Grounding): يساعد "عنق زجاجة المعلومات" الأكثر إحكاماً النموذج على الاعتماد أكثر على الأدلة البصرية، مما يحسن الأداء في المهام التي قد تكون فيها الأولويات اللغوية مضللة.

أشار المؤلفون إلى وجود قيود، بما في ذلك الحاجة إلى تحسينات فعالة على مستوى النواة (Kernel-level optimizations) للتعامل مع التوجيه الديناميكي للرموز البصرية أثناء الاستدلال، والاعتماد الحالي على منهجية محددة لاختيار الرؤوس والتي يمكن استكشافها بشكل أكبر.