🤖 AI

SVD-Prune: Training-Free Token Pruning For Efficient Vision-Language Models

تُعد SVD-Prune طريقة لتقليم الرموز (tokens) لا تتطلب تدريباً وتعمل بأسلوب "التوصيل والتشغيل"، حيث تستخدم تحليل القيم المفردة (Singular Value Decomposition) ودرجات الرافعة الإحصائية (statistical leverage scores) لاختيار الرموز البصرية الأكثر إفادة، مما يتغلب بفعالية على قيود النهج القائمة على الاستدلال للحفاظ على أداء عالٍ في نماذج الرؤية واللغة حتى في ظل قيود ميزانية الرموز القصوى.

المؤلفون الأصليون: Yvon Apedo, Martyna Poreba, Michal Szczepanski, Samia Bouchafa

نُشر 2026-04-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yvon Apedo, Martyna Poreba, Michal Szczepanski, Samia Bouchafa

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صديقاً ذكياً جداً (نموذج لغوي بصري)، وهو بارع في النظر إلى الصور والإجابة عن الأسئلة المتعلقة بها. لكن هناك مشكلة: هذا الصديق يشعر بالإرهاق بسرعة.

عندما تعرض عليه صورة، يحاول دماغه معالجة كل بكسل كقطعة منفصلة من المعلومات. إذا كانت الصورة عالية الدقة، فسيضطر للتعامل مع مئات من هذه "الأفك" الصغيرة (الرموز/Tokens) دفعة واحدة. وهذا ما يجعله بطيئاً، ومستهلكاً كبيراً للطاقة، ويصعب تشغيله على الأجهزة الصغيرة مثل الهواتف أو أجهزة الكمبيوتر المحمولة.

لحل هذه المشكلة، حاول الناس إخبار الصديق: "مهلاً، تجاهل الأجزاء المملة من الصورة وركز فقط على الأشياء المهمة". لكن الطرق القديمة لتحديد ما هو "ممل" كانت معيبة. لقد كانت تشبه أميناً سيئاً للمكتبة ينظر فقط إلى الكتب القليلة الأولى على الرف، أو يرتبك بسبب مكان وضع الكتب، وغالباً ما يتخلص من الصفحات الأكثر أهمية عن طريق الخطأ.

إليك SVD-Prune: "المحرر الذكي" الذي لا يحتاج إلى تدريب.

إليك كيف تعمل الطريقة الجديدة للورقة البحثية، باستخدام تشبيهات من الحياة اليومية:

1. المشكلة في الطرق القديمة ("الانحياز الموضعي")

تخ تخيل أنك تقرأ قصة طويلة. قد تقول طرق التلخيص القديمة: "بداية القصة هي الأكثر أهمية لأنها في البداية"، أو "النهاية هي الأكثر أهمية لأنها آخر ما رأيته".
في مصطلحات الذكاء الاصطناعي، يُسمى هذا الانحياز الموضعي (Positional Bias). كانت أدوات الذكاء الاصطناعي القديمة تحذف بالخطأ منتصف الصورة (حيث قد يوجد الكائن الفعلي) لمجرد مكان وجود البكسلات، وليس بناءً على ما تظهره بالفعل. الأمر يشبه مصوراً يقوم بقص الصورة بناءً على حواف الإطار بدلاً من الموضوع الأساسي.

2. الحل الجديد: SVD-Prune (تشبيه "المزيج الموسيقي")

يقترح المؤلفون طريقة تسمى SVD-Prune. فكر في الصورة المعقدة ليس كمجموعة من البكسلات، بل كـ مزيج موسيقي ضخم أو سيمفونية.

الطريقة القديمة: النظر إلى الآلات الفردية (البكسلات) وتخمين أي منها صوته عالٍ.
طريقة SVD-Prune: الاستماع إلى الأوركسترا بأكملها وتحديد اللحن الرئيسي.

تستخدم هذه الطريقة خدعة رياضية تسمى تحليل القيم المفردة (Singular Value Decomposition - SVD). تخيل أن لديك غرفة فوضوية مليئة بـ 500 قطعة. بدلاً من اختيار القطع واحدة تلو الأخرى، تنظر إلى "شكل" الغرفة. تدرك أن 90% من "فوضى" الغرفة هي في الواقع مجرد بعض التجمعات الكبيرة من أشياء متشابهة (مثل كومة ملابس، ودفعة كتب، وكومة من الأوراق).

تقوم SVD-Prune بهذا الأمر مع بيانات الصورة:

التفكيك (Decompose): تقوم بتفكيك الصورة إلى "سماتها الرئيسية" أو "أنماطها المهيمنة" (مثل اللحن الرئيسي في الأغنية).
قياس الأهمية (Measure Importance): تحسب "درجة التأثير" (leverage score) لكل جزء من أجزاء الصورة. تجيب هذه الدرجة على السؤال: "إلى أي مدى يساهم هذا الجزء المحدد في اللحن الرئيسي؟"
التقليم (Prune): تحتفظ بالأجزاء التي تشكل اللحن وتتخلص من الضجيج في الخلفية (البيانات الساكنة، والتفاصيل الصغيرة التي لا تغير المعنى).

3. لماذا يعد هذا تغييراً جذرياً؟

الجزء الأفضل؟ إنه لا يحتاج إلى تدريب (Training-free).

الطرق القديمة كانت تشبه تعليم طالب طريقة جديدة للدراسة لكل امتحان على حدة؛ كان عليك إعادة تدريب الذكاء الاصطناعي، وهو أمر يستغرق أياماً ويحتاج لأجهزة كمبيوتر ضخمة.
SVD-Prune يشبه إعطاء الطالب قلم تحديد سحري قبل الامتحان مباشرة. لا تحتاج لتعليمه أي شيء جديد؛ أنت فقط تضع التحديد على النص، وسيعرف فوراً أين يركز. إنه نظام "وصل وشغل" (Plug-and-play).

4. النتائج: تحقيق المزيد بموارد أقل

اختبر الباحثون هذا الأمر عبر إجبار الذكاء الاصطنال على النظر إلى صور بوجود عدد قليل جداً من "الأفكار" المتبقية.

الذكاء الاصطناعي العادي: يحتاج إلى 576 "فكرة" ليرى الصورة بوضوح.
SVD-Prune: يمكنه النظر إلى صورة بـ 16 أو 32 "فكرة" فقط، ومع ذلك يفهمها تماماً كما يفعل النسخة الكاملة.

الأمر يشبه مشاهدة فيلم عالي الدقة ولكن مع الاحتفاظ بـ 16 إطاراً فقط في الثانية، ومع ذلك تفهم الحبكة تماماً. لم يرتبك الذكاء الاصطناعي، ولم يهلوِس، ولم ينسَ ما كان ينظر إليه.

الخلاصة

تقدم هذه الورقة البحثية "محرراً" ذكياً يعتمد على الرياضيات، يعرف بالضبط الأجزاء التي تهم في الصورة دون الحاجة لأن يُعلّم كيفية القيام بذلك. إنها تسمح للذكاء الاصطناعي القوي بالعمل على أجهزة أصغر وأرخص من خلال التخلص من "الضجيج" البصري والاحتفاظ فقط بـ "الإشارة"، مما يجعل الذكاء الاصطناعي الذكي متاحاً للجميع، في كل مكان.

إليك ملخص تقني مفصل لورقة البحث بعنوان "SVD-PRUNE: TRAINING-FREE TOKEN PRUNING FOR EFFICIENT VISION-LANGUAGE MODELS".

1. بيان المشكلة

تواجه نماذج الرؤية واللغة (VLMs) اختناقات كبيرة في الحوسبة والذاكرة بسبب العدد الهائل من الرموز البصرية (vision tokens) التي يتم إنتاجها بواسطة مشفرات الرؤية (على سبيل المثال، 576 رمزًا لصورة بحجم $336 \times 336$ ). وبينما تشكل هذه الرموز غالبية التسلسل المدخل، إلا أن التحليل التجريبي يظهر أنها تساهم بشكل ضئيل في الاستدلال متعدد الوسائط مقارنة برموز النصوص.

تحاول طرق تقليم الرموز (token pruning) الحالية تقليل هذا التكرار، لكنها تعاني من قيود حرجة:

الاعتماد على الاستدلالات المحلية: تعتمد معظم الطرق على درجات الانتباه (attention scores)، أو معايير الرموز (token norms)، أو التشابه عبر الوسائط.
التحيز الموضعي: تتأثر المقاييس القائمة على الانتباه بشدة بالتقنيات السببية (causal masking) في فك تشفير LLM. فالرموز المتأخرة غالبًا ما تحصل على درجات انتباه أقل بشكل منهجي بغض النظر عن قيمتها الدلالية، بينما يمكن لمتوسط الانتباه أن يشوه تقديرات الأهمية للرموز الموجودة في نهاية التسلسل.
تدهور الأداء: تفشل هذه المعايير المحلية في التقاط البنية البصرية العالمية، مما يؤدي إلى انخفاض كبير في الأداء، خاصة تحت نسب التقليم القصوى (مثل تقليل الرموز إلى 32 أو 16 رمزًا).

2. المنهجية: SVD-Prune

يقترح المؤلفون SVD-Prune، وهو منهج خالٍ من التدريب (training-free) وجاهز للاستخدام مباشرة (plug-and-play)، يقوم بتقليم الرموز البصرية بناءً على مساهمتها الإحصائية العالمية بدلاً من درجات الانتباه المحلية. تعمل الطريقة على مخرجات مشفر الرؤية، قبل فك التشفير متعدد الوسائط.

تتكون العملية من أربع مراحل:

أ. استخراج النمط العالمي عبر SVD

بفرض أن مصفوفة الميزات البصرية هي $F \in \mathbb R^{T \times D}$ (حيث $T$ هو عدد الرموز و $D$ هو البعد الخفي)، تقوم الطريقة بإجراء تحليل القيمة المفردة (SVD):
$F = U\Sigma V^\top$

$U$ : يحتوي على المتجهات المفردة اليسرى التي تمثل الاتجاهات الرئيسية في فضاء الرموز.
$\Sigma$ : مصفوفة قطرية من القيم المفردة التي تمثل "قوة" أو تباين كل اتجاه.
$V^\top$ : يحتوي على المتجهات المفردة اليمنى التي تمثل الاتجاهات الرئيسية في فضاء الميزات.
هذه الخطوة تلتقط بنية التباين العالمي للصورة، وتحدد الأنماط المعلوماتية المشتركة (الحواف، الأنسجة، الأجسام) عبر الصورة بأكملها، مما يخفف من حدة التحيز الموضعي.

ب. قطع التباين المهيمن

تحدد الط méthode الفضاء الفرعي الأكثر معلوماتية عن طريق حساب نسبة التباين المفسر ( $\sigma_i^2$ ) لكل قيمة مفردة. وهي تختار أصغر رتبة $k$ بحيث يتجاوز التباين التراكمي المفسر $c_k$ عتبة $\epsilon$ (عادةً من $0.7 $إلى$ 0.95$). يضمن ذلك أن الفضاء الفرعي المستبقى يحافظ على الإشارة البصرية الجوهرية مع التخلص من الضوضاء والتفاصيل الدقيقة الزائدة.

ج. مساهمة الرمز عبر درجات التأثير (Leverage Scores)

لتحديد الرموز التي يجب الاحتفاظ بها، تحسب الطريقة درجات التأثير الإحصائي (leverage scores) لكل رمز $t$ بناءً على إسقاطه على أهم $k$ من الاتجاهات الرئيسية:
$\ell_t = \frac{1}{k} \sum_{j=1}^{k} (U_{t,j})^2 = \frac{1}{k} \|U_{t, [1:k]}\|_2^2$

التفسير: تمثل $\ell_t$ الأهمية المعيارية للرمز. تشير درجات التأثير العالية إلى أن الرمز يتوافق بقوة مع أنماط التباين العالمي المهيمنة.
الخاصية: مجموع جميع درجات التأثير يساوي 1، مما يوفر توزيعًا احتماليًا على أهمية الرموز.

د. اختيار الرموز وتقليمها

يتم ترتيب الرموز بترتيب تنازلي حسب درجات التأثير الخاصة بها.
تختار الخوارزمية أصغر مجموعة فرعية من الرموز ( $m$ ) بحيث تلبي درجة التأثير التراكمية لها العتبة $\epsilon$ .
يتم إعادة ترتيب الرموز المختارة وفق ترتيبها المكاني الأصلي للحفاظ على التضمينات الموضعية والتوافق مع آليات الانتباه اللاحقة.
يتم التخلص من الرموز غير المختارة.

3. المساهمات الرئيسية

كفاءة خالية من التدريب: لا يتطلب SVD-Prune إعادة تدريب، أو ضبط دقيق (fine-tuning)، أو تغييرات في البنية. إنه وحدة "جاهزة للاستخدام مباشرة" تُطبق على مخرجات مشفر الرؤية.
العالمي مقابل المحلي: على عكس الأعمال السابقة التي تعتمد على درجات الانتباه المحلية، يستخدم SVD-Prune التفكيك منخفض الرتبة العالمي لتحديد الرموز التي تشغل مجتمعة الفضاء الفرعي البصري الأساسي.
القوة في ظل التقليم الأقصى: صُممت الطريقة خصيصًا للحفاظ على الأداء حتى عندما يتم تقليل ميزانية الرموز بشكل جذري (إلى 16 رمزًا)، وهو النطاق الذي تفشل فيه الطرق الأخرى.
تخفيف التحيز: من خلال استخدام SVD ودرجات التأثير، تقضي الطريقة على التحيزات الموضعية المتأصلة في التقنيات السببية والاستدلالات القائمة على الانتباه.

4. النتائج التجريبية

تم تقييم الطريقة على نموذج LLaVA-1.5-7B باستخدام معايير GQA (الاستدلال البصري) و TextVQA (الفهم البصري المرتكز على النص).

الأداء تحت الضغط الأقصى:
- 32 رمزًا: حقق SVD-Prune نتيجة 53.52 في GQA و 54.81 في TextVQA. وقد تفوق هذا على جميع المنافسين (مثل VisionZip: 51.80/53.10؛ و SparseVLM: 48.30/46.10).
- 16 رمزًا: حافظ SVD-Prune على 53.04 في GQA و 54.03 في TextVQA، مما أظهر تدهورًا تدريجيًا حيث انهارتت الطرق الأخرى.
المقارنة مع SOTA (أحدث ما توصل إليه العلم):
- عند 64 رمزًا، حقق SVD-Prune نتيجة 53.77 (GQA) و 55.14 (TextVQA)، متفوقًا على SparseVLM و PyramidDrop.
- عند 192 رمزًا، حقق 59.88 (GQA)، متفوقًا على HIRED (58.80) و PyramidDrop (57.30).
الكفاءة الحسابية:
- أدى تقليل الرموز من 576 إلى 16 رمزًا إلى خفض إجمالي العمليات الحسابية (FLOPs) بنسبة 84.8%.
- تظل تكلفة مشفر الرؤية ثابتة، لكن تكاليف الـ projector والـ LLM تتناسب خطيًا مع عدد الرموز، مما يجعل تقليل الرموز المحرك الرئيسي لكفاءة الاستدلال.

5. الأهمية

تتحدى هذه الورقة الافتراض القائل بأن التمثيلات الكثيفة لرموز الرؤية ضرورية للاستدلال الفعال متعدد الوسائط. ومن خلال إثبات أن بنية التباين العالمي هي مؤشر أكثر موثوقية لأهمية الرموز من درجات الانتباه المحلية، يتيح SVD-Prune نشر نماذج الرؤية واللغة على الأجهزة ذات الموارد المحدودة. كما تثبت الورقة أن الاستدلال البصري-اللغوي عالي الأداء يمكن تحقيقه باستخدام مجموعات رموز شديدة الندرة (كما قلي من 16 رمزًا) دون الحاجة إلى تدريب مكلف، مما يوفر مسارًا عمليًا لاستدلال الذكاء الاصطناعي الفعال.