🤖 machine learning

Efficient Test-Time Scaling for Small Vision-Language Models

تقترح هذه الورقة استراتيجيتين فعالتين للتوسع في وقت الاختبار، وهما تعزيز وقت الاختبار (TTAug) وتكييف وقت الاختبار (TTAdapt)، اللتان تستفيدان من ميزات النموذج الداخلية لتحسين أداء نماذج الرؤية واللغة الصغيرة بشكل كبير عبر مختلف المعايير مع الحفاظ على الكفاءة الحسابية المناسبة للبيئات محدودة الموارد.

المؤلفون الأصليون: Mehmet Onurcan Kaya, Desmond Elliott, Dim P. Papadopoulos

نُشر 2026-02-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mehmet Onurcan Kaya, Desmond Elliott, Dim P. Papadopoulos

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً صغيراً وذكياً جداً يُدعى Smol. يتميز "سمول" بقدرة رائعة على النظر إلى الصور والإجابة عن الأسئلة المتعلقة بها (مثل "كم عدد المناشف الموجودة في هذه الصورة؟")، ولكن نظرًا لصغر حجمه وكفاءته، فإنه قد يرتبك أو يرتكب أخطاءً أحياناً، خاصة عندما يبدو العالم مختلفاً قليلاً عما تدرب عليه.

عادةً، لجعل الروبوت أكثر ذكاءً، ستحتاج إلى بناء نسخة عملاقة ومكلفة من حاسوب خارق له. لكن هذا سيفقدنا الغرض من وجود روبوت صغير وفعال يمكن تشغيله على جهاز كمبيوتر محمول عادي أو هاتف.

تقدم هذه الورقة البحثية خدعتين ذكيتين لجعل "سمول" أكثر ذكاءً أثناء عمله، دون الحاجة إلى أي تدريب إضافي أو حاسوب خارق. فكر في الأمر كأنك تمنح "سمول" "رأياً ثانياً" و"جلسة مراجعة سريعة" قبل أن يجيب على السؤال.

المشكلة: خطأ "المرة الواحدة والانتهاء"

عادةً، عندما تسأل "سمول" سؤالاً، فإنه ينظر إلى الصورة ويخرج الإجابة فوراً. إذا أخطأ في قراءة حرف باهت أو تشتت انتباهه بسبب ظل ما، فإنه يرتكب خطأً ويمضي قدماً. الأمر يشبه سؤال طالب لحل مسألة رياضية بضربة واحدة دون التحقق من عمله.

الحل: قوتان خارقتان جديدتان

منح المؤلفون "سمول" قدرتين جديدتين: تعزيز وقت الاختبار (TTAug) والتكيف مع وقت الاختبار (TTAdapt).

1. تعزيز وقت الاختبار (TTAug): استراتيجية "التفكير الجماعي"

تخيل أنك تحاول قراءة ملاحظة مكتوبة بخط يد غير واضح. إذا نظرت إليها مرة واحدة، فقد تقرأ كلمة بشكل خاطئ. ولكن ماذا لو:

نظرت إليها من خلال نافذة ضبابية قلياً.
أملت رأسك إلى الجانب.
ضيقت عينيك.
رفعتها باتجاه الضوء.

من خلال النظر إلى نفس الملاحظة بطرق مختلفة قليلاً، يبدأ عقلك في الاتفاق على ما تقوله الكلمة فعلياً.

يقوم TTAug بفعل الشيء نفسه للروبوت:

الخدعة: قبل الإجابة، يأخذ النظام الصورة والسؤال الأصليين وينشئ 16 نسخة مختلفة قليلاً منهما. قد يضيف القليل من الضجيج إلى الصورة، أو يغير حالة الأحرف، أو يضيف خطأ مطبعياً صغيراً (مثل تحويل "towels" إلى "towels").
العملية: ينظر "سمول" إلى النسخ الـ 16 جميعها. وبدلاً من اختيار إجابة واحدة فقط، فإنه ينظر إلى الكلمة التالية مباشرة التي يريد قولها لكل نسخة من النسخ الـ 16.
السحر: يقوم بتوسيط (متوسط) هذه التوقعات الـ 16 الصغيرة. إذا قالت 15 نسخة إن الكلمة التالية هي "ألمانيا" وقالت نسخة واحدة "فرنسا"، فإن الروبوت يختار "ألمانيا" بثقة.
لماذا ينجح هذا: إنه يكتشف الأخطاء الصغيرة فوراً. إذا ارتبك الروبوت بسبب خطأ مطبعي في نسخة واحدة، فإن النسخ الـ 15 النظيفة الأخرى ستصحح الخطأ. الأمر يشبه لجنة تصويت على كل كلمة في الجملة أثناء كتابتها، بدلاً من الانتظار حتى النهاية لمعرفة ما إذا كانت المقالة بأكملها منطقية أم لا.

2. التكيف مع وقت الاختبار (TTAdapt): استراتيجية "المراجعة الخاطفة"

بمجرد أن يستخدم الروبوت طريقة "التفكير الجماعي" لتوليد إجابة جيدة جداً وعالية الثقة، يمكنه استخدام تلك الإجابة للتعلم.

الخدعة: يقول الروبوت: "أنا متأكد بنسبة 99% أن الإجابة هي 'ألمانيا' بناءً على تصويت المجموعة".
العملية: يعامل تلك الإجابة الواثقة كما لو كانت "نموذج إجابة صحيح". ثم يقوم بجلسة تدريب سريعة للغاية (بضع ثوانٍ من التعلم) لتعديل إعدادات دماغه الداخلية لتتوافق مع تلك الإجابة.
إعادة الضبط: من الضروري جداً أنه بعد الإجابة على هذا السؤال المحدد، فإنه يمسح ذاكرته تماماً ويعود إلى حالته الأصلية. هو لا ينسى كيفية القيام بالأشياء الأخرى؛ بل يضبط نفسه مؤقتاً ليكون مثالياً لهذا النوع المحدد من المشكلات التي رآها للتو.
لما لماذا ينجح هذا: الأمر يشبه طالباً يؤدي اختباراً تجريبياً، يحصل على الإجابة الصحيحة، ويفهم المنطق وراءها فوراً لكي يتمكن من حل مشكلة مماثلة بشكل أفضل في المرة القادمة.

لماذا يعد هذا أمراً هاماً؟

لا حاجة لأدمغة إضافية: لا تحتاج إلى روبوت ثانٍ ضخم ليراجع العمل. "سمول" يراجع عمله بنفسه.
كفاءة فائقة: يعمل على أجهزة الكمبيوتر العادية. لا يتطلب طاقة هائلة أو أجهزة باهظة الثمن.
أفضل من "درجة الحرارة" (Temperature): عادةً، لجعل الروبوت يعطي إجابات متنوعة، يجعل الناس الروبوت "يخمن عشوائياً" (مثل رمي النرد). وجدت هذه الورقة أن جعل الروبوت "ينظر إلى المشكلة بشكل مختلف" (تغيير الصورة/النص قليلاً) هو أمر أذكى بكثير من مجرد رمي النرد.
كلمة بكلمة مقابل جملة كاملة: معظم الطرق تنتظر حتى ينهي الروبوت الجملة بأكملها للتحقق مما إذا كانت صحيحة أم لا. هذه الطريقة تتحقق من كل كلمة أثناء كتابتها، مما يمنع الأخطاء من التراكم.

النتيجة

اختبر المؤلفون هذا على تسعة تحديات مختلفة، من قراءة الرسوم البيانية إلى تحديد الأشياء في الصور.

قبل: كان "سمول" جيداً ولكنه كان يرتكب أخطاءً متكررة.
بعد: أصبح "سمول" أكثر دقة بشكل ملحوظ، وغالباً ما تفوق على نماذج أكبر وأغلى ثمناً.

باختصار: تعلم هذه الورقة البحثية نماذج الذكاء الاصطناዊ الصغيرة والفعالة كيفية "التمهل والتفكير" من خلال النظر إلى المشكلة من زوايا متعددة والتعلم من أفضل تخميناتها، وكل ذلك دون الحاجة إلى إعادة بنائها أو جعلها أكبر. إنه الفرق بين طالب يخمن إجابة وطالب يراجع عمله ويتعلم منه في الوقت الفعلي.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "التوسع الفعال لوقت الاختبار للنماذج الصغيرة للرؤية واللغة" (Efficient Test-Time Scaling for Small Vision-Language Models).

1. بيان المشكلة

توفر النماذج الصغيرة للرؤية واللغة (VLMs) كفاءة حوسبية وسهولة في الوصول، لكنها تعاني من ضعف التعميم وتدهور الأداء تحت ظروف تغير النطاق (domain shifts) مقارنة بالنماذج الأكبر. تواجه أساليب التوسع لوقت الاختبار (TTS) الحالية، والتي تهدف إلى تحسين الأداء عبر تخصيص المزيد من الحوسبة أثناء الاستدلال، ثلاث عوائق حرجة عند تطبيقها على النماذج الصغيرة:

عدم كفاءة الموارد: تعتمد العديد من الأساليب على نماذج تحقق خارجية أو استراتيجيات إعادة ترتيب (reranking) ثقيلة حوسبياً، مما يتناقض مع الأهداف المتمثلة في توفير الموارد للنماذج الصغيرة.
التجميع الخشن (Coarse Aggregation): غالباً ما تجمع الأساليب الحالية التنبؤات على مستوى الإجابة (مثل التصويت بالأغلبية على المخرجات النهائية) بدلاً من مستوى الرمز (token level). هذا يتجاهل إشارات الثقة المحلية، ويحجب انهيارات الاستنتاج في الخطوات المتوسطة، ويمنع الإنهاء المبكر لعمليات التوليد منخفضة الجودة.
قيود المهام: تقتصر العديد من الأساليب على المهام التي يمكن استخراج إجابات نهائية منها (مثل الاختيار من متعدد)، وتفشل في التعميم على المهام مفتوحة النهايات مثل الإجابة على الأسئلة البصرية (VQA) وكتابة الوصف (captioning).

2. المنهجية

يقترح المؤلفون إطار عمل موحداً يتكون من استراتيجيتين متكاملتين وفعالتين تستفيدان من الميزات الداخلية للنموذج دون الحاجة إلى إشراف خارجي أو بيانات تدريب إضافية.

أ. تعزيز وقت الاختبار (TTAug)

يعمل TTAug على تحسين المتانة من خلال توليد استجابات متعددة من مدخلات متكافئة دلالياً ولكنها معدلة (perturbed)، ثم تجميعها.

تعديلات المدخلات: بدلاً من استخدام أخذ العينات بدرجة حرارة (temperature sampling) -التي تُدخل عشوائية في توزيع المخرجات- يطبق TTAug تعديلات على مستوى المدخلات لكل من الصور والنصوص.
- النص: يستخدم تعديلات كلاسيكية محافظة على المعنى (مثل استبدال الحروف، تقسيم الكلمات، وإعادة ترتيب الجمل) ويفرض الاتساق عن طريق إلحاق المطالبة (prompt) الأصلية.
- الصورة: يطبق تحويلات الرؤية الحاسوبية الكلاسيكية (مثل السطوع، الدوران، الضجيج) بقوة عالية ومنخفضة.
التجميع على مستوى الرمز (Token-Level Aggregation): هذا هو الابتكار الجوهري. بدلاً من انتظار استجابة كاملة للتصويت عليها، يقوم النموذج بتوليد الرموز بشكل تلقائي (autoregressively). عند كل خطوة $j$ ، يتم حساب متوسط توزيعات الاحتمالات ( $p_{i,j}$ ) من جميع المدخلات المعدلة $N$ :
$\bar{p}_j(v) = \frac{1}{N} \sum_{i=1}^{N} p_{i,j}(v)$
يتم اختيار الرمز التالي بطريقة جشعة (greedily) من هذا التوزيع المجمع. هذا يحافظ على إشارات الثقة المحلية، مما يسمح للنموذج بتصحيح الأخطاء فور وقوعها، مما يمنع انتشار الخطأ.

ب. التكيف لوقت الاختبار (TTAdapt)

يمد TTAdapt نطاق TTAug عبر تكييف معاملات النموذج أثناء الاستدلال.

التوسيم الزائف القائم على الإجماع (Consensus Pseudolabeling): يُستخدم TTAug أولاً لتوليد تسميات زائفة عالية الثقة (المخرج الإجماعي).
الضبط الدقيق التكراري: يتم تحديث معاملات النموذج عبر الانحدار الاشتقاقي (gradient descent) لتقليل الخسارة مقابل هذه التسميات الزائفة لخطوات قليلة.
آلية إعادة الضبط (Reset Mechanism): لمنع النسيان الكارثي، يتم إعادة ضبط أوزان النموذج إلى حالتها الأولية بعد معالجة كل سؤال جديد. وهذا يسمح للنموذج بالتكيف ديناميكياً مع توزيع عينة الاختبار دون تغييرات دائمة.

3. المساهمات الرئيسية

أساليب توسع فعالة وجديدة: تقديم TTAug و TTAdapt، اللذين يمكن نشرهما على وحدات معالجة الرسومات الاستهلاكية ولا يتطلبان نماذج خارجية أو بيانات مصنفة.
تحليل التجميع على مستوى الرمز: تقدم الورقة أول تحليل شامل يظهر أن التجميع على مستوى الرمز يتفوق بشكل كبير على التجميع على مستوى الإجابة. كما تثبت نظرياً وتجريبياً أن التجميع على مستوى الرمز يمنع تراكم الأخطاء في التوليد التلقائي، بينما تعاني أساليب مستوى الإجابة من اضمحلال أسي في احتمالية الصحة مع زيادة طول التسلسل.
تفوق تعديل المدخلات: تكشف الدراسة أن تعديل المدخلات مقترناً بفك التشفين الجشع (greedy decoding) يولد مرشحات ذات جودة وتنوع أعلى من استراتيجية أخذ العينات بدرجة الحرارة (temperature sampling) القياسية. يحافظ تعديل المدخلات على ارتباط أعلى بين ثقة النموذج والجودة الحقيقية لأنه يعمل على "منطوٍ" (manifold) تعظيم الاحتمالية (maximum likelihood estimation) الخاص بالنموذج.
أول نموذج متعدد الوسائط لـ TTAdapt: قدم المؤلفون أول طريقة للتكيف لوقت الاختبار مخصصة للنماذج اللغوية متعددة الوسائط، متجاوزين التركيز السابق على نماذج CLIP.

4. النتائج التجريبية

تم تقييم إطار العمل على تسعة معايك قياسية متنوعة (بما في ذلك ChartQA، OCRBench، GQA، TextVQA، AI2D، MME-RealWorld، AMBER، و COCO Captions) باستخدام نموذج SmolVLM2-2.2B كخط أساس.

مكاسب الأداء:
- حقق TTAug تحسناً مطلقاً قدره +4.1% في متوسط الدقة عن خط الأساس، متفوقاً على أساليب التوسع لوقت الاختبار الموجودة مثل Self-Consistency و Self-Selector و Sample-and-Rank.
- حقق TTAdapt تحسناً أكبر في الأداء، محققاً زيادة قدرها +6.5% عن خط الأساس (متوسط الدقة: 50.3% مقابل 43.8%).
- لوحظت تحسينات كبيرة في المهام الصعبة مثل OCRVQA (من 0.0% إلى 13.8%) و GQA (من 0.0% إلى 13.5%).
الكفاءة:
- يعد TTAug أكثر كفاءة في وقت التشغيل وتوليد الرموز مقارنة بالأساليب التي تتطلب توليد تسلسل كامل وإعادة ترتيب.
- مع 16 تعديلاً (العدد الأمثل الذي تم العثور عليه)، تزيد الطريقة من وقت الاستدلال بنحو 3.3 مرة ولكنها تظل قابلة للتطبيق في البيئات محدودة الموارد.
التعميم:
- أظهرت الأساليب تحسينات متسقة عبر عائلات نماذج مختلفة (Ovis2، InternVL2) ومقاييس معاملات مختلفة (من 256 مليون إلى 9 مليارات)، رغم أن المعاملات المثلى تختلف باختلاف البنية.
رؤى الدراسة الاستقصائية (Ablation Insights):
- طبقة التجميع: يعتمد التجميع الأمثل على المهمة. مهام الاستدلال البصري (GQA، OCRVQA) تستفيد من التجميع في الطبقات المبكرة، بينما المهام الكثيفة لغوياً (Chart-QA، TextVQA) تستفيد من التجميع في الطبقات المتأخرة.
- الوسائط (Modality): ساهمت تعديلات النصوص في مكاسب الأداء أكثر من تعديلات الصور، لكن الجمع بينهما أدى إلى فوائد تآزرية غير خطية.

5. الأهمية

تتحدى هذه الورقة النموذج السائد للتوسع لوقت الاختبار للنماذج الصغيرة من خلال إثبات أن الكفاءة والأداء ليسا متنافيين.

تحول في النموذج: إنها تبتعد عن أدوات التحقق الخارجية المكلفة والتصويت الخشن على مستوى الإجابة نحو إجماع خفيف الوزن على مستوى الرمز.
الواقعية: صُممت الأساليب المقترحة للنشر على الأجهزة الطرفية (edge deployment) ووحدات معالجة الرسومات الاستهلاكية، مما يجعل قدرات الاستدلال المتقدمة متاحة دون موارد حوسبية هائلة.
الرؤية النظرية: يرسخ هذا العمل حقيقة أنه بالنسبة للنماذج التلقائية (autoregressive models)، فإن تصحيح الأخطاء على مستوى الرمز هو أمر متفوق رياضياً على اختيار أفضل تسلسل كامل، مما يوفر مبدأ تصميم جديد لاستراتيجيات الاستدلال المستقبلية لنماذج الرؤية واللغة.

في الختام، يقدم المؤلفون إطار عمل قوياً، وقابلاً للتعميم، وفعالاً حوسبياً يعزز بشكل كبير موثوقية ودقة النماذج الصغيرة للرؤية واللغة في السيناريوهات الواقعية محدودة الموارد.