ملخص تقني: الضبط التكويني البصري (COMPACT)

بيان المشكلة

اعتمد الضبط التعليمي البصري (VIT) لنماذج اللغات الكبيرة متعددة الوسائط (MLLMs) تقليديًا على توسيع حجم مجموعة البيانات لتحسين الأداء، وغالبًا ما أغفل مدى غنى العينات الفردية بالمعلومات. وبينما أظهرت أعمال حديثة أن المجموعات الفرعية المختارة بعناقة يمكن أن تحقق أداءً يقارب الأداء الكامل، فإن طرق اختيار البيانات الحالية تتعامل مع التعقيد كمنتج ثانوي للحجم بدلاً من كونه مقياسًا يمكن التحكم فيه.

تحتوي مجموعات بيانات الـ VIT الحالية، مثل LLaVA-665K، في الغالب على أسئلة تتطلب قدرة واحدة أو اثنتين فقط من القدرات البصرية الأساسية (مثل "ما لون السيارة؟"). وغالبًا ما تفتقر هذه العينات إلى الاستفادة القصوى من المعلومات البصرية الغنية المتاحة في الصور من خلال الفشل في دمج قدرات متعددة (مثل التعرف على الأشياء، والعلاقات المكانية، وإسناد الألوان) في مهام استدلال واحدة معقدة. ونتيجة لذلك، قد تعاني النماذج في مهام الاستدلال البصري المعقدة التي تتطلب دمج هذه المهارات الذرية.

المنهجية: COMPACT

يقترح المؤلفون COMPACT (الضبط التكويني البصري من الذري إلى المعقد)، وهي وصفة بيانات مصممة لزيادة تعقيد عينات التدريب عن طريق دمج قدرات بصرية ذرية متعددة ضمن مثال واحد. تتضمن المنهجية مسار عمل مكون من أربع خطوات:

1. تعريف القدرة الذرية: حدد المؤلفون تصنيفًا لـ 10 "قدرات بصرية ذرية" أساسية للاستدلال البصري، مصنفة إلى:

   • الإسناد (Attribution): اللون، الشكل.
   • التعرف (Recognition): التعرف على الأشياء، التعرف على الأفعال، التعرف على النصوص، العد، والتعرف المكاني.
   • العلاقة (Relation): العلاقة المكانية، التفاعل بين الأشياء، وفهم المشهد.
     وقد قدموا مقياس $k$-value، والذي يُعرف بعدد القدرات الذرية المطلوبة للإجابة على سؤال محدد.

2. أخذ عينات القدرة: بدءًا من عينة عشوائية من الصور (على سبيل المثال، من LLaVA-665K)، يقوم النظام بأخذ عينات منتظمة لـ $k_{gen} \in \{1, 2, 3\}$ من القدرات من المجموعة المحددة مسبقًا. وتمنح عملية أخذ العينات الأولوية للقدرات التي لم يتم اختيارها بعد لصورة معينة لضمان التنوع.

3. توليد المحادثة: باستخدام Gemini-2.0-Flash، يقوم النظام بتوليد أزواج من الأسئلة والأجوبة الحوارية التي تدمج بشكل طبيعي جميع القدرات المختارة. ويتم تقييد التوليد لضمان:

   • أن تتطلب الأسئلة معلومات بصرية من الصورة (لا يمكن الإجابة عليها بالنص وحده).
   • أن تكون الإجابات موجزة.
   • أن تُدمج القدرات بشكل طبيعي (ليس مجرد ربطها بكلمة "و").
   • أن تشير الأسئلة إلى أشياء موجودة بالفعل في الصورة.

4. التحقق من الجودة وتجميع مجموعة البيانات: تخضع الأسئلة المولدة للتحقق لتصفية الإجابات غير المفيدة، والمخرجات ذات الثقة المنخفضة، والنسخ المتكررة القريبة، والحالات التي لم يتم فيها دمج القدرات بنجاح. يتم تجميع مجموعة البيانات النهائية عن طريق خلط بيانات الضبط التكويني المولدة اصطناعيًا مع مجموعة فرعية صغيرة (5%) من بيانات LLaVA-665K الأصلية. يضمن هذا المزيج احتفاظ النموذج بقدرات اتباع التعليمات مع التركيز على البيانات التكوينية على الاستدلال البصري.

المساهمات الرئيسية

1. تقييم البيانات المدرك للتعقيد: توضح الورقة أن زيادة تعقيد ($k$-value) عينات التدريب تسمح باستخدام أكثر فعالية لمحتوى المعلومات داخل مجموعة البيانات، مما يعالج قيود التوسع التقليدي الذي لا يراعي التعقيد.
2. مقياس قابل للقياس للتعقيد: حدد المؤلفون قيمة $k$-value لتحديد كمية مهام الرؤية واللغة وتحليل التوزيع الأمثل للتعقيد لتحقيق أقصى قدر من الكفاءة.
3. وصفة بيانات فعالة: يوفر COMPACT وصفة قابلة للتوسع لتوليد البيانات الاصطناعية مما يقلل بشكل كبير من ميزانية البيانات المطلوبة للضبط التعليمي البصري الفعال.

النتائج التجريبية

قيم المؤلفون نموذج LLaVA-v1.5-7B باستخدام ثمانية اختبارات معيارية متعددة الوسائط (بما في ذلك MM-Vet، وMMStar، وInfoVQA، وSeedBench2Plus).

• كفاءة البيانات: حقق التدريب على مجموعة بيانات تتكون من 10% فقط من حجم LLaVA-665K (تحديدًا 32 ألف عينة تكوينية + 5% من LLaVA-665K للتنسيق) نسبة 100.2% من أداء LLaVA-665K الكامل عبر الاختبارات المعيارية.
• التفوق في المهام المعقدة: تفوق COMPACT على تدريب LLaVA-665K كامل النطاق في الاختبارات المعيارية المعقدة بشكل خاص:
  • MM-Vet: تحسن بنسبة +8.6% (31.7 مقابل 29.2).
  • MMStar: تحسن بنسبة +2.9% (36.1 مقابل 35.1).
  • InfoVQA: تحسن بنسبة +13.8%.
• المقارنة مع الخطوط المرجعية: تفوق COMPACT بشكل كبير على المجموعات الفرعية العشوية وطرق تقليل البيانات الأخرى (مثل ICONS، وEL2N، وPerplexity)، والتي حققت فقط حوالي 95-97% من الأداء النسبي مع أحجام بيانات مماثلة.
• تحليل توزيع التعقيد: تمتلك مجموعة بيانات LLa_665K متوسط $k$-value يبلغ ~1.95، حيث تتطلب 77% من الأسئلة $k \le 2$. في المقابل، تمتلك مجموعة بيانات COMPACT متوسط $k$-value يبلغ ~2.89. أكدت دراسات الاستبعاد أن نصف مكاسب الأداء على الأقل تعزى إلى هذا التوزيع الأعلى للتعقيد.

الأهمية والادعاءات

تدعي الورقة أن الضبط التكويني البصري يوفر مسارًا فعالًا وقابلًا للتوسع لتحسين نماذج MLLM في مهام الرؤية واللغة. ومن خلال استهداف قيم $k$-value أعلى صراحةً أثناء توليد العينات، يُمكّن COMPACT النماذج من التعلم من المزيد من الميزات البصرية في كل صورة، مما يؤدي إلى أداء متفوق في مهام الاستدلال المعقدة بجزء بسيط من ميزانية البيانات.

يقر المؤلفون بالقيود، مشيرين إلى الاعتماد على النماذج مغلقة المصدر (Gemini) لتوليد البيانات، مما يؤدي إلى تحيزات محتملة وعوائق تكلفة لإعادة الإنتاج. علاوة على ذلك، يركز النهج على القدرات المتمحورة حول الرؤية وقد لا يكون مثاليًا للمهام كثيفة المعرفة التي تتطلب معرفة عالمية خارجية. ويُقترح العمل المستقبلي لاستكشاف التقاطع بين تعقيد الصورة والنص وتطبيق هذه المبادئ على خوارزميات التعلم المختلفة.