ملخص تقني: DV-SFT (الإشراف البصري المباشر للفهم البصري دقيق التفاصيل)

بيان المشكلة

يتم تدريب النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) عادةً بنهاية إلى نهاية باستخدام هدف التنبؤ بالرمز التالي (next-token prediction)، حيث تُطبق إشارات الإشراف حصرياً على الرموز النصية. ونتيجة لذلك، يتم تحسين الرموز البصرية — وهي الحامل الرئيسي للمعلومات البصرية — بشكل ضمني فقط كجزء من السياق. يؤدي هذا النقص في التوجيه الدلالي المباشر إلى فهم بصري خشن، حيث غالباً ما يتم التغاضي عن التفاصيل دقيقة التفاصيل أو الهلوسة بشأنها.

تواجه المحاولات الحالية لتحسين الدقة البصرية من خلال الإشراف على الرموز البصرية قيوداً كبيرة:

1. عدم المباشرة: الطرق التي تعتمد على إشارات المكافأة أو محاذاة التمثيل توفر إشرافاً خشناً أو مشوشاً.
2. عدم توافق الأهداف: النهج مثل التنبؤ بالرمز البصري التالي أو إعادة بناء مستوى البكسل غالباً ما لا تتوافق مع هدف الفهم البصري.
3. التعقيد المعماري: تتطلب معظم الطرق مكونات إضافية (مثل أجهزة فك الترميز، أو أجهزة الترميز) أو عمليات تمرير إضافية، مما يعيق القابلية للتطبيق العملي ويحول دون الحفاظ على نموذج تدريب موحد.

لا تزال هناك حاجة ملحة لشكل مباشر وبديهي وبسيط معمارياً من الإشراف البصري يندمج بسلاسة في التدريب القياسي للنماذج اللغوية الكبيرة متعددة الوسائط (MLLM).

المنهجية: الضبط الدقيق الموجه بصرياً بشكل مباشر (DV-SFT)

يقترح المؤلفون DV-SFT، وهو أسلوب يبني إشرافاً صريحاً على مستوى الرمز للرموز البصرية باستخدام نفس هدف التنبؤ بالرمز التالي المستخدم للنصوص. الفرضية الأساسية هي أن الكلمات التي تصف محتوى رقعة الصورة يمكن أن تعمل كملصقات مباشرة للرموز البصرية المقابلة لها.

المكونات الرئيسية

1. بناء الملصقات البصرية:
   لمعالجة تحدي تسمية الرموز البصرية، يستغل المؤلفون التوافق المباشر بين الرؤية والنص في السيناريوهات المتعلقة بالتعرف الضوئي على الحروف (OCR) باستخدام مسارين:

   • الصورة إلى الملصق (Image-to-Label): يستخدم نماذج اكتشاف النصوص والتعرف عليها لاستخراج الكلمات ومواقعها المكانية. يتم محاذاة الكلمات مع الرمز البصري المقابل لزاوية الركن السفلي الأيمن الخاص بها.
   • الملصق إلى الصورة (Label-to-Image): يستخدم أدوات الرسم لتقديم المستندات من مجموعات البيانات أحادية الوسائط على شبكة رقعة صورة فارغة، مما يضمن المحاذاة الدقيقة بين الكلمات والرموز البصرية.
   • التصفية: يتم استبعاد الكلمات ذات أطوال التجزئة أو الارتفاعات المفرطة لضمان دقة التوسيم.

2. هدف التدريب:
   يعامل DV-SFT النموذج اللغوي الكبير متعدد الوسائط (MLLM) كصندوق أسود، ولا يتطلب أي تعديلات معمارية. تجمع دالة الخسارة الإجمالية بين الإشراف النصي القياسي ($L_t$) والإشراف البصري المباشر ($L_v$):
   $$L = L_t + \lambda L_v$$
   حيث أن $L_v$ هي خسارة الإنتروبيا المتقاطعة (cross-entropy loss) المحسوبة على الرموز البصرية باستخدام ملصقات الكلمات المقابلة لها. ولضمان التدريب المتوازي، يتم استخدام الرمز الأول فقط من الملصق البصري لحساب الخسوة.

3. التنعيم البصري (Vision Smoothing):
   بما أن المشفرات البصرية تمتلك خصائص ثنائية الاتجاه (على عكس الطبيعة السببية للنموذج اللغوي)، فقد تحتوي رقعة بصرية واحدة على معلومات دلالية من الرموز اللاحقة. لمعالجة ذلك، قدم المؤلفون التنعيم البصري، المستوحى من تنعيم الملصقات (label smoothing). يسمح هذا للرمز البصري بتعلم ملصقه الخاص مع تعلم الملصقات البصرية الأخرى الموجودة في الصورة أيضاً، مما يمنع تقييد المعلومات.

المساهمات الرئيسية

1. نموذج تدريب مبتكر: اقتراح DV-SFT، الذي يتيح الإشراف المباشر على مستوى الرمز للرموز البصرية دون تعديل بنية النموذج أو مسارات التمرير، مما يحافظ على نموذج تدريب موحد بالكامل ومنتهي إلى النهاية.
2. مسار بناء الملصقات: تصميم مسار غير متصل (offline) يستفيد من OCR وأدوات الرسم لتوليد إشراف دقيق على مستوى الرمز للرموز البصرية.
3. التحقق التجريبي: تجارب واسعة النطاق تثبت أن DV-SFT يحسن القدرات البصرية بشكل كبير ويتفوق على الضبط الدقيق الخاضع للإشراف (SFT) القياسي والأساليب القائمة على التمثيل (مثل BASIC) عبر عدة اختبارات مرجعية.

النتائج التجريبية

قيم المؤلفون DV-SFT على ثلاثة نماذج أساسية (Qwen3-VL-2B، وQwen3-VL-8B، وQwen3-1.7B) عبر ثمانية اختبارات مرجعية.

• الأداء داخل النطاق (In-Domain): حقق DV-SFT مزايا متسقة مقارنة بـ SFT القياسي في مهام فهم المستندات والمخططات (DocVQA، InfographicVQA، SQuAD). والجدير بالذكر أنه تفوق على طريقة BASIC، التي عانت من تدهور النموذج في النماذج الأصغر بسبب جودة التمثيل غير المثالية.
• التعميم خارج النطاق (Out-of-Domain): أظهر DV-SFT قدرة قوية على التعميم في مهام مثل ChartQA، وOCRBench، وOCRVQA، وTextVQA. كانت مكاسب الأداء أكثر وضوحاً في المهام خارج النطاق (متوسط تحسن قدره 1.6%) مقارنة بالمهام داخل النطاق (0.74%)، مما يشير إلى تعزيز حقيقي للفهم البصري بدلاً من التكيف المفرط مع مهمة محددة.
• المحاذاة متعددة الوسائط: أظهر تحليل عملية التدريب أن الإشراف البصري يسرع تعلم الميزات البصرية، خاصة في المراحل الأولى من التدريب وللنماذج أحادية الوسائط التي تتعلم من الصفر.
• التعرف على الحروف: حسن DV-SFT دقة التعرف على الحروف في كل من مهام التعرف على النصوص السياقية وغير السياقية (التي ليس لها معنى دلالي)، مما يؤكد تعزيز الفهم البصري دقيق التفاصيل.
• القدرة البصرية العامة: أشار التقييم على اختبار MME (الإدراك والمعرفة البصرية العامة) إلى أن الإشراف البصري القائم على النص لا يؤدي إلى تدهور القدرات البصرية العامة؛ بل يحسن الأداء العام قليلاً، مما يشير إلى أن الآليات المتعلمة تتعمم على السيناريوهات غير النصية.

الأهمية والادعاءات

يزعم البحث أن DV-SFT يقدم حلاً عملياً وفعالاً لمشكلة الفهم البصري خشن التفاصيل في النماذج اللغبية الكبيرة متعددة الوسائط (MLLMs). من خلال معاملة الإشراف البصري كمهمة تنبؤ بالرمز التالي قياسية، فإن الطريقة:

• تلغي العبء المعماري: لا تتطلب أجهزة فك ترميز أو أجهزة ترميز أو عمليات تمرير إضافية، مما يجعلها قابلة للتطبيق بسهولة على أي مسار MLLM موجود.
• تعزز الفهم دقيق التفاصيل: يجبر الإشراف المباشر النموذج على محاذاة الرموز البصرية مع محتوى دلالي محدد، مما يقلل من الهلوسة ويحسن الدقة.
• تحسن كفاءة المحاذاة: تحقق الطريقة كفاءة محاذاة متعددة الوسائط أعلى مقارنة بطرق الإشراف غير المباشر.

يخلص المؤلفون إلى أنه بينما يعتمد تنفيذهم الحالي على سيناريوهات OCR لبناء الملصقات، فإن مبدأ الإشراف البصري المباشر هو خطوة ضرورية نحو تدريب أكثر قوة للنماذج اللغبية الكبيرة متعددة الوسائط (MLLM)، مع التخطيط لأعمال مستقبلية لتوسيع هذه الأساليب لتشمل مجالات بصرية أوسع تتجاوز النصوص.