🤖 AI

DiG: Differential Grounding for Enhancing Fine-Grained Perception in Multimodal Large Language Model

تقدم هذه الورقة إطار عمل DiG (التأريض التفاضلي)، وهو إطار عمل مبتكر يعزز الإدراك البصري دقيق التفاصيل في النماذج اللغوية الكبيرة متعددة الوسائط من خلال تدريبها على تحديد الفروق بين أزواج الصور باستخدام خط معالجة بيانات للرندرة ثلاثية الأبعاد مؤتمت وتعلم منهجي، مما يؤدي إلى تحسينات كبيرة في الأداء عبر مختلف معايير الاستدلال البصري.

المؤلفون الأصليون: Zhou Tao, Shida Wang, Yongxiang Hua, Haoyu Cao, Linli Xu

نُشر 2026-03-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhou Tao, Shida Wang, Yongxiang Hua, Haoyu Cao, Linli Xu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك توأماً متطابقاً. يبدوان متشابهين تماماً للوهلة الأولى. ولكن إذا نظرت بتمعن، ستجد أن أحد التوأمين يرتدي قبعة حمراء بدلاً من الزرقاء، والآخر يفتقد لزر في قميصه.

معظم نماذج الذكاء الاصطناعي الحالية (نماذج اللغات الكبيرة متعددة الوسائط، أو MLLMs) تشبه الأشخاص الذين يجيدون التعرف على أن "هذان بشر"، لكنهم غالباً ما يغفلون عن التفاصيل الصغيرة مثل لون القبعة أو الزر المفقود. إنهم يرون الصورة الكبيرة لكنهم يفتقدون إلى التفاصيل الدقيقة.

تقدم هذه الورقة البحثية طريقة تدريب جديدة تسمى DiG (التأسيس التفاضلي - Differential Grounding) لتعليم الذكاء الاصطناعي كيف يصبح محققاً بارعاً، قادراً على رصد حتى أصغر الاختلافات بين صورتين.

إليك كيف يعمل ذلك، مقسماً إلى مفاهيم بسيطة:

1. اللعبة: "أوجد الفروق"

فكر في مهمة DiG كأنها لعبة "أوجد الفروق" الكلاسيكية التي قد تجدها في مجلات الأطفال.

الإعداد: يُعرض على الذكاء الاصطناعي صورتان متشابهتان جداً جنباً إلى جنب.
التحدي: يجب عليه إيجاد كل اختلاف (تغير في اللون، جسم مفقود، عنصر جديد) ورسم مربع حول مكان ذلك الاختلاف.
التحول: الذكاء الاصطناعي لا يعرف عدد الفروق الموجودة. عليه أن يبحث عنها جميعاً من تلقاء نفسه.

2. ساحة التدريب: استوديو ألعاب فيديو ثلاثي الأبعاد

لا يمكنك تدريب محقق عبر إظهار آلاف الصور الحقيقية له وسؤال البشر عن رسم مربعات حول كل فرق (سوف يستغرق ذلك وقتاً طويلاً ويكلف ثروة).

بدلاً من ذلك، قام المؤلفون ببناء خط معالجة رندرة ثلاثي الأبعاد (مثل محرك ألعاب الفيديو).

الاستعارة: تخيل مخرجاً آلياً في استوديو افتراضي. يقوم بإعداد مشهد بمكعبات ألعاب. ثم، يقوم سراً باستبدال مكعب أحمر بآخر أزرق، أو يزيل كرة صغيرة.
الفائدة: بما أن الروبوت يعرف بالضبط ما الذي قام بتغييره، فهو يعرف تلقائياً الإجابة المثالية (الحقيقة الأرضية). وهذا يسمح لهم بتوليد ملايين الألغاز التدريبية فوراً دون أي مساعدة بشرية.

3. منحنى التعلم: من "الخطوات الأولى" إلى "الماراثون"

إذا ألقيت بمبتدئ في لغز يحتوي على 10 فروق مخفية، فسيشعر بالإحباط ويستسلم. يواجه الذكاء الاصطناعي المشكلة نفسها. في البداى، لا يمكنه إيجاد أي فروق، لذا لا يحصل على أي "نقاط" (مكافآت) ويتوقف عن التعلم.

لحل هذه المشكلة، يستخدم المؤلفون التعلم المنهجي (Curriculum Learning)، وهو يشبه ألعاب الفيديو ذات المستويات:

المستوى 1 (سهل): يتعين على الذكاء الاصطناعي إيجاد فرق واحد فقط. يحصل على الكثير من النقاط ويتعلم المهارة الأساسية المتمثلة في "النظر بتمعن".
المستوى 2 (متوسط): الآن هناك فرقان. على الذكاء الاصطناعي الموازنة بين إيجاد كليهما.
المستوى 3 (صعب): يواجه الذكاء الاصطناعي مشاهد تحتوي على فروق متعددة ولا يعرف حتى عددها. عليه أن يكون محققاً حقيقياً.

من خلال البدء بالأشياء السهلة ثم الانتقال إلى الأصعب، يبني الذكاء الاصطناعي الثقة والمهارة دون أن يشعر بالإرهاق.

4. نظام المكافأة: صافرة المدرب

يتعلم الذكاء الاصطناعي باستخدام طريقة تسمى التعلم المعزز (Reinforcement Learning). فكر في الأمر كمدرب يقدم ملاحظات:

مكافأة التنسيق: "هل كتبت إجابتك بالتنسيق الصحيح؟" (نعم/لا).
مكافأة الدقة: "هل وجدت الأجسام الصحيحة؟" (درجة F1).
مكافأة الإحكام: "هل رسمت المربع حول الجسم بدقة، أم كان كبيراً جداً؟" (تقاطع IoU).

يحاول الذكاء الاصطناعي الحصول على أعلى قدر من هذه النقاط. ومع مرور الوقت، يتعلم أنه للحصول على أعلى درجة، يجب أن يكون شاملاً (يجد كل شيء) ودقيقاً (يرسم المربعات بشكل مثالي).

لماذا يهم هذا؟

بمجرد أن يتقن الذكاء الاصطناعي لعبة "أوجد الفروق" هذه، يحدث شيء سحري: تنتقل المهارات.

تماماً كما أن الشخص الذي يتدرب على رصد التفاصيل الصغيرة في لعبة يصبح أفضل في رصد الأخطاء في عقد قانوني أو العثور على مكون محدد في وصفة طعام، يصبح الذكاء الاصطناعي أفضل في:

الإجابة على الأسئلة الصعبة: "هل ذيل القط أطول من ذيل الكلب؟"
إيجاد الأجسام: "أشر إلى الكوب الأحمر على الطاولة."
تجنب الهلوسة: يتوقف عن اختلاق أشياء ليست موجودة لأنه مدرب على البحث عما هو موجود بالفعل.

الخلاصة

DiG هي طريقة ذكية لتحويل تدريب الذكاء الاصطناعي إلى لعبة ضخمة ومؤتمتة من "أوجد الفروق". من خلال البدء بألغاز بسيطة ثم جعلها أصعب تدريجياً، يتعلم الذكاء الاصطناعي الانتباه إلى التفاصيل الصغيرة التي كان يتجاهلها سابقاً. وهذا يجعله مراقباً أكثر حدة وموثوقية للعالم المرئي.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "DiG: التأسيس التفاضلي لتعزيز الإدراك دقيق التفاصيل في النماذج اللغوية الكبيرة متعددة الوسائط."

1. بيان المشكلة

حققت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) نجاحاً ملحوظاً في الفهم الشامل للمشاهد والمواءمة الدلالية عالية المستوى. ومع ذلك، فهي تعاني من قيود كبيرة في الإدراك البصري دقيق التفاصيل والاستدلال المكاني الدقيق.

الفجوة: غالباً ما تتجاهل النماذج الحالية الإشارات البصرية الدقيقة مثل التغيرات الطفيفة في الأشياء، أو تغيرات الألوان، أو العناصر المفقودة. كما أنها تواجه صعوبة في ربط الدلالات العالمية بالمواقع المكانية الدقيقة.
القيود الحالية:
- الضبط الدقيق الخاضع للإشراف (SFT): تعتمد مجموعات بيانات التأسيس التقليدية (مثل RefCOCO) على التوسيم اليدوي المكلف، مما يحد من القابلية للتوسع والتنوع. وغالباً ما يؤدي الضبط الدقيق عليها إلى نماذج متخصصة للغاية تفتقر إلى القدرة على التعميم بشكل جيد.
- المهام البديلة: توفر المهام البديلة الموجودة (مثل أحجيات الصور المقطعة البصرية، أو كشف الهلوسة) إشرافاً مساعداً، لكنها ليست مصممة صراحةً لتعزيز تحديد الاختلافات دقيقة التفاصيل.
- تحديات التعلم التعزيزي (RL): تطبيق التعلم التعزيزي على الإدراك البصري أمر صعب بسبب ندرة المكافأة. ففي مرحلة البداية، نادراً ما تحدد النماذج الاختلافات بشكل صحيح، مما يؤدي إلى انهيار المكافآت بالقرب من الصفر ويمنع التحسين المستقر.

2. المنهجية: إطار عمل DiG

يقترح المؤلفون DiG (التأسيس التفاضلي - Differential Grounding)، وهو إطار عمل لمهمة بديلة جديدة تدرب النماذج اللغوية الكبيرة متعددة الوسائط على تحديد وتحديد مواقع جميع التباينات البصرية بين الصور المزدوجة دون معرفة مسبقة بعدد الاختلافات.

أ. خط إنتاج توليد البيانات ثلاثية الأبعاد المؤتمت بالكامل

لتمكين التدريب القابل للتوسع دون الحاجة إلى توسيم يدوي، طور المؤلفون خط إنتاج مؤتمتاً بالكامل باستخدام محرك الرندرة ثلاثي الأبعاد Blender:

التوليد الإجرائي: يتم إنشاء مشهد ثلاثي الأبعاد أساسي مع أشياء محددة بخصائص (الشكل، اللون، الحجم، المادة، الموقع).
الاختلافات المحكومة: تقوم عملية عشوائية بتعديل التكوين الأساسي لإنشاء صورة "نظيرة". وتشمل التعديلات إضافة أشياء، أو إزالتها، أو تغيير الخصائص (مثل اللون، الشكل).
الحقيقة الأرضية المثالية: نظرًا لأن التعديلات محددة برمجياً في الفضاء ثلاثي الأبعاد، يتم استخراج صناديق الإحاطة (bounding boxes) ثنائية الأبعاد للاختلافات تلقائياً من محرك الرندرة، مما يضمن دقة بنسبة 100% في التوسيم.
القابلية للتوسع: يمكن لخط الإنتاج توليد أزواج لا نهائية عالية الجودة مع مستويات صعوبة قابلة للتحكم (عدد الاختلافات، دقة التفاصيل، الموقع).

ب. التعلم التعزيزي باستخدام GRPO

يتم تحسين النموذج باستخدام تحسين السياسة النسبية للمجموعات (GRPO) مع دالة مكافأة مهيكلة تتكون من ثلاثة مكونات:

مكافأة التنسيق ( $r_{format}$ ): إشارة ثنائية تضمن أن المخرجات هي قائمة قابلة للتحليل من صناديق الإحاطة (الصلاحية النحوية).
مكافأة الدقة ( $r_{acc}$ ): مقياس مركب يجمع بين:
- درجة F1: تقيس اكتمال الكشف (الدقة/الاستدعاء) باستخدام مطابقة "هونغاريا" (Hungarian matching) بين الصناديق المتوقعة وصناديق الحقيقة الأرضية.
- IoU (التقاطع فوق الاتحاد): يقيس دقة المحاذاة المكانية.
الهدف العام: مزيج مرجح ( $(1-\alpha)r_{acc} + \alpha r_{format}$ ) يعطي الأولوية للاستدلال البصري مع الحفاظ على الاتساق الهيكلي.

ج. استراتيجية التعلم المنهجي (Curriculum Learning)

لمعالحة ندرة إشارات الاختلاف (حيث تحصل النماذج المبكرة على مكافآت قريبة من الصفر)، يستخدم المؤلفون نهج التعلم المنهجي:

المرحلة 1 (اختلاف واحد): يتدرب النموذج على أزواج تحتوي على اختلاف بصري واحد بالضبط. يوفر هذا تغذية راجعة كثيفة وقابلة للتفسير لترسيخ مهارات التحديد الأساسية.
المرحلة 2 (اختلافان): تزداد التعقيدات لتصل إلى اختلافين، مما يعزز الاستدلال التركيبي.
المرحلة 3 (اختلافات مختلطة): يتم ضبط النموذج بدقة على أزواج تحتوي على ما يصل إلى أربعة اختلافات، حيث يكون عدد الاختلافات مخفياً. هذا يجبر النموذج على استنتاج عدد التباينات، مما يعزز المتانة والقدرة على التعميم.

3. المساهمات الرئيسية

إطار عمل DiG: قدم مهمة بديلة جديدة تجبر النماذج اللغبية الكبيرة متعددة الوسائط على تجاوز المواءمة الدلالية الخشنة لتطوير استدلال إدراكي دقيق التفاصيل عبر تحديد موقع جميع الاختلافات بين أزواج الصور.
خط إنتاج بيانات قابل للتوسع: طور خط إنتاج رندرة ثلاثي الأبعاد مؤتمت يولد بيانات تدريب متنوعة وعالية الجودة وموسومة بدقة مثالية، مما يلغي عقبة التوسيم اليدوي.
التحسين المنهجي: اقترح استراتيجية تدريب قائمة على المنهج الدراسي تخفف من ندرة المكافأة، مما يسمح بتحسين مستقر للتعلم التعزيزي لمهام الإدراك دقيق التفاصيل.
التحقق التجريبي: أثبت أن DiG يحسن الأداء بشكل كبير عبر مختلف الاختبارات المعيارية وينتقل بفعالية إلى المهام اللاحقة.

4. النتائج التجريبية

قيم المؤلفون DiG على نموذج Qwen3-VL (بنسختي 4B و 8B) عبر ثلاث فئات من الاختبارات المعيارية:

اختبارات الإدراك البصري:
- حسن DiG الأداء باستمرار في اختبارات مثل HalBench (تقليل الهلوسة)، و HRBench-8K، و VSR (الاستدلال المكاني البصري)، و CV-Bench.
- مثال: حقق نموذج 8B تحسناً قدره +3.4 في HalBench و +2.1 في V*.
الاختبارات متعددة الوسائط العامة:
- لوحظت تحسينات في الاستدلال الشامل والفهم في MMBench، و MM-Vet، و MMStar، و ScienceQA.
- مثال: حقق نموذج 4B زيادة قدرها +3.5 في MMStar و +2.3 في ScienceQA، متفوقاً على بعض النماذج المملوكة الأكبر حجماً في بعض المقاييس.
اختبارات التأسيس البصري (Visual Grounding):
- تم تحقيق مكاسب كبيرة في RefCOCO، و RefCOCO+، و RefCOCOg، والتي تختبر القدرة على تحديد مواقع الأشياء بناءً على التعبيرات المرجعية.
- حقق نموذج 8B متوسط تحسينات قدرها 2-3 نقاط عبر جميع التقسيمات، مما أظهر تعزيزاً في التأسيس المكاني.

دراسات الاستئصال (Ablation Studies):

المنهج الدراسي: أدى التدريب التدريجي (واحد $\leftarrow$ اثنان $\leftarrow$ مختلط) إلى أفضل النتائج، مما يؤكد أن البدء بالبسيط يثبت عملية التعلم.
المكافآت: كان الجمع بين مكافآت IoU (المكانية) و F1 (الكشف) أمراً ضرورياً؛ حيث أدى الاعتماد على واحدة فقط إلى أداء دون المستوى.

5. الأهمية والخاتمة

الربط بين الإدراك والاستدلال: يوفر DiG نموذجاً قابلاً للتوسع ومنهجياً للربط بين الاستدلال عالي المستوى والحساسية الإدراكية منخفضة المستوى في النماذج اللغبية الكبيرة متعددة الوسائط.
القابلية للتوسع: يسمح خط إنتاج توليد البيانات المؤتمت بإنشاء مجموعات بيانات ضخمة ومتنوعة يستحيل تنسيقها يدوياً، مما يجعل تدريب الإدراك دقيق التفاصيل متاحاً.
التعميم: تنتقل المهارات المكتسبة من خلال التأسيس التفاضلي بفعالية إلى المهام اللاحلية القياسية، مما يشير إلى أن القدرة على اكتشاف الاختلافات الدقيقة هي قدرة أساسية للذكاء متعدد الوسائط القوي.
الاتجاه المستقبلي: يسلط العمل الضوء على أن التأسيس التفاضلي هو اتجاه واعد لتطوير نماذج متعددة الوسائط أكثر توافقاً إدراكياً وقدرة على الاستدلال، متجاوزة مجرد مطابقة الصورة والنص إلى الفهم المكاني الدقيق.