💬 NLP

Vision-OPD: Learning to See Fine Details for Multimodal LLMs via On-Policy Self-Distillation

تُعد Vision-OPD إطار عمل للتقطير الذاتي يعمل على تعزيز الفهم البصري دقيق التفاصيل في النماذج اللغوية الكبيرة متعددة الوسائط من خلال تدريب سياسة الصورة الكاملة على محاكاة الأداء المتفوق لمعلم مشروط بالقصاصات (crop-conditioned) على مخرجاته الخاصة، مما يُمكّن النموذج من استيعال فوائد التركيز على الأدلة ذات الصلة دون إشراف خارجي أو أدوات.

المؤلفون الأصليون: Qianhao Yuan, Jie Lou, Xing Yu, Hongyu Lin, Le Sun, Xianpei Han, Yaojie Lu

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Qianhao Yuan, Jie Lou, Xing Yu, Hongyu Lin, Le Sun, Xianpei Han, Yaojie Lu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز في غرفة واسعة ومزدحمة. الدليل الذي تحتاجه هو جسم صغير ومحدد مخبأ على رف. إذا نظرت إلى الغرفة بأكملها دفعة واحدة، فقد تصاب عيناك بالارتباك بسبب كل الأثاث والأشخاص والزخارف، وقد تفقد الدليل تماماً. قد تخمن الإجابة بناءً على الانطباع العام للغرفة، لكنك ستكون مخطئاً.

ومع ذلك، إذا قدم لك شخص ما عدسة مكبرة ووجهها مباشرة نحو ذلك الرف المحدد، فستتمكن من رؤية الدليل فوراً وحل اللغز.

هذه هي بالضبط المشكلة التي تعالجها ورقة البحث Vision-OPD المتعلقة بالنماذج اللغوية الكبيرة متعددة الوسائط (الذكاء الاصطناعي الذي يمكنه الرؤية والتحدث).

المشكلة: فجوة "التكبير" (Zoom Gap)

لاحظ الباحثون شيئاً غريباً. عندما سألوا ذكاءً اصطناعياً سؤالاً حول تفصيل صغير في صورة (مثل "ما لون واقيات الأذن؟")، غالباً ما كان الذكاء الاصطناعي يخطئ في الإجابة إذا عُرضت عليه الصورة الكاملة. ولكن، إذا عرضوا على الذكاء الاصطناعي قصاصة مقصوصة ومكبرة لتلك المنطقة المحددة، فإنه يحصل على الإجابة الصحيحة في كل مرة.

كشف هذا عن "فجوة": الذكال الاصطناعي ليس سيئاً في التعرف على الأشياء؛ إنه فقط سيء في التركيز على الشيء الصحيح عندما تكون كل الأشياء مزدحمة معاً. الأمر يشبه طالباً يعرف الإجابة ولكنه يتشتت بسبب الضجيج في الفصل الدراسي.

الطريقة القديمة: الروبوت "المفكر"

حاولت بعض طرق الذكاء الاصطناعي الحديثة إصلاح ذلك من خلال منح الذكاء الاصطناعي "عميلاً روبوتياً" يمكنه فعلياً النقر على الأزرار للتكبير والنظر عن كثب أثناء المحادثة. وبينما نجح هذا، إلا أنه كان بطيئاً ومكلفاً لأن الذكاء الاصطناعي كان عليه أن يتوقف، يفكر، يأخذ صورة، يكبر، ثم يواصل. كان الأمر يشبه طلب من محقق أن يمشي ذهاباً وإياباً عبر الغرفة لفحص كل زاوية قبل إعطاء الإجابة.

الحل: Vision-OPD (خدعة "التعليم الذاتي")

أراد مؤلفو هذه الورقة تعليم الذكاء الاصطناعي القيام بعملية "التكبير" داخل عقله الخاص، بحيث يمكنه الإجابة بشكل صحيح في نظرة واحدة فقط، دون الحاجة إلى التوقف واستخدام أدوات.

لقد ابتكروا طريقة تسمى Vision-OPD (التقطير في السياسة المباشرة - On-Policy Distillation). إليك كيف تعمل، باستخدام تشبيه بسيط:

تشبيه "التوأم":
تخيل أن لديك توأمين متطابقين وكلاهما طالبان.

التوأم المعلم: يُعطى هذا التوأم صورة مكبرة ومقربة للدليل. ولأن الرؤية واضحة جداً، فإن هذا التوأم يعرف الإجابة تماماً.
التوأم الطالب: يُعطى هذا التوأم الصورة الكاملة والمزدحمة. إنه يحاول معرفة الإجابة ولكنه يستمر في التشتت.

عملية التدريب:
بدلاً من استئجار معلم بشري ليقوم بتقييمهما، ترك الباحثون التوأمين يعلمان بعضهما البعض.

يحاول التوأم الطالب الإجابة على السؤال بناءً على الصورة المزدحمة.
بينما يكتب الطالب إجابته كلمة بكلمة، يهمس التوأم المعلم (الذي يرى الصورة المكبرة): "لا، ليس تلك الكلمة. الكلمة التالية يجب أن تكون هذه، لأنني أرى الدليل بوضوح".
يستمع الطالب إلى "همسات" المعلم (احتمالية الكلمة التالية) ويعدل دماغه ليتناسب مع تركيز المعلم.

الأمر الجوهل هو أن الطالب يتدرب أثناء كتابة إجاباته الخاصة (وليس مجرد نسخ كتاب مدرسي). هذا يضمن أن الطالب يتعلم كيفية التعامل مع الصورة المزدحمة في الوقت الفعلي، بدلاً من مجرد حفظ نص مكتوب.

لماذا هذا مميز؟

تتطلب معظم عمليات تدريب الذكاء الاصطناعي "معياراً ذهبياً" للإجابة (مثل معلم يحمل قلماً أحمر) أو ذكاءً اصطناعياً قوياً ومكلفاً للغاية ليعمل كمعلم.

لا معلم خارجي: يستخدم Vision-OPD نفس نموذج الذكاء الاصطناعي كمعلم وطالب في آن واحد. إنه يشبه قيام الذكاء الاصطناعي بتعليم نفسه التركيز.
لا مفتاح إجابة: لا يحتاج إلى معرفة الإجابة "الصحيحة" مسبقاً. يحتاج فقط إلى معرفة أن "الرؤية المكبرة" أكثر ثقة من "الرؤية الكاملة".
نظرة واحدة: بمجرد التدريب، لا يحتاج الذكاء الاصطناعي إلى التكبير أثناء المحادثة الفعلية. لقد استوعب القدرة على "رؤية" التفاصيل الصغيرة أثناء النظر إلى الصورة الكاملة، تماماً مثل الخبير البشري الذي يمكنه رصد عيب في لوحة من مسافة بعيدة.

النتائج

اختبرت الورقة هذا الأسلوب على مختلف الألغاز البصرية الصعبة. ووجدوا أن:

النماذج الصغيرة للذكاء الاصطناعي (4 مليارات أو 9 مليارات بارامتر) التي تم تدريبها بهذه الطريقة أصبحت أفضل في رصد التفاصيل الصغيرة من النماذج الضخمة والمكلفة (مثل 397 مليار بارامتر) أو حتى النماذج المغلقة رفيعة المستوى (مثل GPT-5 أو Gemini).
لم تكتفِ النماذج بالتحسن في الألغاز المحددة التي تدربت عليها فحسب، بل لم تنسَ أيضاً كيفية أداء المهام الأخرى.
اختفت "الفجوة" بين رؤية الصورة الكاملة ورؤية الجزء المكبر. تعلم الذكاء الاصطناعي التركيز على الأدلة تلقائياً.

باختم، Vision-OPD هي خدعة ذكية تسمح للذكاء الاصطناعي بتعلم كيفية "التكبير" ذهنياً، مما يحول الطالب المشتت إلى خبير مركز دون الحاجة إلى أدوات إضافية، أو معلمين مكلفين، أو مفاتيح إجابة.

ملخص تقني: Vision-OPD

بيان المشكلة

تواجه نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) حاليًا عقبة كبيرة في الفهم البصري دقيق التفاصيل. فبينما تتفوق هذه النماذج في الفهم العام للمشاهد، إلا أنها غالبًا ما تخفق عندما تعتمد الإجابات على تفاصيل صغيرة وحاسمة تشغل جزءًا ضئيلًا فقط من الصورة. حدد المؤلفون وجود فجوة إدراكية بين المنطقة والكل (regional-to-global perception gap): حيث غالبًا ما تجيب النماذج على الأسئلة دقيقة التفاصيل بشكل صحيح عندما يتم تزويدها بلقطة مركزة على الدليل (مدخل إقليمي)، لكنها تفشل عندما يتم تزويدها بالصورة الكاملة المقابلة (مدخل كلي).

تشير هذه الملاحظة إلى أن الفشل ليس ناتجًا عن نقص في القدرة على التعرف المحلي، بل هو عدم قدرة على التركيز على الأدلة ذات الصلة ضمن السياق البصري الكلي الكثيف. تحاول الحلول الحالية، مثل نماذج الوكلاء التي تعمل بمبدة "التفكير مع الصور" (Thinking-with-Images)، حل هذه المشكلة عبر تزويد النماذج بأدوات للقص والتقريب (zoom) أثناء الاستنتاج. ومع ذلك، تفرض هذه الطرق عبئًا كبيرًا على عملية الاستنتاج بسبب تكرار ترميز الصور واستدعاء النموذج. التحدي الجوهري الذي يعالجه هذا البحث هو: هل يمكن استيعاب فائدة التقريب البصري داخليًا من خلال التدريب بحيث يمكن للنموذج استخدام الأدلة دقيقة التفاصيل من صورة كاملة دون الحاجة لاستخدام أدوات إضافية أو إشراف خارجي؟

المنهجية: Vision-OPD

يقترح البحث Vision-OPD (Vision On-Policy Distillation)، وهو إطار عمل للتقطير الذاتي من الإقليمي إلى الكلي. تستخدم هذه الطريقة الإدراك الإقليمي المتميز للنموذج نفسه للإشراف على إدراكه الكلي.

1. توليد البيانات

يستخدم إطار العمل مجموعة بيانات من الثلاثيات $\{(x_i, x'_i, q_i)\}$ ، حيث:

$x_i$ : الصورة الكاملة.
$x'_i$ : لقطة (crop) مركزة على الدليل من $x_i$ .
$q_i$ : سؤال دقيق يمكن الإجابة عليه من اللقطة.
يتم توليد البيانات عبر اكتشاف مناطق صغيرة في الصور الخام، وتوليد أسئلة خاصة بتلك المناطق، ووضع مربعات إحاطة (bounding boxes) على الصورة الكاملة لتوفير قيود مكانية. تنتج هذه العملية 6.2 ألف عينة تدريب اصطناعية دون الحاجة إلى تسميات (labels) حقيقية.

2. بنية السياسة المزدوجة

يقوم Vision-OPD بإنشاء سياستين شرطيتين من نفس النموذج ( $p_\theta$ ):

سياسة المعلم ( $p_T$ ): تعتمد على اللقطة المركزة على الدليل ( $x'$ ) والسؤال ( $q$ ). وهذا يوفر رؤية "متميزة" حيث تكون التفاصيل الدقيقة واضحة وغير غامضة.
سياسة الطالب ( $p_S$ ): تعتمد على الصورة الكاملة ( $x$ ) والسؤال ( $q$ ). وهذا يحاكي ظروف الاستنتاج القياسية.

3. هدف التقطير الذاتي القائم على السياسة (On-Policy)

على عكس الضبط الدقيق الخاضع للإشراف (SFT) التقليدي الذي يعاني من عدم تطابق التوزيع، أو التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR) الذي يوفر تغذية راجعة متفرقة على مستوى التسلسل، يستخدم Vision-OPD أخذ عينات قائم على السياسة (on-policy sampling) مع إشراف كثيف على مستوى الرمز (token-level).

توليد المسارات (Rollout Generation): يولد الطالب مسار استجابة $y$ من الصورة الكاملة ( $y \sim p_S(\cdot | x, q)$ ).
تقليل التباعد (Divergence Minimization): لكل موضع رمز $n$ في مسار الطالب، يحسب النموذج توزيعات الرمز التالي لكل من المعلم ( $p_T(\cdot | x', q, y_{<n})$ ) والطالب ( $p_S(\cdot | x, q, y_{<n})$ ).
دالة الخسارة: يقلل الهدف من التباعد المتوقع لكل رمز (باستخدام تباعد جينسن-شانون المعمم، JSD) بين توزيعات المعلم والطالب على طول مسارات الطالب الخاصة:
$L_{Vision-OPD}(\theta) = \mathbb{E}_{(x,x',q) \sim D} \left[ \mathbb{E}_{y \sim p_S(\cdot|x,q)} \left[ D(p_T \parallel p_S)(y | x, x', q) \right] \right]$

من المهم أن التدرجات (gradients) تتدفق فقط عبر سياسة الطالب. يعمل المعلم كهدف ثابت (يتم تنظيمه عبر المتوسط المتحرك الأسي - EMA) مشروط باللقطة المتميزة. يسمح هذا الإعداد للنموذج باستيعاب فائدة "التقريب" داخليًا دون الحاجة لمعلمين خارجيين، أو تسميات حقيقية، أو محققات مكافأة، أو استخدام أدوات أثناء الاستنتاج.

المساهمات الرئيسية

صياغة التقطير الذاتي من الإقليمي إلى الكلي: يقدم البحث إشارة تدريب مبتكرة حيث يعمل سلوك النموذج المشروط باللقطة كإشراف متميز لسلوكه عند الاستنتاج من الصورة الكاملة.
إطار عمل Vision-OPD: تنفيذ محدد للتقطير الذاتي القائم على السياسة ينقل المعرفة الكثيفة على مستوى الرمز من الرؤية الإقليمية إلى الرؤية الكلية، مما يلغي الحاجة إلى معلمين خارجيين أو بيانات مصنفة.
التحقق التجريبي: تجارب شاملة تثبت أن Vision-OPD يقلص الفجوة بين الإقليمي والكلي بشكل كبير ويحسن الأداء في المهام دقيقة التفاصيل مع الحفاظ على قدرات الاستدلال العام.

النتائج التجريبية

قيم المؤلفون Vision-OPD على عدة اختبارات مرجعية، بما في في ذلك V Bench*، و ZoomBench، و HR Bench (بدقة 4K/8K)، و MME-RealWorld.

الأداء مقابل SOTA: حققت نماذج Vision-OPD (بمعلمات 4B و 9B) أداءً تنافسيًا أو متفوقًا مقارنة بنماذج مفتوحة المصدر أكبر بكثير (مثل Qwen3.5-397B)، ونماذج مغلقة المصدر (مثل GPT-5.4 و Gemini-3.1-Pro)، ونماذج الوكلاء "التفكير مع الصور". ومن الجدير بالذكر أن Vision-OPD-9B تفوق على GPT-5.4 و Gemini-3.1-Pro في متوسط درجات التفاصيل الدقيقة.
المقارنة مع استراتيجيات التدريب: تفوق Vision-OPD على استراتيجيات التدريب البديلة بما في ذلك SFT على المعلمين الذاتيين، وطرق RLVR (مثل GRPO و DAPO)، و OPSD (الذي يعتمد على التسميات الحقيقية).
التعميم (مهام الاختبار المستبعدة): على عكس طرق SFT و RLVR التي أظهرت "نسيانًا" في المهام المستبعدة (مثل MMVP و CV-Bench)، حافظ Vision-OPD على قدرات الاستدلال متعدد الوسائط العام أو حسنها، مما يشير إلى أن المكاسب لم تأتِ على حساب النسيان.
تقليص الفجوة: أظهر التحليل أن تدريب Vision-OPD قلص باستمرار فجوة الدقة بين المدخلات الإقليمية والكلية، مما علم النموذج بفعالية كيفية استعادة الأدلة من الصورة الكاملة.

الأهمية والادعاءات

يدعي البحث أن Vision-OPD يوفر مسارًا بسيطًا، وفعالاً، وكفؤًا لتعزيز الفهم البصري دقيق التفاصيل في نماذج MLLM. تكمن أهميته الأساسية في:

استيعاب التقريب داخليًا: نجح في استيعاب فوائد التقريب البصري داخل بارامترات النموذج، مما يتيح فهمًا عالي الأداء للتفاصيل الدقيقة في تمريرة أمامية واحدة (single forward pass) دون زمن انتقال الاستنتاج المرتبط باستخدام أدوات الوكلاء.
كفاءة بدون تسميات: حقق هذه المكاسب دون الحاجة إلى معلمين أقوى خارجيين، أو تسميات حقيقية، أو محققات مكافأة، مع الاعتماد بدلاً من ذلك على الرؤى الإقليمية المتميزة للنموذج نفسه.
القابلية للتوسع: تسمح الطريقة للنماذج الأصغر (4B/9B) بالتفوق على نماذج أكبر بكثير، مما يشير إلى أن العقبة في فهم التفاصيل الدقيقة ليست مجرد حجم البارامترات، بل هي القدرة على التركيز على الأدلة ذات الصلة، والتي يمكن تعلمها عبر التقطير الذاتي.