💬 NLP

CropVLM: Learning to Zoom for Fine-Grained Vision-Language Perception

تُعد CropVLM طريقة خارجية تعتمد على التعلم المعزز ولا تتطلب تدريباً، تعمل على تعزيز الإدراك الدقيق لنماذج الرؤية واللغة من خلال "التقريب" ديناميكياً على مناطق الصور ذات الصلة، مما يحسن الأداء بشكل كبير في المهام عالية الدقة دون الحاجة إلى صناديق إحاطة مصنفة بشرياً أو تعديل النموذج الأساسي.

المؤلفون الأصليون: Miguel Carvalho, Helder Dias, Bruno Martins

نُشر 2026-04-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Miguel Carvalho, Helder Dias, Bruno Martins

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول قراءة ملاحظة صغيرة مكتوبة بخط اليد على لوحة إعلانية مزدحمة من مسافة 50 قدمًا. أنت تضيق عينيك، وتقترب أكثر، لكن الكلمات تظل مجرد ضباب. أنت تعلم أن اللوحة موجودة، وتعلم أن هناك رسالة، لكن عينيك (أو في هذه الحالة، "عيون" الكمبيوتر) لا تستطيعان تمييز التفاصيل الدقيقة دون الاقتراب أكثر.

هذه هي بالضبط المشكلة التي يحلها CropVLM للذكاء الاصطناعي.

إليك قصة كيفية عمل هذه الأداة الجديدة، مشروحة دون استخدام المصطلحات التقنية المعقدة.

المشكلة: "النظارات الضبابية" للذكاء الاصطناعي

نماذج الذكاء الاصطناعي الحديثة التي يمكنها الرؤية والتحدث (والتي تسمى نماذج الرؤية واللغة أو VLMs) ذكية للغاية. يمكنها النظر إلى صورة كلب وإخبارك: "هذا كلب من نوع جولدن ريتريفر يلعب بالكرة".

ومع ذلك، لديها نقطة ضعف رئيسية: فهي ترتدي نظارات ضبابية.
لتوفير الوقت وقدرة الكمبيوتر، تنظر هذه النماذج عادةً إلى الصور بدقة منخفضة (مثل صورة مصغرة صغيرة). إذا سألتهم: "ماذا تقول تلك اللوحة في الخلفية؟" أو "كم عدد الحروف الموجودة على لوحة ترخيص تلك السيارة؟"، فغالبًا ما يفشلون. التفاصيل تكون أصغر من أن تُرى في عرض "الصورة المصغرة".

عادةً، لإصلاح ذلك، سيتعين عليك إجبار الذكاء الاصطناعي على النظر إلى الصورة كاملة بدقة فائقة العلو. لكن هذا يشبه مطالبة شخص بقراءة موسوعة كاملة صفحة بصفحة فقط للعثور على كلمة واحدة. إنه أمر بطيء، ومكلف، ويؤدي إلى استهلاك ذاكرة الكمبيوتر بشكل هائل.

الحل: "الزوم الذكي" (التكبير الذكي)

هنا يأتي دور CropVLM. فكر في CropVLM ليس كعقل جديد، بل كـ منظار ذكي أو عدسة مكبرة توضع أمام الذكاء الاصطناعي.

بدلاً من إجبار الذكاء الاصطناعي على النظر إلى اللوحة الإعلانية الضبابية بالكامل، يعمل CropVLM كمساعد مفيد يقول:

"مهلاً، أعتقد أن الإجابة موجودة في تلك اللوحة الحمراء الصغيرة على اليسار. دعني أقوم بعمل زووم (تكبير) على هذا الجزء فقط وأعرضه لك."

يقوم CropVLM باختيار الجزء الأكثر أهمية من الصورة ديناميكيًا، ويقوم بقصه، ويرسل تلك القطعة "المكبرة" عالية الدقة إلى الذكاء الاصطناعي الرئيسي لقراءتها.

كيف تعلم التكبير (طريقة "التجربة والخطأ")

قد تتساءل: "كيف تعلم الذكاء الاصطناعي أين يقوم بالتكبير؟ هل رسم شخص ما آلاف المربعات حول الأشياء ليدرسها؟"

لا! كان ذلك سيكون مكلفًا وبطيئًا للغاية. بدلاً من ذلك، علم الباحثون CropVLM باستخدام طريقة تسمى التعلم التعزيزي (Reinforcement Learning)، وهي تشبه تدريب كلب باستخدام المكافآت، ولكن بدون مدرب بشري يحمل أداطة الضغط.

التخمين: ينظر CropVLM إلى صورة ويخمن: "أعتقد أن الإجابة في هذه الزاوية". ثم يرسم مربعًا (قصة) حول تلك المنطقة.
الاختبار: يعرض هذه القصة المكبرة على الذكاء الاصطناائي الرئيسي.
المكافأة:
- إذا أجاب الذكاء الاصطناعي الرئيسي بشكل صحيح، يحصل CropVLM على "مكافأة" افتراضية.
- إذا أجاب الذكاء الاصطناعي الرئيسي بشكل خاطئ، يحصل CropVLM على "لا مكافأة".
التعلم: عبر ملايين المحاولات، يتعلم CropVLM أنه: "أوه، عندما أقوم بالتكبير على النص، يجيب الذكاء الاصطناعي بشكل صحيح. وعندما أقوم بالتكبير على السماء، يجيب بشكل خاطئ".

في النهاية، يصبح CropVLM خبيرًا في معرفة أين ينظر بالضبط، وكل ذلك دون الحاجة أبدًا إلى بشر يخبره: "نعم، هذا المربع صحيح".

لماذا يعد هذا أمراً هاماً؟

تسلط الورقة البحثية الضوء على ثلاث قدرات خارقة لهذا النهج:

إنه محول عالمي: CropVLM يشبه جهاز التحكم عن بعد العالمي. لا يهم إذا كان الذكاء الاصطناعي الرئيسي نموذجًا مفتوح المصدر ومجانيًا أو نموذجًا مدفوعًا وسريًا (مثل تلك الموجودة داخل شركات التقنية الكبرى). يعمل CropVLM مع أي منها. لست بحاجة إلى كسر النموذج الأساسي لإصلاحه؛ أنت فقط ترفق هذه "العدسة المكبرة" به من الخارج.
يوفر المال والوقت: بدلاً من معالجة الصورة الضخمة بأكملها بدقة عالية (وهو أمر بطيء ومكلف)، فإنه يعالج فقط الجزء الصغير والمهم. إنه يشبه قراءة عنوان الخبر فقط من جريدة بدلاً من قراءة الجريدة بأكملها لمعرفة نتيجة مباراة.
لا ينسى: أحيانًا، عندما تعلم ذكاءً اصطناعيًا ذكيًا خدعة جديدة، فإنه ينسى خدعه القديمة (وهي مشكلة تسمى "النسيان الكارثي"). ولأن CropVLM هو مساعد منفصل وصغير لا يغير عقل الذكاء الاصطناعي الأساسي، فإن الذكاء الاصطناعي الأساسي يحتفظ بكل معرفته الأصلية مع اكتساب هذه القدرة الجديدة على رؤية التفاصيل.

النتيجة

في الاختبارات، ساعد هذا "الزوم الذكي" نماذج الذكاء الاصطناعي على الإجابة على الأسئلة المتعلقة بالنصوص، والوثائق، والأشياء الصغيرة بشكل أفضل بكثير. لقد حول التخمينات الضبابية ومنخفضة الدقة إلى إجابات حادة وعالية الدقة، كل ذلك مع العمل بشكل أسرع وأرخص من الطرق السابقة.

باختصار: يعلم CropVLM الذكاء الاصطناعي التوقف عن تضييق عينيه للنظر إلى الصورة بأكملها، والبدء في تركيز طاقته على البقعة الوحيدة التي تهم حقًا.

إليك ملخص تقني مفصل لورقة البحث بعنوان "CropVLM: التعلم للتقريب (Zooming) من أجل الإدراك البصري دقيق التفاصيل".

1. بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs) نجاحاً ملحوظاً في مهام الاستدلال البصري العام، لكنها تعاني بشكل كبير في مهام الإدراك دقيق التفاصيل، مثل التعرف على النصوص في المشاهد، وتحليل المستندات، وتحديد الأشياء بدقة.

قيود الدقة (Resolution Limitations): تعتمد معظم نماذج VLMs السائدة على مشفرات رؤية مدربة مسبقاً تقبل مدخلات منخفضة الدقة (مثل 224×224 أو 336×336 بكسل). وهذا يؤدي إلى جعل التفاصيل الدقيقة والمهمة غير واضحة.
عدم الكفاءة الحسابية: مجرد زيادة دقة المدخلات بشكل موحد لجميع الصور يخلق عبئاً حسابياً باهظاً بسبب التعقيد التربيعي لبنيات الـ Transformer.
التركيز الثابت (Static Focus): تفتقر نماذج VLMs الحالية إلى القدرة على تعديل تركيزها البصري ديناميكياً بناءً على المهمة أو الاستعلام المحدد، مما يؤدي إلى أداء دون المستوى في البيانات عالية الدقة أو البيانات خارج النطاق (out-of-domain).
قيود التدريب: تتطلب الحلول الحالية غالباً صناديق إحاطة (bounding boxes) مصنفة بشرياً، أو توليد بيانات اصطناعية، أو ضبطاً دقيقاً مكثفاً لنموذج VLM المستهدف، مما قد يؤدي إلى خطر "النسيان الكارثي" (catastrophic forgetting) ولا يتوافق مع النماذج المملوكة (ذات الأوزان المغلقة).

2. المنهجية: CropVLM

تم تقديم CropVLM كـ وحدة خارجية خفيفة الوزن تعتمد على التعلم التعزيزي، مصممة لتمكين نماذج VLMs من "التقريب" (zoom in) ديناميكياً على مناطق الصورة ذات الصلة دون تعديل نموذج VLM المستهدف.

البنية الأساسية

شبكة القص (The Crop Network): نموذج VLM صغير (تحديداً نموذج SmolVLM Instruct بـ 256 مليون معلمة) مُدرب على إخراج صندوق إحاطة واحد لكل زوج (صورة-استعلام).
تنسيق المخرجات: يولد النموذج الإحداثيات كنص بتنسيق [x1, y1, x2, y2]، والتي تمثل نسب مئوية لعرض وطول الصورة، مما يضمن القدرة على التعميم عبر أحجام الصور المختلفة.
النمطية (Modularity): يعمل النموذج خارجياً؛ حيث يتم دمج الجزء المقصوص (the selected crop) مع الصورة الأصلية منخفضة الدقة وتغذيتها إلى نموذج VLM المستهدف (الذي يظل ثابتاً/مجمد الأوزان).

مسار التدريب (Training Pipeline)

تتكون عملية التدريب من مرحلتين متمايزتين:

الضبط الدقيق الخاضع للإشراف (SFT):
- الهدف: تعليم النموذج توليد إحداثيات صناديق إحاطة صالحة بالتنسيق الصحيح.
- البيانات: نظراً لندرة صناديق الإحاطة الحقيقية لمهام VQA، استخدم المؤلفون مجموعة بيانات بذرية اصطناعية تم إنشاؤها عن طريق توجيه نموذج أكبر (Qwen 2.5-VL 7B) لتحديد المناطق.
- التحسين: لمعالجة مشكلة كون الصناديق الاصطناعية ضيقة جداً، طبق المؤلفون استراتيجية توسيع بناءً على المساحة النسبية للصندوق (على سبيل المثال، الصناديق الأصغر من 0.16% من مساحة الصورة يتم توسيعها بمقدار 45 ضعفاً).
تحسين السياسة النسبي للمجموعات (GRPO):
- الهدف: صقل النموذج لاختيار الجزء المقصوص الأكثر إفادة لتعظيم أداء المهمة النهائية.
- الخوارزمية: تُستخدم خوارزمية GRPO (وهي نسخة معدلة من PPO) لأنها تلغي الحاجة إلى نموذج ناقد (critic) أو نموذج قيمة (value model) منفصل. تقوم الخوارزمية بتوليد مجموعة من $G$ من المقاطع المرشحة لاستعلام واحد، وتقوم بتقييمها، وتطبيع المكافآت بناءً على متوسط المجموعة وانحرافها المعياري.
- إشارات المكافأة: تم استكشاف نوعين من المكافآت:
  - المكافأة القائمة على الدقة (Accuracy-Based): يقوم نموذج VLM المستهدف بالإجابة على السؤال باستخدام الصورة الكاملة + الجزء المقصوص. وتكون المكافأة هي الدقة مقابل الحقيقة الأرضية (ground truth).
  - المكافأة القائمة على الاحتمالية (Likelihood-Based - LL): يحسب نموذج VLM المستهدف لوغاريتم الاحتمالية (log-likelihood) للإجابة الصحيحة بناءً على المدخلات. وهذا يسمح بتقييم أسرع بمرور واحد (single-pass) دون الحاجة لتوليد نص تلقائي كامل.
- الميزة الرئيسية: لا تتطلب هذه الطريقة صناديق إحاطة مصنفة بشرياً لمرحلة التعلم التعزيزي، بل تعتمد بدلاً من ذلك على أداء نموذج VLM المستهدف كإشارة للإشراف.

3. المساهمات الرئيسية

تعزيز خارجي ومستقل عن النموذج: يمكن اقتران CropVLM بكل من نماذج VLMs مفتوحة المصدر والمملوكة (مثل LLaVA و Qwen و GPT-4.1 nano) دون الحاجة للوصول إلى أوزانها أو ضبطها، مما يتجنب النسيان الكارثي.
تعلم تعزيزي بدون تسميات (Annotation-Free): نجحت الطريقة في تدريب سياسة اختيار المنطقة باستخدام GRPO مع مكافآت موضوعية قائمة على المهام (الدقة/الاحتمالية) بدلاً من الاعتماد على التسميات البشرية المكلفة أو بيانات التفضيل الاصطناعية.
الكفاءة: تحقق فوائد فهم الدقة العالية من خلال معالجة نظرة عامة منخفضة الدقة بالإضافة إلى جزء مقصوص واحد عالي الدقة، مما يتجنب التكلفة التربيعية للترميز عالي الدقة الكامل.
القابلية للتوسع: أثبتت الطريقة فعاليتها حتى عندما يتم تدريب شبكة القص على دقات منخفضة ولكن يتم تطبيقها على مدخلات عالية الدقة، كما أنها تعمل بشكل جيد في السيناريوهات خارج النطاق (out-of-domain).

4. النتائج التجريبية

قيم المؤلفون CropVLM على عدة اختبارات مرجعية، بما في ذلك TextVQA و DocVQA و ST-VQA و InfographicsVQA، بالإضافة إلى اختبارات خارج النطاق مثل V* و HR-Bench (4k/8k).

تحسينات الأداء:
- عند اقترانه بـ SmolVLM (256M)، حسن CropVLM متوسط الأداء بنسبة ~10-15% عبر مختلف الدقات (من 512px إلى 2048px).
- عند اقترانه بنماذج أكبر مثل LLaVA-1.5 (7B) و Qwen 2.5 VL (3B) و GPT-4.1 nano، حسن CropVLM الأداء باستمرار. فعلى سبيل المثال، مع GPT-4.1 nano، ارتفع متوسط الدرجة في اختبارات VQA من 41.27 إلى 47.41.
- مكافآت الاحتمالية (Log-Likelihood): تفوقت بشكل عام على المكافآت القائمة على الدقة، ويرجع ذلك على الأرج করির توفير تغذية راجعة أكثر دقة وتقليل تكرار النتائج المتساوية داخل المجموعة الواحدة.
المقارنة مع أحدث التقنيات (SOTA):
- مقابل ViCrop (بدون تدريب): تفوق CropVLM على ViCrop (الذي يستخدم قواعد استدلالية للانتباه/التدرج)، خاصة في مجموعات البيانات خارج النطاق مثل DocVQA و HR-Bench، حيث تفشل الطرق الاستدلالية.
- مقابل UV-CoT (القائم على DPO): حقق CropVLM أداءً فائقاً رغم كونه أصغر بكثير (256 مليون مقابل 7 مليارات معلمة) واستخدامه لبيانات تدريب أقل.
الكفاءة:
- الذاكرة: أظهر CropVLM استخداماً أقل بكثير لذاكرة وحدة معالجة الرسومات مقارنة بـ ViCrop و UV-CoT، ويرجع ذلك إلى حجمه الصغير وتوافقه مع FlashAttention.
- السرعة: رغم أنه أبطأ قليلاً في توليد نص صندوق الإحاطة مقارنة بالطرق القائمة على التدرج، إلا أن تكلفة الاستدلال الإجمالية أقل من معالجة صور عالية الدقة بالكامل.

5. الأهمية والخلاصة

يعالج CropVLM عقبة حرجة في نماذج VLMs: وهي عدم القدرة على معالجة التفاصيل الدقيقة بكفاءة. ومن خلال فصل آلية "التقريب" عن نموذج الاستدلال، فإنه يقدم حلاً قابلاً للتشغيل الفوري (plug-and-play) ومنخفض التكلفة لتعزيز الإدراك البصري.

التأثير العملي: يتيح استخدام مدخلات عالية الدقة لمهام مثل التعرف الضوئي على الحروف (OCR) وتحليل المستندات دون العبء الحسابي لإعادة تدريب النماذج الضخمة أو معالجة صور عالية الدقة بالكامل.
التعميم: أثبتت الطريقة متانتها في البيئات خارج النطاق، مما يشير إلى أن تعلم "التركيز" هو مهارة قابلة للنقل تحسن الاستدلال البصي العام.
الاتجاه المستقبلي: يسلط هذا العمل الضوء على أن الإشراف الصريح على المناطق (صناديق الإحاطة) ليس ضرورياً بالضرورة لتعلم التأسيس البصري (visual grounding) الفعال، طالما أن إشارة المكافأة مرتبطة مباشرة بأداء المهمة النهائية.

باختاً، يمثل CropVLM تحولاً من "معالجة كل شيء بدقة عالية" إلى "الاختيار الذكي لما يجب معالجته بدقة عالية"، مما يوفر مساراً قابلاً للتوسع نحو نماذج رؤية ولغة أكثر قدرة وكفاءة.