💬 NLP

Agentic Jigsaw Interaction Learning for Enhancing Visual Perception and Reasoning in Vision-Language Models

يُعد AGILE إطار عمل مبتكر يعزز قدرات الإدراك والاستنتاج لدى النماذج اللغوية البصرية من خلال صياغة أحجيات الصور المقطعة (jigsaw puzzles) كعملية استكشاف تفاعلية مدفوعة بالبرمجة توفر تغذية راجعة بصرية دقيقة.

المؤلفون الأصليون: Yu Zeng, Wenxuan Huang, Shiting Huang, Xikun Bao, Yukun Qi, Yiming Zhao, Qiuchen Wang, Lin Chen, Zehui Chen, Huaian Chen, Wanli Ouyang, Feng Zhao

نُشر 2026-02-12

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yu Zeng, Wenxuan Huang, Shiting Huang, Xikun Bao, Yukun Qi, Yiming Zhao, Qiuchen Wang, Lin Chen, Zehui Chen, Huaian Chen, Wanli Ouyang, Feng Zhao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم طفلاً صغيراً كيف يتعرف على الحيوانات. يمكنك أن تريه آلاف البطاقات التعليمية (وهذه هي الطريقة التي تُدرب بها معظم نماذج الذكاء الاصطناعي الحالية)، لكن الطفل قد يحفظ الصور فقط دون أن يفهم حقاً ما هو الذيل أو شكل الأنف.

إذا أردت للطفل أن يفهم حقاً، فلن تكتفي بعرض البطاقات عليه فحسب؛ بل ستعطيه لغز "جيغسو" (Jigsaw puzzle) ملموساً. ستتركه يلتقط قطعة، ويحاول تركيبها، ثم يدرك أنها لا تتطابق، فيجرب قطعة أخرى. ومن خلال هذا "الخطأ والتجربة"، يتعلم كيف تتصل الأشكال والألوان ببعضها البعض.

هذه الورقة البحثية، التي تسمى AGILE، تقترح القيام بذلك تماماً بالنسبة للذكاء الاصطناعي.

المشكلة: "العالم الأعمى"

نماذج الرؤية واللغة (VLMs) الحالية تشبه العلماء العباقرة الذين قرأوا كل الكتب في العالم لكنهم لم "يروا" أي شيء في الواقع. يمكنهم وصف غروب الشمس بجمال أخاذ، ولكن إذا أعطيتهم لغز "جيغسو" بسيطاً مكوناً من 4 قطع، فغالباً ما سيفشلون فشلاً ذريعاً. إنهم "يرون" الصورة ككتلة واحدة ضخمة من البيانات بدلاً من كونها مجموعة من الأجزاء المتصلة. إنهم يفتقرون إلى الاستدلال المكاني — القدرة على فهم كيفية ارتباط قطعة من الصورة بالقطعة المجاورة لها.

الحل: طريقة "لغز الجيغسو الوكيل" (Agentic Jigsaw)

بدلاً من مجرد عرض صورة مكتملة على الذكاء الاصطناعي، أنشأ الباحثون "غرفة لعب" رقمية (بيئة) وأعطوا الذكاء الاصطناعي مجموعة من الأدوات.

تخيل الذكاء الاصطناعي كروبوت صغير يجلس أمام لغز "جيغسو" مبعثر. لقد منح الباحثون هذا الروبوت ثلاث أدوات خاصة:

أداة التبديل: "التقط القطعة (أ) واستبدلها بالقطعة (ب)".
العدسة المكبرة (القص والتقريب): "لا أستطيع معرفة ما إذا كانت هذه الحواف متطابقة؛ دعني أقرب الصورة كثيراً لأرى التفاصيل الدقيقة".
أداة الملاحظة: "أرني كيف تبدو اللوحة بعد حركتي الأخيرة".

كيف يعمل الأمر: التعلم من خلال الفعل (التعلم المعزز)

يستخدم الباحثون عملية تسمى التعلم المعزز (Reinforcement Learning). الأمر يشبه تدريب جرو صغير باستخدام المكافآت:

الهدف: إعادة بناء الصورة الأصلية.
المكافأة: إذا وضع الذكاء الاصطناعي القطع بالترتيب الصحيح، يحصل على "مكافأة رقمية" (درجة عالية). وإذا قام بحركات غير ضرورية كثيرة، يحصل على مكافأة أصغر. وإذا فشل، لا يحصل على شيء.
لحظة الإدراك ("آها!"): لأن الذكاء الاصطناعي يقوم بإنشاء كود برمجي فعلي لتحريك القطع، فهو لا يقوم بمجرد التخمين، بل هو يتفاعل. قد يقوم بتقريب الصورة على أذن قطة، ويدرك أنها تنتمي للزاوية العلوية، ثم ينفذ أمراً لنقلها إلى هناك.

لماذا يهم هذا الأمر: تأثير "القوة الخارقة"

الجزء الأكثر إذهالاً ليس مجرد أن الذكما الاصطناعي أصبح أفضل في حل الألغاز، بل هو أن تعلم حل الألغاز منح الذكاء الاصطناعي "ذكاءً قابلاً للنقل".

الأمر يشبه كيف أن تعلم لعب الشطرنج يجعلك أفضل في التخطيط الاستراتيجي في الحياة الواقعية. ولأن الذكاء الاصطناعي تعلم النظر بدقة إلى الحواف، والملمس، والتخطيطات المكانية لحل اللغز، فقد أصبح فجأة أفضل بكثير في:

قراءة النصوص الصغيرة جداً في الصور (OCR).
إيجاد الأشياء الصغيرة في المناظر الطبيعية الواسعة والمعقدة.
فهم مشاهد العالم الحقيقي (مثل التعرف على زاوية شارع محددة).

الخلاصة

وجد الباحثون أنه من خلال ترك الذكاء الاصطناعي "يلعب" بالألغاز عبر التفاعل والتجربة والخطأ، استطاعوا تعليمه كيف "يرى" العالم بدقة ومنطق أكبر بكثير. لقد حولوا "العالم الأعمى" إلى "مراقب مدرك"، وفعلوا ذلك باستخدام طريقة أقل تكلفة وأكثر قابلية للتوسع من محاولة تغذية الذكاء الاصطناعي بملايين الصور المصنفة بشرياً.

ملخص تقني: AGILE (التعلم التفاعلي لقطع الأحجية الوكيل - Agentic Jigsaw Interaction Learning)

1. بيان المشكلة

على الرغم من التقدم في النماذج اللغوية البصرية الضخمة (VLMs)، إلا أن قدراتها الإدراكية والمنطقية الأساسية لا تزال محدودة. تعاني النماذج الحالية في المهام التي تتطلب استنتاجاً منطقياً مهيكلاً وفهماً بصرياً دقيقاً. ويعد الأداء العشوائي شبه الكامل في ألغاز الأحجية (jigsaw puzzles) البسيطة بمقاس $2 \times 2$ مؤشراً رئيسياً على هذا القصور.

علاوة على على ذلك، بينما يعد التعلم التعزيزي (RL) وسيلة واعدة لتعزيز هذه القدرات من خلال التجربة والخطأ، يواجه المجال عنق زجاجة في ندرة البيانات. فمن الصعب توسيع نطاق مجموعات بيانات التعلم التعزيزي متعددة الوسائط عالية الجودة لأن الإشراف البشري مكلف، كما أن التوليد الآلي باستخدام النماذج مغلقة المصدر يكون مكلفاً وغالباً ما يكون محدود الجودة.

2. المنهجية

يقترح المؤلفون إطار عمل AGILE (التعلم التفاعلي لقطع الأحجية الوكيل لتعزيز الإدراك البصري والاستدلال)، وهو إطار يعامل حل الأحجية كعملية وكيلية تفاعلية متعددة الخطوات.

حلقة التفاعل الوكيلية: بدلاً من التنبؤ في خطوة واحدة، يتفاعل النموذج مع بيئة قائمة على لغة بايثون (Python). في كل خطوة، يقوم النموذج بتوليد كود قابل للتنفيذ لأداء إجراءات ضمن مساحة إجراءات محددة:
- التبديل (Swap): تبادل مواقع قطعتين.
- الملاحظة (Observe): معاينة الحالة الحالية للأحجية.
- القص والتقريب (Crop & Zoom): فحص مناطق محددة أو تكبير التفاصيل لإجراء تحليل دقيق (مثل التحقق من استمرارية الحواف أو محاذاة النصوص).
نموذج تدريب ثنائي المراحل:
1. البداية الباردة (SFT): للتغلب على الإخفاقات الأولية في اتباع التعليمات وتوليد الكود، يتم ضبط النموذج بدقة (fine-tuning) على 1.6 ألف مسار عالي الجودة تم جمعها من نموذج خبير (Gemini 2.5 Pro).
2. التعلم التعزيزي (RL): يتم تحسين النموذج باستخدام تحسين السياسة النسبي للمجموعات (GRPO). وتتكون دالة المكافأة من عدة جوانب:
  - مكافأة الدقة: بناءً على ما إذا كان التخطيط النهائي يطابق الحقيقة الأرضية (ground truth).
  - مكافأة التنسيق: ضمان استخدام النموذج لوسوم <think> و <code> و <answer> بشكل صحيح.
  - مكافأة الخطوة: معاقبة الخطوات الزائدة لتشجيع الاستدلال الفعال ومنع "اختراق المكافأة" (reward hacking).
توليد بيانات قابل للتوسع: نظرًا لأن ألغاز الأحجية تعتمد على قواعد، فإن الحقيقة الأرضية محددة رياضياً. وهذا يسمح بالتوليد البرمجي لمجموعات بيانات ضخمة وعالية الجودة مع إمكانية التحكم في درجة الصعوبة (تغيير أحجام الشبكات وحالات الترتيب الأولية).

3. المساهمات الرئيسية

نموذج تدريبي جديد: يقدم إطار عمل وكيلي تفاعلي للنماذج اللغوية البصرية، ينتقل من مجرد أزواج ثابتة من الصور والنصوص إلى التفاعل الديناميكي مع البيئة.
مهمة وسيطة قابلة للتوسع: يثبت أن ألغاز الأحجية تعمل كمهمة وسيطة فعالة وعالية القابلية للتوسع لتدريب الاستدلال والإدراك متعدد الوسائط.
تصميم مساحة الإجراءات: يتضمن إجراءات "القص" و"التقريب"، مما يجبر النموذج على تطوير آليات انتباه بصري دقيقة.

4. النتائج التجريبية

أداء مهمة الأحجية: في ألغاز $2 \times 2$ ، تحسن نموذج Qwen2.5-VL-7B الأساسي من 9.5% إلى 82.8% في الدقة. كما أظهر قدرة قوية على التعميم في شبكات $3 \times 3$ .
التعميم على المهام اللاحقة: أظهر النموذج تحسناً ملحوظاً عبر 9 اختبارات مرجعية بصرية متنوعة (بما في ذلك فهم الدقة العالية، والتعرف الضوئي على الحروف OCR، والاستدلال البصري)، محققاً متوسط تحسن قدره 3.1%.
الكفاءة مقابل الأسئلة والأجوبة العامة: أظهرت دراسات الاستئصال (Ablation studies) أن دمج 10 آلاف عينة أحجية مع 10 آلاف عينة أسئلة وأجوبة عامة تفوق على 20 ألف عينة أسئلة وأجوبة عامة وحدها، مما يثبت أن التدريب على الأحجية يوفر إشارة أقوى للتعميم البصري الأساسي.
المكاسب النوعية: كشف تحليل خرائط الانتباه أن النماذج المدربة بأسلوب AGILE تظهر انتباهاً أكثر تركيزاً واستقراراً على العناصر البصرية الحرجة مقارنة بالانتباه المشتت للنموذج الأساسي.

5. الأهمية

يوفر AGILE مخططاً لتجاوز "جدار البيانات" في التعلم التعزيزي متعدد الوسائط. ومن خلال تحويل التركيز من البيانات المكلفة التي يشرف عليها البشر إلى المهام الوسيطة المولدة برمجياً، والقابلة للتحقق، والتفاعلية، يقدم إطار العمل مساراً قابلاً للتوسع نحو تطوير نماذج لغوية بصرية تمتلك إدراكاً يشبه الإدراك البشري واستدلالاً مهيكلاً. ويشير إلى أن "اللعب" في بيئات بصرية مهيكلة قد يكون وسيلة أكثر فعالية لبناء الذكاء من مجرد مراقبة مجموعات البيانات الثابتة.