💻 computer science

EvoLMM: Self-Evolving Large Multimodal Models with Continuous Rewards

يُعد EvoLMM إطار عمل ذاتي التطور يعزز قدرات الاستنتاج في النماذج اللغوية الكبيرة متعددة الوسائط بطريقة غير خاضعة للإشراف تماماً، وذلك عبر استخدام وكيلين متعاونين لتوليد أسئلة مرتبطة بالصور وحلها من خلال الاتساق الداخلي، محققاً مكاسب أداء كبيرة في اختبارات الرياضيات متعددة الوسائط دون الاعتماد على بيانات مشروحة أو نماذج مكافأة خارجية.

المؤلفون الأصليون: Omkar Thawakar, Shravan Venkatraman, Ritesh Thawkar, Abdelrahman Shaker, Hisham Cholakkal, Rao Muhammad Anwer, Salman Khan, Fahad Khan

نُشر 2026-03-16

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Omkar Thawakar, Shravan Venkatraman, Ritesh Thawkar, Abdelrahman Shaker, Hisham Cholakkal, Rao Muhammad Anwer, Salman Khan, Fahad Khan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً نابغاً ولكنه خجول يُدعى إيفو (Evo). إيفو ذكي للغاية في النظر إلى الصور وقراءة النصوص، لكنه عالق في فصل دراسي توقف فيه المعلمون (البشر) عن إعطائه واجبات منزلية. يقول المعلم: "أنا مشغول جداً لتصحيح أوراقكم أو إخباركم ما إذا كانت إجاباتكم صحيحة أم لا. عليكم التعلم بمفردكم".

معظم الطلاب سيجلسون هناك دون فعل أي شيء. لكن إيفو يمتلك قوة خارقة سرية: اللعب الذاتي (Self-Play).

تقدم هذه الورقة البحثية EvoLMM، وهو نظام يعلم نموذج حاسوبي كيف يصبح أكثر ذكاءً دون أي مساعدة بشرية، باستخدام خدعة ذكية تتضمن "شخصيتين" داخل نفس العقل.

الشخصيتان: السائل والحلّال

بدلاً من عقل واحد يحاول القيام بكل شيء، يقوم EvoLMM بتقسيم النموذج إلى دورين متعاونين يتحدثان مع بعضهما البعض:

المقترح (السائل): هذه الشخصية تنظر إلى صورة خام (مثل مخطط، أو متاهة، أو رسم هندسي) وتخترع سؤالاً حولها.
- التشبيه: فكر في هذا كـ سيد اللعبة (Game Master) في لعبة تقمص أدوار. هو ينظر إلى الخريطة (الصورة) ويقول: "حسناً، إليكم لغزاً لحله!"
الحلّال (المفكر): هذه الشخصية تحاول الإجابة على السؤال.
- التشبيه: هذا هو اللاعب. ينظر إلى الخريطة واللغز، يفكر بعمق، ويعطي إجابة.

المكون السحري: المكافآت المستمرة

في الماضي، إذا حاول حاسوب التعلم بهذه الطريقة، فإنه سيفشل بسرعة. وإليك السبب:

الطريقة القديمة (المكافأة المنفصلة): تخيل أن سيد اللعبة يطرح سؤالاً، واللاعب يقدم إجابة. إذا كانت الإجابة مثالية تماماً، يحصل اللاعب على نجمة ذهبية (المكافأة = 1). وإذا كانت خاطئة ولو قليلاً، يحصل على صفر (المكافأة = 0).
- المشكلة: في البداية، يكون اللاعب سيئاً في الرياضيات والمنطق. يحصل على "صفر" في كل مرة تقريباً. الأمر يشبه محاولة تعلم ركوب الدراجة ولكنك تتعرض لصدمة في كل مرة تترنح فيها. ستستسلم لأنك لا تحصل أبداً على كلمة "أحسنت".
الطريقة الجديدة (المكافأة المستمرة): يستخدم EvoLMM مكافأة مستمرة.
- التشبيه: بدلاً من درجة (ناجح/راسب)، تخيل أن سيد اللعبة يعطي مقياس تشجيع سلس ومنزلق.
- إذا قدم اللاعب 5 إجابات مختلفة وكانت 3 منها متشابهة، يقول النظام: "مهلاً، أنت تقترب من الصواب! هذا 0.6 من 1.0".
- إذا كانت الإجابات مبعثرة في كل مكان، يقول: "هذا 0.2. استمر في المحاولة".
- لماذا ينجح هذا: حتى عندما يخطئ النموذج، فإنه يحصل على "دفعة" بسيطة (تدرج) تخبره كيف يتحرك ليقترب من الإجابة الصحيحة. إنه يشبه مدرباً يقول: "أنت منحرف ببضع درجات، عدّل هدفك قليلاً"، بدلاً من مجرد الصراخ بكلمة "خطأ!".

حلقة "التطور الذاتي"

إليك كيف ينمو النظام بمرور الوقت، خطوة بخطوة:

ينظر المقترح إلى صورة متاهة ويسأل: "أي مسار يؤدي إلى المخرج؟"
يحاول الحلّال الإجابة. قد يخمن 5 مسارات مختلفة.
النتيجة (التقييم): يتحقق النظام مما إذا كانت التخمينات الخمسة متفقة. إذا اتفقت معظمها على نفس المسار، يحصل المقترح على مكافأة لأنه طرح سؤالاً "جيداً". إذا كانت إجابات الحلّال متنوعة للغاية، يعرف النظام أن السؤال كان صعباً جداً أو مربكاً، ويقوم بالتعديل.
المنهج الدراسي: بمرور الوقت، يتعلم المقترح طرح أسئلة تكون مناسبة تماماً—ليست سهلة جداً (حيث يخمن الحلّال عشوائياً) ولا صعبة جداً (حيث يرتبك الحلّال). إنه ينشئ "منهجه الدراسي الخاص" تلقائياً.
النتيجة: يصبح الحلّال أفضل في التفكير والاستنتاج، ويصبح المقترح أفضل في إيجاد الألغاز المثيرة للاهتمام. يتطوران معاً، ويصبحان أكثر ذكاءً كل يوم دون معلم بشري واحد.

ماذا اكتشفوا؟

اختبر الباحثون هذا على Qwen2.5-VL، وهو نموذج ذكاء اصطناعي قوي. قاموا بتغذيته بآلاف الصور الخام (مخططات، رسوم بيانية، مسائل رياضية) ولكن بـ صفر من الإجابات الصحيحة أو التصنيفات.

النتيجة: تحسنت مهارات النموذج في الرياضيات والاستنتاج بنسبة تقارب 2% إلى 3% عبر العديد من الاختبارات الصعبة.
المفاجأة: لم يقم النموذج بحفظ الإجابات فحسب، بل تعلم كيف يفكر. بدأ في توليد أسئلة أكثر تعقيداً وحلها بمنطق أكثر هيكلية، تماماً مثل طالب بشري يتدرب بمفرده.

لماذا هذا مهم؟

عادةً، لجعل الذكاء الاصطناعي أكثر ذكاءً، نحتاج إلى جيوش من البشر لكتابة الأسئلة وتصحيح الإجابات. هذا أمر مكلف وبطيء.

EvoLMM يشبه إعطاء الذكاء الاصطناعي محرك تعلم ذاتي القيادة. يمكنه النظر إلى العالم (الصور)، وطرح الأسئلة على نفسه، والتحقق من عمله، والتحسن من تلقاء نفسه. إنها خطوة عملاقة نحو ذكاء اصطناعي يمكنه التعلم باستمرار، تماماً مثل البشر، دون الحاجة إلى معلم يمسك بيده.

باخت اختصار: EvoLMM هو حاسوب يعلم نفسه من خلال لعب لعبة "سؤال وجواب" مع عقله، باستخدام حلقة تغذية راجعة مستمرة ولطيفة لضمان عدم تعثره أو استسلامه.

إليك ملخص تقني مفصل لورقة البحث بعنوان "EvoLMM: النماذج اللغوية متعددة الوسائط ذاتية التطور باستخدام المكافآت المستمرة."

1. بيان المشكلة

حققت النماذج اللغوية متعددة الوسائط الكبيرة (LMMs) الحالية قدرات استدلال مثيرة للإعجاب، لكنها تعتمد بشكل كبير على التعليقات التوضيحية التي يضعها البشر أو نماذج المكافأة المحددة خارجيًا (مثل صحة الإجابة المحددة من قبل البشر، أو شبكات المكافأة المستخلصة معرفيًا). وتخلق هذه التبعيات عقبات كبيرة:

القابلية للتوسع: إن وضع التعليقات التوضيحية لكميات هائلة من البيانات متعددة الوسائط أمر مكلف ويستغرق وقتًا طويلاً.
الاستقلالية: لا تستطيع النماذج التحسن في المجالات التي لا تتوفر فيها تسميات (labels) حقيقية أو مقيمون خارجيون.
التعميم: الاعتماد على مجموعات بيانات محددة يحد من قدرة النموذج على التكيف مع البيئات البصرية الجديدة غير المهيكلة.

بينما استكشف العمل الأخير في النماذج اللغوية الكبيرة (LLMs) التحسين الذاتي عبر التساؤل الذاتي ومكافآت التصويت بالأغلبية، إلا أن هذه النهج غالبًا ما تفشل في المجال متعدد الوسائط. يتضمن الاستدلال متعدد الوسائط عدم اليقين البصري والربط المعقد، مما يجعل المكافآت المنفصلة (التي تعتمد على مبدأ "الكل أو لا شيء"، مثل التصويت بالمطابقة التامة) شحيحة وغير مستقرة للغاية للتعلم الفعال.

2. المنهجية: إطار عمل EvoLMM

يقترح المؤلفون EvoLMM، وهو إطار عمل ذاتي التطور، غير خاضع للإشراف بالكامل، يُمكّن النموذج اللغوي متعدد الوسائط من تحسين قدرات الاستدلال لديه باستخدام الصور الخام غير المصنفة فقط. يعمل إطار العمل دون أي تسميات بشرية، أو بيانات وصفية (metadata)، أو نماذج مكافأة خارجية.

البنية الأساسية

يقوم إطار العمل بإنشاء وكيلين متعاونين من نموذج أساسي واحد (مثل Qwen2.5-VL):

المُقترح (Proposer - $\pi_\phi$ ): يولد أسئلة متنوعة ذات أساس بصري في الرياضيات أو الاستدلال بناءً على الصورة المدخلة.
الحلال (Solver - $\pi_\theta$ ): يحاول الإجابة على الأسئلة المولدة.

آلية المكافأة الذاتية المستمرة

الابتكار الرئيسي هو استبدال مكافآت التصويت بالأغلبية المنفصلة بـ إشارة اتساق ذاتي مستمرة. تسير دورة التدريب كما يلي:

توليد الأسئلة: يقوم المُقترح بتوليد سؤال $q$ من صورة $x$ .
تعدد العينات للحل: يقوم الحلال بتوليد $N$ من عينات الإجابات المستقلة $\{y_1, ..., y_N\}$ لنفس السؤال.
التوزيع التجريبي: يتم حساب توزيع إجابات تجريبي $p(a|x, q)$ بناءً على تكرار الإجابات.
مكافأة الحلال ( $r_{sol}$ ):
- بدلاً من المكافأة الثنائية (صحيح/خاطئ)، فإن المكافأة هي دالة مستمرة لـ درجة الاتفاق (الاحتمالية) للإجابة المحددة التي تم توليدها.
- تتضمن جزاءً على الطول لتشجيع الإيجاز.
- الصيغة: $r_{sol}^i = (p(y_i|x, q))^\gamma \cdot (1 - \lambda_{len} \cdot \max\{0, (w_i - \tau)/\tau\})$ .
- يوفر هذا تدرجات كثيفة حتى عندما يكون النموذج صحيحًا جزئيًا فقط، مما يؤدي إلى استقرار التعلم في المراحل المبكرة.
مكافأة المُقترح ( $r_{prop}$ ):
- يتم مكافأة المُقترح بناءً على الاعتلاج (Entropy - $H$ ) لتوزيع إجابات الحلال.
- يستخدم دالة تمرير حزمة (Gaussian) تصل ذروتها عند الاعتلاج المتوسط.
- الهدف: تشجيع الأسئلة التي ليست سهلة للغاية (اعتلاج منخفض، تافهة) ولا صعبة للغاية/غامضة (اعتلاج عالٍ، غير قابلة للحل). وهذا يخلق منهجًا تعليميًا (Curriculum) تلقائيًا حيث يتعلم المُقترح توليد أسئلة تتحدى الحلال بما يكفي لتحفيز الاستدلال دون التسبب في الانهيار.

التحسين (Optimization)

يتم تدريب كلا الوكيلين بشكل مشترك باستخدام تدرجات سياسة REINFORCE.
تنظيم KL (KL-Regularization): يتم تطبيق حد تباعد KL على مستوى الرمز (token) لإبقاء السياسات المتطورة قريبة من النموذج الأساسي المدرب مسبقًا، مما يمنع النسيان الكارثي أو الانحراف.
خطوط الأساس للمتوسط المتحرك (Moving-Average Baselines): تُستخدم لتقليل التباين في تحديثات التدرج.

3. المساهمات الرئيسية

تطور ذاتي كامل غير خاضع للإشراف: يقدم إطار عمل حيث تتحسن النماذج اللغوية متعددة الوسائط في الاستدلال باستخدام الصور الخام فقط، مما يلغي الحاجة إلى أزواج الأسئلة والأجوبة المصنفة أو نماذج المكافأة الخارجية.
تصميم المكافأة المستمرة: يقترح آلية مكافأة اتساق ذاتي مستمرة تتغلب على ندرة وعدم استقرار مكافآت التصويت بالأغلبية المنفصلة في البيئات متعددة الوسائط. وهذا يسمح بتدفق تدرج سلس وتحسين مستقر.
ظهور المنهج التعليمي التلقائي: يوضح أن مكافأة المُقترح القائمة على الاعتلاج تفرض منهجًا تعليميًا بشكل طبيعي، حيث تتطور صعوبة الأسئلة من البسيط إلى المعقد مع تحسن قدرات الحلال.
قابلية التوسع المستقلة عن النموذج: يظهر أن إطار العمل يعمل بفعالية عبر عائلات نماذج مختلفة (Qwen, InternVL, Gemma, Llama) ويتوسع من 7B إلى 72B بارامتر.

4. النتائج التجريبية

تم تقييم إطار العمل على النموذج الأساسي Qwen2.5-VL-7B ومقارنته بالنموذج المرجعي وبالتكييف القائم على المكافأة المنفصلة.

مكاسب الأداء: حقق EvoLMM تحسنات ثابتة بنسبة ~2–3% عبر العديد من اختبارات الاستدلال الرياضي متعددة الوسائط:
- ChartQA: 84.00% $\to$ 86.70% (+2.7%)
- MathVista: 68.46% $\to$ 70.52% (+2.06%)
- ScienceQA: 88.30% $\to$ 89.50% (+1.2%)
- MathVision: 23.91% $\to$ 24.81% (+0.9%)
المقارنة مع المكافآات المنفصلة: أظهر خط الأساس القائم على التصويت بالأغلبية المنفصلة مكاسب ضئيلة أو تدهورًا في الأداء، مما يؤكد عدم استقرار المكافآت المنفصلة في مراحل التدريب المبكرة.
التعميم: تعممت الطريقة على نماذج أساسية أخرى (InternVL3-8B, Gemma3-12B, Llama-3.2-11B)، ونماذج أكبر (Qwen2.5-VL-72B)، حيث أظهرت النماذج الأكبر مكاسب مطلقة أقوى.
النقل الصفري (Zero-Shot Transfer): أظهر النموذج المتطور ذاتيًا تحسينات في الاختبارات المفتوحة (RefCOCOg, DocVQA, OCRBench) رغم تدريبه فقط على صور الرسوم البيانية/الرياضيات، مما يشير إلى تعزيز قدرات الاستدلال العام.

5. الأهمية والأثر

الاستقلالية في الذكاء الاصطنا_عي: يمثل EvoLMM خطوة مهمة نحو الذكاء الاصطناعي المستقل، حيث يثبت أن النماذج يمكنها تحسين نفسها في المجالات البصرية المعقدة دون تدخل بشري.
القابلية للتوسع: من خلال إزالة التبعية للتعليقات التوضيحية البشرية المكلفة، يوفر هذا النهج مسارًا قابلًا للتوسع لتدريب النماذج اللغوية متعددة الوسائط على كميات هائلة من البيانات البصرية غير المصنفة المتاحة على الإنترنت.
الاستقرار في الاستدلال: تعالج آلية المكافأة المستمرة عقبة حرجة في التعلم التعزيزي (RL) للعب الذاتي في المهام متعددة الوسائط، مما يوفر إشارة تعلم مستقرة حيث تفشل المكافآت المنفصلة التقليدية.
الاتجاهات المستقبلية: يشير العمل إلى أن "الوكلاء المتطورين ذاتيًا" يمكن أن يظهروا بسلوكيات استدلال مهيكلة من خلال الاتساق الداخلي فقط، مما يمهد الطريق لأنظمة استدلال مفتوحة النهاية وطويلة الأمد.

باختصار، يثبت EvoLMM أن النماذج اللغوية الكبيرة متعددة الوسائط يمكنها تطوير قدرات الاستدلال لديها بشكل مستقل من خلال ديناميكية "المُقترح-الحلال" التعاونية المدفوعة بالاتساق الذاتي المستمر، محققةً تحسينات غير مسبوقة غير خاضعة للإشراف في مهام الاستدلال البصري المعقدة.