A Survey of State of the Art Large Vision Language Models: Alignment, Benchmark, Evaluations and Challenges
تقدم هذه الدراسة نظرة عامة محدثة على نماذج الرؤية واللغة الضخمة حتى عام 2026، متتبعةً تطورها المعماري من الأنظمة القائمة على الموائمات إلى نماذج العالم والعمل الموحدة، ومحللةً التحول في المعايير المرجعية نحو مهام الاستدلال المعقدة والمهام المتجسدة، ومراجعةً أساليب المحاذاة لما بعد التدريب مع تسليط الضوء على التحديات الحرجة في الهلوسة، والسلامة، والكفاءة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل حاسوباً لا يستطيع فقط قراءة جملة، بل يمكنه أيضاً النظر إلى صورة فوتوغرافية، أو مقطع فيديو، أو مخطط معقد وفهم كيف تترابط جميعها معاً. لسنوات طويلة، برع الذكاء الاصطناعي في معالجة النصوص، لكنه عانى من أجل "رؤية" العالم حقاً بالطريقة التي يفعلها البشر. كان بإمكانه وصف صورة، لكنه غالباً ما كان يفتقد السياق الأعمق، أو تسلسل الأحداث، أو التفاصيل الدقيقة التي تربط الصورة بالقصة. هذه الفجوة بين القراءة والرؤية هي ما يسميه الباحثون "فجوة الرؤية واللغة". والهدف من جيل جديد من الأنظمة الحاسوبية هو جسر هذه الفجوة، عبر إنشاء نماذج يمكنها التفكير عبر الصور، والفيديوهات، والصوت، والنصوص في آن واحد، تماماً كما يفعل الإنسان عندما ينظر إلى مشهد ويدرك فوراً العلاقات بين الأشياء، والأشخاص، والأفعال.
يرسم مسح شامل جديد أجراه باحثون من جامعة ميريلاند وجامعة جنوب كاليفورنيا معالم التطور السريع لهذه الأنظمة، المعروفة بنماذج الرؤية واللغة، وصولاً إلى عام 2026. لا يكتفي البحث بسرد إصدارات البرمجيات الجديدة فحسب؛ بل يتتبع تحولاً جوهرياً في كيفية بناء هذه الآلات وكيفية اختبارها. وقد وجد الباحثون أن المجال قد ابتعد عن مجرد إرفاق كاميرا بمعالج نصوص؛ وبدلاً من ذلك، أصبحت الأنظمة الأكثر تقدماً تعامل الرؤية واللغة كتدفق واحد موحد من المعلومات منذ بداية تدريبها. وقد سمح هذا التغيير لهذه النماذج بالتعامل مع سلاسل أطول بكثير من المعلومات، والتفكير في مهام معقدة مثل التنقل في موقع إلكتروني أو التحكم في روبوت، وحتى التنبؤ بما قد يحدث لاحقاً في بيئة فيزيائية.
إن قصة هذه النماذج هي قصة تحول معماري. في الأيام الأولى، بنى الباحثون أنظمة تتكون من برجين منفصلين: أحدهما لمعالجة الصور والآخر لمعالجة النصوص، ثم يتم وصلهما بجسر. كانت هذه الأنظمة جيدة في مطابقة الصور بالكلمات، لكنها واجهت صعوبة في توليد أفكار جديدة أو التفكير بعمق. تمثلت الخطوة التالية في أخذ معالج نصوص قوي وإضافة "جهاز عرض" (projector) لتغذية المعلومات المرئية إليه. وبينما أدى ذلك إلى تحسين الأداء، ظل الجزء الخاص بالرؤية بمثابة إضافة ثانوية. لقد انتقلت الحدود الآن إلى عصر جديد حيث يتم تدريب النموذج أصلياً (natively) على جميع أنواع البيانات في وقت واحد. في هذه الأنظمة الحديثة، يتم تحويل الصور، والفيديوهات، والصوت، والنصوص جميعها إلى تدفق واحد من الرموز (tokens) التي يعالجها النموذج معاً. وهذا يسمح للنظام بأن يفهم أن مقطع فيديو لكوب يسقط وجملة تصف صوت تحطم الزجاج هما جزء من نفس الواقع الفيزيائي، وليسا مجرد قطعتين منفصلتين من البيانات.
أدت هذه القفزة المعمارية إلى ظهور فئة جديدة من النماذج التي يمكنها القيام بأكثر من مجرد الإجابة على الأسئلة. لقد بدأت هذه النماذج تعمل كوكلاء (agents) يمكنهم تنفيذ المهام. فعلى سبيل المثال، يمكن لهذه الأنظمة الآن النظر إلى شاشة الكمبيوتر، وتحديد زر ما، والنقر عليه للتنقل في موقع إلكتروني، أو يمكنها تحليل لوحة تحكم لاستخراج نقاط بيانات محددة. يسلط المسح الضوء على أن أكثر عائلات هذه النماذج قدرة، والتي طورتها مختبرات بحثية كبرى، تتجه نحو قدرات "العالم-الفعل" (world-action). وهذا يعني أن النموذج لا يكتفي بمراقبة العالم فحسب، بل يتعلم أيضاً التنبؤ بكيفية تغير العالم استجابة لأفعاله الخاصة. إنه يتعلم ليكون مولداً، ومدركاً، وصانع قرار في آن واحد، قادراً على محاكاة السيناريوهات المستقبلية لاختيار أفضل مسار للعمل.
ومع ذلك، ومع ازدياد قوة هذه الأنظمة، توجب تغيير الطريقة التي نختبرها بها أيضاً. كان المعيار القديم هو طرح أسئلة بسيطة على النموذج مثل "ما لون السيارة؟" والتحقق مما إذا كانت الإجابة صحيحة. وجد الباحثون أن هذا النهج لم يعد كافياً. تركز الاختبارات المرجعية الحديثة الآن على تحديات أصعب بكثير، مثل ما إذا كان بإمكان النموذج تتبع جسم ما عبر فيديو طويل، أو الحفاظ على ثقته عند استخراج البيانات من مستند غير منظم، أو الحكم بشكل صحيح على سلامة حركة الروبوت. ويشير المسح إلى أن العديد من الاختبارات الحالية لا تزال تعتمد على أسئلة الاختيار من متعدد البسيطة، والتي يمكن أن تكون مضللة لأن النماذج يمكنها أحياناً تخمين الإجابة الصحيحة دون فهم حقيقي للصورة. ويتسابق المجال الآن لتطوير طرق أفضل لتقييم ما إذا كان النموذج يقوم بالتفكير فعلياً أم أنه مجرد يحفظ الأنماط.
على الرغم من هذه التطورات، لا تزال هناك تحديات كبيرة قائمة. فقد حدد الباحثون أن هذه النماذج لا تزال تعاني من "الهلوسة" (hallucinations)، حيث تصف بثقة أشياء أو أحداثاً غير موجودة فعلياً في الصورة. وهذه قضية حرجة، خاصة عندما تُستخدم هذه الأنظمة في مهام عالية الخطورة مثل التشخيص الطبي أو القيادة الذاتية. كما يشير المسح إلى أن السلامة والعدالة تشكلان مخاوف رئيسية، حيث يمكن خداع النماذج لجعلها تتجاهل قواعد السلامة الخاصة بها أو يمكن أن تظهر تحيزات ضد مجموعات معينة من الناس. علاوة على ذلك، فإن الكم الهائل من البيانات المطلوبة لتدريب هذه الأنظمة أصبح يشكل عائقاً، حيث يستكشف الباحثون طرقاً لاستخدام البيانات الاصطناعية أو التعلم الخاضع للإشراف الذاتي للتغلب على ندرة الأمثلة البشرية المصنفة بجودة عالية.
يخلص البحث إلى أنه بينما يكون التقدم في نماذج الرؤية واللغة سريعاً وتحولياً، إلا أن هذا المجال لا يزال في مرحلة من الاكتشاف النشط. إن الانتقال من مجرد مطابقة الصور والنصوص إلى أنظمة وكيلة موحدة يمثل تغييراً جوهرياً في كيفية تفاعل الذكاء الاصطناعي مع العالم. ويؤكد الباحثون أن السنوات القليلة القادمة لن تقتصر فقط على بناء نماذج أكبر، بل ستتمحور حول حل المشكلات الصعبة المتعلقة بالمواءمة (alignment)، والسلامة، والتفكير الموثوق. وهم يقترحون أن مستقبل هذه التكنولوجيا يكمكن في إنشاء أنظمة لا تستطيع فقط الرؤية والتحدث، بل يمكنها أيضاً العمل بمسؤولية ودقة في العالم الفيزيائي المعقد الذي نعيش فيه. إن الرحلة من آلة يمكنها وصف صورة إلى آلة يمكنها التنقل في مدينة أو تشخيص مرض هي رحلة بدأت بالفعل، لكن الطريق أمامنا يتطلب ملاحة دقيقة لضمان أن تكون هذه الأدوات القوية قادرة وجديرة بالثقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.