Re:Verse -- Can Your VLM Read a Manga?
تقدم هذه الورقة Re:Verse، وهو إطار تقييم مبتكر يكشف بشكل منهجي عدم قدرة نماذج الرؤية واللغة الحالية على إجراء الاستدلال السردي العميق والحفاظ على السببية الزمنية في سرد القصص البصرية المتسلسلة مثل المانجا، على الرغم من كفاءتها في التعرف على اللوحات الفردية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك صديقاً آلياً (روبوت) ذكياً للغاية في النظر إلى الصور المنفردة. إذا عرضت عليه صورة قطة، سيعرف أنها قطة. إذا عرضت عليه صورة شخص يمسك كوباً، سيعرف أنه يشرب.
ولكن ماذا يحدث إذا سلمت ذلك الروبوت كتاباً مصوراً (كوميك)؟
هذه الورقة البحثية، التي تحمل عنوان "Re:Verse"، تشبه "شهادة درجات" تُعطى لأذكى روبوتات الذكاء الاصطناعي في العالم (المعروفة بنماذج الرؤية واللغة - Vision-Language Models) لترى ما إذا كان بإمكانها حقاً قراءة مانجا (القصص المصورة اليابانية) وفهم القصة، أم أنها مجرد تخمن بناءً على الصور الفردية.
إليك تفصيل لما وجده الباحثون، باستخدام بعض التشبيهات من الحياة اليومية.
1. المشكلة: "اللقطة" مقابل "الفيلم"
نماذج الذكاء الاصطناعي الحالية تشبه السياح الذين يحملون كاميرات. يلتقطون صورة رائعة للحظة واحدة (لوحة واحدة من الكوميك) ويمكنهم وصفها بشكل مثالي: "أرى ولداً يبدو خائفاً. أرى قطة تضربه".
لكن الكتاب المصور هو فيلم مصنوع من صور ثابتة. لفهم القصة، عليك ربط النقاط بين الصور. أنت بحاجة لمعرفة:
- مَن المتحدث؟ (هل القط هو من يتحدث، أم أن الولد يفكر؟)
- ماذا حدث قبل هذه الصورة؟
- ماذا سيحدث بعدها؟
- لماذا الولد غاضب في اللوحة رقم 5، لكنه سعيد في اللوحة رقم 6؟
وجد الباحثون أنه بينما تتفوق هذه الروبوتات في وصف "اللقطة"، إلا أنها سيئة جداً في "مشاهدة" الفيلم. إنها تفقد خيط القصة فوراً.
2. الاختبار: "Re:Verse"
لاختبار ذلك، أنشأ الفريق امتحاناً جديداً يسمى Re:Verse.
- المادة المصدرية: استخدموا الجزء الأول من مانجا شهيرة تسمى Re:Zero. لماذا؟ لأن Re:Zero معقدة. فهي تتضمن حلقات زمنية، وشخصيات تموت ثم تعود للحياة، وتحولات عاطفية معقدة. إنها بمثابة "الوضع الصعب" في قراءة الكوميك.
- الإعداد: أخذوا 308 صفحة من الكوميك وربطوا يدوياً كل فقاعة كلام وفقاعة تفكير بالنص الأصلي للرواية. الأمر يشبه وجود نص (سيناريو) مثالي بجانب الكتاب المصور.
- الطلاب: اختبروا 8 نماذج مختلفة من الذكاء الاصطناعي (سواء كانت مفتوحة المصدر أو النماذج الضخمة) لمعرفة مدى قدرتها على اجتياز هذا الامتحان.
3. النتائج: لقد ضاع الذكاء الاصطناعي
كانت النتائج محرجة قليلاً للذكاء الاصطناعي. إليكم ما حدث في ثلاث مجالات رئيسية:
أ. كارثة "مَن قال ماذا؟" (تحديد الشخصيات)
تخيل فصلاً دراسياً حيث يتحدث 10 أطفال في وقت واحد. إذا سألت بشراً: "مَن قال 'أنا جائع'؟"، يمكنه الإشارة إلى الطفل.
أما الذكاء الاصطناعي، فهو يشبه معلماً بديلاً مرتبكاً.
- كان بإمكانه غالباً العثور على فقاعات النص (عرف أن هناك كلمات موجودة).
- لكن عندما سُئل عن مَن كان يتحدث، كان يخمن خطأ بنسبة 100% تقريباً.
- التشبيه: الأمر يشبه مشاهدة مسرحية حيث يتبادل الممثلون النصوص في منتصف المشهد. الذكاء الاصطناعي يرى الكلمات، لكن ليس لديه أدنى فكرة عن أي شخصية تمسك بالميكروفون.
ب. تأثير "فقدان الذاكرة" (تركيب القصة)
عندما طُلب منه تلخيص القصة أو كتابة فصل جديد بناءً على الصور، أنتج الذكاء الاصطناعي هراءً مكرراً ومملاً.
- التشبيه: تخيل أنك تطلب من روبوت أن يخبرك بنكتة. يخبرك بالمقدمة، ثم ينسى الخاتمة، ثم يكرر المقدمة، ثم ينسى الخاتمة مرة أخرى.
- لم يستطع الذكاء الاصطناعي تتبع الشخصيات. فقد ينادي الشخصية الرئيسية بـ "سوبارو" في جملة، ثم ينسى اسمه تماماً في الجملة التالية. لم يستطع الحفاظ على شخصية متسقة للشخصيات عبر قصة طويلة.
ج. فشل "السفر عبر الزمن" (الاستدلال الزمني)
كانت هذه أكبر صدمة. سأل الباحثون الذكاء الاصطناعي: "إليك الصفحات من 1 إلى 5. ماذا سيحدث في الصفحة 6؟"
- التشبيه: الأمر يشبه إظهار أول خمس إطارات من فيلم لشخص ما وسؤاله عن توقع الإطار السادس.
- أدى الذكاء الاصطناعي أداءً سيئاً للغاية. لم يستطع التنبؤ بما سيحدث بعد ذلك. والأغرب من ذلك، أنه أحياناً كان أداؤه أسوأ عندما تكون الصفحات المفقودة المراد تخمينها أقل. يبدو أن الذكال الاصطناعي يعامل كل صفحة كحدث جديد وغير مرتبط بما قبله، بدلاً من كونها جزءاً من خط زمني مستمر.
4. لماذا يهم هذا؟
قد تسأل، "وماذا في ذلك؟ إنه مجرد كتاب مصور".
يجادل الباحثون بأن القصص المصورة هي الاختبار المثالي لـ "الذكاء الحقيقي".
- إذا كان بإمكان الذكاء الاصطناعي فقط التعرف على صورة كلب، فهذا مجرد مطابقة أنماط بسيطة.
- أما إذا استطاع الذكاء الاصطناعي فهم قصة حيث تموت شخصية، ثم تعود للحياة، ثم تشعر بالذنب، ثم تقاتل شريراً، فإن ذلك يتطلب تفكيرًا عميقًا.
تخلص الورقة البحثية إلى أن الذكاء الاصطناعي الحالي يشبه قارئاً سريعاً جداً لكنه بلا ذاكرة. يمكنه قراءة جملة، لكنه ينسى الصفحة السابقة فوراً. إنه يفتقر إلى القدرة على "ربط النقاط" عبر الزمن.
الخلاصة
إن معيار Re:Verse هو بمثابة جرس إنذار. إنه يخبرنا أنه بينما يتحسن ذكاء اصطناعي في "الرؤية"، فإنه لا يزال سيئاً جداً في "فهم القصص".
لبناء "ذكاء اصطناعي لراوي القصص" حقيقي يمكنه مساعدة الكتاب، أو تلخيص الكتب، أو فهم الأفلام، نحتاج إلى تعليم هذه النماذج كيفية تذكر الماضي والتنبؤ بالمستقبل، وليس فقط وصف الحاضر. وحتى ذلك الحين، إذا أردت قراءة مانجا، فمن الأفضل أن تقوم بذلك بنفسك!
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.