When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning
تقدم هذه الورقة البحثية "دلالات المهام المرئية" (VTS) للكشف عن فجوة أداء كبيرة في النماذج متعددة الوسائط عندما تُدمج التعليمات كبكسلات بدلاً من نصوص، وتقترح طريقة لربط منطقة التلقين (prompt-region grounding) تسد بفعالية فجوة القناة الدلالية هذه دون الحاجة إلى التعرف الضوئي على الحروف (OCR) أو بيانات وصف المناطق أثناء الاستدلال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتًا فائق الذكاء حل الألغاز. هذا الروبوت، المعروف باسم "النموذج اللغوي الكبير متعدد الوسائط" (MLLM)، يشبه إلى حد كبير طالبًا عبقريًا يمكنه قراءة النصوص والنظر إلى الصور في آن واحد. عادةً، تعطي الروبوت صورة لمسألة رياضية ورسالة نصية منفصلة تقول: "حل هذه!". يقرأ الروبوت التعليمات النصية، وينظر إلى الصورة، ثم يعطي الإجابة. ولكن ماذا لو لم تعطِ التعليمات كرسالة نصية؟ ماذا لو كتبت التعليمات داخل الصورة نفسها، مثل لافتة مطلية على جدار؟
كان العلماء يتساءلون عما إذا كان هذا الروبوت سيعمل بنفس الكفاءة أيضًا. هل يهم ما إذا كانت التعليمات عبارة عن "رمز نصي" (كلمة رقمية) أم "بكسل" (نقطة صغيرة من اللون على الشاشة)؟ في عالم الذكاء الاصطناعي، هناك شك بأن الروبوتات قد تكون بارعة في قراءة النصوص ولكنها سيئة جدًا في "قراءة" التعليمات التي تكون جزءًا من الصورة. قد يتمكنون من نسخ الكلمات بدقة (مثل آلة التصوير)، لكنهم قد يفشلون في فهم أن تلك الكلمات هي "الرئيس" الذي يملي عليهم ما يجب فعله! هذا البحث يغوص في هذا الغموض ليرى ما إذا كان الروبوت سيصاب بالارتباك عندما تُكتب القواعد داخل الصورة بدلاً من صندوق الدردشة.
لغز السؤال "المبكسل"
قرر الباحثون، وهم فريق من الجامعات وشركات التكنولوجيا، اختبار هذه الفكرة بتجربة ذكية أطلقوا عليها اسم "الدلالات المهيكلة بصريًا" (VTS). تخيل أن لديك اختبارًا رياضيًا قياسيًا. عادةً، يكون السؤال مكتوبًا بنص مطبوع فوق الصورة. وفي تجربتهم، أخذوا نفس السؤال تمامًا، ومسحوا النص المكتوب، وطلاء السؤال مباشرة فوق الصورة. حتى أنهم استبدلوا التعليمات الأصلية المكتوبة بملاحظة صغيرة ومملة تقول فقط: "ساعدني في حل المسألة".
أجروا هذا الاختبار على ستة نماذج مختلفة من الذكاء الاصطناعي باستخدام أربعة أنواع مختلفة من الاختبارات المعيارية الصعبة (مثل المخططات الرياضية والرسوم البيانية المعقدة). وكانت النتيجة انخفاضًا هائلًا في الأداء. في المتوسط، انخفضت دقة النماذج بمقدار 17.8 نقطة عندما كان السؤال "مطلياً" في الصورة مقارنة بكونه نصًا مكتوبًا. وفي بعض الحالات، وصل الانخفاض إلى 28.0 نقطة.
لم يكن الأمر مجرد أن الروبوتات لا تستطيع قراءة الحروف؛ فقد تحقق الباحثون، ووجدوا أن النماذج يمكنها بالفعل نسخ الكلمات المطلية بشكل صحيح في معظم الأوقات. المشكلة كانت أعمق: النماذج كانت تفشل في استخدام تلك الكلمات كتعليمات. الأمر كما لو أن الروبوت رأى اللافتة على الجدار، واستطاع تهجئة الكلمات، لكنه لم يدرك: "أوه، هذه اللافتة تخبرني بما يجب علي فعله!". يطلق الباحثون على هذا الأمر اسم "فجوة القناة الدلالية"؛ فالمسار الذي تسلكه المعلومات (نص مقابل صورة) يغير طريقة تفكير الروبوت، حتى لو كانت الكلمات متطابقة.
الحل: تعليم الروبوت كيفية "تأصيل" اللافتة
لإصلاح ذلك، طور الفريق طريقة تدريب جديدة تسمى "تأصيل منطقة المحفز" (Prompt-Region Grounding). فكر في الأمر كتعليم طفل أن يشير إلى لافتة ويقول: "هذه هي القاعدة!".
استخدموا حيلتين خاصتين أثناء التدريب:
- PVRD-SG (مطابقة المعنى): أظهروا للروبوت الصورة مع السؤال الملون ونسخة نصية نظيفة ومنفصلة من نفس السؤال. لقد أجبروهم على إدراك أن الجزء المحدد من البكسلات الذي يحتوي على السؤال يعني الشيء نفسه الذي يعنيه النص المكتوب. إنه يشبه ربط اللافتة الفيزيائية الموجودة على الجدار بالمفهوم الذهني للقاعدة في عقل الروبوت.
- PRMLP (اختبار النقطة العمياء): أخذوا الصورة التي تحتوي على السؤال الملون وغطوا أجزاء من النص بصندوق أسود (قناع/Masking). ثم طلبوا من الروبوت تخمين معنى النص المخفي بناءً على بقية الصورة. هذا أجبر الروبوت على تعلم جوهر التعليمات، وليس مجرد حفظ البكسلات بدقة.
والجزء الأفضل؟ لم يتطلب هذا التدريب من الروبوت استخدام أي أدوات خاصة مثل التعرف الضوئي على الحروف (OCR) أو معرفة مكان مربع النص بالضبط أثناء خوض الاختبار الفعلي. خلال الامتحان النهائي، يرى الروبوت ببساطة الصورة مع السؤال الملون ويجيب مباشرة، تمامًا كما كان يفعل من قبل.
النتائج: سد الفجوة
كانت النتائج واعدة. بعد هذا التدريب الجديد، قفزت دقة النماذج في اختبارات "السؤال الملون" من 58.0% إلى 66.3%. وهذا تحسن ملحوظ، مما قلل الفجوة بين التعليمات النصية والتعليمات الصورية. كما تحسنت النماذج قليلاً في الاختبارات الأصلية القائمة على النصوص (من 69.1% إلى 70.3%)، مما يثبت أنها لم تفقد مهاراتها القديمة.
اختبر الباحثون هذه الطريقة على أكثر من 1,000 صورة من العالم الحقيقي لم يروها من قبل، مثل صور أوراق العمل، والنماذج، ولقطات الشاشة. حسنت الطريقة الجديدة الدقة بمقدار 7.9 نقطة في هذه الصفحات الواقعية.
ماذا يعني هذا؟
خلصت الورقة البحثية إلى أن قراءة النص في صورة واستخدام هذا النص كتعليمات هما مهارتان مختلفتان. مجرد قدرة الروبوت على قراءة الكلمات لا يعني أنه يعرف كيفية الاستماع إليها عندما تكون جزءًا من صورة. من خلال تعليم الروبوت كيفية "تأصيل" السؤال البصري لمعناه، ساعدوه على جسر هذه الفجوة.
يشير المؤلفون بحذر إلى أنه رغم تحسين الوضع، إلا أنهم لم يحلوا المشكلة تمامًا. فلا تزال هناك فجوة صغيرة متبقية، وتعمل هذه الطريقة بشكل أفضل عندما يكون النص واضحًا وفي تنسيق قياسي. ومع ذلك، تثبت هذه الدراسة أن الطريقة التي نتحدث بها إلى الذكاء الاصطنا_ي أمر بالغ الأهمية. إذا أردنا أن تكون الروبوتات ذكية حقًا، فعلينا تعليمها أن السؤال المكتوب بالبكسلات لا يقل أهمية عن السؤال المكتوب في صندوق الدردشة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.