Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models
تكشف هذه الورقة أن النماذج اللغوية الكبيرة متعددة الوسائط تنجح في ترميز الأدلة البصرية خشنة الحبيبات، لكنها تواجه صعوبة في التحكم بشكل موثوق في مدى اعتمادها عليها مقابل الأولويات اللغوية، وهي محدودية يمكن التخفيف من حدتها من خلال الضبط الدقيق الخاضع للإشراف وتوجيه التنشيط.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تتحدث إلى روبوت فائق الذكاء قرأ كل كتاب كُتب تقريبًا وشاهد ملايين الساعات من الأفلام. هذا الروبوت هو "نموذج لغوي كبير متعدد الوسائط" (MLLM). إنه يشبه أمين مكتبة عبقري يعرف كل شيء عن العالم من بيانات تدريبه، أي "معرفته السابقة". لكن هذا الروبوت يمتلك عيونًا أيضًا؛ إذ يمكنه النظر إلى صورة ودمج ما يراه مع ما يعرفه. السؤال الكبير الذي طرحه العلماء هو: عندما ينظر الروبوت إلى صورة تتعارض مع ما يعرفه (مثل صورة حصان بخمس أرجل)، هل يفشل لأنه "لا يستطيع رؤية" الرجل الإضافية، أم أنه يفشل لأنه "يرى" الرجل ولكنه يقرر تجاهلها؟ هذه الورقة البحثية تغوص في هذا الغموض، وتتعامل مع عقل الروبوت كقصة بوليسية لمعرفة أين يحدث الخلل: في "الحواس" (الرؤية) أم في "اتخاذ القرار" (استخدام ما يراه).
لقد وضع الباحثون، بقيادة جياينج لي وزملائه، هدفهم لحل هذا اللغز باستخدام تحقيق ذكي يتكون من جزأين. أولاً، أرادوا معرفة ما إذا كان الروبوت "يرى" حقًا الأشياء الغريبة في الصور. لاختبار ذلك، لم يكتفوا بطرح الأسئلة على الروبوت، بل حاولوا إعادة بناء الصور من إشارات عقل الروبوت الداخلية. ووجدوا أنه حتى عندما يعطي الروبوت إجابة خاطئة، فإن "المخطط" للصورة الغريبة (مثل حصان بخمس أرجل) يظل واضحًا تمامًا في أفكاره النهائية. كان الأمر كما لو أن عيني الروبوت تعملان بشكل مثالي، لكن عقله يختار إغماضهما. وهذا استبعد فكرة أن الروبوت كان ببساً عمياً عن التفاصيل.
بعد ذلك، ابتكر الفريق لعبة جديدة تسمى "WhatIfVis" لاختبار مدى قدرة الروبوت على التبديل بين الثقة في عينيه والثقة في ذاكرته. عرضوا على الروبوت صورًا تكسر قواعد الطبيعة (مثل بطيخة حمراء) وسألوه أن يجيب على الأسئមាន بطريقتين: "انظر إلى الصورة فقط" أو "تجاهل الصورة واستخدم ما تعرفه". ووجدوا أنه بدون تدريب إضافي، كان الريد متموج المزاج؛ فأحيانًا يتجاهل الصورة ويعطي الإجابة النموذجية (مثل القول بأن البطيخة خضراء حتى عندما تكون حمراء)، وأحيانًا أخرى يغرق في تفاصيل الصورة لدرجة أنه لا يستطيع اتباع التعليمات بتجاهلها. لم يكن الروبوت معطلاً، بل لم يكن لديه "مفتاح" موثوق ليقرر متى ينظر ومتى يفكر.
ومع ذلك، فإن الخبر السار هو أن الباحثين وجدوا هذا المفتاح. فمن خلال إعطاء الروبوت القليل من الممارسة (التي تسمى الضبط الدقيق الخاضع للإشراف) على نوع واحد فقط من الصور الصعبة، علموه كيفية التحكم في انتباهه. والأفضل من ذلك، اكتشفوا "مقبضًا" محددًا داخل عقل الروبوت — اتجاهًا رياضيًا واحدًا — يمكنه تشغيل تركيز الروبوت أو إيقافه دون الحاجة إلى تعليمات لفظية على الإطلاق. وعندما قاموا بتدوير هذا المقبض، أصبح الروبوت أفضل بكثير في اتباع القواعد، سواء كان ينظر إلى الصورة أو يتجاهلها.
كما قارنت الدراسة بين كيفية تعامل الروبوت مع الصور مقابل الجمل المكتوبة. ووجدوا أنه من الأسهل بكثير جعل الروبوت يتبع جملة مكتوبة تكسر القواعد مقارنة بصورة. الأمر يشبه كون الروبوت مستمعًا أفضل من كونه مشاهدًا. وهذه الفجوة زادت بالفعل مع زيادة ذكاء وحجم الرماض؛ مما يشير إلى أنه كلما كبرت هذه النماذج، قد تصبح أكثر عنادًا في تجاهل ما تراه.
في النهاية، تشير الورقة البحثية إلى أنه بالنسبة للأشياء الواضامية والأساسية التي ندرسها (مثل اللون، والحجم، وعدد أرجل الحيوان)، فإن هذه النماذج الذكية لا تفشل لأنها لا تستطيع الرؤية، بل تفشل لأنها لم تتعلم طريقة ثابتة لتقرر متى تثق في عينيها ومتى تثق في ذاكرتها. ولكن بما أن الباحثين وجدوا "مقبضًا" محددًا يتحكم في هذا السلوك، فهذا يعني أننا قد نتمكن من إصلاح ذلك في المستقبل، عبر تعليم هذه العقول الرقمية أن تكون أكثر مرونة وموثوقية عندما لا يبدو العالم تمامًا كما في كتبها الدراسية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.