When Irrelevant Text Matters: Affine Margin Shifts in Multimodal Large Language Models
تكشف هذه الورقة أن النصوص غير المرتبطة بالمهمة في النماذج اللغوية الكبيرة متعددة الوسائط تحيز أحكام الرؤية الثنائية بشكل منهجي عبر إحداث تحويل تآلفي يمكن التنبؤ به في هوامش القرار، مما يميز هذا التأثير كتشويه هندسي قابل للتقدير بدلاً من كونه ضوضاء غير منظمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد الحديث للذكاء الاصطناعي، ظهر جيل جديد من الأنظمة التي يمكنها الرؤية والتحدث في آن واحد. هذه النماذج متعددة الوسائط مدربة على النظر إلى صورة والإجابة على أسئلة حولها، أو وصف مشهد بالتفصيل. إنها أدوات قوية، قادرة على تحديد الأشياء، وقراءة النصوص داخل الصور، والاستنتاج حول المواقف المعقدة. ومع ذلك، فإن هذه الأنظمة لا تعمل في فراغ. ففي التطبيقات الواقعية، غالباً ما يتم تزويدها بمعلومات إضافية إلى جانب الصورة: رسائل المستخدم السابقة، أو مقال مسترجع، أو مدخل من قاعدة بيانات. والهدف من هذا النص الإضافي هو مساعدة النموذج على فهم الصورة بشكل أفضل. ولكن ماذا يحدث عندما لا يكون لهذا النص الإضافي أي علاقة بالصورة؟ هل يتجاهل النموذج الضجيج، أم يصاب بالارتباك؟ يقع هذا السؤال في قلب تحقيق حديث حول كيفية معالجة هذه الأنظمة الذكية للمعلومات عندما ينقسم انتباهها بين مشهد بصري وكلمات غير ذات صلوة.
لقد وضع الباحثون هدفهم لاختبار هذا السيناريو تحديداً باستخدام تجربة منضبطة. أخذوا سلسلة من الصور والأسئلة، مثل السؤال عما إذا كان كلب في صورة يقفز فوق حاجز. ثم أنشأوا نسختين من المدخلات لكل سؤال. في النسخة الأولى، رأى النموذج الصورة والسؤال فقط. وفي النسخة الثانية، رأى النموذج نفس الصورة والسؤال، ولكن مع إدراج كتلة من النص غير ذي الصلة تماماً في "المطالبة" (prompt). كان هذا النص عبارة عن جملة عشوائية من كتاب أو مقال، شيء مثل قصة عن شخص يسافر إلى فرنسا، ليس لها أي علاقة بالكلب أو الحاجز. أراد الباحثون معرفة ما إذا كان هذا الضجيج العشوائي سيغير رأي النموذج.
كانت النتائج مذهلة. فعند إضافة النص غير ذي الصلة، لم تكتفِ النماذج بمجرد تجاهله، بل غيرت إجاباتها باستمرار. والأهم من ذلك، أنها لم تغير رأيها بطريقة عشوائية؛ فقد أصبحت النماذج أكثر عرضة بشكل ملحوظ لقول "لا" للأسئلة، حتى عندما تظهر الصورة بوضوح حالة "نعم". على سبيل المثال، إذا كان النموذج واثقاً من أن كلباً يقفز، فإن إضافة نص غير مرتبط غالباً ما جعلته يتردد ويقلب إجابته ليقول إن الكلب لا يقفز. حدث هذا التحول عبر أنواع مختلفة من الصور والنماذج المختلفة، مما يشير إلى وجود خلل منهجي وليس مجرد خطأ عشوائي. لم تكن النماذج تصبح أقل دقة فحسب، بل كانت تُدفع نحو نوع محدد من الخطأ، وهو النوع الذي تشك فيه بما تراه من أدلة بصرية.
لفهم سبب حدوث ذلك، نظر الباحثون إلى ما هو أعمق من مجرد الإجابات النهائية؛ حيث فحصوا درجات الثقة الداخلية التي تولدها النماذج قبل اتخاذ القرار. ووجدوا نمطاً محدداً للغاية في كيفية معالجة النماذج للمعلومات. فعندما رأت النماذج الصورة وحدها، كانت تمتلك مستوى معيناً من الثقة في إجابتها. وعند إضافة النص غير المرتبط، لم تختفِ تلك الثقة أو تصبح فوضوية، بل تحولت بطريقة رياضية متوقعة. كان مستوى الثقة الجديد نسخة مشوهة من الأصل، مضغوطة ومدفوعة في اتجاه محدد. كان الأمر كما لو أن النص الإضافي عمل كمرشح (فلتر) يعصر يقين النموذج ويميل الميزان ضد الدليل البصري.
لقز أدى هذا الاكتشاف إلى استبعاد فكرة أن النماذج كانت مرتبكة ببساطة بسبب الكلمات الإضافية أو أن النص عمل كضجيج استاتيكي عشوائي. فلو كان ضجيجاً عشوائياً، لكانت الأخطاء مشتتة وغير متوقعة. وبدلاً من ذلك، اتبعت الأخطاء قاعدة صارمة. وصف الباحثون هذه القاعدة بأنها تحول ثابت، حيث يتم تمديد وتغيير الحكم الداخلي للنموذج بفعل وجود النص. ووجدوا أنه يمكن قياس هذا التحول وحتى التنبؤ به. ومن خلال فهم نمط التحول، تمكنوا من إنشاء طريقة تصحيح بسيطة، وهي طريقة يمكنها جزئياً إلغاء الضرر الناجم عن النص غير ذي الصلة، واستعادة قدرة النموذج على الثقة فيما يراه في الصورة.
كما كشفت الدراسة أن الطريقة التي يُقدم بها النص كانت مهمة. فعندما تم تأطير النص غير ذي الصلة كما لو كان قد يكون مرتبطاً بالصورة، كان التشوه أقوى. بدا أن النماذج تعامل الكلمات العشوائية كما لو كانت أدلة، وتحاول ملاءمتها في فهمها للصورة، مما أدى إلى ارتباك أكبر. وهذا يشير إلى أن النماذج ليست مجرد مستقبلات سلبية للمعلومات، بل هي تحاول بنشاط فهم كل ما يُعطى لها، حتى عندما تكون تلك المعلومات عديمة الفائدة. إنها تكافح للتمييز بين ما هو ذو صلة بالمهمة البصرية وما هو مجرد ضجيج خلفي.
تقدم هذه النتائج طريقة جديدة للنظر في كيفية تعامل الذكاء الاصطناعي مع المعلومات. فقد تبين أن إضافة نص إضافي إلى مهمة بصرية لا يضيف حجماً فحسب، بل يغير شكل تفكير النموذج. فالنماذج حساسة للسياق الذي تُعطى إياه، وهذه الحساسية يمكن أن تؤدي بها إلى الشك في عيونها. وبينما أظهر الباحثون أنه يمكن قياس هذا التأثير وتصحيحه جزئياً، إلا أن المشكلة الأساسية تظل قائمة: وهي أن هذه الأنظمة ليست قوية بما يكفي لتجاهل ما هو غير ذي صلة. ومع دمج هذه التقنيات في أنظمة أكثر تعقيداً في العالم الحقيقي حيث ستتلقى باستمرار تدفقات من البيانات، فإن فهم كيفية تفاعلها مع الضجيج أمر بالغ الأهمية. يوفر هذا العمل أداة تشخيصية واضحة لرصد هذه الانحيازات، ويضع أساساً لبناء أنظمة يمكنها التركيز على الصورة، حتى عندما يكون العالم من حولها مليئاً بالمشتتات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.