← أحدث الأبحاث
💬 NLP

Which Source Wins? Task-Dependent Reliance in Vision-Language Models

تكشف هذه الورقة أن نماذج الرؤية واللغة تغير اعتمادها ديناميكياً بين النصوص والصور بناءً على نوع المهمة وهيكل الأدلة، حيث تُظهر تفضيلاً للنصوص على الصور المتدهورة في المسائل الحسابية، لكنها تُظهر تفضيلاً أقوى للصور على النصوص المتدهورة في مهام الاستدلال القائمة على المخططات البيانية.

المؤلفون الأصليون: Rodela Ghosh, Aviral Gupta, Guangjing Wang

نُشر 2026-08-19
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Rodela Ghosh, Aviral Gupta, Guangjing Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

البشر بارعون بشكل ملحوظ في فهم العالم المربك. فعندما نتلقى معلومات من حواس مختلفة، مثل البصر والسمع، يقوم دماغنا تلقائياً بوزنها. وإذا أصبح أحد المصادر مشوشاً أو صعب الفهم، فإننا ننتقل غريزياً إلى المصدر الأكثر وضوحاً. هذه القدرة على إعادة معايرة ثقتنا هي جزء أساسي من كيفية تنقلنا في الواقع. وتصمم أنظمة الذكاء الاصطناعي الحديثة المعروفة بنماذج الرؤية واللغة للقيام بشيء مماثل؛ حيث تعالج هذه البرامج الصور والنصوص معاً، محاولةً حل المشكلات أو الإجابة على الأسئلة عبر الجمع بين ما تراه وما تقرأه. ولفترة طويلة، افترض الباحثون أن هذه الأنظمة تمتلك ببساطة تفضيلاً ثابتاً، رب الله تفضل النص على الصور، أو العكس، لكن ظل من غير الواضح ما إذا كانت هذه النماذج قادرة على تعديل ثقتها ديناميكياً عندما يختلف المصدران ويصبح أحدهما صعب القراءة.

لقد شرع فريق من الباحثين في اختبار هذه المرونة، حيث أرادوا معرفة ما إذا كان النموذج سيغير رأيه عندما يصبح النص ضبابياً أو تصبح الصورة مشوهة، وما إذا كان سيتفاعل بنفس الطريقة بغض النظر عن المصدر المتضرر. ولإيجاد الإجابة، أنشأوا سلسلة من الألغاز المحكومة؛ حيث أخذوا مسائل رياضية وصوروها كصور، ثم ربطوا كل صورة بالنص الخاص بمسألة رياضية مختلفة تماماً. وقد أجبر هذا النموذج على الاختيار بين إجابتين متضاربتين: إحداهما مستمدة من الصورة والأخرى من الكلمات. كرروا هذه العملية مع الرسوم البيانية والتقارير المكتوبة، فأنشأوا مجموعة بيانات جديدة حيث يظهر الرسم البياني إجابة بينما يشير النص المصاحب له إلى إجابة أخرى. وفي كل حالة، قاموا بتدهور أحد المصدرين بشكل منهجي، بجعل قراءته أصعب عن طريق إضافة الضبابية أو الضجيج أو الحروف المفقودة، مع إبقاء المصدر الآخر واضحاً تماماً. ثم راقبوا أي مصدر سيتبعه النموذج مع تزايد الارتباك.

كشفت النتائج عن تحول مفاجئ. فعندما اختبر الباحثون النماذج على المسائل الرياضية، حيث كان الصراع في الأساس بين نسختين من النص (واحدة مطبوعة على الشاشة وأخرى مكتوبة)، تصرفت النماذج بطريقة محددة؛ فكلما أصبح النص أصعب في القراءة، كانت النماذج تحول اعتمادها بعيداً عن النص بقوة أكبر مما فعلت عندما تعرضت الصورة للتدهور. ومع ذلك، عندما اختبروا نفس النماذج على الرسوم البيانية والتقاركات، انقلب السلوك تماماً. في هذا السيناريو، ومع ازدياد صعوبة قراءة الرسم البياني، حوّلت النماذج اعتمادها بعيداً عن المصدر المرئي بقوة أكبر مما فعلت مع النص المتدهور. كان هذا الانعكاس ثابتاً عبر ستة نماذج مختلفة مفتوحة المصدر، ولوحظ أيضاً في اثنين من أكثر النماذج التجارية تقدماً المتاحة. وجد الباحثون أن النماذج لا تملك انحيازاً دائماً تجاه الرؤية أو القراءة، بل إن اعتمادها على مصدر معين يعتمد كلياً على نوع المهمة وهيكل الأدلة المقدمة.

يتحدى هذا الاكتشاف فكرة أن أنظمة الذكاء الاصطناعي هذه تمتلك طريقة واحدة ثابتة لمعالجة المعلومات. فقد أظهرت الدراسة أن النماذج حساسة لسياق المشكلة؛ فعندما كانت المعلومات المرئية عبارة عن تمثيل بسيط للنص، اعتمدت النماذج بشكل أكبر على المصدر النصي، وحولت اعتمادها بعيداً عنه فقط عندما أصبح صعب القراءة بشكل كبير. ولكن عندما كانت المعلومات المرئية عبارة عن رسم بياني معقد، حوّلت النماذج اعتمادها بعيداً عن المصدر المرئي بشكل أكثر عدوانية مما فعلت مع المصدر النصي. وقد أكد الباحثون أن هذا النمط ظل قائماً حتى عندما استبدلوا الرسوم البيانية بجداول أرقام بسيطة، مما أثبت أن التأثير لم يكن متعلقاً بالأسلوب الرسومي للرسم البياني فحسب، بل بكيفية إدراك النموذج للعلاقة بين الدليل المرئي والنصي.

كما تناولت الدراسة ما إذا كانت النماذج تتفاعل ببساطة مع مقدار المعلومات المفقودة؛ حيث قاس الباحثون مدى انخفاض دقة النماذج عندما تُعطى المصدر المتدهور فقط، وقاموا بضبط تحليلهم لمراعاة هذا الفقد. وحتى بعد هذه المعايرة الدقيقة، ظل انعكاس السلوك قائماً. وهذا يشير إلى أن النماذج لا تتفاعل فقط مع شدة الضرر، بل تقوم بإصدار حكم أكثر تعقيداً حول المصدر الأكثر احتمالاً ليكون صحيحاً في موقف معين. وتشير النتائج إلى أن الطريقة التي تفصل بها هذه النماذج بين المصادر المتضاربة هي سلوك يعتمد على الإعداد، ويتشكل بناءً على المهمة الجارية، وطبيعة الدليل، وبنية النموذج المحددة.

من خلال توفير طريقة جديدة لقياس كيفية تغيير هذه الأنظمة لانتباهها، قدم الباحثون صورة أوضح لكيفية تعامل الذكاء الاصطناعي مع المعلومات المتضاربة. يوضح العمل أن هذه النماذج ليست جامدة في تفضيلاتها، بل هي قادرة على إعادة التخصيص الديناميكي. ومع ذلك، فإن هذه المرونة ليست موحدة، بل تتغير بناءً على السياق. وتخلص الدراسة إلى أن فهم كيفية اتخاذ هذه النماذج لقرار بشأن ما يجب الوثوق به يتطلب النظر في التفاصيل المحددة للمهمة وللأدلة، بدلاً من افتراض قاعدة عالمية. وهذا الفهم أمر بالغ الأهمية لأي شخص يأمل في نشر هذه الأنظمة في سيناريوهات العالم الحقيقي حيث قد تكون المعلومات ناقصة أو متناقضة، إذ يسلط الضوء على أن ثقة النموذج هي متغير سائل، وليست إعداداً ثابتاً.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💬 cs.CL →