🔬 condensed matter

Physics-based phenomenological characterization of cross-modal bias in multimodal models

تقترح هذه الورقة الموقف إطاراً ظاهرياً قائماً على الفيزياء لتوصيف ومعالجة الانحياز عبر الأنماط في النماذج اللغوية الكبيرة متعددة الوسائط، محاججةً بأن تحليل ديناميكيات المحولات من خلال بدائل فيزيائية يكشف عن تشوهات منهجية وأنماط جاذبة للأخطاء تغفل عنها التحليلات التقليدية على مستوى التضمين.

المؤلفون الأصليون: Hyeongmo Kim, Sohyun Kang, Yerin Choi, Seungyeon Ji, Junhyuk Woo, Hyunsuk Chung, Soyeon Caren Han, Kyungreem Han

نُشر 2026-02-25

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Hyeongmo Kim, Sohyun Kang, Yerin Choi, Seungyeon Ji, Junhyuk Woo, Hyunsuk Chung, Soyeon Caren Han, Kyungreem Han

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات إبداعية.

الفكرة الكبرى: عندما يصاب الذكاء الاصطناعي بـ "الصمم" تجاه حاسة واحدة

تخيل أنك تحاول فهم مشهد سينمائي. لديك عيناك (ترى وجوه الممثلين) وأذناك (تسمع أصواتهم). في العالم المثالي، يدمج عقلك كليهما للحصول على الصورة الكاملة. إذا بدا الممثل حزيناً لكنه يقول "أنا سعيد"، فقد تخمن أنه يكذب أو مرتبك.

تجادل هذه الورقة بأن نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) — وهي الذكاء الاصطناعي الذي يمكنه الرؤية والسمع — غالباً ما تفشل في ذلك. فبدلاً من دمج الحاستين معاً بشكل مثالي، تميل هذه النماذج إلى تجاهل إحداهما والاستحواذ على الأخرى.

يطلق المؤلفون على هذا اسم "التحيز عبر الوسائط" (Cross-Modal Bias). الأمر يشبه شخصاً يركز بشدة على قراءة نص السيناريو لدرجة أنه يتجاهل تماماً تعبيرات وجه الممثل، حتى عندما تخبره التعبيرات بقصة مختلفة.

الجزء الأول: التجربة (اختبار العاطفة)

لإثبات ذلك، قام الباحثون بإجراء لعبة باستخدام نموذجين مختلفين من الذكاء الاصطناعي (Qwen2.5-Omni و Gemma 3n).

الإعداد:
عرضوا على الذكاء الاصطناعي فيديوهات لممثلين يؤدون عواطف مختلفة (سعادة، حزن، غضب، إلخ). واختبروا ثلاثة سيناريوهات:

الوجه + الصوت: الفيديو الكامل مع الصوت.
الوجه فقط: الفيديو مع كتم الصوت.
الصوت فقط: الصوت مع استبدال الفيديو بشاشة فارغة.

المفاجأة:
قد تعتقد أن إضافة الصوت إلى الوجه سيساعد الذكاء الاصطناعي على الفهم بشكل أفضل. لكن النتائج أظهرت شيئاً غريباً:

عندما رأى الذكاء الاصطناعي الوجه، اتخذ قراراته بناءً على الوجه بشكل شبه كامل.
عندما أضافوا الصوت إلى الوجه، لم يغير الذكاء الاصطناعي رأيه. لم يقل: "أوه، الصوت يبدو غاضباً، لذا ربما يكون الوجه كاذباً". بل تمسك بما أخبره به الوجه فقط.
تم التعامل مع مدخلات "الصوت" كضوضاء خلفية؛ لم تساعد، بل تم تجاهلها فحسب.

التشبيه:
تخيل أنك في حفلة. أنت تنظر إلى وجه صديق (يبدو سعيداً) بينما هو يصرخ "أنا مستشيط غضباً!".

الإنسان سيتوقف ويفكر: "انتظر، وجهه يقول إنه سعيد، لكن صوته يقول إنه غاضب. هناك خطب ما".
هذا الذكاء الاصطناعي يتصرف كشخص عنيد ينظر فقط إلى الوجه ويقول: "إنه يبدو سعيداً، إذاً لا بد أنه سعيد"، متجاهلاً الصراخ تماماً.

وجد الباحثون أن لدى الذكاء الاصطناعي "حاسة مفضلة" (غالباً الرؤية) ويعامل الحاسة الأخرى كما لو لم تكن موجودة. وهذا أمر خطير لأنه في الحياة الواقعية (مثل التشخيص الطبي)، إذا تجاهل الذكاء الاصطناي صورة الأشعة السينية لأنه ركز أكثر من اللازم على الوصف النصي، فقد يفوت حالة طبية تهدد الحياة.

الجزء الثاني: التفسير الفيزيائي (تشبيه الأوركسترا)

لم يكتفِ المؤلفون بالقول إن "الذكاء الاصطناعي منحاز"، بل أرادوا معرفة "لماذا" يحدث ذلك داخل عقل الآلة. وللقيام بذلك، استخدموا نموذجاً قائماً على الفيزياء.

التشبيه: الأوركسترا الفوضوية
فكر في المعالجة الداخلية للذكاء الاصطناعي كأنها أوركسترا ضخمة تعزف الموسيقى.

العازفون: كل نوتة أو "رمز" (token) في الذكاء الاصطناعي هو عازف.
الأقسام: هناك قسمان: الوتريات (تمثل الفيديو) والنحاسيات (تمثل الصوت).
قادة الأوركسترا: لدى الذكاء الاصطناعي نوعان من القادة:
1. الانتباه الذاتي (Self-Attention): القائد الذي يطلب من الوتريات الاستماع إلى الوتريات الأخرى.
2. الانتباه المتقاطع (Cross-Attention): القائد الذي يطلب من الوتريات الاستماع إلى النحاسيات.

ما الذي حدث خطأ؟
قام الباحثون بنمذجة هذا النظام باستخدام معادلات تشبه حركة البندولات أو أنظمة الطقس الفوضوية (تسمى نظام لورينتز - Lorenz system).

وجدوا أنه لكي تعزف الأوركسترا أغنية جميلة ودقيقة (تنبؤ صحيح)، يجب أن يكون القادة نشطين للغاية. يجب أن تتواصل "الوتريات" و"النحاسيات" مع بعضهما البعض باستمرار وبصوت عالٍ.

ومع ذلك، في العديد من نماذج الذكاء الاصطناعي الحالية:

القادة كسالى أو ضعفاء.
الوتريات (الفيديو) صاخبة وواثقة جداً لدرجة أنها تطغى على النحاسيات (الصوت).
تحاول النحاسيات التحدث، لكن آلية "الانتباه المتقاطع" ضعيفة جداً بحيث لا تسمح لها بأن تُسمع.

النتيجة:
تصبح الموسيقى غير متوازنة. يتنبأ الذكاء الاصطناعي بالنتيجة بناءً على القسم الصاخب فقط (الفيديو)، متجاهلاً القسم الهادئ (الصوت). تُظهر "فيزياء" النموذج أنه ما لم تكن الصلة بين المجموعتين قوية بما يكفي، فإن النظام ينهار طبيعياً بالاعتماد على جانب واحد فقط.

الجزء الثالث: لماذا يهم هذا الأمر (مشكلة الصندوق الأسود)

عادةً، عندما نتحقق مما إذا كان الذكاء الاصطناعي عادلاً، فإننا ننظر إلى الدرجة النهائية: "هل حصل على 90% من الإجابات الصحيحة؟"

المشكلة:
قد يصيب الذكاء الاصطناعي في 90% من الحالات، لكنه قد يفعل ذلك لأسباب خاطئة. قد يتجاهل الصوت تماماً ويعتمد فقط على التخمين بناءً على الفيديو. الاختبارات القياسية لا تكتشف ذلك لأنها تنظر فقط إلى الدرجة النهائية، وليس إلى كيفية دراسة الطالب.

الحل المقترح:
يقترح المؤلفون أننا بحاجة إلى طريقة جديدة للنظر إلى الذكاء الاصطناعي. بدلاً من معاملة الذكاء الاصطناعي كـ "صندوق أسود" يفكر بشكل سحري، يجب أن نعامله كـ آلة فيزيائية ذات أجزاء متحركة (مثل التروس، أو الزنبركات، أو المذبذبات).

من خلال استخدام هذه الرؤية "الفيزيائية"، يمكننا رؤية التشوهات الخفية في كيفية معالجة الذكاء الاصطناعي للمعلومات. يمكننا أن نرى أن "التروس" الخاصة بالتواصل عبر الوسائط تنزلق، مما يسبب هذا التحيز.

ملخص في جملة واحدة

تجادل هذه الورقة بأن نماذج الذكاء الاصطري الحالية غالباً ما تتجاهل حاسة واحدة (مثل السمع) لصالح أخرى (مثل البصر) لأن "توصيلاتها" الداخلية ليست قوية بما يكفي لدمجهما، ونحن بحاجة إلى استخدام أدوات قائمة على الفيزياء لإصلاح هذا الخلل الخفي قبل أن يتسبب في ضرر في العالم الحقيقي.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "التوصيف الظاهراتي القائم على الفيزياء للتحيز عبر الوسائط في النماذج متعددة الوسائط."

1. بيان المشكلة

بينما حققت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) تقدماً كبيراً في الفهم والاستدلال والتوليد، إلا أنها تعاني من تحيز منهجي عبر الوسائط.

الظاهرة: بدلاً من دمج المعلومات من وسائط متعددة (مثل النص، الصوت، الفيديو) لتحسين المتانة، تظهر هذه النماذج غالباً هيمنة الوسيط الواحد، حيث تُقاد القرارات بشكل أساسي بواسطة وسيط واحد (عادةً النص أو الفيديو)، مما يجعل الوسائط الأخرى عديمة الفائدة أو حتى ضارة بالأداء.
الفجوة: تفشل طرق التقييم التقليدية (مقاييس الدقة الإجمالية) والمناهج المعرفية (تحليل التمثيلات الرمزية أو التضمينات الثابتة) في رصد التشوهات غير الجلية في ديناميكيات اتخاذ القرار للنموذج. تنشأ هذه التشوهات من التفاعلات غير الخطية المعقدة داخل بنية المحولات (الانتباه الذاتي والانتباه المتقاطع)، لكنها تظل غير مرئية في تقارير الأداء القياسية.
الهدف: يرى المؤلفون أن هذه التحيزات ليست مجرد عيوب تمثيلية، بل هي خصائص ناشئة عن ديناميكيات المحولات (Transformer Dynamics). لذا يقترحون نهجاً ظاهراتياً قائماً على الفيزياء لتوصيف هذه الديناميكيات، والابتعاد عن التفسيرات الميتافيزيقية أو الرمزية البحتة.

2. المنهجية

تعتمد الورقة منهجية ذات شقين: التحليل التشخيصي التجريبي على نماذج حقيقية متعددة الوسائط، والنمذجة الديناميكية النظرية باستخدام نموذج بديل قائم على الفيزياء.

أ. التحليل التشخيصي التجريبي

النماذج المختبرة: نموذجان متميزان معمارياً: Qwen2.5-Omni و Gemma 3n.
المهمة: تصنيف العواطف بأسلوب (Zero-shot) باستخدام مجموعة بيانات CREMA-D (7,442 عينة لممثلين يعبرون عن مشاعر مع تزامن صوتي وفيديو).
الظروف التجريبية:
1. متعدد الوسائط: فيديو (الوجه) + صوت (الصوت).
2. أحادي الوسيط (فيديو): فيديو فقط (استبدال الصوت بالصمت).
3. أحادي الوسيط (صوت): صوت فقط (استبدال الفيديو بإطارات فارغة).
استراتيجية الاضطراب: طبق المؤلفون اضطراباً منهجياً في الملصقات (Labels)، حيث منعوا النماذج صراحةً من اختيار مجموعات فرعية محددة من ملصقات العواطف (مثل إزالة "محايد" أو "سعيد" من فضاء المخرجات) لمراقبة كيفية تحول أنماط الخطأ.
التصور البياني: استخدموا الرسوم البيلية الموجهة لرسم خرائط جاذبات الخطأ (أنماط التصنيف الخاطئ) ومخططات سانكي (Sankey diagrams) لتصور هرمية التحيز.

ب. النموذج البديل الفيزيائي

المفهوم: طور المؤلفون نموذجاً ديناميكياً متعدد المتذببات لمحاكاة ديناميكيات المحولات. يعامل هذا النموذج تمثيلات الرموز (Tokens) كمتذبذبات طورية (Phase Oscillators).
الآلية:
- الانتباه الذاتي ( $V_{SA}$ ): يُنمذج كتفاعلات داخل المجموعة الواحدة ضمن وسيط واحد.
- الانتباه المتقاطع ( $V_{CA}$ ): يُنمذج كتفاعلات بين المجموعات المختلفة للوسائط المتباينة.
- طوبولوجيا الشبكة: تعتمد على شبكات "واتس-ستروغاتس" صغيرة العالم (Watts–Strogatz small-world networks) لتعكس البنية الدلالية للنماذج اللغوية الكبيرة.
المهمة: تم اختبار النموذج على تنبؤ السلاسل الزمنية الفوضوية لنظام لورينز (Lorenz chaotic time-series).
- المتذبذبات في المجموعة $X$ يتم توجيهها بواسطة المركبة $x$ لنظام لورينز.
- المتذبذبات في المجموعة $Y$ يتم توجيهها بواسطة المركبة $y$ لنظام لورينز.
- الهدف هو التنبؤ بالمركبة $z$ .
المقاييس:
- متوسط الخطأ التربيعي المعياري (NMSE): لقياس دقة التنبؤ.
- ديناميكيات SHAP (Dynamical SHAP): مقياس تم تعريفه لقياس مساهمة كل وسيط ( $X$ أو $Y$ ) في التنبؤ، مما سمح للمؤلفين بقياس هيمنة الوسيط ( $\phi(Y) - \phi(X)$ ).

3. المساهمات الرئيسية

الإطار الظاهراتي: تقديم نهج ظاهراتي جديد قائم على الفيزياء لتفسير تحيز الذكاء الاصطناعي. بخلاف الرؤى المعرفية التي تعامل الذكاء الاصطناعي كترميز لرموز خارجية، يركز هذا النهج على "التجربة المعاشة" للآلة (الديناميكيات الفيزيائية الداخلية أثناء الاستنتاج) لتفسير التحيز.
النموذج الفيزيائي البديل: تطوير نموذج رياضي يربط آليات الانتباه في المحولات (الانتباه الذاتي والمتقاطع) بـ ديناميكيات المتذبذبات المقترنة، مما يوفر وسيلة قابلة للتحليل للتفاعلات متعددة الوسائط المعقدة.
اكتشاف جاذبات الخطأ: إثبات أن إخفاقات النماذج ليست عشوائية، بل تتبع أنماط جاذبات خطأ مهيكلة (تحيزات هرمية) لا تظهر إلا تحت تأثير الاضطراب.
فرضية تعزيز الوسيط: تقديم دليل على أن إضافة وسيط ثانٍ غالباً ما يؤدي إلى تعزيز هيمنة الوسيط الأساسي بدلاً من تخفيف التحيز، مما يؤدي إلى تأثيرات "الارتباط المحكم" (Lock-in effects) حيث يتم تجاهل الوسيط الثانوي.

4. النتائج الرئيسية

النتائج التجريبية (Qwen2.5 & Gemma 3n)

التحيز الهرمي: أظهر كلا النموذجين تحيزاً قوياً نحو فئة العاطفة "محايد". وعند إزالة "محايد" عبر الاضطراب، تعود النماذج إلى هرمية ثانوية محددة (مثل "سعيد" لنموذج Qwen2.5) بدلاً من توزيع الأخطاء بشكل عشوائي.
هيمنة الوسيط:
- Qwen2.5: هيكل الخطأ في حالة (فيديو + صوت) يشبه إلى حد كبير حالة (فيديو فقط). مدخلات الصوت لا تصحح تحيز الفيديو؛ بل يتم قمعها فعلياً.
- Gemma 3n: أظهر عدم تماثل أقوى. مدخلات (الصوت فقط) تسببت في انهيار هائل نحو "محايد"، لكن وجود الفيديو في حالة (فيديو + صوت) يقمع تماماً تحيز الصوت هذا، ويجبر النموذج على التصرف مثل حالة (الفيديو فقط).
الاستنتاج: المدخلات متعددة الوسائط لا تعمل كإشارات تصحيحية؛ بل غالباً ما تعزز هيمنة الوسيط الأقوى.

نتائج النمذجة الديناميكية

مستويات الانتباه مهمة:
- الانتباه المنخفض ( $\beta_{self}, \beta_{cross} \approx 10^{-4}$ ): يهيمن وسيط واحد على النظام (المجموعة $X$ )، مما يؤدي إلى خطأ تنبؤ عالٍ (NMSE).
- الانتباه العالي ( $\beta_{self}, \beta_{cross} \approx 100$ ): تصبح مساهمات كلا الوسيطين متساوية ( $\phi(X) \approx \phi(Y)$ ). يحقق النظام الدقة المثلى، وينجح التنبؤ في إعادة إنتاج بنية الجاذب الفوضوي.
الدلالة: ينشأ التحيز المنهجي في النماذج متعددة الوسائط عندما لا تكون آليات الانتباه الذاتي والمتقاطع مضبوطة بدقة كافية لموازنة التفاعل بين الوسائط.

5. الأهمية والآثار المترتبة

ما وراء المقاييس الإجمالية: تجادل الورقة بأن مقاييس العدالة القياسية (التي تقارن الأداء بين المجموعات) تغفل عدم العدالة غير المقارنة (العشوائية وعدم الوضوح في ديناميكيات القرار الفردية). التحليل القائم على الرسوم البيانية والديناميكيات يكشف عن أوضاع الفشل الخفية هذه.
العدالة الخوارزمية: من خلال تحديد أن التحيز هو خاصية ناشئة عن ديناميكيات التفاعل وليس فقط تمثيل البيانات، تشير الورقة إلى أن إصلاح تحيز النماذج متعددة الوسائط يتطلب تعديلات معمارية في آليات الانتباه (تحديداً موازنة قوة الانتباه الذاتي والمتقاطع) بدلاً من مجرد إعادة توازن البيانات.
نموذج جديد للقابلية للتفسير: يمثل الانتقال من التفسيرات "الرمزية/المعرفية" إلى التفسيرات "الفيزيائية الظاهراتية" إطاراً أكثر صرامة لفهم "الصندوق الأسود" الداخلي لديناميكيات المحولات، لا سيما فيما يتعلق بكيفية معالجة الآلات للمعلومات المتضاربة أو الفائضة.

باختصار، تثبت الورقة أن التحيز متعدد الوسائط هو عدم استقرار ديناميكي حيث يقوم وسيط واحد بقمع وسيط آخر بسبب آليات انتباه غير متوازنة. وهي توفر أدوات قائمة على الفيزياء لتشخيص وربما تصحيح حالات عدم الاستقرار هذه لتحقيق ذكاء اصطناعي متعدد الوسائط عادل ومتين حقاً.