💻 computer science

Interpreting and Enhancing Emotional Circuits in Large Vision-Language Models via Cross-Modal Information Flow

تقدم هذه الورقة إطار عمل للنسب السببي قائم على متجه التوجيه للكشف عن وتعزيز دوائر "التكيف-التجميع-التنفيذ" العاطفية في النماذج اللغوية البصرية الكبيرة، مما يكشف عن فصل وظيفي بين تجميع الإشارات البصرية وتوليد السرد يتيح تدخلات مستهدفة أثناء الاستدلال لتحسين الاستدلال العاطفي بشكل كبير وتقليل الهلوسة.

المؤلفون الأصليون: Chengsheng Zhang, Chenghao Sun, Zhining Xie, Xinmei Tian

نُشر 2026-05-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chengsheng Zhang, Chenghao Sun, Zhining Xie, Xinmei Tian

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج رؤية ولغة ضخم (LVLM) كأنه ناقد فني ماهر، ولكنه مرتبك أحياناً. تعرض عليه صورة لشخص يبكي وتسأله: "ماذا يحدث هنا؟". من المفترض أن يقول: "هذا الشخص حزين". لكن في بعض الأحيان، تخطئ هذه النماذج، فتصف وجهًا حزينًا بكل ثقة بأنه "مبتهج" أو "متحمس". يُسمى هذا "الهلوسة العاطفية".

يعمل هذا البحث كالميكانيكي الذي يفتح غطاء محرك عقل ذلك الناقد الفني ليرى بالضبط كيف يعالج المشاعر، ثم يقوم بإصلاح الأسلاك ليجعله يصيب الهدف.

إليك تفصيل اكتشافهم وحلهم، باستخدام تشبيهات بسيطة:

1. المشكلة: "الصندوق الأسود" للمشاعر

في السابق، كنا نعرف أن هذه النماذج يمكنها أداء مهام عاطفية، لكننا لم نكن نعرف "كيف". كان الأمر يشبه معرفة أن السيارة تسير ولكن عدم معرفة أي جزء في المحرك هو الذي يجعلها تتحرك. أراد الباحثون إيجاد "الدوائر العاطفية" المحددة داخل عقل الذكاء الاصطناعي.

2. الاكتشاف: مصنع "التكيف-التجميع-التنفيذ"

وجد الباحثون أن الذكاء الاصطناائي لا "يشعر" بالصورة دفعة واحدة، بل يعالج المشاعر من خلال خط تجميع مكون من ثلاث مراحل، تماماً مثل مصنع يصنع كعكة مخصصة:

المرحلة 1: التكيف (المكونات الخام)
- ماذا يحدث: ينظر الذكاء الاصطناعي إلى بكسلات الصورة الخام (الدقيق، البيض، والسكر).
- التشبيه: هذا يشبه شاحنة التوصيل التي تجلب المكونات إلى المطبخ. الذكاء الاصطناعي يقوم فقط بتجهيز البيانات المرئية لتكون مفهومة، لكنه لم يقرر بعد نوع الكعكة التي سيصنعها.
المرحلة 2: التجميع (وعاء الخلط)
- ماذا يحدث: هذا هو الجزء الأكثر حرجاً. يأخذ الذكاء الاصطناعي تلك الإشارات المرئية ويبدأ في خلطها في "نكهة" محددة.
- الاكتشاف: وجد الباحثون أنه في الطبقات الوسطى من الذكاء الاصطناعي، توجد "أوعية خلط" خاصة (تسمى رؤوس الانتباه) مرتبطة بمشاعر معينة. هناك وعاء لـ "الحزن"، وآخر لـ "الغضب". إنها تأخذ الإشارات المرئية وتقول: "حسناً، هذه بالتأكيد قصة حزينة".
- التشبيه: هذا هو المكان الذي يتذوق فيه الخباز الخليط ويقرر: "هذا يحتاج إلى المزيد من الشوكولاتة". الذكاء الاصطناعي يقوم هنا ببلورة الشعور المجرد إلى مفهوم ملموس.
المرحلة 3: التنفيذ (الخبز والتزيين)
- ماذا يحدث: الآن بعد أن عرف الذكاء الاصطناعي "النكهة" (الحزن)، يبدأ في كتابة القصة.
- الاكتكتشاف: في الطبقات العميقة (نهاية العملية)، يغير الذكاء الاصطناعي تروسه. يتوقف عن استخدام وعاء "الحزن" المحدد ويبدأ في استخدام فرن عالمي يعمل لأي عاطفة. يأخذ مفهوم "الحزن" ويخبزه في جمل مثل "شعرت بقلب مثقل".
- التشبيه: الخباز الآن يضع الكعكة الحزينة في الفرن ويكتب الملصق على الصندوق. لقد تم اتخاذ قرار "الحزن" المحدد؛ الآن الأمر يتعلق فقط بتنفيذ المنتج النهائي.

3. الاختراق: "الفصل الوظيفي"

أهم ما وجدوه هو أن الذكاء الاصطناعي يفصل بين تقرير ماهية العاطفة وبين قول العاطفة.

الطبقات الوسطى: طهاة متخصصون يعرفون فقط كيفية صنع أطباق "حزينة" أو "غاضبة".
الطبقات العميقة: مدير عام يأخذ أي طبق جاهز ويقدمه للزبون.

4. الحل: VEENA (الإصلاح الجراحي)

بدلاً من إعادة تدريب الذكاء الاصطناعي بالكامل (وهو أمر مكلف وبطيء)، ابتكر الباحثون أداة تسمى VEENA. فكر في VEENA كأنها "جهاز تحكم عن بعد" لعقل الذكاء الاصطناعي تستخدمه أثناء تفكيره.

تعزيز العاطفة البصرية (VEE): هذا الجزء يرفع مستوى الإشارة القادمة من الصورة. إنه يشبه تسليط ضوء كشاف على مكونات "الحزن" في وعاء الخلط حتى لا يفتقدها الذكاء الاصطناعي.
تعزيز الخلايا العصبية العاطفية (ENA): هذا الجزء يرفع مستوى الإشارة في الخلايا العصبية التي تكتب الكلمات بالفعل. إنه يشبه إعطاء الخباز طاقة إضافية للتأكد من كتابة ملصق "الحزن" بوضوح وجرأة.

5. النتيجة

عندما اختبروا "جهاز التحكم عن بعد" هذا على مقيما ضخم (MER-UniBench)، أصبح الذكاء الاصطناعي أفضل بكثير في وصف المشاعر بشكل صحيح.

تراجع الهلوسة: توقف عن وصف الوجوه الحزينة بأنها "سعيدة".
لا تكلفة إضافية: لأنهم قاموا فقط بتعديل الأسلاك الموجودة بدلاً من إعادة بناء المحرك، لم يصبح الذكاء الاصطناعي أبطأ.
إثبات المفهوم: حقيقة أن رفع مستوى هذه "المقابض" المحددة قد أصلح المشكلة أثبتت أنهم حددوا الدوائر العاطفية بشكل صحيح.

باختصار: وجد البحث أن الذكاء الاصطناعي يعالج المشاعر في ثلاث خطوات (رؤية -> قرار -> تحدث). واكتشفوا أن خطوة "القرار" تحدث في منتصف العقل باستخدام أجزاء متخصلة، وأن خطوة "التحدث" تحدث في النهاية باستخدام أجزاء عامة. لقد بنوا أداة لتعزيز الإشارة في هذه الأجزاء المحددة، مما جعل الذكاء الاصطناعي أكثر تعاطفاً ودقة دون الحاجة لإعادة تدريبه من الصفر.

ملخص تقني: تفسير وتعزيز الدوائر العاطفية في النماذج اللغوية البصرية الكبيرة عبر تدفق المعلومات عبر الوسائط

1. بيان المشكلة

تتطور النماذج اللغوية البصرية الكبيرة (LVLMs) لتصبح وكلاء متعاطفين، لكنها تظل عرضة لـ الهلوسات العاطفية. وخلافًا للهلوسات المتعلقة بالأشياء، والتي تنتج عن أخطاء واقعية، تتضمن الهلوسات العاطفية توليد سرديات متماسكة لغويًا ولكنها تتعارض مع المحتوى الوجداني للمثيرات البصرية (على سبيل المثال، وصف وجه باكٍ بأنه يعبر عن الفرح). هذا عدم الاتساق يهدد بانتهاك المعايير الاجتماعية والحدود الأخلاقية.

تعتمد الحلول الحالية على تقنيات تحسين قائمة على البيانات و"الصندوق الأسود" (مثل الضبط الدقيق للتعليمات، والتعلم التعزيزي) التي تكتفي بضبط السلوك دون ضمان المحاذاة الداخلية. علاوة على ذلك، فإن أبحاث التفسير الآلي الحالية في النماذج اللغوية البصرية الكبيرة تستهدف بشكل أساسي إدراك الأشياء، مما يترك الدوائر العاطفية الداخلية غير مستكشفة. ويعيق سد هذه الفجوة تحديان رئيسيان:

غياب المراجع البصرية المقابلة للواقع (Counterfactual): على عكس النصوص، يصعب عزل السمات العاطفية في الصور دون تغيير المحتوى السردي أو الدلالات البصرية.
عدم فعالية المقاييس المنفصلة: التعبير العاطفي هو عملية انتشارية وكلية، تظهر من خلال نبرة التوليد طويلة المدى بدلاً من الرموز (tokens) المفردة، مما يجعل مقاييس "التنبؤ بالرمز التالي" القياسية غير كافية.

2. المنهجية

يقترح المؤلفون إطار عمل لنسب السببية القائم على متجه التوجيه (Steering-Vector-based Causal Attribution Framework) المصمم للاستدلال العاطفي الوصفي، يليه استراتيجية تدخل لا تتطلب تدريبًا.

أ. استخراج اتجاه العاطفة

للتغلب على نقص المراجع البصرية المقابلة للواقع، أنشأ المؤلفون مجموعة بيانات متخصصة باستخدام تباينات عاطفية ومحايدة مقترنة بدقة.

العملية: بالنسبة لصورة عاطفية $I_{emo}$ ، يستخدمون ذكاءً اصطناعيًا توليديًا (Google Nano Banana) لإنشاء نظير محايد $I_{neu}$ يحافظ على الهوية، والتكوين، والأسلوب، ولكنه يزيل المؤشرات العاطفية (مثل تحييد تعبيرات الوجه، وإزالة الدموع).
متجهات التوجيه: يقومون بحساب الفرق في تنشيط الحالات الخفية (hidden state activations) بين المدخلات العاطفية والمحايدة لاستخراج متجهات توجيه عالمية ( $S_l$ ) لمشاعر محددة (مثل الحزن، الغضب).

ب. اكتشاف الدائرة العاطفية

باستخدام استراتيجية اكتشاف هرمية، يتتبع المؤلفون التدفق عبر الوسائط للعاطفة:

تحديد الطبقات: يقومون بحقن اتجاهات العاطفة المستخرجة في الطبقات أثناء الاستدلال لتحديد الطبقات الحرجة حيث يتم تعظيم تأثير السلوك (معدل الإصابة/Hit rate).
تحديد الرؤوس (Head Localization): يستخدمون مقاييس الاستعادة الكامنة (Latent Restoration Metrics) بناءً على "رقع التنشيط" (activation patching) لتحديد رؤوس الانتباه المحددة التي تتوافق مع الاتجاه العاطفي.
تتبع العصبونات: يتتبعون تدفق المعلومات من الرؤوس الحرجة رجوعًا إلى عصبونات MLP في الطبقات العليا باستخدام "رقع الإسناد" (Attribution Patching) لتحديد الأصل الحبيبي للميزات العاطفية.

ج. آلية "التكيف-التجميع-التنفيذ" (Adapt-Aggregate-Execute)

من خلال هذا التحليل، يكشف البحث عن آلية متميزة مكونة من ثلاث مراحل:

التكيف (الطبقات الضحلة): تخضع الميزات البصرية لمحاذاة الوسائط لسد الفجوة الدلالية بين البكسلات والنصوص.
التجميع (الطبقات الوسطى): ينشط النموذج عصبونات المحفز السياقي ويجمع الإشارات في رمز الاستعلام (Query token) عبر رؤوس انتباه خاصة بالمشاعر. هذه الرؤوس تكون نشطة بشكل انتقائي لفئات عاطفية متميزة (مثل رؤوس محددة للمشاعر السلبية).
التنفيذ (الطبقات العميقة): ينشط رمز الاستعلام عصبونات الحالة الصريحة ويوجه توليد السرد عبر مسارات عامة للعاطفة تعمل بشكل عالمي عبر مختلف العواطف.

د. تدخل VEENA

بناءً على هذه الرؤى، قدم المؤلفون VEENA (تعزيز العاطفة البصرية وتعزيز العصبونات العاطفية)، وهو تدخل جراحي، لا يتطلب تدريبًا، يتم أثناء الاستدلال:

تعزيز العاطفة البصرية (VEE): ينظم توجيه المعلومات عن طريق تغيير أوزان الانتباه. يعمل على تقوية انتباه $V \to Q$ (البصري إلى الاستعلام) في الطبقات العليا لتسهيل التجميع، وانتباه $V \to L$ (البصري إلى الرمز الأخير) في الطبقات الدنيا لضمان بقاء التنفيذ راسخًا في التفاصيل البصرية.
تعزيز العصبونات العاطفية (ENA): يضخم مستويات تنشيط عصبونات MLP المحددة كعصبونات بارزة عاطفيًا لترسيخ التعبير الدلالي.

3. النتائج الرئيسية

أُجريت تجارب مكثفة على MER-UniBench، وهو معيار شامل يغطي التعرف على العواطف الأساسية، وتحليل المشاعر، والتعرف على المشاعر الدقيقة.

تحسين الأداء: يحسن VEENA الأداء بشكل كبير عبر جميع مجموعات البيانات التسعة في MER-UniBench، حيث يرفع متوسط معدل الإصابة من 58.1% إلى 64.8% (+6.7%). وفي المهمة الصعبة ذات المفردات المفتوحة (OV-MERD+)، يحقق زيادة قدرها +9.2%.
التآزر: تفوق الجمع بين VEE و ENA على استخدام أي منهما بمفرده، مما يؤكد التآزر بين تنظيم توجيه المعلومات والتنشيط الدلالي.
الدقة السببية: تظهر دراسات الاستئصال (Ablation studies) أن التدخلات العشوائية تفشل في إعادة إنتاج هذه المكاسب، بينما يؤدي استهداف الدوائر المحددة بدقة (أفضل 10 رؤوس وأفضل 30 عصبونًا) إلى تحقيق نتائج رائدة مع حد أدنى من زمن التأخير.
التعميم: تم التحقق من المنهجية على بنيات نماذج مختلفة (Qwen3-VL-4B/8B, LLaVA-OneVision-1.5-4B)، مما يثبت أن آلية "التكيف-التجميع-التنفيذ" هي جزء أصيل في النماذج اللغوية البصرية الكبيرة.
السلامة: تشير التقييمات على المعايبات العامة (POPE, CHAIR, MME) إلى أن VEENA لا يتسبب في نسيان كارثي أو هلوسات شاملة، بل يحافظ على قدرات الرؤية واللغة العامة مع استهداف الشبكات الفرعية العاطفية تحديدًا.

4. الأهمية والادعاءات

يدعي البحث أنه الأول في:

تحديد المواقع للدوائر العاطفية: تقديم إطار عمل دقيق للنسب القائم على المتجهات يتجاوز قيود المقاييس المنفصلة لتحديد مواقع الدوائر العاطفية في النماذج اللغوية البصرية الكبيرة.
توضيح الآليات: الكشف عن الفصل الوظيفي بين التجميع المحدد للمشاعر (الطبقات الوسطى) والتنفيذ العالمي (الطبقات العميقة)، مما يتحدى فكرة أن المعالجة العاطفية هي كتلة واحدة متجانسة.
تمكين التدخل الجراحي: إثبات أن التدخلات التي لا تتطلب تدريبًا وتتم أثناء الاستدماء بناءً على فهم آلي يمكن أن تخفف بفعالية من الهلوسات العاطفية دون إعادة تدريب، مما يوفر بديلًا أكثر قابلية للتفسير والموثوقية من الضبط الدقيق "للصندوق الأسود".

يؤكد المؤلفون أن عملهم يركز حصريًا على توضيح المسارات الداخلية لتعزيز الموثوقية والسلامة، لضمان أن تعكس استجابات النموذج الواقع البصري بدقة بدلاً من توليد محتوى عاطفي مضلل.