⚡ electrical engineering

Dr. SHAP-AV: Decoding Relative Modality Contributions via Shapley Attribution in Audio-Visual Speech Recognition

تقدم هذه الورقة البحثية Dr. SHAP-AV، وهو إطار عمل قائم على قيمة شابلي يكشف أن نماذج التعرف على الكلام السمعي البصري تظهر انحيازاً صوتياً مستمراً وتتحول ديناميكياً نحو الاعتماد البصري تحت الضجيج، مما يوفر رؤى نقدية لتطوير آليات ترجيح الوسائط المتعددة القوية.

المؤلفون الأصليون: Umberto Cappellazzo, Stavros Petridis, Maja Pantic

نُشر 2026-03-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Umberto Cappellazzo, Stavros Petridis, Maja Pantic

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول فهم صديق يتحدث إليك من خلال نافذة صاخبة للغاية. يمكنك سماع صوته، لكنه متقطع ومليء بالتشويش. ومع ذلك، يمكنك أيضًا رؤية حركة شفتيه بوضوح من خلال الزجاج.

معظم أجهزة الكمبيوتر الحديثة (نماذج الذكاء الاصطناائي) المصممة لفهم الكلام تشبه المحققين الأذكياء للغاية. لديهم دليلان رئيسيان لحل اللغز: الصوت (السمع) والرؤية (حركة الشفاه).

الورقة البحثية التي تسأل عنها، "Dr. SHAP-AV"، هي في الأساس تحقيق جنائي في كيفية استخدام هؤلاء المحققين الآليين لهذين الدليلين. أراد الباحثون الإجابة على سؤال بسيط: "عندما يصبح الضجيج عاليًا، هل يتوقف الذكاء الاصطناعي عن الاستماع ويبدأ في المشاهدة، أم أنه يصر بعناد على الاستمرار في الاستماع حتى عندما لا يستطيع؟"

إليك تفصيل لنتائجهم باستخدام تشبيهات بسيية.

1. حقيبة أدوات المحقق: "قيم شابلي" (Shapley Values)

لمعرفة مدى اعتماد الذكاء الاصطناعي على الصوت مقابل الرؤية، استخدم الباحثون أداة رياضية تسمى "قيم شابلي".

التشبيه: تخيل مجموعة من الأصدقاء (الذكاء الاصطناعي) يحاولون تخمين كلمة سرية. بعض الأصدقاء لديهم دليل صوتي، والبعض الآخر لديهم دليل بصري. لمعرفة من ساعد أكثر، تقوم بلعبة حيث تقوم بإزالة صديق واحد في كل مرة. إذا قمت بإزالة "الصديق الصوتي" وفشل الفريق فشلاً ذريعًا، فهذا يعني أن ذلك الصديق كان حاسمًا. أما إذا قمت بإزالة "الصديق البصري" واستمر الفريق في التخمين بشكل جيد، فهذا يعني أن ذلك الصديق لم يكن يقدم الكثير من العمل.
النتيجة: يستخدم Dr. SHAP-AV هذه اللعبة لحساب "درجة ائتمان" للصوت وللفيديو لكل كلمة يخمنها الذكاء الاصطناعي.

2. الاكتشاف الكبير: "الأذن العنيدة"

اختبر الباحثون ستة نماذج مختلفة من الذكاء الاصطناعي (بعضها يعتمد على نماذج لغوية ضخمة مثل Llama، والبعض الآخر على نماذج كلام متخصصة) تحت مستويات ضوضاء مختلفة، من غرفة هادئة إلى حفلة موسيقية صاخبة.

ما توقعوه: توقعوا أنه عندما يصبح الضجيج سيئًا حقًا (مثل -10 ديسيبل)، سيقوم الذكاء الاصطناعي بإغلاق "أذنيه" ويعتمد بنسبة 100% على "عينيه" (قراءة الشفاه)، تمامًا كما يفعل البشر.
ما وجدوه: الذكاء الاصطناعي عنيد بشكل مفاجئ. حتى عندما يكون الصوت سيئًا للغاية، لا يزال الذكاء الاصطناعي يعتمد بشدة على الصوت (بنسبة 40-50% من الوقت).
التشبيه: الأمر يشبه محققًا معصوب العينين في وسط إعصار، لكنه يرفض نزع العصابة عن عينيه، مصرًا على قول: "لا يزال بإمكاني سماع شيء ما!" رغم أن الرياح تصفر من حوله. لدى الذكاء الاصطناعي انحياز متأصل نحو الصوت، ولا يعرف كيف يتخلى عنه بسهولة حتى عندما يكون الصوت غير صالح للاستخدام.

3. الرقص الديناميكي: كيف يفكر الذكاء الاصطناعي أثناء التحدث

نظر الباحثون أيضًا في متى يستخدم الذكاء الاصطناعي هذه الأدلة. هل يستخدمها جميعًا في وقت واحد، أم أن الاستراتيجية تتغير مع كتابة الجملة؟

النتيجة: بعض النماذج (مثل Whisper-Flamingo) تبدأ بالنظر إلى الشفاه للحصول على موطئ قدم، ولكن مع تقدمها في الجملة، تبدأ في الثقة بالصوت مرة أخرى. الأمر يشبه المتنزه الذي يبدأ بالنظر إلى الخريطة (بصريًا) لإيجاد الطريق، ولكن بمجرد أن يتعرف على التضاريس، يبدأ في الاستماع إلى الطيور (صوتيًا) للتنقل.
التباين: نماذج أخرى (مثل AV-HuBERT) ثابتة للغاية؛ فهي تحافظ على توازن مثالي بنسبة 50/50 طوال الوقت دون تذبذب.

4. فحص "السفر عبر الزمن"

تحقق الباحثون مما إذا كان الذكاء الاصطناعي ينتبه للحظات الصحيحة. إذا قال الشخص "مرحبًا" في بداية الفيديو، فهل يستخدم الذكاء الاصطناعي حركة الشفاه من بداية الفيديو لتخمين كلمة "مرحبًا"؟

النتيجة: نعم! حتى في الضوضاء الرهيبة، يحافظ الذكاء الاصطناعي على "محاذاة زمنية" مثالية. الأجزاء الأولى من الفيديو تتوافق مع الكلمات الأولى، والأجزاء المتأخرة تتوافق مع الكلمات المتأخرة. الذكاء الاصطناعي لا يخمن عشوائيًا؛ بل يحترم الجدول الزمني للمحادثة.

5. ما الذي يغير رأي الذكاء الاصطناعي؟

اختبر الفريق العديد من العوامل لمعرفة ما يجعل الذكاء الاصطناعي ينتقل بين الاستماع والمشاهدة:

نوع الضوضاء: هل يهم ما إذا كانت الضوضاء موسيقى، أو حركة مرور، أو أصوات أشخاص آخرين يتحدثون؟ نعم، ولكن بدرجة طفيفة فقط.
صعوبة الجملة: إذا كانت الجملة صعبة الفهم للغاية، فهل يغير الذكاء الاصطناعي استراتيجيته؟ لا.
حجم الضوضاء (SNR): هذا هو الشيء الوحيد الذي يهم حقًا. كلما زاد حجم الضوضاء، زاد نظر الذكاء الاصطناعي إلى الشفاه. ولكن كما رأينا، فإنه لا يتوقف عن الاستماع تمامًا.

الخلاصة: لماذا هذا مهم؟

الاستنتاج الرئيسي هو أن نماذج الذكاء الاصطناعي الحالية سيئة في معرفة متى تغلق الصوت. إنها "منحازة للصوت". حتى عندما يكون الصوت عديم الفائدة، فإنها تستمر في محاولة استخدامه، مما قد يؤدي في الواقع إلى إضعاف أدائها.

الحل؟ يقترح المؤلفون أننا بحاجة إلى بناء "مفاتيح ذكية" في هذه الأنظمة. تمامًا كما يقوم الإنسان بتغطية أذنيه والتركيز تمامًا على الشفاه في حانة صاخبة، يحتاج الذكاء الاصطناعي إلى آلية تقول: "حسنًا، الصوت معطل؛ سأثق في الفيديو بنسبة 100% الآن".

باختصار: Dr. SHAP-AV هو تقرير درجات للمحققين الآليين. يخبرنا أنه بينما أصبحوا أفضل في استخدام كلا الدليلين، إلا أنهم لا يزالون عنيدين جدًا بشأن الاستماع إلى الضجيج، ويحتاجون إلى تعلم كيفية الثقة في أعينهم أكثر عندما تفشل آذانهم.

إليك ملخص تقني مفصل لورقة البحث: "Dr. SHAP-AV: فك تشفير مساهمات الأنماط النسبية عبر عزو شابلي في التعرف على الكلام الصوتي-البصري."

1. بيان المشكلة

تُصمم أنظمة التعرف على الكلام الصوتي-البصري (AVSR) لتحسين المتانة ضد الضوضاء الصوتية من خلال الاستفادة من الإشارات البصرية (حركات الشفاه) جنباً إلى جنب مع الصوت. ومع ذلك، فإن الآليات الداخلية التي توازن بها هذه النماذج وتستخدم الأنماط الصوتية مقابل البصرية تظل غير مفهومة بشكل جيد.

التحيز: تُظهر النماذج الحالية المتطورة "تحيزاً صوتياً" قوياً، حيث تعتمد بشدة على الصوت حتى في الظروف الصافية، وتفشل في الاستفادة الكاملة من المعلومات البصرية عندما يتدهور الصوت.
الفجوة: يركز البحث الحالي على تقليل معدل خطأ الكلمات (WER)، لكنه يفتقر إلى إطار رياضي مبدئي لقياس كيف ومتى تعتمد النماذج على أنماط محددة أثناء الاستنتاج. كانت دراسات التفسير السابقة محدودة بنماذج معينة أو تفتقر إلى تحليل شامل عبر مختلف الظروف الصوتية ومراحل التوليد.

2. المنهجية: Dr. SHAP-AV

يقترح المؤلفون Dr. SHAP-AV، وهو إطار عمل يطبق قيم شابلي (Shapley values) من نظرية الألعاب التعاونية لتحليل مساهمات الأنماط في AVSR.

المفهوم الجوهري

توفر قيم شابلي طريقة قائمة على أسس نظرية لنسب توقعات النموذج بعدل إلى ميزاته المدخلة. وعلى عكس الطرق التجريبية، تلبي قيم شابلي بديهيات الكفاءة، والتناظر، والعدالة.

التنفيذ: يستخدم الإطار طريقة Permutation SHAP (و Sampling SHAP) لتقريب قيم شابلي. وهو يعامل الرموز (tokens) الصوتية والبصرية كـ "لاعبين" في لعبة يكون فيها "العائد" هو احتمالية اللوغاريتم (log-probability) لتوليد رمز مخرج محدد.
التكيف: يوسع المؤلفون عزو شابلي من مشفرات الرؤية-اللغة القياسية إلى نماذج AVSR ذات التوليد الذاتي (autoregressive)، بما يغطي كل من بنيات LLM-based (مثل Llama-AVSR) و بنيات Encoder-Decoder ذات الانتباه المتقاطع (مثل AV-HuBERT).
استراتيجية الحجب (Masking): لحساب المساهمات، يتم حجب الميزات الصوتية أو البصرية (ضبطها على الصفر) أثناء الاستنتاج. يتعامل الإطار مع الاختلافات الهيكلية (مثل الحجب قبل الدمج في نماذج MLP مقابل حجب مدخلات الانتباه المتقاطع في نماذج نمط Flamingo) ويقوم بتوحيد الدقة الزمنية لضمان مقارنة عادلة.

ثلاثة مستويات من التحليل

يقدم الإطار ثلاث مقاييس متميزة لتحليل المساهمات عند مستويات دقة مختلفة:

Global SHAP (شابلي العالمي): يجمع المساهمات عبر جميع الميزات والرموز لتحديد التوازن العام بين الصوت والبصر (A-SHAP مقابل V-SHAP).
Generative SHAP (شابلي التوليدي): يتتبع كيفية تطور الاعتماد على الأنماط أثناء عملية التوليد الذاتي عبر تجميع الرموز في نوافذ زمنية.
Temporal Alignment SHAP (شابلي المحاذاة الزمنية): يفحص الارتباط بين مواضع الميزات المدخلة (مبكرة/متأخرة) ومواضع رموز المخرجات للتحقق مما إذا كان النموذج يحافظ على البنية التسلسلية.

3. الإعداد التجريبي

النماذج: تم تقييم ستة من نماذج AVSR المتطورة:
- نماذج LLM-based: Llama-AVSR، Llama-SMoP، Omni-AVSR.
- نماذج Encoder-Decoder: AV-HuBERT، Auto-AVSR، Whisper-Flamingo.
مجموعات البيانات: LRS2 و LRS3 (برامج BBC و TED).
الظروف: أُجريت التجارب عبر نسب إشارة إلى ضجيج (SNR) متفاوتة من النقاء ( $\infty$ ) إلى التدهور الشديد ($-10$ ديسيبل) باستخدام أنواع مختلفة من الضوضاء (الثرثرة، الموسيقى، الضوضاء البيئية، والكلام).

4. النتائج والمكتشفات الرئيسية

الاكتشاف 1: التحول التكيفي مع التحيز الصوتي المستمر

الملاحظة: تتحول النماذج ديناميكياً نحو الاعتماد البصري مع تدهور جودة الصوت (انخفاض SNR).
المفاجأة: حتى في مستويات الضوضاء الشديدة ($-10$ ديسيبل)، تحافظ النماذج على مساهمات صوتية عالية بشكل مفاجئ (38-46%)، بدلاً من الانتقال بالكامل تقريباً إلى الرؤية.
الاستنتاج: تستمر آلية الانتباه في فك التشفير في التركيز بشدة على الميزات الصوتية بغض النظر عن جودتها، مما يشير إلى الحاجة إلى آليات صريحة لفرض وزن الأنماط بناءً على جودة المدخلات.

الاكتشاف 2: التطور الديناميكي أثناء التوليد

نماذج LLM (مثل Whisper-Flamingo، Omni-AVSR): تُظهر نمطاً على شكل حرف U في الظروف الضوضائية. فهي تبدأ باعتماد صوتي متوسط، ثم تنخفض إلى الاعتماد البصري في منتصف عملية التوليد، ثم تزيد من الاعتماد الصوتي نحو النهاية. هذا يشير إلى أن السياق اللغوي المتراكم يساعد النموذج على "استعادة" الإشارة الصوتية المشوشة.
نماذج Encoder-Decoder (مثل AV-HuBERT): تحافظ على توازن مستقر طوال عملية التوليد، ويرجع ذلك على الأرجح إلى تدريبها المسبق ذاتي الإشراف على التنبؤ الصوتي-البصري المحجوب.

الاكت_شاف 3: المحاذاة الزمنية القوية

الملاحظة: يحافظ كل من التدفقين الصوتي والبصري على محاذاة زمنية قوية (المدخلات المبكرة تساهم في المخرات المبكرة، والمتأخرة في المتأخرة).
المرونة: تظل بنية المحاذاة هذه قوية حتى تحت الضوضاء الشديدة ($-10$ ديسيبل)، مما يشير إلى أن النماذج تحافظ على الارتباط التسلسلي للكلام بشكل مستقل لكل من النمطين.

الاكتشاف 4: التبعية لنوع الضوضاء

يعتمد درجة التحول نحو الاعتماد البصري على نوع الضوضاء. فتسبب ضوضاء الثرثرة (الكلام المتنافس) أكبر تحول نحو الرؤية، بينما تسبب الموسيقى أو الضوضاء البيئية تحولات أصغر.
أظهر نموذج Auto-AVSR (دمج MLP) عدم تكيف تقريباً مع تغيرات SNR، حيث حافظ على مساهمة صوتية ثابتة عند ~57%، مما يسلط الض الضوء على جمود دمج الأوزان الثابتة مقار بآليات الانتباه.

الاكتشاف 5 و 6: المدة والصعوبة

المدة: تأثير طول العبارة على توازن الأنماط يعتمد على البنية. على سبيل المثال، يعتمد Whisper-Flamingo بشكل أقل على الصوت مع زيادة طول العبارات (خاصة في الضوضاء)، بينما يعتمد AV-HuBERT بشكل أكبر قليلاً على الصوت في التسلسلات الطويلة في وجود الضوضاء.
الصعوبة: يعد SNR هو العامل المهيمن الذي يقود توازن الأنماط. أما صعوبة التعرف (المقاسة بـ WER) فلها تأثير ضئيل على وزن الأنماط ضمن مستوى SNR محدد. فالنماذج لا تتكيف في وزنها بناءً على مدى "صعوبة" عبارة معينة، بل بناءً على مستوى الضوضاء فقط.

5. الأهمية والمساهمات

معيار تشخيصي جديد: يرسخ Dr. SHAP-AV من عزو "شابلي" كأداة تشخيصية قياسية لـ AVSR، متجاوزاً مجرد مقاييس WER البسيطة لفهم كيفية عمل النماذج.
رؤى بنيوية: تكشف الدراسة أن آليات الانتباه (Transformers، LLMs) قادرة على التكيف الديناميكي مع الأنماط، بينما الدمج ذو الوزن الثابت (MLP) يتسم بالجمود ويفشل في التكيف مع الضوضاء.
التوجهات المستقبلية: تحفز النتائج تطوير آليات صريحة لوزن الأنماط يمكنها ضبط الاعتماد ديناميكياً بناءً على جودة المدخلات (SNR) بدلاً من الاعتماد على السلوك الضمني (والمتحيز غالباً) للنموذج.
القدرة على التعميم: الإطار قابل للتطبيق على كل من نماذج AVSR القائمة على LLM وبنيات Encoder-Decoder التقليدية، مما يوفر رؤية موحدة للتكامل متعدد الأنماط.

في الختام، توضح الورقة أنه بينما تمتلك نماذج AVSR القدرة على التكيف مع الضوضاء، إلا أنها تعاني من تحيز صوتي مستمر يمنع الاستخدام الأمثل للإشارات البصرية في الظروف القاسية. يوفر Dr. SHAP-AV الأدوات اللازمة لتشخيص وتصحيح هذه الاختلالات في نهاية المطاف.