The Unheard Alternative: Contrastive Explanations for Speech-to-Text Models

إليك ملخص تقني مفصل لورقة البحث بعنوان: "البديل غير المسموع: التفسيرات التباينية لنماذج تحويل الكلام إلى نص".

1. بيان المشكلة

بينما حقق الذكاء الاصطناعي القابل للتفسير (XAI) تقدماً كبيراً في معالجة اللغات الطبيعية (NLP) القائمة على النصوص، لا يزال تطبيق التفسيرات التباينية (Contrastive Explanations) على نماذج تحويل الكلام إلى نص (S2T) يمثل تحدياً مفتوحاً.

• التفسيرات التباينية: على عكس التفسيرات القياسية التي تجيب على السؤال "لماذا أنتج النموذج المخرج P؟"، تجيب التفسيرات التباينية على السؤال "لماذا أنتج النموذج P بدلاً من Q؟" (حيث يمثل Q الكائن التبايني/البديل). وهذا يتوافق بشكل أكبر مع التفكير البشري.
• الفجوة: تولد طرق التفسير الحالية لـ S2T (مثل SPES) خرائط بروز (saliency maps) شاملة فوق المخططات الطيفية للصوت (spectrograms). هذه الخرائط تسلط الضوء على الميزات ذات الصلة بتوليد أي كلمة، لكنها تفشل في عزل الميزات المحددة للاختيار بين مخرجين متنافسين (على سبيل المثال، لماذا اختار النموذج الصيغة المذكرة curioso بدلاً من الصيغة المؤنثة curiosa).
• تحديات محددة في S2T:
  1. نمط المدخلات: الإشارات الصوتية متعددة الأبعاد (الزمن والتردد) وتتم تمثيلها كمخططات طيفية.
  2. دقة المخرجات: تولد نماذج S2T رموزاً فرعية (subword tokens)، وليس كلمات كاملة، مما يجعل تجميع الاحتمالات على مستوى الكلمة أمراً غير بديهي.
  3. التقييم: غالباً ما تفشل دوال التقييم التبايني القياسية المستخدمة في معالجة اللغات الطبيعية القائمة على النصوص عندما يفضل النموذج الهدف بقوة على الكائن التبايني، مما يؤدي إلى تفسيرات لا يمكن تمييزها عن التفسيرات غير التباينية.

2. المنهجية

يقترح المؤلفون أول إطار عمل للحصول على تفسيرات تباينية في S2T من خلال تكييف طريقة SPES (اضطراب المخطط الطيفي لـ S2T القابل للتفسير). يتضمن النهج تدخلين تقنيين حاسمين:

أ. تجميع احتمالية الكلمة على مستوى الكلمة

بما أن نماذج S2S تخرج رموزاً فرعية، يجب إعادة بناء احتمال الكلمة الكاملة ($t$) من مكوناتها، وهي الرموز الفرعية ($w_0, \dots, w_k$).

• قصور الأعمال السابقة: لا تأخذ طرق التجميع البسيطة (المتوسط، أو الحد الأقص️، أو ضرب قاعدة السلسلة الساذجة) في الاعتبار عدم التطابق في عدد الرموز بين الهدف والكائن التبايني، ولا حقيقة أن تسلسل الرمز الفرعي قد يكون بادئة لكلمة أطول وليس كلمة كاملة.
• الحل المقترح: يتبنى المؤلفون طريقة حدود الكلمة (Word Boundary Method) (Pimentel و Meister، 2024). تحسب هذه الطريقة احتمال تسلسل الكلمات من خلال ضمان تبعيتها لرمز "بداية الكلمة" أو رمز علامة ترقيم. هذا يمنع المبالغة في تقدير احتمالات تسلسلات الرموز الفرعية التي هي مجرد بادئات (على سبيل المثال، التمييز بين _professor و _professor e ssa).

ب. دوال تقييم التباين

جوهر الطريقة هو دالة تقييم تقيس مدى تأثير اضطراب منطقة مدخلات معينة على احتمال الهدف ($t$) مقارنة بالكائن التبايني ($f$).

• المشكلة في مقياس الفرق ($S_{CD}$): غالباً ما ينهار مقياس التباين القياسي، $S_{CD}(t, f) = (p(t) - \tilde{p}(t)) - (p(f) - \tilde{p}(f))$، ليصبح مساوياً للمقياس الأساسي $S_B(t)$ عندما يكون $p(t) \gg p(f)$. في هذه الحالات، يسلط التفسير الضوء على الميزات المتعلقة بتوليد أي كلمة صحيحة، وليس التباين المحدد.
• الحل المقترح: يقدم المؤلفون المقياس النسبي ($S_{CR}$)، بناءً على Jacovi وآخرون (2021):
  $$S_{CR}(t, f) = \frac{p(t)}{p(t) + p(f)} - \frac{\tilde{p}(t)}{\tilde{p}(t) + \tilde{p}(f)}$$
  تعمل هذه الدالة على تطبيع مساهمة كلا المصطلحين من خلال مجموعهما. وهي تضمن أنه حتى عندما يكون الهدف أكثر احتمالاً بكثير من الكائن التبايني، يظل المقياس حساساً للتغيرات في احتمال الكائن التبايني، مما يعزل بفعالية الميزات الخاصة بالتباين.

ج. مقاييس التقييم

للتحقق من الأمانة (faithfulness) في التفسيرات (مدى تعبيرها عن سلوك النموذج الفعلي)، قام المؤلفون بتكييف مقاييس من تصنيف النصوص:

1. التغطية (Coverage): النسبة المئوية للحالات التي يولد فيها النموذج إما الهدف أو الكائن التبايني بعد حذف الميزات. تضمن التغطية العالية أن الميزات المحددة خاصة بالتباين وليست عامة لتوليد النصوص.
2. معدل الانقلاب (Flip Rate): المعدل الذي يتحول فيه النموذج من التنبؤ بالهدف إلى التنبؤ بالكائن التبايني عند حجب الميزات البارزة تدريجياً (الحذف). يجب أن يؤدي التفسير الأمين إلى معدل انقلاب عالٍ مع حد أدنى من الحذف.

3. المساهمات الرئيسية

1. أول طريقة تباينية لـ S2T: تقديم خط معالجة جديد لتوليد تفسيرات تباينية لنماذج الكلام عن طريق تكييف التنسيب القائم على الاضطراب للمخططات الطيفية.
2. آلية تقييم مبتكرة: اقتراح المقياس النسبي ($S_{CR}$) كبديل متفوق لمقياس الفرق القياسي لـ S2T، مما يثبت أنه ينتج خرائط بروز تباينية ومتميزة حقاً.
3. إطار تقييم قوي: تطوير تقييم مزدلي المقاييس (التغطية + معدل الانقلاب) مصمم خصيصاً لمهام S2T التوليدية لقياس أمانة التفسير.
4. التحقق التجريبي: التحقق من فعالية الطريقة في تحديد جنس المتحدث في ترجمة الكلام عبر ثلاثة أزواج لغوية (الإنجليزية $\leftarrow$ الفرنسية، الإيطالية، الإسبانية).

4. النتائج

تم تقييم الطريقة باستخدام مجموعة بيانات MuST-SHE، مع التركيز على ترجمة المصطلحات الإنجليزية المحايدة جنسياً إلى لغات رومانسية محددة الجنس (على سبيل المثال، "I am curious" $\to$ curioso مقابل curiosa).

• تمايز خرائط البروز:
  • مقياس الفرق ($S_{CD}$): أنتج خرائط بروز كانت مرتبطة ارتباطاً وثيقاً (معامل بيرسون $r \approx 0.93$) بالتفسيرات غير التباينية. وقد فشل في عزل الميزات المحددة للجنس.
  • المقياس النسبي ($S_{CR}$): أنتج خرائط ذات ارتباط منخفض ($r \approx 0.33$) بالخرائط غير التباينية ونجح في عزل المناطق الصوتية ذات الصلة بالجنس.
• أداء التغطية:
  • عند حذف الميزات التي حددها مقياس الفرق، انخفضت التغطية إلى أقل من 20% بعد حذف 2% فقط (مما يشير إلى أن الميزات كانت عامة).
  • حافظ المقياس النسبي على تغطية تزيد عن 30% حتى بعد حذف 20%، مما يثبت أنه يستهدف الميزات الخاصة بتباين الجنس.
• أداء معدل الانقلاب:
  • الأهداف المؤنثة: تسبب حجب أعلى 5% من الميزات التي حددها المقياس النسبي في تحول النموذج إلى التنبؤات المذكرة في أكثر من 70% من الحالات المغطاة.
  • الأهداف المذكرة: كانت معدلات الانقلاب أقل (~30%)، وهو ما عزاه المؤلفون إلى انحياز افتراضي للمذكر في نماذج S2T (حيث يكون المذكر هو الافتراضي ما لم توجد إشارات أنثوية قوية)، وليس فشلاً في الطريقة.
• متانة النموذج: ظلت النتائج متسقة عبر بنيات مختلفة (Transformer متعدد اللغات، Conformer أحادي اللغة) وأزواج لغوية مختلفة.

5. الأهمية والآثار المترتبة

• التقدم في XAI للخطاب: يسد هذا العمل الفجوة بين تقنيات النصوص للتفسيرات التباينية والتحديات الفريدة لمعالجة الكلام، مما يوفر أساساً لفهم كيفية استخدام نماذج S2T للإشارات الصوتية.
• كشف الانحياز: تعزل الطريقة بفعالية الميزات الصوتية (مثل طبقة الصوت، والترددات الصوتية/formants) التي تستخدمها النماذج لتمييز الجنس. وهذا أمر بالغ الأهمية لفحص الانحياز الجنسي في الذكاء الاصطناعي، حيث يكشف أن النماذج غالباً ما تعتمد على ميزات صوتية يمكن أن تضر بالمتحدثين المتحولين جنسياً أو الأفراد ذوي الخصائص الصوتية غير النمطية.
• التطبيقات المستقبلية: على الرغم من استعراضها على موضوع الجنس، فإن منهجية العمل قابلة للنقل إلى ظواهر أخرى في S2T، مثل التمييز بين الكلمات المتشابهة في النطق (homophones)، وحل المراجع (coreference resolution)، واختيار سجل التأدب (politeness register).
• الوعي الأخلاقي: تقر الورقة صراحة بالمخاطر الأخلاقية لاستخدام الميزات الصوتية للتنبؤ بالجنس، مشيرة إلى أنه بينما يحسن هذا الدقة، فإنه يمكن أن يضر بالفئات المهمشة. لقد صُممت الأداة لتفسير سلوك النماذج الحالي لتمكين الرقابة الأفضل واستراتيجيات التخفيف المستقبلية.

باختصار، تقدم الورقة إطاراً تقنياً صارماً لفهم لماذا تتخذ نماذج S2T قرارات محددة بين البدائل، منتقلة من مجرد معرفة ماذا تتنبأ به إلى معرفة كيف تقرر، مع تركيز خاص على قضية الانحياز الجنسي الحرجة في ترجمة الكلام.