ملخص تقني: إعادة التفكير في تقليل الإنتروبيا في التكيف وقت الاختبار للنماذج ذات التوليد الذاتي (Autoregressive Models)

1. بيان المشكلة

يُعد التكيف وقت الاختبار (TTA) عبر تقليل الإنتروبيا (EM) نموذجاً راسخاً لتحسين متانة النماذج ضد تغير التوزيع في مهام التصنيف. ومع ذلك، فإن تطبيقه على النماذج التوليدية ذات التوليد الذاتي (مثل النماذج اللغوية الكبيرة، وأنظمة التعرف التلقائي على الكلام) لا يزال مجزءاً من الناحية النظرية.

يكمن التحدي الجوهري في الطبيعة عالية الأبعاد والتركيبية لتوليد المتواليات، حيث تعتمد التنبؤات على متواليات الرموز (tokens) المعتمدة على بعضها البعض بدلاً من التصنيفات الفئوية المستقلة. لقد تفرقت الأدبيات الحالية إلى نهجين استكشافيين متميزين دون أساس رياضي موحد:

1. الإجبار بالمعلم/التوسيم الزائف (Teacher-Forcing/Pseudo-labeling): الطرق التي تولد توسيماً زائفاً عبر فك التشفير الجشع (greedy decoding) وتقلل من إنتروبيا توزيع المخرجات عند كل موضع رمز (على سبيل المثال، [6, 9, 10, 11]).
2. التعلم التعزيزي (RL): الطرق التي تعامل الإنتروبيا كإشارة تكلفة يتم تحسينها عبر تدرجات السياسة (على سبيل المثال، [5]).

يجادل المؤلفون بأن هذه النهج تعتمد على استدلالات (heuristics) متميزة تغفل التعبير التدرجي الصحيح رياضياً لتقليل الإنتروبيا في سياق النماذج ذات التوليد الذاتي. وبناءً على ذلك، فإن العلاقة بين هذه الاستدلالات والهدف الحقيقي لتقليل الإنتروبيا تظل غير واضحة، وغالباً ما تفشل الطرق السابقة في استيعاب البنية الاحتمالية الكاملة للنماذج ذات التوليد الذاتي.

2. المنهجية

2.1 الاشتقاق النظري

اشتق المؤلفون تعبيراً تدرجياً دقيقاً وصحيحاً رياضياً لتقليل إنتروبيا توزيع مخرجات نموذج التوليد الذاتي $\pi_\theta(\cdot|q)$.

• مقدرات الإنتروبيا: يميز البحث بين مقدرين:

  • على مستوى المتوالية ($\hat{H}_{seq}$): يعتمد على احتمالية اللوغاريتم للمتوالية المولدة بالكامل.
  • على مستوى الرمز ($\hat{H}_{tok}$): هو مجموع إنتروبيا توزيعات الرموز في كل خطوة توليد.
  • النظرية 1: أثبت المؤلفون أن المقدر على مستوى الرمز $\hat{H}_{tok}$ هو مقدر غير متحيز للإنتروبيا الحقيقية للمتوالية $H(\pi_\theta)$، بشرط أن تكون الإنتروبيا محدودة.

• تفكيك التدرج: من خلال اشتقاق الإنتروبيا المتوقعة عبر المقدر على مستوى الرمز، أظهر المؤلفون أن الهدف الدقيق يتفكك طبيعياً إلى مكونين أساسيين:
  $$L_{EM}^{tok} = \underbrace{\text{sg}(\hat{H}_{tok}(y)) \log \pi_\theta(y)}_{L_{PG}^{tok} \text{ (تدرج السياسة على مستوى الرمز)}} + \underbrace{\hat{H}_{tok}(y)}_{L_{ENT}^{tok} \text{ (خسارة الإنتروبيا على مستوى الرمز)}}$$

  • $L_{PG}^{tok}$: حد تدرج السياسة الذي يعدل احتمالية المسارات المولدة لتفضيل تلك ذات عدم اليقين المنخفض (مشابه لـ REINFORCE).
  • $L_{ENT}^{tok}$: حد تدرج مباشر للمسار يقلل من مقدر الإنتروبيا نفسه.

• التوحيد: يوضح المؤلفون أن الطرق السابقة هي تجليات جزئية لهذا الهدف الموحد:

  • طرق الإجبار بالمعلم (Teacher-forcing) تحسن فقط $L_{ENT}^{tok}$، متجاهلة كيف تغير تحديثات المعلمات توزيع المسارات.
  • طرق السياسة القائمة على التعلم التعزيزي (RL) تحسن فقط $L_{PG}^{tok}$.
  • يتطلب الهدف الرياضي الكامل التحسين المشترك لكلا الحدين.

2.2 استراتيجيات التنفيذ

لجعل النهج عملياً، قدم المؤلفون حيلتين للتنفيذ:

1. خط الأساس للتعلم التعزيزي (RL Baseline): لتقليل التباين العالي لمقدر REINFORCE، استخدموا خط أساس "الاستبعاد من الخارج" (leave-one-out baseline) وتطبيعاً على مستوى الرمز (مستوحى من DAPO).
2. توسيع البحث الشعاعي (Beam Search Extension): بدلاً من أخذ العينات العشوائية، تستخدم الخوارزمية أفضل $G$ من الأشعة (beams) من البحث الشعاعي كاستجابات مرشحة. وبينما يؤدي هذا إلى انحياز (مما ينتهك عدم التحيز الصارم للمقدر)، إلا أنه يعمل كآلية "مسح ذو أولوية" لإعطاء الأولوية للإشارات عالية الجودة لضمان سرعة التقارب.

3. الإعداد التجريبي

• بيئة الاختبار: التعرف التلقائي على الكلام (ASR) باستخدام نموذج Whisper الأساسي (تحديداً whisper-base).
• مجموعات البيانات: تغطي التجارب أكثر من 20 مجالاً متنوعاً عبر ثلاث مجموعات بيانات:
  • Librispeech الملوثة (LS-C): 10 أنواع من الضوضاء الصوتية المضافة (مثل صوت مكيف الهواء، إعلانات المطار، ضجيج الكلام المتداخل).
  • L2-Arctic: كلام إنجليزي غير أصلي من متحدثين بـ 6 لغات أم مختلفة (العربية، الصينية، الهندية، الكورية، الإسبانية، الفيتنامية).
  • LibriSpeech متعدد اللغات (MLS): الكلام بـ 7 لغات (الهولندية، الفرنسية، الألمانية، الإيطالية، البولندية، البرتغالية، الإسبانية).
• النماذج المرجعية (Baselines):
  • المصدر (Source): النموذج غير المكيف.
  • Greedy-EM: الاستدلال التقليدي للإجبار بالمعلم (تحسين $L_{ENT}^{tok}$ فقط).
  • EM-seq: تدرج السياسة على مستوى المتوالية (تحسين $L_{PG}^{seq}$ فقط).
  • EM-tok: الهدف المشترك المقترح على مستوى الرمز ($L_{PG}^{tok} + L_{ENT}^{tok}$) مع أخذ عينات عشوائية.
  • EM-tok-b: الهدف المشترك المقترح على مستوى الرمز مع أخذ عينات من البحث الشعاعي.

4. النتائج الرئيسية

4.1 الأداء عبر المجالات

تتفوق الطرق المقترحة باستمرار على الاستدلالات الموجودة عبر جميع المجالات المختبرة:

• الضوضاء الصوتية: في مجموعة بيانات Corrupted Librispeech، حقق EM-tok-b أدنى متوسط لمعدل خطأ الكلمات (WER) بنسبة 19.15%، متفوقاً بشكل كبير على المصدر غير المكيف (22.53%) وعلى النموذج المرجعي Greedy-EM (21.91%).
• تغيرات اللهجات: في L2-Arctic، خفض EM-tok-b متوسط معدل خطأ الكلمات (WER) إلى 16.21%، مقارنة بـ 19.35% للمصدر و18.77% لـ Greedy-EM. ومن الجدير بالذكر أن Greedy-EM فشل في تحسين الأداء في الجزء الخاص باللغة الإسبانية (حيث زاد معدل الخطأ)، بينما قدمت الطرق المقترحة مكاسب ثابتة.
• التعميم متعدد اللغات: في Multilingual LibriSpeech، حقق EM-tok-b متوسط WER قدره 22.63%، متفوقاً على جميع النماذج المرجعية.

4.2 تحليل المكونات

• ضرورة كلا الحدين: تظهر دراسات الاستئصال (الشكل 2) أنه عندما تتوفر عينات متعددة ($G > 1$)، فإن هدف EM-tok الكامل (الذي يجمع بين تدرج السياسة وخسارة الإنتروبيا) يعطي أفضل النتائج. استخدام خسارة الإنتروبيا فقط (ENT-tok) أو تدرج السياسة فقط (PG-tok) يؤدي إلى نتائج دون المستوى.
• الحساسية لحجم العينة: مع عينة واحدة ($G=1$)، يصبح تدرج السياسة غير مستقر، ويكون خط الأساس القائم على الإنتروبيا فقط أفضل أداءً. ومع ذلك، مع زيادة حجم العينة، يستقر الهدف الكامل ويهيمن.
• الرمز مقابل المتوالية: يتفوق EM-tok (على مستوى الرمز) باستمرار على EM-seq (على مستوى المتوالية). يفترض المؤلفون أن هذا لأن أخطاء ASR محددة لكل رمز؛ فتقليل الإنتروبيا على مستوى الرمز يوفر توجيهاً دقيقاً لتوزيع المفردات في كل خطوة، بينما يقتصر تقليل الإنتروبيا على مستوى المتوالية على احتمالية المسار المفسر فقط.

4.3 الكفاءة والبحث الشعاعي

• تأثير البحث الشعاعي: يحقق EM-tok-b (باستخدام البحث الشعاعي) باستمرار أقل معدل خطأ في الكلمات (WER).
• الكفاءة الحسابية: رغم الانحياز النظري الذي يسببه البحث الشعاعي، فإن EM-tok-b أكثر كفاءة حسابياً من أخذ العينات العشوائية (EM-tok). عند $G=16$، قلل EM-tok-b إجمالي وقت التشغيل بنسبة تقارب 35% مقارم EM-tok مع الحفاظ على أداء متفوق، حيث ينتج البحث الشعاعي نصوصاً أكثر إيجازاً واستقراراً من أخذ العينات العشوائية.

5. الأهمية والادعاءات

يدعي البحث حل الغموض النظري المحيط بتقليل الإنتروبيا في التكيف وقت الاختبار للنماذج ذات التوليد الذاتي. وتتمثل مساهماته الرئيسية في:

1. التوحيد النظري: يقدم أول اشتقاق رياضي صارم لتدرج تقليل الإنتروبيا للنماذج ذات التوليد الذاتي، ويثبت أن الهدف يتفكك إلى تدرج سياسة على مستوى الرمز وخسارة إنتروبيا على مستوى الرمز.
2. توضيح الأعمال السابقة: يوضح أن طرق الإجبار بالمعلم والتعلم التعزيزي ليست منهجيات متنافسة، بل هي تجليات جزئية وغير مكتملة للهدف الموحد.
3. التحقق التجريبي: من خلال تجارب واسعة النطاق على نموذج Whisper ASR عبر أكثر من 20 مجالاً، يثبت البحث أن النهج القائم على الأسس النظرية يعزز المتانة بشكل كبير ضد الضوضاء، واللهجات، وتغيرات اللغة مقارنة بالاستدلالات القياسية.
4. الفائدة العملية: يوفر تقديم البحث الشعاعي كامتداد عملي (EM-tok-b) حلاً قوياً وفعالاً وعالي الأداء للتكيف وقت الاختبار (TTA) في السيناريوهات الواقعية.

يخلص المؤلفون إلى أن صياغتهم ترسي أساساً نظرياً متيناً لتقليل الإنتروبيا في التكيف وقت الاختبار للنماذج ذات التوليد الذاتي، منتقلين من الاستدلالات المجزأة إلى إطار تحسين مبني على أسس راسخة.