ملخص تقني: الهروب من الأولوية اللغوية: التخفيف من حدة انهيار النمط المتأخر في الاستدلال الصوتي عبر تحسين السياسة المدركة للنمط

1. بيان المشكلة

أظهرت النماذج اللغوية الكبيرة (LLMs) الصوتية ومتعددة الأنماط (omni-modal) قدرات مذهلة في الاستدلال عبر الوسائط. ومع ذلك، فإن تطبيق خوارزميات التعلم المعزز (RL) القياسية في مرحلة ما بعد التدريب (مثل PPO و DPO و GRPO) على هذه النماذج يكشف عن ثغرة هيكلية حرجة: انهيار النمط المتأخر (late-stage modality collapse).

تطبق طرق التعلم المعزز القياسية تدرجات السياسة الموحدة عبر جميع الرموز (tokens) المولدة، بافتراض أن كل رمز يساهم بالتساوي في إشارة التعلم. في التوليد متعدد الوسائط، هذا الافتراض معيب؛ فالعديد من الرموز تعمل كـ "سقالات لغوية" يمكن التنبؤ بها بواسطة الأولوية اللغوية الداخلية للنموذج، بينما يعتمد جزء حيوي منها كلياً على المصدر غير النصي (مثل الصوت الخام) لالتقاط السمات الصوتية الأساسية. إن التوزيع الموحد للأوزان يهدر ميزانية التحسين على النصوص التي لا تعتمد على النمط، ويضعف إشارة التعلم للرموز التي تتطلب تجذيراً نشطاً عبر الوسائط.

هذا عدم الكفاءة يؤدي إلى نمط فشل حاد أثناء توليد سلسلة الأفكاء (CoT) الطويلة: فكلما طال مسار الاستدلال، يتخلى النماذج تدريجياً عن إشارة المصدر الأساسية غير المضغوطة لصالح الأولويات النصية المضغوطة. يؤدي هذا إلى "هلوسات واثقة ولكن غير مجذرة"، حيث ينفصل النموذج معرفياً عن المصدر الصوتي. والأهم من ذلك، أنه مع استسلام النموذج لأوليته اللغوية، يصبح واثقاً بشكل مرضي، مما يؤدي إلى فشل التدخلات القياسية القائمة على الإنتروبيا في استعادة التجذر المفقود.

2. المنهجية: تحسين السياسة المدركة للنمط (MAPO)

لمعالجة هذه التحديات، يقترح المؤلفون تحسين السياسة المدركة للنمط (MAPO)، وهو إطار عمل جديد للتعلم المعزز ثنائي المسار مبني على تحسين السياسة النسبي للمجموعات (GRPO). يقوم MAPO بتعديل هدف التعلم من خلال آليتين متكاملتين مصممتين لكسر الأولوية اللغوية وفرض تجذر مستدام عبر الوسائط.

2.1 المقاييس الجوهرية

قبل تحديد هدف التحسين، يقدم MAPO مقياسين كميين:

• كتلة الانتباه الصوتي ($a_t$): مقياس لإجمالي كتلة الاحتمالية الموجهة إلى تسلسل المدخلات عبر الوسائط ضمن توزيع الانتباه الذاتي للنموذج. وهي تعمل كوكيل لعرض النطاق الترددي الإدراكي النشط. يُظهر التحليل التجريبي أن هذه الكتلة تتضاءل بشكل كبير في مراحل التوليد المتأخرة، مما يشير إلى أن النموذج يتوقف عن "الاستماع".
• الإنتروبيا التفاضلية عبر الوسائط ($\Delta h_t$): الفرق في الإنتروبيا على مستوى الرمز بين نموذج مرجعي نصي فقط مجمد ($\pi_{text-ref}$) والسياسة الحية متعددة الوسائط ($\pi_\theta$).
  $$\Delta h_t = H(\pi_{text-ref}(\cdot | y_{<t}, x_{text})) - H(\pi_\theta(\cdot | y_{<t}, x))$$
  يعزل هذا المقياس كسب المعلومات الناتج عن الوسيط غير النصي. تشير $\Delta h_t$ العالية إلى الرموز التي يغير فيها المصدر الصوتي التوزيع التنبئي بشكل كبير، مما يحدد "الرموز الرئيسية" التي تتطلب إدراكاً عبر الوسائط.

2.2 هدف التحسين ثنائي المسار

يُعرف إجمالي هدف MAPO كما يلي:
$$\mathcal{L}_{MAPO} = \mathcal{L}_{PG}(\tilde{\omega}) + \beta \mathcal{L}_{KL} + \eta \mathcal{L}_{attn}$$

أ. قناع صلة النمط وتدرج السياسة المعاد وزنه ($\mathcal{L}_{PG}$)

تقوم طريقة GRPO القياسية بمتوسط خسائر الرموز بشكل موحد ($1/T$). يستبدل MAPO ذلك بـ قناع صلة النمط ($\tilde{\omega}$) ديناميكي على مستوى الرمز مشتق من الإنتروبيا التفاضلية عبر الوسائط.

• الآلية: يعيد القناع وزن تدرج السياسة لتخصيص ميزانية التحسين بشكل غير متناسب نحو الرموز التي تؤثر فيها الأصوات المصدرية بقوة على التوزيع التنبئي.
• التنفيذ: يتم إنشاء القناع عبر تطبيق دالة softmax على القيمة المطلقة للإنتروبيا التفاضلية $|\Delta h_t|$، مع قياسها بدرجة حرارة تعتمد على الطول وتقييدها لمنع التضخيم المفرط. يتم تطبيع الخسارة النهائية بمجموع الأوزان للحفاظ على معدل تعلم مستقر.
• الأثر: يعمل هذا على رفع وزن مساهمة التدرج للرموز الحرجة للنمط ديناميكياً، مع خفض وزن السقالات اللغوية.

ب. فرع خسارة الانتباه المساعد ($\mathcal{L}_{attn}$)

بينما يصحح القناع ميزانية التدرج، فإنه يعتمد على احتفاظ النموذج ببعض الوعي الكامن بالإشارة. ولمكافحة الانهيار المتأخر مباشرة، يقدم MAPO فرع خسارة مساعد يفرض عقوبة مستهدفة وموقوتة على توزيعات الانتباه الداخلية للنموذذ، مما يمنع إهمال إشارة المصدر في أعماق سلسلة الاستدلال.

• الآلية: يطبق هذا الفرع عقوبة مستهدفة زمنياً على توزيعات الانتباه الداخلية للنموذج. فهو يعاقب الرموز ذات كتلة الانتباه الصوتي المنخفضة ($a_t$) تحديداً في المواضع ذات الدلالة اللغوية (التي يتم عزلها عبر بوابة أجزاء الكلام - Part-of-Speech gate).
• القياس الزمني: يتم وزن العقوبة بواسطة قناع عكسي للصلة (يستهدف الرموز ذات الإنتروبيا التفاضلية المنخفضة بشكل مريب) ووزن زمني غير متناقص $(t/T)^\kappa$، مما يركز العقوبة في نهاية التسلسل حيث يحدث الانهيار عادةً.
• تدفق التدرج: تتدفق التدرجات من هذا الفرع حصرياً عبر كتلة الانتباه الصوتي مباشرة إلى معاملات الانتباه متعدد الرؤوس (projections الخاصة بالاستعلام والـ Key) في الـ Transformer، تاركة رأس نمذجة اللغة دون تغيير. هذا يجبر النموذج على الحفاظ بنشاط على التجذر عبر الوسائط في أعماق مسار الاستدلال.

3. المساهمات الرئيسية

1. صياغة انهيار النمط المتأخر: حدد المؤلفون وصاغوا حدود التوزيغ الموحد للأوزان في التعلم المعزز عبر الوسائط، مسلطين الضوء على كيفية حجب الأولوية اللغوية لعدم اليقين الحقيقي للنموذج أثناء الاستدلال طويل الأمد، مما يؤدي إلى هلوسات واثقة.
2. إطار عمل MAPO: اقترحوا إطار عمل للتحسين ثنائي المسار يستفيد من الإنتروبيا التفاضلية عبر الوسائط لإعطاء الأولوية للرموز الحرجة للنمط، ويقدم عقوبة انتباه مستهدفة لفرض تجذر مستدام للمصدر.
3. التحقق التجريبي: من خلال التقييم المكثف على مهام الاستدلال الصوتي المعقدة (الكلام، الموسيقى، الأحداث الصوتية)، أثبتوا أن MAPO يحسن كلاً من دقة الاستدلال طويل الأمد والمتانة ضد هلوسات الأولوية اللغوية، محققاً نتائج جديدة (SOTA) بين النماذج مفتوحة الأوزان.

4. النتائج التجريبية

قيم المؤلفون MAPO باستخدام نموذج Qwen3-Omni-30B-A3B-Thinking كسياسة أساسية، مدرباً على خليط متنوع من مجموعات بيانات الأسئلة والأجوبة الصوتية (بما في ذلك AVQA و AudioSet و LibriTTS-R و MusicCaps).

4.1 دراسات الاستبعاد (Ablation Studies)

• تأثير المكونات: أدت طريقة GRPO القياسية على النموذج الأساسي إلى تدهور طفيف في الأداء (المتوسط: 70.21 $\to$ 69.51). أدى إضافة قناع صلة النمط إلى استعادة الأداء (70.53). ودمج خسارة الانتباه المساعدة أدى إلى قفزة كبيرة (71.51)، مما يؤكد أن فرض التجذر المستمر للمصدر هيكلياً يخفف من الانهيار.
• الضبط الدقيق الكامل: حافظ MAPO على تفوق واضح على GRPO القياسي حتى تحت تحديثات المعاملات الكاملة، محققاً متوسطاً عاماً قدره 73.34 في اختبار المرحلة الثانية النهائي.

4.2 أداء الاختبارات المرجعية (Benchmarks)

• الاختبارات المتمحورة حول النمط (MMAU, MMAR): حقق MAPO رقماً قياسياً جديداً للنماذج مفتوحة الأوزان. في MMAU، سجل 77.80، مساوياً للنموذج المملوك الرائد (Nova 2 Omni) ومتفوقاً بشكل كبير على Gemini 2.5 Pro (71.60) و GPT-4o Audio (62.50). مقارنة بخط الأساس Qwen3-Omni-Thinking، حسن MAPO نتيجة MMAU بمقدار +2.80 و MMAR بمقدار +4.00.
• القدرة واتباع التعليمات (MMSU, MMAU-Pro): حقق MAPO أعلى درجة إجمالية في MMSU (79.36)، مع تحسينات متزامنة في الإدراك والاستدلال. والجدير بالذكر أنه في MMAU-Pro، رفع درجة اتباع التعليمات الصوتية (AIF) من 62.07 إلى 95.40، متجاوزاً نماذج محسنة للغاية مثل Gemini 2.5 Flash (95.10).

4.3 التحليل النوعي

كشفت دراسات الحالة أنه بدون فرع خسارة الانتباه، غالباً ما تحدد النماال إشارات صوتية أولية بشكل صحيح ثم تنحرف نحو أولويات نصية خاطئة (على سبيل المثال، تحديد "عربة تجرها الخيول" بشكل خاطئ على أنها "قطار" بسبب صوت الخبط الإيقاعي). حافظ إطار MAPO الكامل على الانتباه الصوتي بعمق في مسار الاستدلة، مما سمح للنموذج بصقل الإشارات الغامضة ورفض الأولويات المضللة.

5. الأهمية والادعاءات

يزعم البحث أن MAPO يوفر أساساً واعداً للتخفيف من الانهيار المعرفي عبر مختلف الأنظمة متعددة الوسائط. تكمن أهميته في ثلاثة مجالات:

1. التصحيح الهيكلي: يعالج خللاً هيكلياً جوهرياً في مرحلة ما بعد التدريب بالتعلم المعزز القياسي (توزيع الأوزان الموحد للرموز) الذي يجعل النماذج تتخلى عن الوسائط المصدرية أثناء الاستدلال الطويل.
2. الاعتماد على الإشارة الأصلية: على عكس الطرق السابقة التي تعتمد على نماذج معلمة خارجية أو انحيازات استقرائية خاصة بالمجال (مثل مقاييس التشابه البصري)، يعتمد MAPO حصرياً على الإشارات الإحصائية الأصلية (أوزان الانتباه والإنتروبيا التنبئية) المستمدة من النموذج نفسه.
3. القدرة على التعميم: رغم التحقق من فعاليته على الصوت، يرى المؤلفون أن آليات إعادة وزن الرموز وتوجيه الانتباه في MAPO هي آليات مستقلة عن النمط، مما يشير إلى إمكانية تطبيقها على وسائط مستمرة أخرى مثل الرؤية والفيديو.

يشير المؤلفون صراحة إلى أن MAPO هو إطار عمل للمحاذاة والانتظام، وليس آلية لحقن القدرات. فهو يضمن أن تستغل النماذج كامل قدراتها الإدراكية والاستدلالية الموجودة بالفعل، لكنه لا يبتكر قدرات غائبة عن التدريب المسبق الأساسي. علاوة على ذلك، لاحظوا أن تطبيق MAPO على النماذج المضبوطة للتعليمات والتي تفتقر إلى قدرات CoT الجوهرية يعطي نجاحاً محدوداً، حيث تقيد أولوية الإيجاز الأساسية إمكانات التحسين.