ملخص تقني: تعزيز محاذاة السلوك لنماذج اللغات الكبيرة الصوتية عبر التعزيز

بيان المشكلة

لقد وسعت نماذج اللغات الكبيرة الصوتية (SpeechLMs) قدرات نماذج اللغات الكبيرة القائمة على النصوص لتشمل التفاعل الصوتي، لكنها لا تزال تتخلف عن نظيراتها المحفزة نصياً في اتباع التعليمات والاستنتاج. يرى المؤلفون أن هذه الفجوة في الأداء ليست مجرد نتيجة لأخطاء التعرف التلقائي على الكلام (ASR) أو عدم تطابق التمثيلات، بل إن القضية الجوهرية تكمن في تباين التحققات الصوتية: حيث يمكن نطق نفس التعليمات الدلالية من قبل متحدثين مختلفين، بلهجات، ونبرات صوتية، وظروف ضوضاء، وعواطف، وتأتأة (مثل الحشوات، والتكرارات) متفاوتة. غالباً ما تفشل النماذج الحالية في الحفاظ على سياسة استجابة متسقة عبر هذه الاختلافات الصوتية، مما يؤدي إلى عدم الاستقرار في الاستنتاج والالتزام بالتعليمات. تُظهر الاختبارات المرجعية الحالية (مثل DOWIS وVocalBench-DF) أن جودة عالية للتعرف التلقائي على الكلام لا تضمن سلوكاً مستقراً، كما أن طرق المحاذاة الحالية غالباً ما تعامل المحفزات الصوتية كحالات مستقلة بدلاً من كونها مجموعة مهيكلة من المتكافئات الدلالية.

المنهجية: VIRBA

يقترح البحث إطار عمل المحاذاة المعززة للسلوك غير المتغير والقابل للتحقق (VIRBA)، وهو إطار تعلم تعزيزي مصمم لمحاذاة سلوك نماذج SpeechLM عبر الرؤى الصوتية المتنوعة لنفس القصد الدلالي.

1. التخليق متعدد الرؤى ذاتياً (Multi-View Self-Synthesis)

بدلاً من الاعال على البيانات المسجلة بشرياً فقط أو معاملة كل محفز صوتي بشكل مستقل، يقوم VIRBA ببناء مجموعات تعليمات صوتية متعددة الرؤى. بالنسبة لتعليم دلالي واحد $q_i$، يقوم النظام بتوليد $K$ من الرؤى المنطوقة المتميزة ($x^{(k)}_i$) باستخدام تقنيات تحويل النص إلى كلام (TTS) وتقنيات التعزيز. تختلف هذه الرؤى في:

• هوية المتحدث واللكنة.
• النبرة الصوتية والنغمة العاطفية.
• معدل التحدث واستجابة الغرفة.
• ظروف الضوضاء والتأتأة (الحشوات، التصحيحات الذاتية، البدايات الخاطئة).

تنشئ هذه العملية مجموعة بيانات حيث ترتبط عدة تحققات صوتية بقصد دلالي واحد، مما يسمح للنموذج بتعلم الثبات (Invariance).

2. نمذجة المكافأة (Reward Modeling)

يستخدم VIRBA دالة مكافأة مركبة $R$ لتسجيل الاستجابات ($y_{i,k,n}$) المستخرجة من النموذج $\pi_\theta$. تجمع المكافأة بين أربعة مكونات متميزة:

• مكافأة التفضيل ($R_{pref}$): درجة محكومة بالطول من قِبل حكم يعتمد على نموذج لغة كبير (LLM judge) لمقارنة استجابة النموذج باستجابة المعلم، مما يضمن الفائدة والتماسك.
• المكافأة القابلة للتحقق ($R_{ver}$): فحوصات صحة قائمة على القواعد (المطابقة التامة، F1، صحة التصنيف، أدوات تحليل القيود، BLEU/COMET للترجمة) لترسيخ الدقة الواقعية وتقليل الهلوسة.
• مكافأة الثبات ($R_{inv}$): مقياس خاص بالصوت يعاقب الانحراف الدلالي بين الاستجابات للرؤى الصوتية المختلفة لنفس التعليمات. يضمن ذلك عدم تغيير النموذج لمحتواه الواقعي أو سلوك الرفض بناءً على المتحدث أو وجود التأتأة.
• مكافأة الاستنتاج التكيفية ($R_{think}$): مكافأة تشجع على الاستنتاج الموجز فقط عندما يحسن الصحة النهائية، مما يمنع النموذج من توليد مسوغات طويلة غير ضرورية للمهام البسيطة.

3. تحسين السياسة النسبي للمجموعات عبر الأصوات (CA-GRPO)

يتجاوز هدف التحسين عملية تعلم التفضيل الزوجي (مثل DPO) التي تختار فقط "الأفضل" و"الأسوأ". يستخدم VIRBA خوارزمية CA-GRPO، التي تعامل المجموعة الكاملة من الاستجابات عبر جميع الرؤى الصوتية لتعليم واحد كأداة للتحسين.

• يتم حساب دالة الميزة $A_{i,k,n}$ من خلال مقارنة مكافأة استجابة معينة بمتوسط وانحراف معياري لتوزيع مكافآت المجموعة بأكملها.
• يعمل الهدف على تعظيم احتمالية الاستجابات ذات المكافأة العالية مع معاقبة الانحرافات عن متوسط المجموعة، مما يفرض فعلياً الاتساق عبر الرؤى الصوتية.
• تتضمن سلسلة التدريب مرحلة إحماء تحت الإشراف لمنع انهيار السياسة المبكر، يتبعها هدف CA-GRPO.

المساهمات الرئيسية

1. صياغة المحاذاة الثابتة صوتياً: يصيغ البحث محاذاة SpeechLM كمسألة تحسين حيث يجب أن تؤدي الطلبات الصوتية المتطابقة دلالياً إلى سياسات استجابة متسقة عبر المتحدثين، واللهجات، والنبرات، والضوضاء، والتأتأة.
2. إطار عمل VIRBA: تقديم إطار عمل للتعلم التعزيزي يبني مجموعات تعليمات صوتية متعددة الرؤى ويجمع بين مكافآت التفضيل، والصحة القابلة للتحقق، والثبات عبر الأصوات، ومكافآت الاستنتاج التكيفية.
3. هدف CA-GRPO: طريقة مبتكرة لتحسين السياسة النسبي للمجموعات تستغل توزيع المكافآت الكامل عبر الرؤيات الصوتية والعينات الاستجابية، بدلاً من اختزال الإشراف إلى زوج واحد من "الأفضل-والأسوأ".
4. تقييم شامل: تقييم صارم عبر اتباع التعليمات المنطوقة، والمتانة تجاه التأتأة، والأسئلة والأجوبة الصوتية، والاستنتاج الصوتي، والترجمة من الكلام إلى نص، مما يثبت أن المكاسب ناتجة عن آلية المحاذاة وليس فقط من حجم البيانات الاصطناعية.

النتائج التجريبية

قيم المؤلفون VIRBA باستخدام Qwen2-Audio-7B كعمود فقري أساسي و Qwen2.5-Omni-7B كعمود فقري ثانوي.

• اتباع التعليمات والمتانة: حقق VIRBA أعلى معدلات فوز محكومة بالطول (LC) في اختبارات مثل Spoken-Alpaca وSpeech-IFEval وDOWIS. ومن الملاحظ أنه أظهر أكبر المكاسب في المطالبات المتأتئة والمضطربة صوتياً مقارنة بالنماذج المرجعية مثل TTS-SFT وGroup-DPO وSingle-view RL.
• الاستنتاج والأسئلة والأجوبة: في الاختبارات المعتمدة على الاستنتاج المكثف (SpeechR، SoundMind، MMAR)، تفوق VIRFA على Single-view RL وطابق أو تجاوز النماذج المتخصصة في الاستنتاج الصوتي مثل Step-Audio-R1. أكدت دراسة الاستبعاد أن المكافآت القابلة للتحقق ومكافآت الثبات حاسمان لهذه المكاسب.
• ضوابط المتانة: أظهرت التجارب أن محاذاة SpeechLM المباشرة (VIRBA) تتفوق على الأنظمة "المتتالية" (ASR + Text LLM) في المطالبات المتأتئة والمصورة بشرياً، حيث تعاني الأنظمة المتتالية من أخطاء ASR وفقدان الإشارات شبه اللغوية.
• نقل الترجمة: بينما كان التركيز الأساسي هو محاذاة التعليمات، أظهر VIRBA أن تدريبه يحافظ على قدرات الترجمة من الكلام إلى النص، محققاً تحسينات طفيفة ولكن متسقة على النماذج المرجعية في FLEURS وCoVoST2 وMuST-C.
• دراسات الاستبعاد (Ablation Studies): أدى إزالة مكافأة الثبات إلى تقليل المتانة والاتساق بشكل حاد. كما أدى إزالة المكافآت القابلة للتحقق إلى الإضرار بأداء الاستنتاج والأسئلة والأجوبة. وأدى استبدال CA-GRPO بتحديثات DPO الزوجية إلى انخفاض الأداء عبر جميع المقاييس، مما يؤكد فائدة استخدام توزيع مكافآت المجموعة الكامل.

الأهمية والادعاءات

يدعي البحث أن الفجوة المستمرة بين نماذج اللغات النصية والصوتية ليست مجرد مشكلة ASR، بل هي مشكلة محاذاة سلوكية. من خلال معاملة "المجموعة الصوتية" كوحدة للتحسين، يجبر VIRFA النموذج على تعلم سياسات استنتاج مستقرة وثابتة تجاه التباينات الصوتية الواقعية.

يؤكد المؤلفون أن نهجهم ينقل محاذاة SpeechLM من مجرد تقليد المعلم نحو سياسات استنتاج قوية. وتشير النتائج إلى أن المكافآت القابلة للتحقق والثبات عبر الأصوات ضروريان للتعامل مع تعقيد التفاعل الصوتي في العالم الحقيقي، خاصة حيث يمكن للتأتأة وتباين المتحدثين أن يؤدي إلى زعزعة استقرار النموذج. يوفر هذا العمل مساراً قابلاً للتوسع باستخدام بيانات صوتية مُخلّقة ذاتياً، بشرط أن يكون هدف التدريب يكافئ صراحةً الاتساق عبر الرؤى الصوتية.