ملخص تقني: PAL: استقصاء المشفرات الصوتية عبر النماذج اللغوية الكبيرة (LLMs)

1. بيان المشكلة

يعد دمج الإدراك الصوتي في النماذج اللغوية الكبيرة (LLMs) خطوة حاسمة نحو تمكين تطبيقات الاستماع الآلي. ومع ذلك، لا يزال النقل الفعال للدلالات الصوتية الغنية من المشفرات الصوتية إلى النماذج اللغوية الكبيرة أمراً غير مستكشف بشكل كافٍ.

تعتمد نماذج التكامل الحالية ذات الحالة الراهنة (SOTA)، والتي يشار إليها في هذه الورقة باسم الإلحاق بمساحة رموز الإدخال للنموذج اللغوي الكبير (PLITS)، على إسقاط مخرجات المشفر الصوتي في مساحة رموز النموذج اللغوي الكبير (عبر طبقات MLP أو Q-Formers) وإلحاق هذه الرموز الصوتية بتسلسل رموز النص. بعد ذلك، ينتشر التسلسل المدمج بالكامل عبر جميع طبقات النموذج اللغوي الكبير. ورغم فعالية هذا النهج، إلا أنه يتسبب في عبء حسابي كبير لأن الرموز الصوتية (التي غالباً ما تفوق عدد رموز النص بكثير، $N_a \gg N_t$) تخضع لعمليات الانتباه الذاتي السببي (causal self-attention) وشبكات التغذية الأمامية (FFN) كاملة في كل طبقة. يؤدي هذا إلى تعقيد تربيعي في الانتباه $O((N_a + N_t)^2)$ واستخدام عالٍ للذاكرة، مما يحد من القدرة على التوسع وإنتاجية الاستدلال.

أما البنى البديلة، مثل نماذج أسلوب Flamingo، فتقوم بإدراج كتل الانتباه المتقاطع (cross-attention) وشبكات التغذية الأمامية بين طبقات النموذج اللغوي الكبير. وبين أن هذا يحسن كفاءة الانتباه مقارداً بالدمج البسيط، إلا أنه يزيد من العمق التسلسلي وحسابات الطبقة الواحدة، مما قد يبطئ عملية التمرير الأمامي (forward pass).

2. المنهجية

تقترح الورقة استراتيجيتين جديدتين للتكامل: LAL (التكامل الصوتي الخفيف للنماذج اللغوية الكبيرة) و PAL (استقصاء المشفرات الصوتية عبر النماذج اللغوية الكبيرة).

2.1. LAL: التكامل الصوتي الخفيف للنماذج اللغوية الكبيرة

LAL هي تعديل بنيوي أساسي مصمم لحقن التمثيلات الصوتية حصرياً من خلال آلية الانتباه، متجاوزاً وحدات التغذية الأمامية للرموز الصوتية.

• الآلية: في طبقة نموذج لغوي كبير قياسية، يتم دمج الحالات المخفية للنص $H^t_l$ والميزات الصوتية المسقطة $\hat{A}_l$ لتشكيل $S_l$.
  • الاستعلامات (Queries - $Q$): تُحسب فقط من رموز النص ($H^t_l$).
  • المفاتيح (Keys - $K$) والقيم (Values - $V$): تُحسب من التسلسل المدمج $S_l$ (الذي يحتوي على كل من النص والصوت).
• تدفق المعلومات: تعمل الرموز الصوتية على تعديل سياق الانتباه لرموز النص ولكنها لا تمر عبر طبقة التغذية الأمامية (FFN) الفرعية. يسمح هذا لرموز النص بجمع المعلومات من الصوت دون أن تخضع الرموز الصوتية لتحويلات غير خطية في الـ FFN.
• تقليل التعقيد: من خلال قصر الاستعلامات على رموز النص فقط، ينخفض تعقيد الانتباه من $O((N_a + N_t)^2)$ إلى $O((N_a + N_t)N_t)$. وبما أن $N_a \gg N_t$، فإن هذا يلغي حد $N_a^2$، مما يحقق مكاسب كبيرة في الكفاءة.
• الترميز الموضعي: للحفاظ على الترتيب الزمني، يدير LAL معرفات المواقع (position IDs) صراحةً، حيث يترك فجوة في التسلسل للرموز الصوتية لضمان عمل تضمينات الموضع الدوارة (RoPE) بشكل صحيح بالنسبة للنص.

.2. PAL: التكامل الهجين

إدراكاً منها بأن طبقات مختلفة من النموذج اللغوي الكبير قد تستفيد من أساليب دمج مختلفة، تقترح المؤلفة PAL، وهو نهج هجين يجمع بين PLITS و LAL.

• البنية:
  1. مسار PLITS (ملخص): يتم اشتقاق مجموعة مدمجة من رموز الملخص من التسلسل الصوتي الكامل (عبر التلافيف أحادية البعد 1D convolution مع خطوة إزاحة $r$). تُعالج هذه الرموز الملخصة عبر طريقة PLITS القياسية (تُلحق بالنص وتمر عبر جميع الطبقات).
  2. مسار LAL (الدقة الكاملة): يتم حقن تسلسل الرموز الصوتية كامل الدقة عبر LAL في كتل الانتباه.
• تخصيص الطبقات: تشير التحليات التجريبية إلى أن التفاصيل الصوتية كاملة الدقة تكون أكثر أهمية في الطبقات الأولى، بينما يكون المحاذاة الدلالية عالية المستوى مع النص أكثر أهمية في الطبقات اللاحقة. بناءً على ذلك، يقيد PAL حقن LAL في الثلث الأول من طبقات النموذج اللغوي الكبير. بعد هذه النقطة، يعتمد النموذج فقط على رموز الملخص من مسار PLITS.
• ترتيب الرموز: في آلية الانتباه، يتم تداخل المفاتيح والقيم بحيث يتبع رمز الملخص ($p_j$) كتلة الرموز المقابلة له من الدقة الكاملة ($\ell_i$)، مما يحافظ على المحاذاة بين الملخص والسياق الدقيق الأساسي.

3. المساهمات الرئيسية

1. تكامل LAL: تقديم استراتيجية خفيفة الوزن تدمج الرموز الصوتية فقط كـ "مفاتيح" و "قيم" في وحدات الانتباه الفرعية للنموذج اللغوي الكبير، متجاوزة معالجة الـ FFN. هذا يقلل من التكاليف الحسابية والذاكرة مع الحفاظ على أداء مماثل لـ PLITS.
2. بنية PAL الهجينة: اقتراح طريقة هجينة تطبق PLITS على رموز الملخص المدمجة و LAL على التسلسل الصوتي الكامل. يتفوق هذا النهج بشكل كبير على PLITS مع الحفاظ على كفاءة عالية في الحوسبة والذاكرة.
3. التحقق التجريبي الصارم: إجراء مقارنات عادلة تحت منهج تدريبي ومجموعة بيانات موحدة عبر عدة نماذج لغوية أساسية (Llama-3.2-1B/3B, Qwen2.5-1.5B) ومهام متنوعة (التصنيف، الوصف، الاستنتاج، الكلام، الموسيقى، وفهم الأصوات).

4. النتائج التجريبية

تظهر التجارب أن LAL و PAL يقدمان مقايضات أفضل بين الكفاءة والأداء مقارنة بالنماذج المرجعية الحالية (PLITS و Flamingo-style).

• مكاسب الكفاءة:

  • استخدام الذاكرة: يقلل LAL من استخدام ذاكرة التدريب بنسبة تقارب 60% وذاكرة الاستدلال بنسبة 83% مقارنة بـ PLITS.
  • الإنتاجية (Throughput): تزدادة إنتاجية التدريب بنسبة تقارب 190%، وتتحسن سرعة الاستدلال بمقدار 1.2 إلى 1.5 مرة.
  • القابلية للتوسع: تتسع فجوة الكفاءة مع التسلسلات الصوتية الأطول بسبب التوسع الخطي لـ LAL بالنسبة لعدد الرموز الصوتية ($N_a$).

• الأداء:

  • الفهم الصوتي العام: يضاهي LAL أو يتفوق على PLITS في مهام التصنيف (ESC-50, DCASE, VocalSound)، والوصف (AudioCaps, Clotho)، والاستنتاج (CompA-R). على سبيل المثال، في نموذج Llama-3.2-3B، حقق LAL دقة 89.25% في ESC-50 مقارنة بـ 84.60% لـ PLITS.
  • الفهم الموحد للصوت-الكلام-الموسيقى: في الإعداد الموحد (اختبارات MMAU, MMAR, MMSU)، حقق نموذج PAL الهجين أفضل أداء.
    • MMAU: حقق PAL-3B نسبة 70.20% (test-mini) و 68.20% (test)، متفوقاً على PLITS-3B (64.30% / 62.91%).
    • MMAR: وصل PAL-3B إلى دقة 45.40%، متجاوزاً PLITS-3B (41.10%).
    • MMSU: حقق PAL-3B دقة إجمالية قدرها 46.18%، مقارنة بـ 40.12% لـ PLITS-3B.
  • دراسات الاستبعاد (Ablation Studies): أدت عملية حجب أي من مساري LAL أو PLITS في نسخة PAL-All إلى انخفاض في الأداء، مما يؤكد أن المسارين يوفران معلومات متكاملة (LAL للسياق الصوتي دقيق التفاصيل، و PLITS للمحاذاة الدلالية عالية المستوى).

• تجميد الـ FFN: تشير الورقة إلى أن LAL يظل فعالاً حتى عندما تكون كتل FFN للنموذج اللغوي الكبير مجمدة، مما يشير إلى إمكانية دمج المعلومات الصوتية عبر الانتباه دون تعديل المعرفة البارامترية الأساسية المخزنة في الـ FFNs.

5. الأهمية والادعاءات

تدعي الورقة أن LAL و PAL يمثلان تحولاً من طرق الضبط الدقيق الموفر للمعاملات (PEFT) (مثل LoLo) إلى تعديلات بنيوية أساسية تغير جذرياً كيفية مشاركة الرموز الصوتية في عملية التمرير الأمامي للترانسفورمر.

• القابلية للتوسع: من خلال تقليل الاعتماد التربيعي على عدد الرموز الصوتية، تمكن هذه الطرق من تدريب ونشر نماذج لغوية صوتية بنوافذ سياق أطول ودقة أعلى دون تكاليف حسابية باهظة.
• الكفاءة مقابل الأداء: يثبت المؤلفون أنه من الممكن تحقيق أداء رائد في فهم الصوت مع تقليل بصمة الذاكرة وزيادة الإنتاجية بشكل كبير.
• رؤية التصميم: يوفر العمل رؤى قابلة للتطبيق في تصميم النماذج اللغوية الصوتية القابلة للتوسع، مع تسليط الضوء بشكل خاص على أن الطبقات الأولى تستفيد من حقن الصوت كامل الدقة (LAL)، بينما تستفيد الطبقات اللاحقة من الملخصات المدمجة والمتوافقة لغوياً (PLITS).

يخلص المؤلفون إلى أن مكاسب الكفاءة هذه يمكن أن توسع نطاق الوصول إلى تقنيات فهم الصوت، رغم تأكيدهم على الحاجة إلى النشر المسؤول فيما يتعلق بالخصوصية، والتحيز، والتطبيقات عالية الخطورة.