ملخص تقني: TARQ – التكميم لإعادة البناء المدرك للذيل من أجل التعرف الآلي على الكلام (ASR) القوي للكلمات النادرة

1. بيان المشكلة

تواجه نماذج التعرف الآلي على الكلام (ASR) واسعة النطاق القائمة على بنية المحولات (Transformer) قيوداً في النشر بسبب عرض نطاق الذاكرة وسعة الأجهزة. ويعد "التكميم بعد التدريب" (PTQ) المعتمد على الأوزان فقط استراتيجية ضغط أساسية، حيث يستبدل مصفوفات الأوزان كاملة الدقة بتقديرات منخفضة البت (مثل 4 بت) مع إبقاء التنشيطات في صيغة الفاصلة العائمة.

ومع ذلك، فإن طرق PTQ الحالية المعتمدة على البيانات، والتي طُورت إلى حد كبير للنماذج اللغوية الكبيرة (LLMs)، تقلل من خسارة إعادة البناء متوسطة عبر مواضع رموز المعايرة. وهذا المتوسط يزن المواضع ضمنياً بناءً على تكرارها التجريبي في مجموعة بيانات المعايرة. وبالتالي، تهيمن الأنماط المعجمية المتكررة على التحسين، بينما تتلقى الأنماط غير المتكررة (الـ "ذيل المعجمي") — مثل الأسماء، والأرقام، والمصطلحات الخاصة بمجالات معينة — كتلة معايرة ضئيلة بشكل غير متناسب.

في مجال التعرف الآلي على الكلام (ASR)، يعد عدم التوافق الناتج عن هذا الوزن المعتمد على التكرار أمراً حرجاً. فالكلمات النادرة غالباً ما تكون الأكثر هشاشة تحت تأثير اضطراب التكميم، ومع ذلك فإن مقاييس PTQ القياسية تحجب تدهورها لأن معدل خطأ الكلمات (WER) الإجمالي يهيمن عليه الكلمات الشائعة. وتوضح الورقة أن تحسين هدف إعادة البناء بشكل أكثر عدوانية (على سبيل المثال، زيادة ميزانية التكرار) لا يحل هذه الفجوة؛ إذ يكمن الخلل في مقياس المعايرة نفسه، وليس في دقة الحل (solver).

2. المنهجية: TARQ

يقترح المؤلفون التكميم لإعادة البناء المدرك للذيل (TARQ)، وهو إطار عمل لـ PTQ لا يعتمد على التسميات (label-free)، يقوم بتحويل المعايرة نحو الذيل المعجمي دون الحاجة إلى تسميات كيانات، أو مجموعات بيانات منسقة، أو تدريب إضافي. يعمل TARQ عبر مكونين مغلقين يمكن حسابهما باستخدام إحصاءات العزم الثاني المتراكمة خلال تمريرة معايرة واحدة:

أ. RAREBAL (مقياس المعايرة المتوازن للندرة)

يستبدل RAREBAL مقياس المعايرة القياسي الموزون بالتكرار بمقياس متوازن بين الشائع والذيل.

• الآلية: يقوم بتقسيم رموز المعايرة إلى مجموعتين: "شائعة" و"ذيل" بناءً على ندرة الكلمة (المعرفة بدرجة Zipf score < 3، أي أقل من ظهور واحد لكل مليون كلمة).
• موازنة الأثر (Trace Equalization): لكل طبقة خطية $\ell$، يتم حساب معامل قياسي $\lambda_\ell$ لمساواة كتلة الأثر (trace mass) للمجموعتين الشائعة والذيل:
  $$\lambda_\ell = \frac{\text{tr}(H_{\text{common}}^\ell)}{\text{tr}(H_{\text{tail}}^\ell) + \epsilon}$$
  حيث تمثل $H$ مصفوفات العزم الثاني لكل مجموعة. المقياس الجديد هو $H_{\text{RB}}^\ell = H_{\text{common}}^\ell + \lambda_\ell H_{\text{tail}}^\ell$.
• الأثر: هذا يجبر هدف إعادة البناء على معاملة الرموز النادرة والشائعة بنفس الأهمية (تقسيم 50/50 في كتلة الأثر)، بغض النظر عن تكرارها في المجموعة النصية.

ب. تصحيح المتبقي المتسق مع المقياس

تقوم حلول PTQ القياسية (مثل GPTQ) بزيارة الطبقات بالتتابع، مما يؤدي إلى انحراف التنشيطات المدخلة عن مسار الفاصلة العائمة. وعندما يتغير مقياس إعادة البناء بواسطة RAREBAL، يجب تصحيح هذا الانحراف ضمن نفس الإطار الهندسي.

• الآلية: يحسب TARQ اتجاه الانتشار $D_\ell$ بناءً على تقاطع لحظة الخطأ المدخل والمقياس الجديد $H_{\text{RB}}^\ell$.
• التصحيح: يتم ضبط متبقي قياسي $\alpha_\ell$ عبر طريقة المربعات الصغرى أحادية البعد لمحاذاة المسح التسلسلي للطبقات مع الهدف المعاد موازنته. يتم إسقاط الوزن المستهدف مرة أخرى في الشبكة منخفضة البت تحت نفس مقياس RAREBAL، مما يضمن عدم عودة الحل إلى الهندسة الأصلية الموزونة بالتكرار.

3. المساهمات الرئيسية

1. تشخيص وراثة التكرار: حدد المؤلفون صراحة أن PTQ القائم على إعادة البناء يرث توزيع تكرار الرموز في المجموعة النصية، مما يخلق خياراً تصميمياً لا يتوافق مع مخاطر الـ ASR الحساسة للذيل. وقد أثبتوا أن معدل خطأ الكلمات (WER) الإجمالي يحجب التدهور الكبير في الكلمات النادرة.
2. إطار عمل TARQ: تقديم إطار عمل PTQ لا يتطلب تسميات كيانات أو فك تشفير للتحقق، حيث يستخدم موازنة الأثر المغلقة لكل طبقة خطية (RAREBAL) وتصحيح متبقي متسق مع المقياس.
3. التحقق التجريبي: إجراء تجارب مكثفة عبر ثمانية نماذج أساسية لـ ASR (Whisper, Qwen3-ASR, Voxtral)، وست مجموعات بيانات، وست مجموعات معايرة نصية.

4. النتائج التجريبية

تم التقييم تحت ظروف التكميم W4G128 (أوزان 4 بت، حجم مجموعة 128):

• تحسين معدل خطأ الكلمات النادرة (Rare-WER): يحسن TARQ متوسط معدل خطأ الكلمات النادرة (rare-WER) في معظم النماذج الأساسية مقارنة بالنماذج المرجعية (GPTQ, AWK, OmniQuant, GenPTQ). على سبيل المثال، في نموذج Whisper-base، يقلل TARC من معدل rare-WER من 47.57% (GPTQ) إلى 43.96%.
• معدل خطأ الكلمات الإجمالي (Aggregate WER): يحافظ TARC على معدل plain WER تنافسي أو متفوق، محققاً المرتبة الأولى في متوسط plain WER في جميع النماذج الثمانية. إنه يغلق الفجوة المعجمية دون التضحية بـ plain-WER.
• استقرار المعايرة: يظهر TARC أدنى تذبذب في معدل rare-WER عبر المجموعات النصية المختلفة (0.63 نقطة مئوية) بين الطرق المقارنة، مما يدل على المتانة تجاه اختيار مجموعة المعايرة.
• القابلية للنقل: ينتقل التصحيح القائم على الندرة بفعالية إلى الاختبارات الغنية بالكيانات (ProfASR, ContextASR-Speech-En) دون إشراف على الكيانات، متفوقاً على النماذج المرجعية في هذه المهام المتخصصة.
• الاستعادة النوعية: تظهر دراسات الحالة أن TARC ينجح في الحفاظ على الكلمات المرجعية النادرة (مثل "marmalades", "dandan", "pewter") التي تقوم النماذج المرجعية الأخرى باستبدالها أو إضعافها.

5. الأهمية والادعاءات

تدعي الورقة أن TARQ يعالج قصوراً جوهرياً في تكميم ASR الحالي: التحيز الضمني نحو الرموز المتكررة. ومن خلال إعادة موازنة مقياس المعايرة نفسه، يستهدف TARQ مباشرة أخطاء الكيانات النادرة التي تتجاهلها الطرق السابقة.

• أثر النشر: يتيح TARC نشر نماذج ASR كبيرة على الأجهزة ذات الموارد المحدودة (المعالجات المركزية وأجهزة GPU ذات الذاكرة المنخفضة) بدقة INT4 مع الحفاظ على دقة الكلمات النادرة، وهو أمر بالغ الأهمية في المجالات التي تتضمن أسماءً ومصطلحات تقنية وأسماء أعلام.
• التحول المنهجي: تجادل الورقة بأن مقياس المعايرة، وليس فقط الحل، هو ما يحدد المقايضة بين الحفاظ على الرموز الشائعة والنادرة. وتثبت أن موازنة الأثر البسيطة التي لا تتطلب تسميات يمكن أن تتفوق على النهج المعقدة التي تعتمد بكثافة على تنسيق البيانات.
• القيود: أشار المؤلفون إلى أن TARQ يستهدف PTQ المعتمد على البيانات، وقد لا ينطبق مباشرة على حالات التكميم الخالية من البيانات أو تكميم التنشيط. كما أقروا بوجود نمط فشل محدد في العبارات القصيرة جداً التي تهيمن عليها كلمة واحدة نادرة، حيث قد يستبدل موازنة الطبقة الكلمة النادرة بجار مشابه صوتياً وعالي التكرار. واقترحوا أن هذا يمكن تخفيفه عبر التحيز السياقي أثناء الاستنتاج، وهي تقنية تكميلية لم تُدمج في هذا العمل.

في الختام، يوفر TARQ حلاً قوياً وفعالاً ولا يتطلب تسميات لمشكلة "الكلمات النادرة" في نظام ASR المكمم، مما يمثل خطوة هامة نحو نشر التعرف الآلي على الكلام عالي الدقة على أجهزة الحافة (Edge Devices).