Language-Conditional Dequantization: Recovering What Quantization Steals from Non-English Languages

معضلة اللهجة الرقمية

تخيل أن لديك عقل روبوت فائق الذكاء يمكنه التحدث بآلاف اللغات. ولجعل هذا العقل سريعاً بما يكفي ليعمل على جهاز كمبيوتر محمول عادي أو هاتف، يضطر المهندسون إلى تقليص حجمه، وهي عملية تسمى "الكمية" (quantization). فكر في الأمر كأنك تقوم بضغط فيلم عالي الدقة إلى حجم ملف صغير جداً لكي يتم تحميله فوراً. عادةً ما يعمل هذا بشكل رائع، ولكن هناك مشكلة: وصفة الضغط كُتبت باستخدام تعليمات باللغة الإنجليزية فقط. وعندما يحاول الروبوت التحدث بلغات أخرى، خاصة تلك التي تمتلك أبجديات أو هياكل مختلفة، تجعل عملية الضغط الروبوت يتعثر، أو ينسى الكلمات، أو يبدو مرتبكاً. الأمر يشبه إعطاء موسيقي ورقة موسيقية تم ضغطها؛ حيث تظل النوتات الخاصة بالأغاني الإنجليزية واضحة، لكن النوتات الخاصة بالأغاني الفرنسية أو اليابانية تصبح مشوهة. هذا الأمر مهم لأن مليارات البشر يعتمدون على أدوات الذكاء الاصطنا هذه يومياً، ومن غير العادل أن تعمل الأداة بشكل مثالي للبعض بينما تكاد لا تعمل للآخرين.

قصة الورقة البحثية: إصلاح العقل المضغوط

قرر الباحثون وراء هذه الورقة، نيرمال توماس من "براثاما إنترناشيونال"، التحقيق في مدى سوء تأثير هذا "الضغط المقتصر على الإنجليزية" على المتحدثين بغير الإنجليزية. قاموا باختبار نموذجين صغيرين مشهورين للذكاء الاصطناعي (Qwen2.5-3B و Llama-3.2-3B) تم ضغطهما إلى حجم صغير جداً (INT3). كانت النتائج صادمة: بينما شهد المتحدثون بالإنجليزية انخفاضاً في أداء الروبوت بنحو 1.35 مرة، شهد المتحدثون بلغات مثل العربية انخفاضاً في الأداء بأكثر من 4 مرات، بينما انخفض أداء المتحدثين باليابانية بأكثر من 3 مرات. لم يكن الروبوت مرتبكاً قليلاً فحسب؛ بل كان عاجزاً عن الكلام عملياً في تلك اللغات.

ولإصلاح ذلك، ابتكر الفريق طريقة تسمى إزالة الكمية المشروطة باللغة (LCD). بدلاً من محاولة إعادة ضغط الروبوت بالكامل (والذي سيستغرق وقتاً طويلاً ويتطلب قدرة حوسبية هائلة)، قاموا بإرفاق "رقع" صغيرة خاصة بكل لغة. تخيل أن الروبوت هو درع، والدرع مصنوع بالفعل ومضغوط. بدلاً من صهر الدرع لإعادة صنعه، قام الفريق بخياطة رقع صغيرة مخصصة لكل لغة. هذه الرقع صغيرة للغاية، حيث تضيف 0.12% فقط من البيانات لكل لغة، ويمكن تدريبها في أقل من 20 دقيقة على بطاقة رسوميات واحدة.

عندما يتحدث الروبوت، فإنه يتحقق من اللغة ويقوم فوراً باستبدال الرقعة الصحيحة. كانت النتائج مبهرة: بالنسبة للغات التي تستخدم خطوطاً غير لاتينية (مثل العربية واليابانية والصينية والكورية)، استعادت هذه الطريقة ما بين 70% و 83% من الأداء المفقود. لقد نجحت الطريقة لدرجة أنها تفوقت على "الرقعة الواحدة التي تناسب الجميع" بفارق كبير، مما أثبت أن الأخطاء كانت بالفعل خاصة بكل لغة.

ومع ذلك، كشفت الورقة أيضاً عن لغز محير. فبينما أصلحت الرقع "ارتباك" الروبوت (الذي يُقاس بمدى قدرته على التنبؤ بالكلمة التالية، أو perplexity)، إلا أنها لم تصلح دائماً مدى قدرة الروبوت على الفهم والإجابة على الأسئلة (الذي يُقاس بدقة GlobalMMLU). وجد الباحثون أن هذا يعتمد على أين حدث الضرر في عقل الروبوت.

• في أحد النماذج (Qwen)، حدث الضرر في نهاية العقل تماماً. استطاعت الرقع إصلاح هذا بسهولة، وأصبح الروبوت أكثر ذكاءً في الإجابة على الأسئلة.
• في النموذج الآخر (Llama)، حدث الضرر في مرحلة مبكرة من العقل. استطاعت الرقع إصلاح المخرات الفورية، لكن "الإشارة السيئة" كانت قد انتقلت بالفعل عبر بقية العقل، مما أفسد الإجابة النهائية.

قام المؤلف بقياس ذلك بعناية، موضحاً أنه بينما استعادت الرقع 69% من الارتباك في نموذج Llama، إلا أنها استعادت 17% فقط من القدرة الفعلية على الإجابة على الأسئلة. يشير هذا إلى أن مجرد إصلاح "الضجيج" ليس كافياً دائماً إذا تعرض الهيكل الأساسي لعملية التفكير للتلف في مراحل مبكرة.

ما تنفيه الورقة وما تؤكده

كان الباحثون حذرين جداً في اختبار أفكارهم ضد احتمالات أخرى. فقد استبعدوا صراحةً فكرة أن رقعة واحدة عامة يمكن أن تصلح جميع اللغات بالتساوي. ووجدوا أنه بينما نجحت الرقعة العامة بشكل جيد في المتوسط، إلا أنها فشلت فشلاً ذريعاً في اللغات الأكثر بعداً (مثل العربية واليابانية)، حيث برزت قيمة الرقع الخاصة بكل لغة. كما اختبروا ما إذا كانوا بحاجة إلى رقع ضخمة ومعقدة، ووجدوا أن الرقع الصغيرة (rank-2) كانت كافية؛ إذ لم يساعد جعلها أكبر، بل جعل الأمور أسوأ أحياناً بسبب الإفراط في التخصيص (overfitting) للبيانات التدريبية الصغيرة.

كما أكدوا أن هذا ليس مجرد صدفة في نموذج واحد بعينه. فقد ظل النمط ثابتاً عبر عائلتين مختلفتين من الذكاء الاصطناعي. ومع ذلك، أشاروا إلى أن طريقتهم تعمل بشكل أفضل على النماذج الصغيرة (أقل من 4 مليارات معلمة). فعندما جربوها على نموذج أكبر بسعة 7 مليارات معلمة، انخفضت الفوائد بشكل كبير لأن النموذج الأكبر يحتوي على المزيد من "التكرار" (redundancy)، وبدأت الرقع الصغيرة في مجرد حفظ الضجيج بدلاً من إصلاح المشكلة الحقيقية.

الخلاصة

تظهر هذه الورقة أنه يمكننا إصلاح عدم الإنصاف في نماذج الذكاء الاصطناعي المضغوطة دون إعادة بنائها من الصفر. فمن خلال إضافة "رقع" صغيرة خاصة بكل لغة، يمكننا استعادة معظم القدرة المفقودة لغير المتحدثين بالإنجليزية. لكن المؤلف يحذرنا من أن إصلاح "الضجيج" لا يصلح دائماً "التفكير"، خاصة إذا حدث الضرر في الطبقات المبكرة والعميقة من النموذج. إنها طريقة عملية وسريعة ورخيصة لجعل الذكاء الاصطناعي أكثر عدلاً، لكنها ليست عصا سحرية تحل كل المشكلات فوراً. الحل حقيقي، وقابل للقياس، وجاهز للاستخدام، ولكنه يأتي مع تحفظ مفاده أن بعض المشكلات الهيكلية العميقة قد لا تزال بحاجة إلى نوع مختلف من الإصلاح.