LZ Penalty: An information-theoretic repetition penalty for autoregressive language models

في عالم الذكاء الاصطناعي، يوجد فئة من البرامج الحاسوبية القوية المعروفة باسم النماذج اللغوية. تم تدريب هذه الأنظمة على التنبؤ بالكلمة التالية في الجملة، مما يسمح لها بكتابة القصص، والإجابة على الأسئلة، وحتى حل المسائل الرياضية المعقدة عبر توليد سلاسل طويلة من الاستدلال. ولإجراء هذه التنبؤات، تعتمد النماذج على عملية إحصائية حيث تختار الكلمة التالية الأكثر احتمالاً من قائمة واسعة من الاحتمالات. ومع ذلك، فإن مشكلة مستمرة قد أرقت هذه الأنظمة، لا سيما عندما تُطلب منها التفكير في مهام صعبة: فهي أحياناً تتعثر في حلقة مفرغة. فبدلاً من المضي قدماً بفكرة جديدة، يبدأ النموذج في تكرار نفس الكلمات أو العبارات مراراً وتكراراً، مما يؤدي إلى تدهور مخرجاته إلى كلام غير مفهوم. تُعرف هذه المشكلة بالتكرار المتدهور (degenerate repetition)، وقد كانت عائقاً كبيراً أمام استخدام هذه النماذج في المهام الموثوقة والحتمية حيث يجب أن تكون المخرجات متسقة وخالية من الأخطاء.

لسنوات، حاول المهندسون إصلاح ذلك عبر تطبيق عقوبات بسيطة على خيارات النموذج. تعمل هذه العقوبات مثل دفعة لطيفة، لتثبيط النموذج عن اختيار الكلمات التي استخدمها مؤخراً. إحدى الطرق تقوم بعدّ عدد المرات التي ظهرت فيها الكلمة وتقلل من احتمالية اختيارها؛ بينما تقوم طريقة أخرى ببساطة بمعاقبة أي كلمة ظهرت من قبل. وبينما تعمل هذه الأساليب بشكل جيد في المحادثات العادية، إلا أنها غالباً ما تفشل عندما ينخرط النموذج في استدلال عميق. فالنماذج الاستدلالية، التي تولد تسلسلات طويلة جداً من النصوص للعمل على ألغاز منطقية، غالباً ما تقع في دورات تكرارية رغم هذه الإصلاحات القياسية. والنتيجة هي نظام قد يبدأ بقوة ولكنه ينتهي بالانهيار في حلقة تكرارية من الكلمات المتلعثمة، مما يجعل المخرجات عديمة الفائدة للتطبيقات الجادة.

اقترح فريق من الباحثين في "سيلفورس إيه آي ريسيرش" (Salesforce AI Research) حلاً جديداً يستمد إلهامه من مجال مختلف تماماً: ضغط البيانات. يقدم عملهم طريقة تسمى "عقوبة ليمبل-زيف" (Lempel-Ziv penalty)، وهي مصممة لإيقاف هذه الحلقات التكرارية دون التضحية بقدرة النموذج على التفكير بوضوح. تعتمد الفكرة الجوهرية على وجود صلة أساسية بين التنبؤ بالكلمة التالية في جملة وبين ضغط ملف من البيانات. في عالم الحوسبة، تعمل خوارزميات الضغط من خلال إيجاد الأنماط والتكرارات في البيانات لجعل الملفات أصغر حجماً. إذا تكرر تسلسل من الكلمات كثيراً، يمكن لخوارزمية الضغط وصفه بكفاءة عالية، باستخدام عدد أقل من البتات (bits) من المعلومات. أدرك الباحثون أنه إذا استطاعوا قياس مدى سهولة ضغط تدفق النص الحالي للنموذ، فيمكنهم استخدام تلك المعلومة لتوجيه النموذج بعيداً عن الأنماط المتكررة.

طوّر الباحثون نظاماً يحاكي نوعاً معيناً من خوارزميات الضغط، تُعرف بخوارزمية "ليمبل-زيف"، في الوقت الفعلي أثناء توليد النموذج للنص. تبحث هذه الخوارزمية في نافذة منزلقة من تاريخ النص الأخير، بحثاً عن أطول التطابقات الممكنة لتسلسلات الكلمات. وعندما ينظر النموذج في كلمة جديدة، يقوم النظام بحساب مدى التغيير الذي ستحدثه تلك الكلمة في الحجم الإجمالي للملف المضغوط. إذا كانت الكلمة الجديدة تخلق نمطاً طويلاً وفائضاً يمكن لخوارزمية الضغط تشفيره بسهولة، فإن النظام يطبق عقوبة على تلك الكلمة، مما يجعل اختيارها أقل احتمالاً. وعلى العكس من ذلك، إذا قدمت الكلمة معلومات جديدة وغير متوقعة لا يمكن ضغطها بسهولة، فإن العقوبة تكون منخفضة أو معدومة. هذا النهج متميز عن الطرق السابقة لأنه لا يكتفي فقط بعدّ عدد مرات ظهور كلمة واحدة؛ بل ينظر بدلاً من ذلك إلى طول التسلسل المتكرر ومدى بُعد ذلك التسلسل في الماضي.

لاختبار هذا النهج الجديد، طبق الباحثون هذه الطريقة على نموذجين استدلاليين متقدمين، أحدهما بـ 32 مليار معلمة (parameter) والآخر بـ 14 ملياراً. وقارنوا أداء عقوبتهم الجديدة مقابل الأساليب القياسية المستخدمة اليوم. كانت النتائج مذهلة. فعند استخدام عقوبات التكرار أو التكرار الترددي القياسية، كانت النماذج لا تزال تقع في حلقات التكرار المتدهور بنسبة 4% تقريباً، حتى عندما حاول الباحثون ضبط الإعدادات لمنع ذلك. في المقابل، قللت عقوبة "ليمبل-زيف" الجديدة معدل حالات الفشل التكراري هذه إلى الصفر فعلياً. تمكنت النماذج من توليد سلاسل استدلال طويلة ومعقدة دون التعثر، وظلت دقتها في الاختبارات المعيارية الصعبة دون تغيير. وهذا يشير إلى أن الطريقة الجديدة تنجح في إزالة الحشو الذي يسبب الحلقات دون التدخل في قدرات الاستدلال الحقيقية للنموذج.

كما فحص الباحثون التكلفة الحسابية لتشغيل هذه العقوبة الجديدة. ونظراً لأن النظام يجب أن يحاكي خطوة ضغط لكل كلمة يتم توليدها، فإن هناك قدراً إضافياً بسيطاً من العمل المطلوب. ومع ذلك، وجدوا أن هذا العبء الإضافي ضئيل للغاية. بالنسبة للنماذج الكبيرة، كان التباطؤ في السرعة أقل من واحد بالمائة، وهو فرق ضئيل جداً لدرجة أنه يكاد لا يُلاحظ في الاستخدام الواقعي. هذا الكفاءة تجعل الطريقة عملية للاعتماد الفوري، مما يوفر وسيلة لجعل نماذج الاستدلال أكثر موثوقية دون طلب قدرات حوسبية جديدة كبيرة.

أشار الفريق إلى قيد واحد، وهو أن الطريقة مصممة خصيصاً للغة الطبيعية. تعتمد خوارزمية الضغط على افتراض أن اللغة تمتلك خصائص إحصائية معينة، مثل حقيقة أن الكلمات تميل إلى التكرار بطرق يمكن التنبؤ بها بمرور الوقت. وبينما يعمل النهج بشكل استثنائي مع النصوص، يحذر الباحثون من أنه قد لا يكون فعالاً بنفس القدر لأنواع أخرى من البيانات، مثل الصور أو الصوت، دون إجراء تعديلات محددة. بالإضافة إلى ذلك، فإن النظام ليس مثالياً لكل السيناريوهات الممكنة؛ فمثلاً، إذا طلب مستخدم صراحة من النموذج تكرار حرف مئة مرة، فقد تتدخل العقوبة في تلك التعليمات المحددة. ومع ذلك، بالنسبة للغالبية العظمى من المهام حيث يكون الهدف هو الاستدلال المتماسك وغير المتكرر، يبدو النهج الجديد حلاً قوياً.

تشير النتائج إلى تحول في كيفية تفكيرنا في التحكم في الذكاء الاصطناعي. فبدلاً من الاعتماد على أدوات فجة تقوم ببساطة بحظر الكلمات بناءً على عددها، يستخدم هذا النهج المبادئ الرياضية لنظرية المعلومات لفهم بنية النص نفسه. ومن خلال معاملة توليد النص كعملية ضغط، نجح الباحثون في ابتكار أداة تصفي طبيعياً ضجيج التكرار مع الحفاظ على إشارة الفكر. وهذا يسمح لنماذج الاستدلال مفتوحة المصدر بالعمل بمستوى من الحتمية كان من الصعب تحقيقه سابقاً، مما يفتح الباب لتطبيقات أكثر موثوقية في المجالات التي تعتبر فيها الاتساق أمراً بالغ الأهمية. يوضح هذا العمل أنه من خلال النظر إلى المشكلة من منظور ضغط البيانات، يمكننا إيجاد حلول أنيقة للأعطال المستعصية التي أعاقت طويلاً تقدم النماذج اللغوية.