Structure, Association, and Decision Value: Representation-Based Difficulty Estimation for Adaptive Inference in African-Language NLI

في عالم الذكاء الاصطناعي، هناك رغبة متزايدة في جعل الأنظمة أكثر ذكاءً دون جعلها أكثر ثقلاً. تخيل مساعداً رقمياً يمكنه قراءة جملة وتحديد ما إذا كانت صحيحة، أو خاطئة، أو غير مرتبطة بجملة أخرى. هذه المهمة، المعروفة باسم الاستدلال اللغوي الطبيعي، هي اختبار قياسي لمدى قدرة الحاسوب على فهم المنطق البشري. لسنوات، بنى الباحثون نماذج ضخمة وقوية يمكنها التعامل مع هذه المهمة بدقة عالية، لكنها تتطلب كميات هائلة من القدرة الحوسبية لتشغيلها. وفي أجزاء كثيرة من العالم، لا سيما عبر اللغات المتنوعة في أفريقيا، تعتبر هذه الموارد الحوسبية الثقيلة نادرة. وقد أدى هذا إلى سؤال عملي: هل يمكن لنموذج أصغر وأرخص أن ينظر إلى جملة ويخبرنا متى يعاني، بحيث نعرف متى ننتقل إلى النموذج الأقوى والأغلى عند الضرورة القصوى فقط؟ هذه الفكرة، التي تسمى الاستدللال التكيفي، تعد بتوفير الطاقة والوقت من خلال توجيه الأسئلة السهلة إلى "الدماغ الصغير" والأسئلة الصعبة إلى "الدماغ الكبير".

شرع باحث في اختبار هذه الفكرة خصيصاً للغات الأفريقية، باستخدام مجموعة بيانات مصممة لقياس مدى قدرة الحواسيب على فهم المنطق في خمس عشرة لغة مختلفة. أراد الباحث معرفة ما إذا كانت "الأفكار" الداخلية لنموذج حاسوبي — وتحديداً الأنماط الرياضية التي تتشكل داخل طبقاته أثناء معالجة جملة ما — يمكن أن تعمل كإشارة موثوقة للصعوبة. وإذا استطاعت هذه الأنماط الداخلية التنبؤ بدقة بالجمل الصعبة، فسيتمكن المطورون من بناء نظام يقوم تلقائياً بتصعيد الحالات الصعبة فقط إلى معالج أكثر قوة، مما يوفر الموارد في الحالات السهلة. تعامل الباحث مع هذا الأمر من خلال تحقيق دقيق وخطوة بخطوة، معتبراً المشكلة كسلسلة من الألغاز حيث يجب أن تتناسب كل قطعة تماماً قبل الانتقال إلى التالية.

كان اللغز الأول الذي واجهه لا يتعلق بالنماذج نفسها، بل بالاختبار الذي كان يستخدمه. فمجموعة البيانات التي اعتمد عليها، والتي احتوت على أمثلة بالإنجليزية والفرنسية والسواحيلية إلى جانب اللغات الأفريقية، تبين أنها ترجمة مباشرة لاختبار إنجليزي قديم ومعروف. ولأن النماذج الحاسوبية التي كان يختبرها قد تم تدريبها بالفعل على ذلك الاختبار الإنجليزي القديم، فقد حفظت فعلياً الإجابات على النسخ الإنجليزية والفرنسية والسواحيلية من الاختبار الجديد. وعندما تحقق الباحث من النتائج، وجد أن أحد النماذج أجاب على كل أسئلة الاختبار الإنجليزي بشكل صحيح، وهي درجة مستحيلة لأي اختبار حقيقي للفهم. كشف هذا أن الاختبار القياسي كان ملوثاً؛ فقد كان يقيس مدى قدرة النماذج على تذكر البيانات القديمة بدلاً من مدى فهمها للجمل الجديدة. وبناءً على ذلك، اضطر الباحث إلى استبعاد نتائج الإنجليزية والفرنسية والسواحيلية تماماً والتركيز فقط على اللغات الأفريقية الخمس عشرة حيث لم تكن النماذج قد رأت الإجابات من قبل.

بعد الحصول على مجموعة بيانات نظيفة، انتقل الباحث إلى اللغز الثاني: الافتراض بأن النماذج الأكبر هي دائماً الأفضل. في عالم الاستدلال التكيفي، يعتمد النظام عادةً على تسلسل هرمي حيث يكون النموذج الصغير هو الخيار "الرخص"، والنموذج الكبير هو الخيار "الأغلى" الذي يتولى المهمة عند الحاجة. افترض الباحث أن النموذج الأكبر سيتفوق باستمرار على الأصغر. ومع ذلك، عندما اختبر النماذج عبر اللغات الأفريقية الخمس عشرة، وجد واقعاً مفاجئاً. كان النموذج الأكبر أفضل بالفعل في بعض اللغات، ولكنه كان في الواقع أسوأ في لغات أخرى. ففي ست من اللغات الخمس عشرة، كان الفرق في الأداء كبيراً لدرجة أن النموذج الأكبر كان أدنى مستوى بوضوح. وهذا يعني أن القاعدة البسيطة القائلة بأن "الأكبر هو الأفضل" لم تصمد. إن نظاماً يقوم بالتصعيد بشكل أعمى إلى نموذج أكبر بناءً على الحجم وحده قد يجعل الأمور أسوأ في جزء كبير من اللغات التي من المفترض أن يساعدها.

أما الجزء الثالث والأكثر تعقيداً من التحقيق، فقد نظر في الإشارات الداخلية التي كان الباحث يأمل استخدامها لاتخاذ القرار. فحص الباحث ثلاثة أنواع مختلفة من الملخصات الرياضية المستمدة من الحالات الداخلية للنماذج، ليرى ما إذا كانت هذه الملخصات ترتبط بصعوبة الجملة. ووجد أن طريقة سلوك هذه الإشارات تعتمد كلياً على كيفية قياسها. فعندما نظر الباحث إلى البيانات كمجموعة مختلطة واحدة، ظهرت إشارة واحدة كمتنبئ قوي للصعوبة. ومع ذلك، عندما فصل البيانات حسب اللغة، اختفت تلك الإشارة. لقد تبين أن هذه الإشارة لم تكن تقيس صعوبة الجملة على الإطلاق؛ بل كانت ببساطة تقيس اللغة التي كُتبت بها الجملة. ولأن اللغات نفسها كانت تمتلك مستويات صعوبة متوسطة مختلفة، فقد بدت الإشارة مفيدة فقط لأنها كانت تلتقط هوية اللغة بدلاً من التحدي المحدد للجملة. كان هذا اكتشافاً حاسماً: يمكن للإحصائية أن تبدو ذات دلالة وهيكلية عالية عندما تخلط كل شيء معاً، ومع ذلك تكون عديمة الفائدة تماماً لاتخاذ القرارات بشأن الأمثلة الفردية.

حتى بعد تصحيح هذا الارتباك اللغوي، وجد الباحث أن الإشارات المتبقية لم تكن مفيدة للهدف المحدد المتمثل في قرارات التوجيه. فقد اكتشف أن هناك طريقتين مختلفتين لتعريف "الفائدة" من استخدام نموذج أكثر قوة. إحدى الطريقتين هي التساؤل عما إذا كان النموذج الأقوى يغير احتمالية كون الإجابة صحيحة. والطريقة الأخرى هي التساؤل عما إذا كان النموذج الأقوى يغير بالفعل القرار النهائي (نعم أو لا). وجد الباحث أن الإشارات الداخلية التي درسها كانت جيدة في التنبؤ بأحد هذين المخرجين، لكنها فشلت تماماً في التنبؤ بالآخر. فعلى سبيل المثال، كانت إحدى الأنماط الداخلية ممتازة في التنبؤ بمدى تحسن درجة الثقة، لكنها لم تخبره شيئاً عن ما إذا كان القرار النهائي سيتغير. وبما أن الهدف من النظام هو الحصول على الإجابة الصحيحة، وليس مجرد رفع درجة الثقة، فإن الإشارة التي بدت واعدة كانت في الواقع غير ذات صلة بالمهمة المطلوبة.

أخيراً، بنى الباحث نظاماً لاختبار ما إذا كان بإمكان هذه الإشارات تحسين الأداء في سيناريو من الواقع العملي. قام بتدريب حاسوب ليقرر متى ينتقل من النموذج الصغير إلى الكبير، باستخدام أفضل الإشارات المتاحة. كانت النتائج مخيبة للآمال. فمهما قام بضبط النظام، لم يتفوق النهج التكيفي أبداً على مجرد تشغيل النموذج الأغلى والأقوى على كل جملة. لقد فشل النظام في توفير أي قدرة حوسبية دون التضحية بالدقة. ومع ذلك، لم تنتهِ القصة بفشل تام. فقد حسب الباحث "أوراكل" (Oracle) نظرياً — وهو نظام مثالي يعرف بالضبط الجمل الصعبة والجمل السهلة. كان بإمكان هذا النظام المثالي أن يحقق دقة أعلى بكثير مع استخدام قدر أقل بكثير من القدرة الحوسبية. وهذا أثبت أن إمكانية توفير الموارد موجودة، ولكن الإشارات المحددة التي اختبرها الباحث لم تكن المفاتيح الصحيحة لفتحها.

الدرس المركزي من هذا العمل هو أنه في المشهد المعقد للذكاء الاصطناعي، يمكن للإشارة أن تكون قوية إحصائياً وذات هيكلية رياضية دون أن تكون مفيدة لاتخاذ القرارات. لقد أظهر الباحث أن الأنماط الداخلية في النموذج يمكن أن تكون مرتبطة بعمق باللغة المتحدث بها بدلاً من صعوبة الجملة، وأن الإشارة يمكن أن تكون مرتبطة تماماً بتعريف واحد لـ "الصعوبة" بينما تكون عديمة الفائدة لتعريف آخر. تشير نتائجهم إلى أنه قبل أن نتمكن من بناء أنظمة تكيفية ذكية للغات ذات الموارد المنخفضة، يجب علينا أولاً التأكد من أن اختباراتنا نظيفة، وأن افتراضاتنا حول حجم النماذج تم التحقق منها، وأن تعريفاتنا للنجاح متوافقة مع أهدافنا الفعلية. وحتى ذلك الحين، تظل الاستراتيجية الأكثر موثوقية هي ببساطة استخدام النموذج القوي لكل شيء، حيث أن الاختصارات التي نحاول بناءها غالباً ما تعيدنا إلى نقطة البداية ذاتها.