A Measurement Note on Pre-Wrap and Reader-Visible Context Accounting for a Capped FLAN-T5 QA Pipeline

في عالم الذكاء الاصطناعي، تعتمد الآلات التي تجيب على الأسئلة غالباً على عملية مكونة من خطوتين. أولاً، تبحث في مكتبة ضخمة من المستندات للعثور على قطع من المعلومات ذات الصلة بسؤال معين. ثانياً، تغذي نموذج لغة كبير بتلك القطع المختارة من النصوص، جنباً إلى جنب مع السؤال نفسه، لتوليد إجابة نهائية. هذا البحث في المكتبة أمر بالغ الأهمية؛ فبدون الدليل الصحيح، يكون النموذج مجرد مُخمّن. ومع ذلك، فإن هذه النماذج لديها حد صارم لكمية النص التي يمكنها قراءتها في المرة الواحدة، تماماً كما لا يستطيع الشخص استيعاب سوى عدد معين من الحقائق في ذهنه قبل أن يبدأ في نسيان بداية القصة. وعندما تُعيد المكتبة مستندات كثيرة جداً، يجب على الباحثين ضغط المعلومات، وتقليصها لتناسب حد الذاكرة الخاص بالنموذج. ولسنوات طويلة، كانت الطريقة القياسية للحكم على نجاح عملية القص هذه هي النظر إلى نسبة مئوية بسيطة: هل احتفظ الباحثون بـ 25% من النص، أم 40%؟ هذا الرقم، المعروف باسم نسبة الضغط الاسمية، أصبح المقياس الأساسي للنجاح.

تتحدى مذكرة قياس جديدة من باحثين في جامعة شانغهاي ديانجي (Shanghai Dianji University) فكرة أن هذه النسبة المئوية تحكي القصة كاملة. يجادل الفريق، بقيادة هاولون تانج وزملاؤه، بأن معرفة أنك احتفظت بـ 40% من النص لا تعني معرفة مقدار النص الذي يراه الكمبيوتر فعلياً قبل أن يبدأ في الإجابة. لقد اكتشفوا أن الرحلة من المستند الخام إلى المدخل النهائي الذي يقرأه النموذج تتضمن عدة خطوات خفية، بما في ذلك تنسيق النص في هيكل محدد وقص النهاية إذا كانت طويلة جداً. هذه الخطوات يمكن أن تمحو بصمت جزءاً كبيراً من المعلومات التي يُفترض أنها حُفظت. ومن خلال تدقيق كمية النص التي تنجو من هذه الخطوات بدقة، وجد الباحثون أن واقع ما يقرأه الجهاز غالباً ما يختلف عن الخطة، وأن هذا الاختلاف مهم لكيفية أداء الجهاز.

ولاستقصاء ذلك، أقام الباحثون تجربة مضبوطة باستخدام نوع محدد من أنظمة الإجابة على الأسئلة. استخدموا مجموعة بيانات تضم 700 سؤال معقد تتطلب قراءة مستندات متعددة لحلها، وهو إعداد يُعرف باسم HotpotQA. وربطوا هذه الأسئلة بمجموعة ثابتة من فقرات الأدلة ثم طبقوا قاعدة بسيطة لقص النص: احتفظوا بأول 25% من الجمل لمجموعة من الأسئلة، وأول 40% لمجموعة أخرى. هذه الطريقة، المسماة "القطع من الرأس" (head truncation)، هي طريقة مباشرة وتضمن الاحتفاظ بنفس الكلمات في كل مرة، مما يلغي متغير اختيار جمل معينة. ثم قاس الباحثون شيئين متميزين. أولاً، عدّوا الكلمات المتبقية في النص فور انتهاء عملية القص ولكن قبل تنسيقه للآلة. ثانياً، عدّوا الكلمات التي وصلت بالفعل إلى "المطالبة" (prompt) النهائية التي قرأتها الآلة، بعد تغليف النص بالتعليمات وقصه ليتناسب مع حد الـ 512 كلمة الخاص بالآلة.

كشفت النتائج عن فجوة بين الخطة والواقع. فعندما استهدف الباحثون الاحتفاظ بـ 40% من النص، أظهر العد الأولي أنهم حفظوا بالفعل متوسط 553 كلمة. ومع ذلك، بمجرد تنسيق هذا النص وإجباره على التوافق مع حد الذاكرة الصارم للآلة، انخفض متوسط عدد الكلمات التي رأتهم الآلة فعلياً إلى 443 كلمة. وفي المجموعة التي استهدفت الاحتفاظ بـ 25% فقط من النص، كان العد الأولي 345 كلمة، لكن الآلة رأت 338 كلمة فقط. كان الفرق صغيراً في المجموعة الأولى ولكنه كان كبيراً في الثانية، حيث فُقد ما يقرب من 16% من النص المحفوظ بسبب عمليات التنسيق والقص. وهذا يعني أن مجرد القول "لقد احتفظنا بـ 40% من النص" كان مضللاً؛ إذ كان الجهاز يعمل فعلياً بمعلومات أقل مما ظن الباحثون أنه يمتلكها.

كان لهذا التفاوت تأثير مباشر على جودة الإجابات. فعندما رأت الآلة المزيد من النص — وتحديداً عندما ارتفع عدد الكلمات المرئية من 338 كلمة إلى 443 كلمة — تحسنت قدرتها على الإجابة بشكل صحيح. ارتفعت درجة AUC للإجابات الصحيحة تماماً من حوالي 0.30 إلى 0.33، كما تحسن مقياس تسجيل أكثر تفصيلاً من 0.36 إلى 0.40. كانت هذه التحسينات ذات دلالة إحصائية، مما يعني أنها لم تكن ناتجة عن الصدفة. ومن المثير للاهتمام أن الوقت الذي استغرقه الجهاز لتوليد الإجابة ظل كما هو تقريباً، حيث حام حول 0.02 ثانية. يشير هذا إلى أن المعلومات الإضافية لم تبطئ الجهاز، لكنها ساعدته في العثور على الإجابة الصحيحة بشكل أكبر. وخلص الباحثون إلى أن الإبلاغ عن نسبة الضغط الأولية فقط يخفي الظروف التشغيلية الحقيقية للنظام.

كما استكشف البحث ما إذا كان مجرد عد الكلمات كافياً للتنبؤ متى سيفشل النظام. فقد بنوا نموذجاً لمعرفة ما إذا كانت معرفة عدد الكلمات التي رأتها الآلة يمكن أن يتنبأ بانخفاض الأداء. وفي اختبار واسع شمل آلاف الأمثلة، كان عدد الكلمات التي رأتهم الآلة بالفعل متنبئاً أفضل بكثير من الفشل مقارنة بنسبة الضغط الأولية. ومع ذلك، عندما ضبط الباحثون عوامل أخرى مثل مجموعة البيانات المحددة وطريقة الضغط، أصبحت ميزة عدد الكلمات هذه أصغر بكلاً. لقد قدمت تحسناً طفيفاً في التنبؤ، لكنها لم تكن كرة بلورية مثالية. وأكد الباحثون أن عدد الكلمات هذا هو أداة مفيدة للشفافية، تساعد المهندسين على فهم ما يعمل به الجهاز فعلياً، لكنه ليس حلاً سحرياً لإصلاح الأخطاء.

ربما جاءت أهم النتائج من تجربة جانبية صُممت لاختبار ما إذا كان طول النص هو العامل الوحيد المؤثر. قارن الباحثون طريقتهم البسيطة في القص مقابل نهج أكثر ذكاءً يستخدم خوارزمية بحث لاختيار الجمل الأكثر صلة، بغض النظر عن موقعها في المستند. وقد طابقوا بين الطريقتين بحيث احتفظت كل منهما بنفس كمية النص. وكانت النتيجة واضحة: الطريقة التي اختارت الجمل الصحيحة أدت أداءً أفضل بكثير من الطريقة التي اكتفت بالاحتفاظ بالجمل الأولى، على الرغم من أن كلتاهما امتلكت نفس عدد الكلمات. أثبت هذا أنه بينما يعد عد الكلمات مهماً لفهم حدود النظام، فإن جودة المحتوى أكثر أهمية بكثير بالنسبة للإجابة النهائية. فنص أقصر يحتوي على الحقائق الصحيحة أفضل من نص أطول يحتوي على الحقائق الخاطئة.

في نهاية المطاف، يعد هذا العمل تذكيراً بأنه في عالم الذكاء الاصطناعي، فإن كيفية قياسنا للنظام لا تقل أهمية عن النظام نفسه. لم يبتكر الباحثون طريقة جديدة لضغط النصوص أو نموذجاً جديداً للإجابة على الأسئلة، بل قدموا طريقة أوضح للنظر إلى الأدوات الموجودة. ومن خلال التمييز بين النص الذي تم حفظه والنص الذي تمت قراءته فعلياً، أظهروا أن المقاييس القياسية المستخدمة في هذا المجال يمكن أن تحجب أحياناً الحالة الحقيقية للنظام. وتشير نتائجهم إلى ضرورة أن يبلغ الباحثون عن كل من كمية النص المحفوظ وكمية النص التي تستلمها الآلة فعلياً. ومن شأن هذا التقرير المزدوج أن يجعل من السهل فهم سبب أداء النظام بشكل جيد أو سيء، مما يدفع المجال نحو تقييم أكثر صدقاً وشفافية لكيفية عمل هذه الأدوات القوية حقاً.