Relevant but Incomplete: Referential Dangling as a Paradigm-Level Failure Mode in Hard Prompt Compression

تخيل أنك تحاول حل لغز "بازل" ضخم، ولكن بدلاً من وجود صورة على الصندوق، لديك موسوعة ضخمة مكونة من ألف صفحة. يتعين عليك العثور على إجابة لسؤال صعب مخبأ في مكان ما داخل هذه الصفحات. المشكلة هي أن عقلك (أو في هذه الحالة، برنامج كمبيوتر فائق الذكاء يسمى "نموذج لغوي كبير") يصاب بالارتباك إذا حاول قراءة كل كلمة. الأمر يشبه محاولة الشرب من خرطوم حريق؛ قد تغرق في المعلومات قبل أن تجد القطرة التي تحتاجها. ولحل هذه المشكلة، يستخدم العلماء "ضغط المطالبات" (Prompt Compression). فكر في هذا كأنه محرر فائق السرعة يقوم بمسح الموسوعة وحذف الأجزاء المملة، محتفظاً فقط بالجمل الأكثر إثارة لكي يتمكن الكمبيوتر من قراءة القصة بسرعة وبتكلفة أقل. الهدف هو إبقاء القصة قصيرة ولكن مع التأكد من أن الكمبيوتر لا يزال قادراً على حل اللغز.

ولكن إليك الخدعة: أحياناً، يصبح هذا المحرر متحمساً أكثر من اللازم. قد يحتفظ بالجملة التي تقول "الإجابة هي مقاطعة مكدونالد"، ولكنه يحذف الجملة التي تسبقها مباشرة والتي تقول "وُلد تيم دوبويس في ساوث ويست سيتي". بدون هذا الرابط المفقود، يرى الكمبيوتر الإجابة ولكن ليس لديه أدنى فكرة عن سبب كونها الإجابة. إنه مثل العثور على خريطة كنز تقول "علامة X هي المكان المنشود" ولكن الصفحة التي تحتوي على وصف المعلم الأرضي قد مُزقت. يترك الكمبيوتر ينظر إلى دليل معلق، مرتبكاً وغير قادر على ربط النقاط ببعضها البعض. يبحث هذا البحث في مدى تكرار حدوث هذا "التعليق المرجعي" (Referential Dangling)، ويثبت أنه عيب رئيسي في كيفية عمل هؤلاء المحررين حالياً، ويظهر أننا نستطيع إصلاح سلاسل المنطق المكسورة لمساعدة الكمبيوتر على حل اللغز مرة أخرى.

كارثة "التعليق" الكبرى

اكتشف الباحثون أن الطريقة الحالية التي "تضغط" بها هذه الحواسيب النصوص تشبه لعبة الكراسي الموسيقية حيث القواعد مكسورة. الطريقة القياسية تقوم بتقييم كل جملة أو جزء من النص بشكل فردي، وتسأل: "هل هذه الجملة مهمة؟". إذا كان التقييم مرتفعاً، تبقى؛ وإذا كان منخفضاً، يتم التخلص منها. المشكلة هي أن هؤلاء المحررين لا ينظرون إلى كيفية اعتماد الجمل على بعضها البعض. إنهم يعاملون كل جملة وكأنها جزيرة منعزلة.

يطلق المؤلفون على هذا الفشل اسم "التعليق المرجعي" (Referential Dangling). تخيل أنك تحكي قصة: "ذهبتُ إلى المتجر. المتجر كان مغلقاً". إذا حذفت الجملة الأولى، فلن تصبح الثانية منطقية. كلمة "المتجر" ستصبح الآن معلقة في الهواء دون شيء يرفعها. في عالم الذكاء الاصطناعي، يحدث هذا عندما يحتفظ الكمبيوتر بالإجابة (على سبيل المثال: "مقاطعة مكدونالد") ولكنه يحذف الجسر الذي يشرح الاتصال (على سبيل المثال: "وُلد تيم دوبويس في ساوث ويست سيتي، وهي تقع في مقاطعة مكدونالد"). الإجابة لا تزال موجودة، مرئية وسليمة، ولكن سلسلة المنطق قد انقطعت. يرى الذكاء الاصطناعي الإجابة ولكنه لا يستطيع معرفة كيفية الوصول إليها، مما يؤدي إلى الارتباك أو الإجابات الخاطئة.

ما مدى سوء الأمر؟ (الأرقام لا تكذب)

اختبر الفريق هذه المشكلة على أداة ضغط شهيرة تسمى Beaver ووجدوا أن المشكلة منتشرة في كل مكان. عند نسبة ضغط قدرها 0.30 (بمعنى أنهم احتفظوا بـ 30% فقط من النص الأصلي)، وجدوا أن 34% إلى 54% من الأسئلة المعقدة متعددة الخطوات انتهت بهذه السلاسل المكسورة. هذا أكثر من النصف في بعض الأحيان!

لم يلقوا باللوم على Beaver فحسب. فقد اختبروا ست أدوات ضغط مختلفة باستخدام طرق متنوعة (بعضها ينظر إلى القواعد، وبعضها إلى أهمية الكلمات، وبعضها إلى مدى غرابة الكلمة). كانت النتائج صادمة: كل واحدة منها بلا استثناء عانت من مشكلة التعليق هذه. وفي مجموعة مشتركة من الأسئلة الصعبة، تراوحت معدلات الفشل بين 32% إلى ما يقرب من 60%. والأسوأ من ذلك، عندما نظروا في المستندات الطويلة (مثل الأوراق القانونية أو الأكاديمية)، وجدوا أن كل مستند اختبروه احتوى على مرجع واحد معلق على الأقل. يبدو أنه مهما كانت أداة الضغط ذكية، إذا كانت تختار "أفضل" الجمل واحدة تلو الأخرى، فستكسر القصة حتماً.

تجربة "أوه لا، لقد أصلحناها"

السؤال الكبير كان: هل هذه مجرد سمة غريبة للأدوات الحالية، أم أن فكرة اختيار الجمل واحدة تلو الأخرى محكوم عليها بالفشل؟ لمعرفة ذلك، لعب الباحثون لعبة "ماذا لو". أخذوا القصص المضغوطة المكسورة وأعادوا يدوياً جمل "الجسر" المفقودة. ولكن لكي يحافظوا على قصر القصة (ضمن نفس ميزانية الـ 30%)، كان عليهم حذف بعض الجمل الأخرى الأقل أهمية لإفساح المجال.

كانت النتيجة نجاحاً هائلاً. فعندما أصلحوا السلاسل المكسورة عبر إعادة إدراج المنطق المفقود، قفزت دقة الكمبيوتر بمقدار 29 إلى 34 نقطة في الأسئلة الصعبة. لم يكن هذا تحسناً طفيفاً؛ بل كان قفزة كبيرة. لقد أثبت ذلك أن المشكلة لم تكن في أن الكمبيوتر كان غبياً جداً لفهم النص، بل في أن النص الذي أُعطي له كان غير مكتمل منطقياً. "التعليق" كان هو المتهم الحقيقي، وليس ذكاء الذكاء الاصطناعي.

والأكثر إثارة للاهتمام، أنهم اختبروا ما إذا كانت نماذج الذكاء الاصطناي الأقوى والأذكى يمكنها ببساطة "استنتاج الأمر" من تلقاء نفسها. استخدموا نموذجاً قوياً للغاية يسمى GPT-5.5، ظناً منهم أنه قد يكون ذكياً بما يكفي لتخمين الروابط المفقودة. لكن لم يحالفهم الحظ. حتى النموذج الأكثر ذكاءً كان أقل دقة بمقدار 8.8 نقطة عندما كانت سلسلة المنطق مكسورة مقارنة بكونها كاملة. وهذا يشير إلى أنه مهما بلغ ذكاء الذكاء الاصطناعي، فإنه لا يزال بحاجة إلى القصة الكاملة ليعمل بشكل صحيح.

نظام "إنقاذ تلقائي" ذكي

أخيراً، سأل الفريق: هل يمكننا إصلاح هذا تلقائياً دون الحاجة إلى إنسان يراجع كل جملة؟ قاموا ببناء "روبوت إنقاذ" صغير وسريع (مصنف صغير) ينظر إلى الجمل التي رماها المحرر. مهمته هي أن يسأل: "مهلاً، هل هذه الجملة المحذوفة تشرح الجملة التي احتفظنا بها؟". إذا كانت الإجابة بنعم، يعيدها الروبوت.

اختبروا ذلك على مجموعة بيانات HotpotQA. وباستخدام نظام الإنقاذ التلقائي هذا، حسنوا الدقة بمقدار 4.7 نقطة. والجزء الأفضل؟ لم يضطروا إلا لزيادة حجم النص قليلاً، من نسبة ضغط 0.30 إلى 0.31. كان ثمناً زهيداً لإنقاذ سلسلة المنطق.

الخلاصة

هذا البحث لا يشير فقط إلى وجود خطأ برمجي؛ بل يكشف عن خلل جوهري في كيفية محاولتنا حالياً لتقليص النصوص للذكاء الاصطناعي. الدرس واضح: الارتباط وحده لا يكفي. مجرد كون الجملة مهمة لا يعني أنها مفيدة إذا حذفت الجملة التي تعطيها المعنى. لجعل الذكاء الاصطناعي فعالاً حقاً، نحتاج إلى أدوات ضغط لا تختار فقط "أفضل" الكلمات، بل تضمن أيضاً بقاء القصة متصلة. إذا أردنا للذكاء الاصطناعي أن يحل الألغاز، فعلينا التأكد من أننا لا نرمي قطع اللغز التي تمسك الصورة معاً.