💬 NLP

Distractor-Aware Truncation: Disentangling Context-Length Effects from Signal Loss in Long-Context LLM Benchmarks

تُثبت هذه الورقة أن تدهور الأداء الملاحظ عادةً في معايير قياس النماذج اللغوية الكبيرة ذات السياق الطويل تحت ظروف البتر القياسية ناتج في المقام الأول عن الإزالة العرضية للمعلومات ذات الصلة بالمهمة وليس بسبب قيود متأصلة في طول السياق، حيث يتم الحفاظ على الأداء أو تحسينه عندما يتم تطبيق البتر بطريقة واعية بالمشتتات تضمن الاحتفاظ بالإشارات.

المؤلفون الأصليون: Mohsen Arjmandi

نُشر 2026-08-05

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Mohsen Arjmandi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل رواية غموض ضخمة مكونة من 100 صفحة، لكن ليس لديك سوى وقت لقراءة صفحات قليلة فقط. أنت تريد أن تعرف: "إذا رميت معظم الكتاب، هل سأظل قادراً على حل اللغز؟" هذا هو نوع السؤال الذي يؤرق العلماء الذين يبنون "آلات التفكير" (التي تسمى النماذج اللغوية الكبيرة). هذه الآلات مدربة على قراءة كميات هائلة من النصوص، ولكن مع ازدياد طول النص، قد ترتبك أحياناً أو تنسى التفاصيل المهمة. ولإصلاح ذلك، يقترح بعض الخبراء فكرة بسيطة: "الأقل هو الأكثر". هم يعتقدون أنه إذا قمنا فقط بقص الأجزاء المملة وغير ذات الصلة من قصة طويلة قبل عرضها على الآلة، فقد تؤدي الآلة عملاً أفضل لأنها لن تتشتت بالضوضاء.

لكن هنا يكمن الجزء الصعب: كيف تختبر ما إذا كان "الأقل هو الأكثر" دون أن ترمي "الأدلة" بالخطأ؟ إذا أمسكت بمقص وقصصت منتصف الكتاب، فقد تقص بالخطأ الصفحة التي يجد فيها المحقق اسم القاتل. إذا فشلت الآلة بعد ذلك في حل الغموض، فهل السبب هو أن الكتاب كان قصيراً جداً؟ أم أن السبب ببساطة هو أنك رميت الإجابة؟ يبحث هذا البحث في هذا الارتباك تحديداً، محاولاً معرفة ما إذا كانت نماذج السياق الطويل تسوء فعلياً بسبب طول النص، أم أنها تفشل فقط لأننا نختبرها بطريقة تخفي الإجابات.

تجربة "قص المنتصف" العظيمة

في عالم أبحاث الذكاء الاصطناعي، هناك نظرية شائعة مفادها أن النصوص القصيرة (البرومبت) أفضل. الفكرة هي أنه إذا قدمت للنموذج جداراً ضخماً من النصوص، فسيصاب بالارتباك بسبب "المشتتات" — وهي كلمات مملة وغير ذات صلة لا تساعد في حل المشكلة. لذا، بدأ الباحثون في اختبار ذلك عن طريق أخذ قصص طويلة وتقطيع أقسام المنتصف منها لمعرفة ما إذا كانت النماذج ستؤدي بشكل أفضل مع النسخ الأقصر.

المشكلة، كما يشير هذا البحث، هي أن طريقة القص "المباشرة" هذه تشبه لعب لعبة "تثبيت ذيل الحمار" وأنت معصوب العينين. قد تصيب الحمار، أو قد تصيب الحائط. في العديد من هذه الاختبارات، يحتوي "منتصف" القصة في الواقع على الأدلة الحاسمة اللازمة للإجابة. عندما قام الباحثون بتقطيع المنتصف، لم يكونوا يزيلون المشتتات فحسب؛ بل كانوا يحذفون مفتاح الإجابة عن طريق الخطأ.

قرر مؤلف هذا البحث إجراء اختبار أكثر عدلاً. أخذ أربعة اختبارات مرجعية مختلفة للسياق الطويل (وهي في الأساس اختبارات معيارية للذكاء الاصطناعي) وأجرى عليها أربعة نماذج مختلفة من الذكاء الاصطناعي (ثلاثة من عائلة "Claude" وواحد من "GPT"). واختبر هذه النماذج عند أربعة مستويات مختلفة من "الذاكرة": الاحتفاظ بـ 100% من النص، ثم 75%، و50%، و25% ضئيلة.

أجرى الاختبار مرتين لكل سؤال:

الطريقة "المباشرة": مجرد قطع منتصف النص، بغض النظر عما يوجد بداخله.
الطريقة "الواعية بالمشتتات": أولاً، استخدموا مرشحاً ذكياً للعثور بدقة على الجمل التي تحمل "الإشارة" (الأدلة اللازمة لحل اللغز) وتلك التي كانت مجرد "مشتتات" (حشو). ثم قاموا بقص "الحشو" فقط، مع التأكد من بقاء الأدلة آمنة ومحفوظة.

النتائج الصادمة

كانت النتائج دراماتيكية، تماماً مثل مشاهدة خدعة سحرية تعمل بشكل مثالي بطريقة واحدة وتفشل فشلاً ذريعاً بالطريقة الأخرى.

عندما استخدموا الطريقة "المباشرة" (تقطيع المنتصف):
انهارت نماذج الذكاء الاصطناعي تماماً. ومع قصر طول النص، انخفضت درجاتها بشكل حاد.

بالنسبة لنموذج "Haiku" في اختبار BABILong، انخفضت الدرجة بمقدار 0.138.
بالنسبة لنموذج "Sonnet"، انخفضت بمقدار 0.175.
بالنسبة لنموذج "Opus"، انهارت بمقدار 0.433.
بالنسبة لنموذج "GPT-5.5"، انهارت بمقدار هائل قدره 0.613.

بدا الأمر وكأن النظرية القديمة خاطئة: "السياق القصير يضر!" بدت النماذج وكأنها بحاجة إلى النص الكامل والطويل لتعمل.

ولكن بعد ذلك، انتقلوا إلى الطريقة "الواعية بالمشتتات" (الحفاظ على الأدلة آمنة):
فجأة، انقلبت القصة تماماً. عندما تم إعطاء النماذج نفس كمية النص (25% من الأصل) مع الحفاظ بعناية على الأدلة، تغيرت النتائج كلياً.

نماذج Haiku و Sonnet تحسنت بالفعل. ارتفعت درجاتهما بمقدار +0.083 و +0.104 على التوالي. لقد حلا المزيد من الألغاز بنص أقل لأن الضوضاء لم تعد تشتتهما.
نماذج Opus و GPT-5.5 لم تتحسن، لكنها لم تسؤ أيضاً. لقد حافظتا على أعلى مستوى لأدائهما، مما أثبت أنهما لا تحتاجان إلى النص الإضافي طالما أن الأدلة المهمة موجودة.

ماذا يعني هذا حقاً؟

يكشف البحث عن حقيقة مهمة للغاية: الطريقة "المباشرة" للاختبار (مجرد قطع المنتصف) لم تكن تقيس في الواقع مدى قدرة الذكاء الاصطناعي على التعامل مع النصوص الطويلة. بل كانت تقيس فقط عدد المرات التي حذف فيها الباحثون الإجابة عن طريق الخطأ.

في الاختبارات "المباشرة"، عند مستوى الاحتفاظ بنسبة 25%، تم إعطاء النماذج الإجابة في أقل من 1% من الحالات في اختبار BABILong. لقد طُلب منهم حل لغز دون وجود اسم المشتبه به. لا عجب في فشلهم!

ولكن في الاختبارات "الواعية بالمشتتات"، تم الحفاظ على الأدلة بنسبة 100% من الوقت. وعندما كانت الأدلة موجودة، استطاعت النماذج حل الألغاز بكل سهولة، حتى مع وجود جزء ضئيل من النص الأصلي.

الخلاصة

لا يقول هذا البحث إن "الأقل هو دائماً الأكثر". بل يقول إن "الأقل هو الأكثر" فقط إذا كنت ذكياً بما يكفي لتعرف ما الذي يجب الاحتفاظ به. إذا قمت فقط بتقطيع وثيقة طويلة عشوائياً، فمن المرجح أن تدمر المعلومات التي يحتاجها الذكاء الاصطناعي. ولكن إذا استطعت تحديد "الإشارة" (الحقائق المهمة) وإزالة "المشتتات" (الأشياء المملة)، فإن النص الأقصر يمكن أن يساعد نماذج الذكاء الاصطناعي الأصغر على الأداء بشكل أفضل، ولن يضر النماذج الأكبر.

يخلص المؤلف إلى أن الدراسات المستقبلية يجب أن تكون أكثر حذراً بكثير. لا يمكنك القول بأن "السياق القصير سيء" بناءً على اختبار حذف الإجابات بالخطأ. يجب أن تتأكد من أنك تختبر الشيء الصحيح. إذا أردنا بناء أنظمة ذكاء اصطناعي أفضل يمكنها قراءة الكتب الطويلة، فعلينا التوقف عن تقطيع الكتب بشكل عشوائي والبدء في تعلم كيفية العثيد على الأجزاء الجيدة أولاً.

ملخص تقني: التقطيع الواعي بالمشتتات (Distractor-Aware Truncation)

بيان المشكلة

غالباً ما تفترض الأدبيات المتعلقة بالنماذج اللغوية المعززة بالاسترجاع (Retrieval-Augmented) والمعززة بالذاكرة (Memory-Augmented) أن "السياق الأقل هو الأفضل"، مما يشير إلى أن إزالة المحتوى غير ذي الصلة يحسن الأداء. ومع ذلك، فإن اختبار هذه الفرضية بصرامة يعد أمراً صعباً لأن بروتوكولات التقييم القياسية تخلط بين تأثيرين متميزين:

تقليل المشتتات: إزالة المحتوى غير المرتبط بالمهمة (وهو الفائدة المقصودة من أنظمة الاسترجاع).
فقدان الإشارة: إزالة المحتوى المرتبط بالمهمة (وهو نتيجة غير مقصودة للتقطيع العشوائي).

تستخدم الأعمال السابقة عادةً بروتوكول تقطيع "قياسي"، يقوم بإزالة المحتوى من منتصف المطالبة (Prompt). ويجادل المؤلف بأن هذه الطريقة تفشل في التمييز بين هذين التأثيرين لأن منتصف المطالبة في العديد من الاختبارات المعيارية يحتوي على إشارات حرجة (مثل الحقائق، أو حواف الرسم البياني، أو أدوار المحادثة). وبناءً على ذلك، فإن تدهور الأداء الملحوظ تحت التقطيع القياسي قد يعكس فقدان الإشارة بدلاً من كونه دليلاً حقيقياً على عدم قدرة النماذج على التعامل مع سياقات أقصر أو فشلاً في فرضية "الأقل هو الأفضل".

المنهجية

يقترح المؤلف بروتوكول التقطيع الواعي بالمشتتات للفصل صراحةً بين الإشارة والمشتت. تدرس الدراسة أربعة نماذج (Claude Haiku 4.5، Sonnet 4.6، Opus 4.7، وGPT-5.5) عبر أربعة اختبارات معيارية (BABI-Long، وGraphWalks، وMRCR v2، وOolong) عند أربعة مستويات لنسب الاحتفاظ بالسياق (100%، 75%، 50%، 25%).

بروتوكولات التقطيع

البروتوكول القياسي: يتم إسقاط المحتوى من منتصف المطالبة ( $head(x, \lfloor \alpha L/2 \rfloor) \parallel tail(x, \lceil \alpha L/2 \rceil)$ )، بغض النظر عن الصلة. وهذا يحاكي الأعمال السابقة القياسية.
البروتوكول الواعي بالمشتتات: لكل عينة، يتم تعريف "الإشارة" كأقل مجموعة فرعية من المحتوى الكافية لتحديد الملصق الذهبي (Gold Label). يحافظ البروتوكول على هذه الإشارة ويُسقط فقط محتوى "المشتتات" المتبقي.
- BABI-Long: تُعرف الإشارة بجمل حقائق bAbI (يتم تحديدها عبر التعبيرات النمطية/regex).
- GraphWalks (BFS): الإشارة هي الرسم البيقرافي الفرعي المحدود بالعمق والمطلوب للإجابة على استعلام BFS.
- MRCR v2: تتكون الإشارة من أزواج محددة من "إبرة" (Needle) المستخدم-الاستجابة عبر حقول البيانات.
- Oolong: استُخدم كعنصر تحكم سلبي (Negative Control). بما أن مهام التجميع لا تحتوي على مشتتات (كل عنصر يساهم في النتيجة)، يعيد البروتوكول تعريف الملصق الذهبي بناءً على المجموعة المرئية بدلاً من إزالة محتوى محدد.

التصميم الإحصائي

تستخدم الدراسة تصميماً مزدوجاً (Paired Design) حيث يتم تقييم نفس معرفات العينات (Sample IDs) تحت كلا البروتوكولين وجميع مستويات الاحتفاظ. يستخدم التحليل الإحصائي:

اختبار ويلكوكسون للرتب الموقعة (Wilcoxon signed-rank tests) المزدوج بناءً على sample_id لنسب التغيرات في الدرجات.
تصحيح هولم-بونفيروني (Holm-Bonferroni correction) للمقارنات المتعددة.
بوتستراب مزدوج (Paired bootstrap) (10,000 عينة إعادة أخذ) لفترات الثقة 95% لمتوسط الفروق ( $\Delta$ ).

النتائج الرئيسية

1. النتائج المتباينة لبروتوكولات التقطيع

تُظهر النتائج أن اختيار بروتوكول التقطيع يغير بشكل جذري الاستنتاج المتعلق بطول السياق:

البروتوكول القياسي: ينهار الأداء بشكل رتيب مع انخفاض الاحتفاظ بالسياق من 100% إلى 25%. تُظهر جميع الخلايا الثمانية (الاختبار المعياري $\times$ النموذج) في الاختبارات الأساسية (BABI-Long وGraphWalks) ضرراً ذا دلالة إحصائية (على سبيل المثال، $\Delta$ لـ BABI-Long لنموذج Haiku هي $-0.138 $؛ ولـ GPT-5.5 هي$ -0.613$).
البروتوكول الواعي بالمشتتات: يتم الحفاظ على الأداء أو تحسينه.
- BABI-Long: يُظهر نموذجا Haiku وSonnet تحسناً ذا دلالة إحصائية عند احتفاظ بنسبة 25% ( $\Delta = +0.083$ و $+0.104$ على التوالي). أما Opus وGPT-5.5 فيظلان عند سقف السياق الكامل ( $\Delta \approx 0$ ).
- GraphWalks: يظل الأداء ثابتاً عبر جميع النماذج، دون أي تدهور ملحوظ.
- MRCR v2: يسبب التقطيع القياسي ضرراً شديداً للنماذج الكبيرة ( $\Delta \approx -0.6$ )، بينما يكاد التقطيع الواعي بالمشتتات يلغي هذا الضرر ( $\Delta \approx -0.1$ ).

2. آلية الفشل

يحدد المؤلف آلية فشل البروتوكول القياسي كمياً:

عند الاحتفاظ بنسبة 25% تحت البروتوكول القياسي، يتم الحفاظ على جمل حقائق bAbI في أقل من 1% من العينات، ويتم الحفاظ على الرسم البيقي الذهبي لـ BFS في 26% فقط.
تحت البروتوكول الواعي بالمشتتات، يتم الحفاظ على الإشارة عن طريق التصميم (احتفاظ بنسبة 100% بالمجموعة الضرورية).
لذا، فإن "الانهيار" الملحوظ في الأعمال السابقة هو قياس لمدى تكرار نجاح عملية إزالة المنتصف في الحفاظ على الإجابة بالصدفة، وليس قياساً لتأثيرات نافذة السياق.

3. التحكم السلبي (Oolong)

في اختبار Oolong المعياري، حيث لا توجد مشتتات، تعطي كلا البروتوكولين نتائج لا يمكن تمييزها إحصائياً (أحكام محايدة). وهذا يؤكد أن التصحيح المنهجي (الحفاظ على الإشارة) لا يرفع الدرجات بشكل مصطنع، بل يعالج تحديداً فقدان الإشارة في المهام التي تتواجد فيها المشتتات.

الأهمية والادعاءات

يخلص البحث إلى أن الادعاء بأن "السياق الأقصر هو الأفضل" لا يمكن التحقق من صحته أو دحضه باستخدام بروتوكولات إزالة المنتصف القياسية. ويؤكد المؤلف ما يلي:

التصحيح المنهجي: يجب على الدراسات المستقبلية لطول السياق تحديد كيفية تمييزها بين الإشارة والمشتت. بدون ذلك، ستظل النتائج غامضة بين فرضية أن "السياك الأقصر يساعد" (عن طريق إزالة الضوضاء) وفرضية أن "السياق الأقصر يضر" (عن طريق إزالة الإشارة).
الحد الأعلى لأنظمة الاسترجاع: يعمل البروتوكول الواعي بالمشتتات كتقريب محكوم لـ "مسترجع مثالي" (Oracular Retriever). تشير النتائج إلى أنه بالنسبة للنماذج الأصغر (Haiku، Sonnet)، يمكن لإزالة المشتتات المثالية أن تحقق مكاسب كبيرة في الأداء (على سبيل المثال، تحسن نسبي بنسبة +42% في BABI-Long). أما بالنسبة للنماذج الأكبر التي وصلت بالفعل إلى السقف، فإن مجال التحسن من هذا النوع يكون ضئيلاً.
قابلية التكرار: تتكرر النتائج عبر مزودي خدمة مختلفين (Anthropic وOpenAI)، مما يستبعد وجود عيوب مرتبطة بمزود واحد.

يؤكد المؤلف أن مساهمته هي تصحيح منهجي: فهو يثبت أن "الانهيار القياسي" هو نتاج لآثار فقدان الإشارة، وأنه عندما يتم الحفاظ على الإشارة، فإن السياقات الأقصر لا تضعف الأداء بطبيعتها، بل يمكنها في حالات معينة تحسينه.