💬 NLP

Detecting Overflow in Compressed Token Representations for Retrieval-Augmented Generation

تتناول هذه الورقة تحدي فقدان المعلومات في تمثيلات الرموز (tokens) المضغوطة لعمليات التوليد المعزز بالاسترجاع، وذلك عبر تعريف "تجاوز الرموز" (token overflow) وإثبات أن مصنفات الاستقصاء خفيفة الوزن والمدركة للاستعلام يمكنها اكتشاف هذا النمط بدقة عالية، مما يتيح معالجة مسبقة منخفضة التكلفة للتخفيف من الأخطاء الناجمة عن الضغط.

المؤلفون الأصليون: Julia Belikova, Danila Rozhevskii, Dennis Svirin, Konstantin Polev, Alexander Panchenko

نُشر 2026-02-16

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Julia Belikova, Danila Rozhevskii, Dennis Svirin, Konstantin Polev, Alexander Panchenko

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة عبقرياً ولكنه مشغول جداً (وهو النموذج اللغوي الكبير أو LLM) يمكنه الإجابة على أي سؤال إذا أعطيته الكتب المناسبة. ومع ذلك، فإن المكتبة ضخمة، بينما يمتلك أمين المكتبة مكتباً صغيراً جداً فقط. إذا حاولت حشر 1,000 كتاب فوق هذا المكتب الصغير، فسيشعر أمين المكتبة بالارتباك، ويسقط بعض الصفحات، ويبدأ في إعطائك إجابات خاطئة.

لحل هذه المشكلة، اخترع الباحثون "ملخصاً سحرياً" (الضغط الناعم - Soft Compression). بدلاً من إحضار 1,000 كتاب، تقوم بتغذية الكتب في الملخص السحري، الذي يقوم بتكثيفها في ملاحظة صغيرة واحدة وسحرية. ثم يقرأ أمين المكتبة هذه الملاحظة الوحيدة ويجيب على سؤالك.

هذا يعمل بشكل رائع في معظم الأوقات. ولكن أحياناً، تكون الملاحظة صغيرة جداً. لقد تم حشر الكثير من المعلومات فيها لدرجة أنها أصبحت فوضى متشابكة. يقرأ أمين المكتبة الملاحظة، فلا يرى سوى ضجيج، ويعطي إجابة خاطئة. يطلق الباحثون على هذه الظاهرة اسم "تجاوز الرموز" (Token Overflow).

هذه الورقة البحثية تدور حول بناء حارس أمن يمكنه التحقق من تلك الملاحظة السحرية قبل أن يقرأها أمين المكتبതി حتى، ليرى ما إذا كانت الملاحظة فوضوية جداً بحيث لا تكون مفيدة.

الأسئلة الثلاثة الكبرى التي تطرحها الورقة

أراد الباحثون حل ثلاثة ألغاز:

كيف تبدو الملاحظة "المعطلة"؟ (هل يمكننا رصد الفوضى بمجرد النظر إلى الملاحظة نفسها؟)
هل يمكننا رصد الفوضى بسرعة؟ (هل نحتاج إلى طلب قراءة الملاحظة من أمين المكتبة أولاً، أم يمكننا معرفة ذلك بمجرد النظر إلى الملاحظة؟)
هل نحتاج إلى معرفة السؤال؟ (هل تبدو الملاحظة معطلة فقط بالنسبة لأسئلة محددة، أم أنها معطلة بشكل عام؟)

التحقيق: تجربة أدوات مختلفة

جرب الفريق ثلاث طرق مختلفة للقيام بدور حارس الأمن:

1. "الفحص الفيزيائي" (إحصائيات التشبع - Saturation Statistics)

التشبيه: تخيل أنك ترفع الملاحظة السحرية تجاه الضوء. تتحقق مما إذا كان الحبر منتشراً للغاية، أو إذا كان الورق مجعداً جداً، أو إذا كان النص كثيفاً جداً.
النتيجة: كانت هذه الطريقة رائعة في التمييز بين "الملاحظة السماوية" و"صفحة الكتاب العادية". كان بإمكانها بسهولة القول: "مهلاً، هذه ملاحظة مضغوطة!".
المشكلة: كانت سيئة جداً في تحديد ما إذا كانت الملاحظة عديمة الفائدة. فقد تكون الملاحظة تبدو مجعدة وكثيفة تماماً ولكنها لا تزال تحتوي على الإجابة الصحيحة. أو قد تبدو نظيفة ولكنها فارغة. الحكم: جيدة لتحديد نوع الملاحظة، سيئة في التنبؤ بما إذا كانت ستفشل.

2. "رد فعل أمين المكتبة" (أنماط الانتباه - Attention Patterns)

التشبيه: تعتمد هذه الطريقة على انتظار أمين المكتبة حتى ينظر بالفعل إلى الملاحظة. تراقب عيني أمين المكتبة. إذا بدا أمين المكتبة مرتبكاً، أو يضيق عينيه، أو يشيح بنظره عن الملاحظة، يعرف الحارس أن هناك خطباً ما.
النتيجة: نجحت هذه الطريقة بشكل مقبول، لكنها كانت بطيئة لأنك تضطر لترك أمين المكتبة يبدأ القراءة أولاً.
المشكلة: بحلول الوقت الذي يبدو فيه أمين المكتبة مرتبكاً، تكون قد أهدرت بالفعل الوقت والطاقة. كنت تريد إيقاف العملية قبل أن يبدأ أمين المكتبة.

3. "محقق السياق" (المصنفات الاستقصائية المتعلمة - Learned Probing Classifiers)

التشبيه: هذه هي الاستراتيجية الفائزة. الحارس لا ينظر إلى الملاحظة فحسب؛ بل ينظر إلى الملاحظة والسؤال معاً.
- مثال: إذا كانت الملاحظة عن "التفاح" والسؤال هو "كيفية خبز كعكة"، فإن الحارس يعرف على الفور: "هذه الملاحظة عديمة الفائدة لهذا السؤال!".
- حتى لو بدت الملاحظة مثالية، إذا لم تكن متطابقة مع السؤال، سيعتبرها الحارس "تجاوزاً" (Overflow).
النتيجة: كانت هذه هي البطلة. من خلال النظر في العلاقة بين السؤال والملاحظة المضغوطة، استطاع الحارس التنبؤ بدقة 72% بما إذا كان أمين المكتبة سيفشل، وكل ذلك قبل أن يلمس أمين المكتبة الملاحظة.

النتائج الرئيسية الكبرى

لا تحكم على الكتاب من غلافه (أو على الملاحظة من تجعدها): مجرد كون الرمز المضغوط يبدو "كثيفاً" أو "ضجيجياً" لا يعني أنه معطل. يجب أن ترى ما إذا كان يتوافق مع السؤال المحدد المطروح.
الضرر يحدث قبل القراءة: في اللحظة التي ينشئ فيها الملخص السحري الملاحظة، تكون المعلومات إما قد حُفظت أو فُقدت. الانتظار حتى يقرأها أمين المكتبة هو وقت متأخر جداً. يمكنك اكتشاف الفشل فور إنشاء الملاحظة.
"حارس الأمن" يوفر الوقت: باستخدام هذا الكاشف الجديد، يمكننا منع الملاحظات السيئة من الوصول إلى أمين المكتبة المكلف والبطيء. يمكننا القول: "هذه الملاحظة تعاني من تجاوز (Overflow)؛ لنذهب ونحضر كتاباً طازجاً غير مضغوط بدلاً من ذلك"، مما يوفر المال والوقت.

لماذا يهم هذا؟

في العالم الحقيقي، تصبح نماذج الذكاء الاصطناعي أكبر وأذكى، لكنها أيضاً تصبح أكثر تكلفة في التشغيل. تقدم هذه الورقة طريقة رخيصة وسريعة للتحقق مما إذا كانت حيل "الضغط" لدينا تعمل أم أنها على وشك جعل الذكاء الاصطناعي يهلوِس (يختلق أشياء من عنده). الأمر يشبه تركيب كاشف دخان ينطلق قبل أن تبدأ الحريق، بدلاً من الانتظار حتى يحترق المنزل.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "كشف التجاوز في تمثيلات الرموز المضغوطة لعمليات التوليد المعزز بالاسترجاع (RAG)."

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) قيودًا حوسبية كبيرة عند معالجة السياقات الطويلة، لا سيما في أنظمة التوليد المعزز بالاسترجاع (RAG) حيث يجب ضغط الأدلة المسترجعة لتناسب نوافذ السياق. تعالج بنيات الضغط الناعم (مثل xRAG) هذه المشكلة عن طريق رسم خرائط لتسلسلات الرموز (tokens) الطويلة إلى مجموعة صغيرة من "الرموز المضغوطة" الكثيفة والمتعلمة.

ومع ذلك، يوجد نمط فشل حرج: تجاوز الرموز (Token Overflow). يحدث هذا عندما يُجبر الرمز المضغوط على تشفير معلومات أكثر مما تسمح به سعة أبعاده الثابتة. في هذه الحالة، يفقد التمثيل الإشارة ذات الصلة بالمهمة ويتصرف كضجيج، مما يؤدي إلى تدهور الأداء اللاحق بصمت (على سبيل المثال، الإجابة على الأسئلة بشكل غير صحيح).

الفجوة: تقيم الأنظمة الحالية الضغط فقط عبر مقاييس المهمة النهائية (مثل الدقة)، مما لا يقدم أي رؤية حول متى أو لماذا يصبح رمز مضغوط معين في حالة "تجاوز".
أسئلة البحث:
1. كيف يمكننا توصيف التجاوز في التمثيلات المضغوطة؟
2. هل يمكن اكتشاف التجاوز بكفاءة دون إجراء استدلال كامل للنموذج اللغوي الكبير (LLM)؟
3. هل يمكن اكتشاف التجاوز من الرموز وحدها، أم يتطلب الأمر نمذجة التفاعل بين الاستعلام والسياق؟

2. المنهجية

يقترح المؤلفون منهجية لاكتشاف تجاوز الرموز في بنية xRAG (وهي نظام ضغط ناعم يعتمد على الإسقاط/Projector) باستخدام طيف من أساليب الكشف التي تتراوح من كونها مستقلة عن الاستعلام إلى كونها مرتبطة بالاستعلام.

أ. صياغة المشكلة

تعريف التجاوز: تكون الحالة $i$ في حالة تجاوز ( $O_i=1$ ) إذا كان الخط الأساسي غير المضغوط يعطي إجابة صحيحة، بينما النسخة المضغوطة تعطي إجابة غير صحيحة.
الهدف: التنبؤ بـ $O_i$ باستخدام التمثيلات فقط، دون إعادة تشغيل مهمة التوليد الكاملة.

ب. أساليب الكشف

تقيم الدراسة ثلاثة مستويات من تعقيد الكشف:

المستقل عن الاستعلام (الخصائص الجوهرية):
- تعقيد السياق: مقاييس مثل طول السياق، والارتباك (Perplexity)، والقدرة على الضغط الإحصائي (نسبة gzip).
- إحصائيات تشبع الرموز: تحليل الخصائص الهندسية لمتجهات الرموز المضغوطة ( $c \in \mathbb{R}^d$ $c \in R^{d}$ ) والحالات الخفية:
  - تشتت هوير (Hoyer's Sparsity): يقيس تركيز الطاقة.
  - الاعتلاج الطيفي (Spectral Entropy): يقيس توزيع التردد (الضجيج الأبيض مقابل الإشارات المهيكلة).
  - التفرطح (Kurtosis): يقيس ثقل الذيول (التوزيع الطبيعي مقابل التوزيع ذي الذيول الثقيلة).
المشروط بالاستعلام (الإشارات السلوكية):
- ميزات الانتباه: استخراج أوزان الانتباه أثناء توليد النموذج اللغوي الكبير لقياس مدى اعتماد النموذج على الرموز المضغضوطة مقابل السياق الآخر. يتضمن ذلك متوسط الانتباه، ونسب الانتباه، واعتلاج الانتباه.
المرتبط بالاستعلام (الاستقصاء المتعلم):
- التمثيلات المشتركة: تدريب مصنفات خفيفة الوزن على المتجهات المدمجة لكل من الاستعلام (Query) و السياق (Context) (الرموز المضغوطة).
- البنيات: المجسات الخطية (Linear Probes)، ومجسات MLP، وMLP مع التعلم التبايني الخاضع للإشراف (SCL).
- المراحل: اختبار الكشف قبل الاستدلال (مباشرة بعد الإسقاط، قبل معالجة LLM) مقابل بعد الاستدلال (باستخدام الحالات الخفية من الطبقات الوسطى/الأخيرة).

3. المساهمات الرئيسية

صياغة مفهوم تجاوز الرموز: تم تعريف التجاوز كوضع تفقد فيه الرموز المضغوطة الإشارة الكافية ذات الصلة بالمهمة، وهو أمر متميز عن الضغط العام للرموز.
الإحصائيات التشبعية كأدوات تحديد: أظهرت أن إحصائيات التشبع (التشتت، الاعتلاج، التفرطح) تميز بشكل موثوق بين الرموز المضغوطة والرموز القياسية (قابلية فصل خطي شبه مثالية، AUC > 0.95). ومع ذلك، فإن هذه الإحصائيات تفشل في التنبؤ بـ التجاوز (AUC ~ 0.55)، مما يثبت أن كون الرمز "مضغوطًا" ليس هو نفسه كونه "متجاوزًا".
تفوق الكشف المرتبط بالاستعلام: أظهرت أن التجاوز ليس خاصية جوهرية للرمز، بل ينشأ من عدم التطابق بين محتوى الرمز والاستعلام المحدد. لذلك، يتطلب الكشف نمذجة مشتركة للاستعلام والسياق.
بوابة ما قبل الاستدلال الفعالة: أثبتت إمكانية اكتشاف التجاوز بكفاءة عالية بعد الإسقاط مباشرة (Pre-inference)، دون الحاجة إلى تمريرة أمامية (forward pass) كاملة للنموذج اللغوي الكبير.

4. النتائج التجريبية

أُجريت التجارب على SQuADv2، و TriviaQA، و HotpotQA باستخدام نموذج xRAG-7B.

طريقة الكشف	متوسط AUC-ROC	النتيجة الرئيسية
إحصائيات التشبع (المستقلة عن الاستعلام)	~0.53 - 0.58	أداء يقارب العشوائية. جيدة لتحديد الرموز المضغوطة، لكنها عديمة الفائدة في اكتشاف التجاوز.
تعقيد السياق	~0.54 - 0.61	إشارة ضئيلة؛ الطول أو الارتباك وحدهما لا يمكنهما التنبؤ بالتجاوز.
ميزات الانتباه (بعد الاستدلال)	~0.62	إشارة متوسطة ولكنها تتطلب استدلالًا مكلفًا للنموذج اللغوي الكبير.
الاستقصاء المتعلم (التمثيلات المشتركة)	0.72	أفضل أداء. يحقق كشفًا قويًا قبل الاستدلال.

ما قبل الاستدلال مقابل ما بعد الاستدلال: أداء الكشف في مرحلة ما قبل الاستدلال (باستخدام التمثيلات المسقطة) متطابق إحصائيًا مع مرحلة ما بعد الاستدلال (باستخدام الحالات الخفية لـ LLM). وهذا يؤكد أن التجاوز يتحدد عند خطوة الضغط، وليس أثناء عملية التوليد.
أهمية الاستعلام: النماذج المشتركة (الاستعلام + السياق) تفوقت على نماذج (السياق فقط) بمقدار 5-8 نقاط مئوية، مما يؤكد أن التجاوز هو خاصية علاقية، وليس خاصية جوهرية.
تعقيد النموذج: كانت المجسات الخطية البسيطة كافية؛ ولم تقدم نماذج MLP المعقدة أي تحسن كبير، مما يشير إلى أن التجاوز يظهر كبنية قابلة للفصل خطيًا في فضاء التمثيل المشترك.

5. الأهمية والآثار المترتبة

بوابة سلامة منخفضة التكلفة: القدرة على اكتشاف التجاوز قبل أن يعالج النموذج اللغوي الكبير السياق تسمح بـ "بوابة ما قبل الاستدلال". يمكن للأنظمة استبعاد التمثيلات المشبعة أو تفعيل التقسيم التكيفي (استرجاع المزيد من السياق) دون إضاعة الموارد الحوسبية على عملية توليد فاشلة.
رؤية نظرية: تتحدى النتائج الافتراض بأن حدود الضغط تعتمد فقط على السعة. بدلاً من ذلك، تسلط الضوء على أن الارتباط بالمهمة هو أمر ديناميكي؛ فقد يكون الرمز كافيًا لاستعلام واحد ولكنه "متجاوز" لاستعلام آخر.
القابلية للتعميم: رغم اختبارها على xRAG، إلا أن المنهجية (استقصاء التمثيلات المشتركة) مستقلة عن البنية ويمكن تطبيقها على نماذج الضغط الناعم الأخرى.

الخلاصة: تثبت هذه الورقة أنه بينما تمتلك الرموز المضغوطة بصمات هندسية متميزة، فإن اكتشاف متى تفشل (التجاوز) يتطلب فهم التفاعل بين السياق المضغوط والاستعلام المحدد. ويمكن تحقيق ذلك بكفاءة باستخدام مصنفات خفيفة الوزن على تمثيلات ما قبل الاستدلال، مما يسمح بأنظمة RAG أكثر قوة وكفاءة في استهلاك الموارد.