💬 NLP

LooComp: Leverage Leave-One-Out Strategy to Encoder-only Transformer for Efficient Query-aware Context Compression

تُعد LooComp إطار عمل "ترانسفورمر" خفيف الوزن يعتمد على المشفر فقط، وتستخدم استراتيجية "ترك واحد واستبعاد" قائمة على الهامش لضغط سياقات الاسترجاع بكفاءة من خلال تحديد والاحتفاظ بالجمل الجوهرية المتعلقة بالاستعلام فقط، مما يحقق نسب ضغط عالية دون التضحية بالأداء في الإجابة على الأسئلة.

المؤلفون الأصليون: Thao Do, Dinh Phu Tran, An Vo, Seon Kwon Kim, Daeyoung Kim

نُشر 2026-03-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Thao Do, Dinh Phu Tran, An Vo, Seon Kwon Kim, Daeyoung Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق تحاول حل لغز ما. لديك كومة ضخمة من ملفات القضية المكونة من 500 صفحة (السياق) وسؤال واحد محدد تحتاج إلى الإجابة عليه (الاستعلام).

إذا حاولت قراءة كل كلمة في تلك الـ 500 صفحة، فسيستغرق الأمر وقتاً طويلاً جداً، وسيتعب عقلك، وقد يتشتت انتباهك بتفاصيل غير ذات صلة مثل لون حذاء المشتبه به أو حالة الطقس في يوم الجريمة. هذا هو بالضبط ما تواجهه أنظمة التوليد المعزز بالاسترجاع (RAG) اليوم: فهي تحصل على الكثير من المعلومات، مما يبطئ سرعتها ويجعلها مشتتة.

تقترح ورقة بحثية بعنوان "LooComp" طريقة ذكية وجديدة لحل هذه المشكلة. إليك التفاصيل باستخدام تشبيهات بسيطة:

1. الطريقة القديمة: "كاتب الملخص" مقابل "المحدد"

حاولت الطرق السابقة إصلاح ذلك بطريقتين:

كاتب الملخص (التجريدي - Abstractive): تخيل مساعداً بشرياً يقرأ الملف بأكمله ويكتب ملخصاً من صفحة واحدة. هذا رائع لتوفير المساحة، لكن كتابة ذلك الملخص تستغرق وقتاً طويلاً (زمن استجابة عالٍ). الأمر يشبه أن تطلب من طاهٍ أن يطبخ وجبة جديدة فقط لوصف المكونات؛ إنه أمر بطيء.
المحدد (الاستخراجي - Extractive): تخيل شخصاً يقوم فقط بتحديد الجمل المهمة. هذا سريع، لكن المحددات القديمة كانت "غبية". فقد كانت تحدد بناءً على قواعد عامة (مثل "حدد الكلمات التي تظهر كثيراً") دون النظر فعلياً إلى سؤالك المحدد. قد يحدد جملة عن "الأحذية" بينما أنت تسأل عن "السلاح".

2. حل LooComp: لعبة "ماذا لو؟"

ابتكر المؤلفون نظاماً جديداً يسمى LooComp. بدلاً من كتابة ملخص أو استخدام محدد غبي، يستخدمون استراتيجية "ماذا لو؟" (تسمى تقنياً Leave-One-Out أو "ترك واحد واستبعاد الآخر").

إليك كيف يعمل، خطوة بخاف:

الخطوة 1: الإعداد. لديك سؤالك والوثيقة بأكملها.
الخطوة 2: اختبار "ماذا لو؟". يسأل النظام: "إذا قمت بإزالة الجملة (أ)، هل سيصبح العثور على الإجابة أصعب؟"
- يقوم بحساب "درجة الدليل" للوثيقة بأكملها.
- ثم يحذف الجملة (أ) مؤقتاً ويعيد حساب الدرجة مرة أخرى.
- إذا انخفضت الدرجة بشكل كبير، فهذا يعني أن الجملة (أ) كانت دليلاً حاسماً.
- إذا بقيت الدرجة كما هي، فإن الجملة (أ) كانت مجرد ضجيج (مثل تقرير الطقس).
الخطوة 3: القرار. يقوم بذلك لكل جملة في الوثيقة، لكنه يفعل ذلك دفعة واحدة (بالتوازي)، مما يجعله سريعاً للغاية.
الخطوة 4: القص. يحتفظ فقط بالجمل التي تسببت في انخفاض كبير في الدرجة عند إزالتها. ويرمي الباقي.

3. "الفلتر الذكي" (العتبة التكيفية)

أحد أروع ميزات الورقة البحثية هو أنها لا تستخدم قاعدة ثابتة مثل "احتفظ بأفضل 10 جمل".

تخيل أنك تجهز حقيبة سفر.

إذا كنت ذاهباً في رحلة لمدة 3 أيام، فستحتاج فقط إلى بعض الملابس.
أما إذا كنت ذاهباً في رحلة لمدة 3 أشهر، فستحتاج إلى الكثير منها.

الأنظمة القديمة استخدمت قاعدة ثابتة (مثلاً: "احتفظ دائماً بـ 10 جمل"). أما LooComp فهو مثل مسافر ذكي ينظر إلى الحقيبة ويقول: "هذه الرحلة تحتاج إلى 15 قطعة، لكن هذه الرحلة الأخرى تحتاج فقط إلى 5 قطع". إنه ينظر إلى "الفجوة" بين الأدلة الأكثر أهمية والأدلة الأقل أهمية ويقرر تلقائياً مقدار ما يجب قصه لهذه الأسئلة المحددة.

4. لماذا يعد هذا أمراً هاماً؟

إنه سريع: بدلاً من استخدام عقل ضخم وبطيء (نموذج ذكاء اصطناي ضخم) للقراءة وإعادة الكتابة، فإنه يستخدم "ماسحاً" خفيفاً وفعالاً (نموذج يعتمد على الترميز فقط - Encoder-only model). الأمر يشبه استخدام كاشف المعادن بدلاً من عملية تنقيب أثرية كاملة.
إنه دقيق: لأنه يختبر الأهمية الفعلية لجملة ما بالنسبة للسؤال المحدد، فهو لا يتخلص بالخطأ من "الدليل القاطع" لمجرد أنها جملة قصيرة.
إنه يوفر المال: من خلال حذف 80-90% من النص، لا يحتاج الذكاء الاصطناي لمعالجة عدد كبير من الكلمات. وهذا يوفر قوة الحوسبة والمال.

الخلاصة

LooComp يشبه محرراً فائق الكفاءة لا يكتفي بتلخيص كتاب فحسب؛ بل يلعب لعبة "الإزالة والتحقق" للعثور على الجمل الأكثر حيوية لسؤالك المحدد. ثم يقدم لك حزمة صغيرة ومثالية من الورق تحتوي فقط على الأدلة التي تحتاجها لحل اللغز، تاركاً خلفه كل الحشو غير الضروري.

هذا يجعل أنظمة الذكاء الاصطناعي أسرع، وأرخص في التشغيل، وأفضل في الإجابة على الأسئلة دون الارتباك بسبب كثرة المعلومات.

إليك ملخص تقني مفصل لورقة البحث بعنوان "LooComp: استغلال استراتيجية 'ترك واحد واستبعاد البقية' (Leave-One-Out) في نماذج المحولات المعتمدة على الترميز فقط (Encoder-only Transformer) لضغط السياق بكفاءة مع مراعاة الاستعلام."

1. بيان المشكلة

تواجه أنظمة التوليد المعزز بالاسترجاع (RAG) مقايضة جوهرية: استرجاع المزيد من المستندات يحسن تغطية المعلومات ولكنه يؤدي إلى أعباء حوسبية كبيرة، وزمن استجابة (latency)، و"ضجيج" محتمل يؤدي إلى تدهور أداء النماذج اللغوية الكبيرة (LLM).

القيود الحالية: تندرج طرق ضغط السياق الحالية ضمن فئتين:
- الطرق التجريدية (Abstractive Methods): تقوم بتوليد ملخصات (مثل RECOMP-Abst). وبينما تحقق هذه الطرق ضغطاً عالياً، فإن عملية توليد الرموز (tokens) خطوة بخطوة تسبب زمن استجابة مرتفعاً، مما يلغي غالباً الوقت الذي تم توفيره بتقليل طول السياق.
- الطرق الاستخراجية (Extractive Methods): تختار أجزاء نصية موجودة بالفعل (مثل LongLLMLingua و EXIT). ورغم أنها أسرع، إلا أن العديد منها يعتمد على معايير جامدة، أو يفشل في التكيف مع تعقيد الاستعلام، أو يستخدم بنيات غير فعالة (مثل النماذج المعتمدة على فك الترميز/Decoder لمهام التصنيف).
- مشكلات محددة: تعتمد الأعمال الحديثة مثل EXIT على نماذج ضخمة تعتمد على فك الترميز (decoder-based) وتزيد من حجم المدخلات عبر تكرار الجمل. أما Provence فيستخدم الإشراف على مستوى الرمز (token-level)، مما يؤدي إلى ضجيج في التدرج (gradient noise) ويتجاهل الدلالات الهيكلية على مستوى الجملة.

الهدف: تطوير آلية خفيفة الوزن لتقليم السياق، تكون مدركة للاستعلام (query-aware)، سريعة، موفرة للذاكرة، وتحافظ على النص الأصلي (استخراجية) للحفاظ على الأمانة تجاه الأدلة.

2. المنهجية: LooComp

يقترح المؤلفون LooComp، وهو إطار عمل مبني على نموذج محول يعتمد على الترميز فقط (encoder-only Transformer) خفيف الوزن (تحديداً ModernBERT) يستخدم استراتيجية "ترك واحد واستبعاد البقية" (Leave-One-Out - LOO) لتحديد أهمية الجملة.

أ. المفهوم الجوهري: تسجيل درجة $\Delta$ -LOO

بدلاً من التنبؤ بأهمية الجملة بشكل منعزل، يقيس النموذج المساهمة الهامشية لكل جملة في "ثراء القرائن" (clue richness) أو القدرة على الإجابة في الفقرة.

تقسيم الجمل: يتم تقسيم المستندات المسترجعة إلى جمل.
التسجيل المتوازي: يقوم النموذج بحساب درجة "ثراء القرائن" للسياق الكامل ( $P$ ) وللسياق بعد حذف كل جملة $s_k$ على حدة ( $P \setminus \{s_k\}$ ).
حساب الفرق ( $\Delta$ ): تُعرف أهمية الجملة $s_k$ $s_{k}$ بأنها الانخفاض في الدرجة:
$\Delta_k = f_\theta(q, P) - f_\theta(q, P \setminus \{s_k\})$
- تشير $\Delta_k$ الكبيرة إلى أن الجملة حاسمة (حذفها يضر بالقدرة على الإجابة).
- تشير $\Delta_k$ القريبة من الصفر أو السالبة إلى أن الجملة زائدة عن الحاجة أو ضجيج.
التوازي (Parallelization): بما أن كل $\Delta_k$ تُحسب بشكل مستقل، فإن عملية التسجيل قابلة للتوازي بشكل كبير، مما يتيح إنتاجية عالية حتى للسياقات الطويلة.

ب. هدف التدريب (خسارة التصنيف المركبة)

يتم تدريب النموذج باستخدام دالة خسارة مركبة مصممة لفرض هوامش كبيرة بين الجمل الحاسمة وغير الحاسمة:

للفقرات التي تحتوي على قرائن: تجمع الخسارة بين:
- خسارة التصنيف (Ranking Loss - $L_{ord}$ ): تفرض أن تكون $\Delta$ للجمل الحاسمة أكبر بكثير من الجمل غير الحاسمة.
- خسارة الهبوط الحاسم (Critical Drop Loss - $L_{crit}$ ): تضمن أن حذف جملة حاسمة يتسبب في انخفاض كبير في الدرجة.
- خسارة الاستقرار لغير الحاسمة (Non-Critical Stability Loss - $L_{non}$ ): تعاقب التغيرات الكبيرة في الدرجة عند حذف الجمل غير الحاسمة.
للفقرات الخالية من القرائن: تستخدم خسارة الإنتروبيا المتقاطعة الثنائية (BCE) لضمان تخصيص درجات منخفضة للفقرة بأكملها وتقليل التباين عند حذف أي جملة.

ج. استراتيجية الاستدلال: الاختيار التكيفي القائم على الفجوة

لتجنب العتبات الثابتة التي قد تؤدي إلى تقليم مفرط أو غير كافم، يستخدم LooComp إدراك الفجوة التكيفي:

حساب درجات $\Delta$ لجميع الجمل.
ترتيب الدرجات تنازلياً.
تحديد أكبر "فجوة" بين الدرجات المتتالية في القائمة المرتبة.
ضبط عتبة الاختيار $\tau$ ديناميكياً بناءً على هذه الفجوة. يسمح هذا للنظام بالتكيف تلقائياً مع نسبة الضغط بناءً على كثافة المعلومات في سياق كل استعلام.

3. المساهمات الرئيسية

إطار عمل تسجيل $\Delta$ -LOO: قدم طريقة مبدئية قائمة على الهامش لقياس أهمية الجملة بناءً على التغير في القدرة على الإجابة، مع الاستفادة من بنى المحولات الخفيفة المعتمدة على الترميز فقط.
الاختيار التكيفي للفجوة: اقترح استراتيجية عتبة ديناميكية تتكيف مع توزيع درجات الصلة لكل استعلام، مما يوازن بين الإيجاز والاحتفاظ بالمعلومات.
الكفاءة والأداء: أثبت أن النماذج المعتمدة على الترميز فقط كافية لهذه المهمة، محققة إنتاجية عالية واستهلاكاً منخفضاً للذاكرة مقارنة بالنماذج المعتمدة على فك الترميز.
التقييم الصارم: تم التحقق من النهج عبر خمسة اختبارات معيارية للأسئلة والأجوبة (HotpotQA, 2WikiMultihopQA, Musique, Natural Questions, TriviaQA) باستخدام نماذج قارئة مفتوحة المصدر (Llama-3) ومملوكة (Gemini, Kimi, GPT).

4. النتائج التجريبية

يقيم البحث LooComp مقابل 7 نماذج أساسية (بما في ذلك RECOMP, CompAct, LongLLMLingua, EXIT, و Provence).

الدقة: حقق LooComp باستمرار نتائج SOTA (الأفضل حالياً) أو قريبة من SOTA في مقايئات المطابقة التامة (EM) و F1 عبر جميع مجموعات البيانات والنماذج القارئة. في كثير من الحالات، تفوق على النموذج الأساسي "الخام" (غير المضغوط)، مما يشير إلى أن إزالة الضجيج تحسن بالفعل من قدرة النموذج اللغوي على الاستنتاج.
كفاءة الضغط:
- زمن الاستجابة (Latency): حقق زمن ضغط منخفض للغاية (مثلاً < 0.05 ثانية لأعلى 5 قطع نصية)، وهو أسرع بكثير من الطرق التجريدية ومنافس لأسرع الطرق الاستخراجية.
- تقليل الرموز (Tokens): حقق نسب ضغط عالية (توفير ~80-90% من الرموز في سيناريوهات أعلى 20 قطعة) مع الحفاظ على الأداء.
- الإنتاجية (Throughput): أظهر إنتاجية متفوقة (الأسئلة في الثانية - QpS) مقارنة بالضاغطات الثقيلة المعتمدة على فك الترميز.
المتانة: يتوسع النهج بشكل جيد مع زيادة عدد القطع المسترجعة ( $k$ )، حيث يحافظ على الأداء أو يحسنه، بينما تتدهور بعض النماذج الأساسية بسبب تراكم الضجيج.
التعميم: تم تدريب النموذج فقط على HotpotQA، ومع ذلك فقد عمم بفعالية على مجموعات بيانات أخرى (أحادية ومتعددة الخطوات) وعلى نماذج قارئة مختلفة دون الحاجة لإعادة ضبط (fine-tuning).

5. الأهمية والتأثير

تحول في النموذج الفكري: يتحدى الافتراض بأن النماذج اللغوية الضخمة المعقدة المعتمدة على فك الترميز ضرورية لضغط السياق. يثبت أن النماذج الخفيفة المعتمدة على الترميز فقط أكثر كفاءة وفعالية لعملية الاختيار على مستوى الجملة.
الواقعية العملية: يقدم حلاً جاهزاً للاستخدام ("Plug-and-play") لأنظمة RAG يقلل من تكاليف الرموز (وهي تكلفة رئيسية في واجهات برمجة تطبيقات LLM) ومن زمن الاستجابة دون التضحية بجودة الإجابة.
القابلية للتوسع: الطبيعة المتوازية لتسجيل LOO تجعل LooComp قابلاً للتوسع بشكل كبير لمعالجة السياقات الطويلة، مما يعالج عقبة حرجة في تطبيقات RAG الحالية.
القيود: يعتمد النهج على التوصيفات (annotations) على مستوى الجملة للتدريب (حالياً يدوية في HQA) ويعمل على مستوى الجملة، مما يعني أن الجمل الطويلة جداً أو المليئة بالضجيج لا يتم تحسينها داخلياً. يقترح المؤلفون أن العمل المستقبلي يمكن أن يستكشف التقليم على مستوى العبارة (phrase-level) إذا توفرت توصيفات عالية الجودة.

باختصار، يوفر LooComp حلاً عالي الكفاءة والدقة والقابلية للتوسع لضغط السياق في أنظمة RAG، مستخدماً آلية تسجيل "ترك واحد واستبعاد البقية" المبتكرة لتقليم المعلومات غير ذات الصلة بذكاء مع الحفاظ على الأدلة الجوهرية اللازمة للتوليد الدقيق.