💬 NLP

AgentIR: A Workload-Adaptive Cascade Retrieval Substrate for Long-Term Conversational Memory

يقدم AgentIR ركيزة استرجاع متتالية متكيفة مع عبء العمل للذاكرة الحوارية طويلة المدى، والتي تتخطى ديناميكياً عملية الاسترجاع الكثيف المكلفة بناءً على عتبات الثقة وتستخدم فهرساً مقسماً زمنياً لتحقيق زمن انتقال يقل عن 10 مللي ثانية وتسريعاً يصل إلى 132 ضعفاً مع الحفاظ على دقة الاسترجاع أو تحسينها عبر مختلف المعايسات.

المؤلفون الأصليون: Aojie Yuan, Haiyue Zhang, Shahin Nazarian

نُشر 2026-05-26

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Aojie Yuan, Haiyue Zhang, Shahin Nazarian

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث AgentIR، مترجم إلى لغة بسيطة باستخدام التشبيهات.

الصورة الكبيرة: أمين مكتبة ذكي لوكلاء الذكاء الاصطناعي

تخفيل أن لديك مساعداً ذكياً جداً يعمل بالذكاء الاصطناعي ("وكيل") يساعدك لشهور أو حتى لسنوات. مع مرور الوقت، يجمع هذا الوكيل مذكرات هائلة من المحادثات، واستخدامات الأدوات، والخطط—ملايين الصفحات من الملاحظات.

في كل مرة يتخذ فيها الوكيل خطوة لحل مشكلة ما، يتعين عليه البحث في هذه المذكرات للعثور على المعلومات الصحيحة. إذا اتخذ الوكيل 20 خطوة، فإنه يحتاج للبحث في هذه المذكرات 20 مرة متتالية. وإذا استغرق البحث ولو جزءاً بسيطاً من الثانية أكثر مما ينبغي، فسيشعر المستخدم البشري أن المحادثة بأكملها "متوقفة" أو بطيئة.

المشكلة؟ الأدوات التي نستخدمها عادةً للبحث في المكتبات (مثل محركات البحث القياسية) صُممت للبحث في الإنترنت بأكمله، وليس للبحث في مذكرات واحدة تنمو باستمرار حيث تكون الملاحظات الأكثر أهمية هي تلك التي كُتبت الآن للتو.

AgentIR هو محرك بحث متخصص وجديد تم بناؤه خصيصاً لوكلاء الذكاء الاصطناعي هؤلاء. إنه أسرع، وأذكى في تحديد ما يبحث عنه، ويتوسع في الحجم دون أن يتباطأ.

1. رفوف "السفر عبر الزمن" (التقسيم الزمني - Temporal Partitioning)

المشكلة: تخيل مكتبة تُضاف إليها الكتب في كل ثانية. إذا طلبت كتاباً، فقد يضطر أمين المكتبة العادي إلى فحص الرفوف من أقدم كتاب إلى أحدث كتاب، واحداً تلو الآخر. ومع نمو المكتبة لتصل إلى ملايين الكتب، يصبح هذا البحث أبطأ فأبطأ.

حل AgentIR: يقوم AgentIR بتنظيم المكتبة بشكل مختلف. بدلاً من صف واحد ضخم من الكتب، يضعها على رفوف بناءً على متى كُتبت.

التشبيه: فكر في الأمر كأنها مكتبة "سفر عبر الزمن". الكتب الأحدث توضع على رف خاص سهل الوصول إليه في المقدمة. أما الكتب الأقدم فيتم دفعها إلى الخلف.
كيف يعمل: نظرًا لأن وكلاء الذكاء الاصطناعي يحتاجون عادةً إلى معلومات من المحادثات الأخيرة (مثل "ما الذي أصلحناه للتو؟")، فإن النظام ينظر فقط إلى الرفوف الأمامية أولاً. إذا وجد الإجابة هناك، يتوقف فوراً. إنه لا يضيع الوقت في فحص الرفوف الخلفية المتربة.
النتيجة: حتى لو نمت المكتبة 1,000 ضعف، فإن وقت البحث لا يزداد إلا قليلاً. الأمر يشبه العثور على إبرة في كومة قش، لكن الإبرة موجودة دائماً في أعلى 1% من القش.

2. استراتيجية "الأداتين" (البحث الهجين - Hybrid Search)

المشكلة: أحياناً تحتاج للبحث عن كلمات دقيقة (مثل البحث عن رمز خطأ محدد)، وأحياناً تحتاج للبحث عن المعنى (مثل البحث عن محادثة حول "إصلاح خلل" حتى لو لم تُستخدم كلمة "خلل" حرفياً).

الأداة (أ) (BM25): ممتازة في مطابقة الكلمات الدقيقة، وسريعة جداً.
الأداة (ب) (Dense/Vector): ممتازة في فهم المعنى، لكنها بطيئة وثقيلة.

حل AgentIR: لا يجبرك AgentIR على استخدام الأداتين لكل سؤال. إنه يعمل مثل شرطي مرور ذكي.

التشبيه: تخيل أنك تبحث عن عنصر معين في متجر.
- إذا سألت: "أين المطرقة الحمراء؟"، سيعرف النظام أنك تحتاج فقط للنظر في ممر "المطارق" (الأداة أ). وبذلك يتخطى الماسح الضوئي "للمعنى" المكلف والبطيء.
- إذا سألت: "أين الشيء الذي يصلح الباب الذي يصدر صريراً؟"، سيعرف النظام أنه بحاجة إلى ماسح "المعنى" (الأداة ب) لفهم المفهوم.
التتابع (The Cascade): يحاول النظام استخدام الأداة السريعة أولاً. إذا كان واثقاً جداً من أنه وجد الإجابة، يتوقف عند ذلك الحد. إذا كان غير متأكد، حينها يستدعي الأداة الثقيلة والبطيئة. هذا يوفر قدراً هائلاً من الوقت.

3. استراتيجية "تغيير الشكل" (التكيف مع عبء العمل - Workload-Adaptive)

المشكلة: أنواع مختلفة من الأسئلة تتطلب استراتيجيات بحث مختلفة.

في مجموعة بيانات واحدة (LongMemEval)، كان خلط مطابقة الكلمات ومطابقة المعنى هو الأفضل.
في مجموعة بيانات أخرى (LoCoMo)، كانت مطابقة الكلمات وحدها هي الأفضل والأسرع فعلياً.
الأنظمة القديمة تجبرك على اختيار استراتيجية واحدة والالتزام بها للأبد.

حل AgentIR: AgentIR هو "حرباء". لديه مصنف صغير وسريع (صانع قرار) ينظر إلى سؤالك ويقول: "آه، هذا سؤال عن 'الزمن'، فلنستخدم الاستراتيجية (أ)"، أو "هذا سؤال عن 'الحقائق'، فلنستخدم الاستراتيجية (ب)".

النتيجة: إنه يضبط نفسه تلقائياً. في أحد الاختبارات، تخطى الأداة البطيئة بنسبة 63% من المرات. وفي اختبار آخر، تخطاها بنسبة 100% لأن الأداة السريعة كانت مثالية. إنه يتكيف مع المهمة المطلوبة دون الحاجة لإعادة تدريبه.

4. محرك "السرعة الفائقة" (تحسين المعالجات الرسومية والمعالجات المركزية - GPU & CPU Optimization)

المشكلة: القيام بعمليات البحث هذه على شرائح الكمبيوتر القياسية (CPUs) سريع، لكن القيام بها على بطاقات الرسوميات القوية (GPUs) غالباً ما يكون صعباً لأن العمليات الحسابية لا تتوافق تماماً. كما أن محركات البحث القياسية غالباً ما تحتوي على أخطاء خفية تجعلها أقل دقة قليلاً عندما تحاول تسريعها.

حل AgentIR:

المحرك: قاموا ببناء محرك مخصص يعمل على كل من المعالجات المركزية (CPUs) ومعالجات الرسوميات (GPUs) بشكل مثالي.
"إصلاح الخلل": وجد المؤلفون ثلاثة "أخطاء" دقيقة تحدث غالباً عندما يحاول الناس تسريع محركات البحث (مثل تطبيع الأرقام بشكل خاطئ أو نسيان مسح الذاكرة). هذه الأخطاء تجعل نتائج البحث أسوأ بمقدار 6 إلى 8 مرات دون أن يلاحظ أحد. قام AgentIR بإصلاحها، مما يضمن أن نسخة الـ GPU فائقة السرعة تعطي نفس الإجابات الصحيحة تماماً مثل نسخة الـ CPU الأبطأ.
النتيجة: حققوا سرعات تصل إلى 132 ضعفاً أسرع من الأنظمة القياسية في مهام معينة، مع الحفاظ على الدقة نفسها تماماً.

ملخص النتائج

السرعة: يمكنه التعامل مع ملايين السجلات ولا يزال يجيب في أقل من 100 ميكروثانية (أي 1/10,000 من الثانية) للبيانات الأخيرة.
الكفاءة: يمكنه خدمة 8 وكلاء ذكاء اصطناعي مختلفين في نفس الوقت على جهاز كمبيوتر واحد دون تباطؤ.
الدقة: يطابق أو يتفوق على أفضل محركات البحث الموجودة حالياً (مثل Lucene) في العثور على الإجابات الصحيحة، ولكنه يفعل ذلك بشكل أسرع بكثير.
التكلفة: نظرًا لسرعته وكفاءته العالية، فإنه يكلف جزءاً ضئيلاً جداً مما تفرضه خدمات البحث السحابية التجارية.

باختصار: AgentIR هو محرك بحث متخصص وعالي السرعة يعرف متى ينظر إلى الملاحظات الأخيرة، ومتى يستخدم مطابقة الكلمات البسيطة، ومتى يتخطى العمل الشاق تماماً، مما يضمن بقاء وكلاء الذكاء الاصطناعي سريعين وسلسي الاستجابة حتى مع نمو ذاكرتهم لتصبح ضخمة جداً.

ملخص تقني: AgentIR

بيان المشكلة

تمثل الذاكرة الحوارية طويلة المدى لوكلاء النماذج اللغوية الكبيرة (LLM agents) عبء عمل في استرجاع المعلومات يختلف جوهياً عن أنظمة استرجاء المعلومات التقليدية (IR) مثل Lucene أو FAISS أو PISA. فبينما تفترض المحركات التقليدية وجود مجموعات بيانات ثابتة، وتوزيعات استعلام مستقرة، وميزانيات زمنية تُقاس بعشرات الملي ثانية، تظهر ذاكرة الوكيل خمس خصائص متميزة تكسر هذه الافتراضات:

انحياز شديد للحداثة (Extreme Recency Bias): تتركز استعلامات الاسترجاع بكثافة على الجزء الأحدث من السجلات (على سبيل المثال، أعلى 20-27% من الجلسات)، على عكس الانجراف البطيء في بحث الويب.
نمو غير ثابت للفهرس: تنمو مجموعة البيانات بشكل رتيب أثناء تدفق الاستعلام (بمعدل المحادثة)، مما يجعل عمليات إعادة بناء الفهرس التقليدية أو التحديثات التدريجية (التي تسبب زمن انتقال ذيل مرتفع) غير عملية.
أنواع استعلام متباينة: تحتوي جلسة الوكيل الواحدة على عمليات بحث عن حقائق، واستدلال متعدد الخطوات، واستعلامات زمنية، حيث لا توجد استراتيجية دمج واحدة (مثل BM25 أو Dense أو RRF) تهيمن على جميع الأنواع.
ميزانيات زمنية صارمة: مع وجود 5 إلى 20 عملية استرجاع لكل خطوة للوكيل، تكون ميزانية كل استعلام أقل من 10 مللي ثانية. وغالباً ما تتجاوز المشفرات الكثيفة (مثل ++SPLADE) هذه الميزانية بسبب عبء الترميز.
سجلات مهيكلة حسب الأدوار: تتضمن البيانات بيانات وصفية (الدور، معرف الجلسة، نوع الأداة) تتطلب منطق تصفية ودمج محدد يتجاوز مطابقة النصوص القياسية.

تفشل الأنظمة الحالية في استغلال هذه الخصائص، حيث تعامل ذاكرة الوكيل غالباً كأنها "استرجاع معلومات صغير" (small IR)، مما يؤدي إلى تكاليف توسع خطية واستراتيجيات دمج غير مثالية.

المنهجية: ركيزة AgentIR

AgentIR هي ركيزة استرجاع متتالية متكيفة مع عبء العمل، مصممة لمعالجة هذه الخصائص الهيكلية من خلال سطح تحكم متكيف ثنائي المحاور: (1) اختيار استراتيجية الدمج المثلى لكل استعلام، و(2) اتخاذ القرار بشأن تنفيذ القناة الكثيفة (dense channel) أم لا.

1. البنية والمسار (Architecture and Pipeline)

يعمل النظام عبر ثلاث قنوات متزامنة فوق ركيزة CSR (صف مكدس مضغوط) واحدة:

BM25 مدعوم بـ SIMD: بحث متفرق يعتمد على المعالج (CPU) باستخدام متجهات AVX2/NEON وتقليم MaxScore.
القناة الكثيفة (Dense Channel): بحث تقريبي قريب (ANN) يعتمد على HNSW لتمثيلات المتجهات الكثيفة (مثل BGE-small).
فهرس مقسم زمنياً: هيكل فهرس مقسم إلى حاويات زمنية مدتها 7 أيام.

التكيف ثنائي المحاور:

اختيار الدمج (Fusion Selection): يختار النظام بين BM25، أو Dense، أو RRF، أو "RRF مدرك للوكيل" (والذي يضيف مكافأة للحداثة ووزن الأهمية) بناءً على نوع الاستعلام.
توجيه التتالي (Cascade Routing): يقرر موجه يعتمد على الثقة ما إذا كان سيتم تخطي القناة الكثيفة تماماً. إذا كان هامش أفضل $k$ من BM25 عالياً (مما يشير إلى ثقة عالية)، يخرج النظام مبكراً؛ وإلا، فإنه ينتقل إلى مسار الهجين الكامل.

2. التحسينات الرئيسية

توسع زمني دون خطي (Sub-linear Temporal Scaling): من خلال استغلال انحياز الحداثة الأسي في أعباء عمل الوكلاء، يبحث الفهرس الزمني فقط في الأجزاء الأكثر حداثة. تثبت النظرية 4.1 أنه تحت هذا الانحياز، يكون العمل المتوقع هو $O(\log(1/\varepsilon))$ ، وهو مستقل عن إجمالي حجم مجموعة البيانات $N$ .
مسار هجين (CPU/GPU) متباين:
- المعالج (CPU): مُحسّن للبحث المعتمد على الذاكرة (HNSW) والبحث المعتمد على الحوسبة (BM25) عبر SIMD والتوازي متعدد الخيوط.
- معالج الرسوميات (GPU): مسار CUDA ثنائي النواة لعمليات حساب BM25 المجمعة (تخطيط CSR) واختيار أفضل $k$ . حدد النظام وثبّت ثلاثة أخطاء محددة في إعادة تنفيذ BM25 على الأجهزة الحديثة: تردد المصطلح قبل التطبيع (pre-normalized term frequency)، وnDCG ذو الربح الخطي (linear-gain nDCG)، وقراءات الذاكرة المشتركة القديمة (stale shared-memory reads) في نوى top- $k$ الخاصة بالـ GPU.
دمج مشروط بعبء العمل: يتنبأ موجه وقت التشغيل (باستخدام TF-IDF أو مصنفات خفيفة) بنوع الاستعلام ويختار أفضل استراتيجية دمج. يقوم "الموجه الناعم" (soft router) بخلط قوائم التصنيف بناءً على الاحتمالات اللاحقة للمصنف للتعامل مع الاستعلامات الغامضة.

المساهمات الرئيسية

تنفيذ النظام دون الخطي: يثبت أن الفهرس المقسم زمنياً يمكنه تحقيق عمل بمقدار $O(\log(1/\varepsilon))$ لأعباء العمل المنحازة للحداثة. تجريبياً، زيادة مجموعة البيانات 1,234 ضعفاً (من 4 آلاف إلى 5 ملايين سجل) تزيد زمن الانتقال بمقدار 3.6 ضعفاً فقط، مما يحقق تسريعاً قدره 1,769 ضعفاً مقارنة بالمسح المتسلسل عند 5 ملايين سجل مع زمن انتقال $p50$ يقل عن 100 ميكرو ثانية.
محرك هجين عالي الأداء: يقدم استرجاعاً بجودة Lucene (ضمن نطاق $\pm 0.020$ nDCG@10) عبر 9 مجموعات بيانات BEIR (تصل إلى 8.8 مليون وثيقة) بينما يعمل بسرعة تزيد بـ 10 أضعاف عن Pyserini (8 خيوط) و11 ضعفاً عن PISA-1T (BlockMax-WAND) في المتوسط. كما يتحقق من الصحة المطابقة للبت (bit-perfect) بين تنفيذات CPU وGPU.
أدلة عبر أعباء العمل المختلفة للدمج المشروط: يظهر تجريبياً أن استراتيجية الدمج المثلى تختلف باختلاف عبء العمل ونوع الاستعلام.
- في LongMemEval (500 سؤال)، تتفوق استراتيجية RRF الهجينة + الحداثة على القواعد الثابتة. يحقق الموجه المتعلم حد "الأوراكل المنفصل" (دقة 0.300 بناءً على حكم GPT-4o).
- في LoCoMo (1,982 سؤال)، يعد نظام BM25 وحده هو الأقوى.
- يقوم موجه التتالي (Cascade Router) بضبط نفسه تلقائياً عبر هذه الاختبارات: يتخطى القناة الكثيفة لـ 63% من استعلامات LongMemEval (تسريع 2.67×) و100% من استعلامات LoCoMo (تسريع 132×) مع الحفاظ على توازي الدقة.

النتائج

الجودة: يطابق أو يتجاوز Pyserini Lucene في 5 من أصل 9 مجموعات بيانات BEIR. يحسن نظام RBF الهجين مع BGE-small متوسط nDCG@10 بمقدار +0.033 عن BM25 فقط. في LongMemEval، يحقق الدمج المدرك للوكيل R@10=0.978 ودقة مقاسة بـ LLM قدرها 0.254 (مقابل 0.246 لـ BM25).
زمن الانتقال والإنتاجية:
- التوسع الزمني: عند 5 ملايين سجل، يخدم التقسيم الزمني الاستعلامات في أقل من 100 ميكرو ثانية ( $p50$ )، بينما يستغرق المسح المتسلسل حوالي 159 مللي ثانية.
- متعدد المستأجرين (Multi-tenant): تخدم آلة افتراضية بـ 8 نوى 8 وكلاء متزامنين مع زمن انتقال $p50$ ثابت (~0.38 مللي ثانية) وإنتاجية إجمالية تبلغ 5.5 ضعفاً.
- كفاءة التتالي: يقلل موجه التتالي زمن الانتقال المتراكم من 53.2 مللي ثانية إلى 19.9 مللي ثانية (2.67×) في LongMemEval وإلى 0.4 مللي ثانية (132×) في LoCoMo.
الصحة: يوثق البحث ويصلح ثلاثة أخطاء دقيقة (TF قبل التطبيع، nDCG ذو الربح الخطي، وذاكرة GPU القديمة) التي تسببت سابقاً في تراجعات تترا- 6 إلى 8 أضعاف في nDCG@10. بعد الإصلاح، يتفق CPU وGPU ضمن نطاق 0.0002 nDCG@10.

الأهمية والادعاءات

يجادل البحث بأن ذاكرة الوكيل ليست مجرد "استرجاع معلومات صغير"، بل هي نظام عمل متميز يتطلب تخصصاً معمارياً. تكمن أهمية AgentIR في:

استغلال الخصائص الهيكلية: من خلال التعامل مع انحياز الحداث، والنمو الرتيب، وتغاير الاستعلام كمدخلات للتصميم، يحقق النظام أعمالاً أقل بعدة مراتب من حيث المقدار لكل استعلام مقارنة بالمحركات العامة.
التكيف المشروط بعبء العمل: يوضح أن نظاماً واحداً يمكنه الضبط التلقائي لنقاط تشغيل مختلفة تماماً (مثل الدمج الهجين مقابل BM25 فقط)، باستخدام موجه خفيف وآلية تتالي.
الصحة والقابلية للتكرار: يوفر البحث تنفيذاً موثقاً ومطابقاً للبت لـ BM25 على أجهزة CPU/GPU حديثة، مصححاً التراجعات الصامتة الشائعة في إعادة التنفيذ.
كفاءة التكلفة: تُقدر تكلفة ركيزة الاسترجاء بأنها أقل بمرتبتين إلى ثلاث مراتب من طبقة LLM، مما يجعلها مكوناً حاسماً لأنظمة الوكلاء القابلة للتوسع وذات التكلفة الفعالة.

يخلص المؤلفون إلى أن الجمع بين التقسيم الزمني، والدمج المشروط بعبء العمل، وتوجيه التتالي يسمح لنظام واحد بخدمة ذاكرة الوكيل طويلة المدى بزمن انتقال أقل من مللي ثانية على أجهزة عادية، وهو نظام لم يكن ممكناً الوصول إليه سابقاً مع محركات الاسترجاء الثابتة.