ScalableRAG: High-Quality RAG at Zero Ingestion Cost
تقدم الورقة البحثية ScalableRAG، وهو نهج توليد معزز بالاسترجاع عالي الجودة يحقق دقة فائقة عبر مجموعات بيانات متعددة بتكاليف استيعاب صفرية من خلال استخدام مساحة عمل ديناميكية للاستنتاج التجميعي الفوري، بينما يقدم أيضاً نسخة "الاستيعاب المحدود" التي تعزز الأداء بشكل أكبر على نطاق واسع مع حد أدنى من استخدام قاعدة بيانات المتجهات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول حل لغز ضخم من خلال قراءة مكتبة تضم مليون كتاب. في عالم الذكاء الاصطناعي، يُسمى هذا "التوليد المعزز بالاسترجاع" (Retrieval-Augmented Generation - RAG). فكر في الذكاء الاصطناعي القياسي كأنه محقق بارع قرأ الإنترنت بأكمله، لكنه لا يستطيع تذكر تفاصيل محددة من أرشيف مغبر. ولمساعدة المحقق، نقوم عادةً ببناء "فهرس بطاقات" أو "رسم بياني للمعرفة" قبل أن يبدأ عمله. يتضمن ذلك قراءة كل كتاب، وتلخيصه، وتنظيمه في قاعدة بيانات معقدة حتى يتمكن الذكاء الاصطناعي من العثور على الصفحة الصحيحة بسرعة. الأمر يشبه استئجار فريق من أمناء المكتبات لقضاء أسابيع في فهرسة المكتبة قبل وصول المحقق حتى. هذه العملية مكلفة، وبطيئة، وتتطلب الكثير من القدرة الحوسبية لمجرد البدء. ولكن ماذا لو استطاع المحقق الدخول إلى المكتبة، والنظر في الكتب، واكتشاف الإجابات فوراً دون الحاجة إلى فهرس مُعد مسبقاً؟ هذا هو السؤال الكبير الذي تعالجه هذه الورقة البحثية: هل يمكننا الحصول على نفس النتائج الباهرة دون دفع التكلفة العالية لعملية "الاستيعاب" لبناء تلك القاعدة الضخمة من البيانات أولاً؟
يقول الباحثون في شركة "كوهيسيتي" (Cohesity)، بقيادة هيلف هاسون وفريقها، إن الإجابة هي "نعم" مدوية. لقد قدموا نظاماً جديداً يسمى ScalableRAG، والذي يأتي بنوعين: "صفر استيعاب" (Zero-Ingestion) و**"استيعاب محدود" (Limited-Ingestion)**. اكتشافهم الرئيسي هو أنك لست بحاجة إلى معالجة المكتبة بأكملة مسبقاً للإجابة على الأسئلة المعقدة. بدلاً من ذلك، يعمل وكيل الذكاء الاصطناعي الخاص بهم كمحقق منظم للغاية يحمل لوحة كتابة سحرية وقابلة للتوسع. عندما يحتاج المحقق إلى العثين على حقيقة معينة، فإنه لا يبحث فقط عن كلمة مفتاحية؛ بل ينشئ "مجموعة" مؤقتة من الوثائق ذات الصلة، ويقوم بتصفيتها، وحتى إجراء عمليات حسابية على النتائج في تلك اللحظة ذاتها.
إليك كيف تعمل طريقة "صفر استيعاب" الخاصة بهم، باستخدام استعارة بسيطة: تخيل أن لديك كومة من الإيصالات المختلطة من عام كامل من التسوق. يتطلب النظام التقليدي أن يجلس شخص ما ليقرأ كل إيصال ويفرزه في مجلدات مصنفة (بقالة، وقود، إلكترونيات) قبل أن تسأل سؤالاً مثل: "كم أنفقت على الوقود في شهر يونيو؟". عملية الفرز هذه تستغرق وقتاً طويلاً جداً. ومع ذلك، فإن ScalableRAG يتخطى عملية الفرز تماماً. فعندما تطرح السؤال، ينظر الذكاء الاصطناعي إلى الكومة، ويجد جميع الإيصالات التي تذكر "الوقود"، ثم يفلتر تلك الكومة الصغيرة ليجد فقط تلك التي تعود إلى "يونيو"، وأخيراً يجمع الأرقام. يقوم بذلك عن طريق إنشاء وإدارة "مجموعات" من الوثائق بشكل فوري. إنه يشبه امتلاك محقق يمكنه فوراً رسم دائرة حول الإيصالات ذات الصلة، وعدّها، وإجراء الحسابات، وكل ذلك دون الحاجة أبداً إلى أرشفتها أولاً.
تظهر الورقة البحثية أن هذا النهج القائم على "العمل الفوري" قوي للغاية. ففي الاختبارات عبر ست مجموعات مختلفة من الوثائق (تتراوح من محاضر جلسات حكومية إلى تقارير مالية وسيناريوهات أفلام)، تفوق نظام "صفر استيعاب" الخاص بهم بوضوح على جميع النماذج المرجعية (بما في ذلك أساليب الرسم البياني للمعرفة) في ثلاث من المجموعات الست (MuSiQue، وTranscripts، وHotels). وفي المجموعات الثلاث الأخرى (2Wiki، وFinanceBench، وComplexTR)، لم يتأخر إلا قليلاً عن الأداء الأقصى، حيث خسر بمتوسط 1.63% فقط مقارنة بأفضل نموذج مرجعي لكل منها (والذي كان A-RAG). ورغم هذه الخسائر الطفيفة في نصف مجموعات البيانات، حقق النظام متوسط دقة عبر المجموعات الست أعلى بنحو 7.36% من أقرب نموذج مرجعي منافس. وهذا أمر بالغ الأهمية لأنه يشير إلى أنه بالنسبة للعديد من أنواع الأسئلة، فإن الخطوة المكلفة المتمثلة في بناء قاعدة بيانات مسبقة هي في الواقع غير ضرورية.
ولجعل النظام أفضل للأسئلة الأكثر تعقيداً، قاموا أيضاً ببناء نسخة "الاستيعاب المحدود". هذا يشبه إعطاء المحقق فهرساً صغيراً مُعداً مسبقاً لأكثر أنواع الأدلة شيوعاً، مع السمازالته في القيام بالعمل الشاق بشكل فوري. يستخدم هذا الإصدار قدراً ضئيلاً من المعالجة المسبقة (مجرد عينة من الوثائق لإيجاد الأنماط) وقاعدة بيانات متجهة (Vector Database) صغيرة (وهي أداة تساعد في العثور على الأفكار المتشابهة، وليس فقط الكلمات المتطابقة). هذا النهج الهجين رفع الدقة بشكل أكبر، خاصة في مجموعات البيانات التي تكون فيها المعلومات مخفية في هياكل معقدة، مثل العثور على مرفق معين في وصف فندق أو بند معين في عقد قانوني.
تجادل الورقة البحثية صراحةً ضد فكرة أنك يجب أن تبني رسماً بيانياً ضخماً للمعرفة تمت معالجته مسبقاً أو قاعدة بيانات SQL كاملة للإجابة على الأسئلة المعقدة ومتعددة الخطوات. لقد أظهروا أن الأساليب "الكثيفة الاستيعاب"، التي تتطلب من النموذج اللغوي الكبير (LLM) قراءة كل وثيقة واستخراج البيانات قبل أن يسأل المستخدم حتى، غالباً ما تكون مبالغاً فيها. وبينما تجيد تلك الأساليب تجميع البيانات، يثبت ScalableRAG أن الوكيل يمكنه القيام بنفس عملية التجميع والحساب فوراً أثناء المحادثة. المؤلفون واثقون جداً في هذه النتائج، حيث قاموا بقياسها عبر مجموعات بيانات متنوعة باستخدام طريقة اختبار صارمة حيث يعمل ذكاء اصطناعي منفصل كحكم لتقييم الإجابات. وقد وجدوا أن نظامهم لا يوفر المال والوقت فحسب، بل غالباً ما يحصل على الإجابة الصحيحة بشكل متكرر أكثر من البدائل المكلفة، أو يقترب منها كثيراً بجهد أقل بكثير.
باختصار، يغير ScalableRAG قواعد اللعبة من خلال إظهار أنك لست بحاجة إلى بناء مستودع ضخم من المعرفة المنظمة للعثور على الإبرة في كومة القش. بدلاً من ذلك، يمكنك إرسال وكيل ذكي إلى كومة القش ومعه مجموعة من الأدوات السحرية للإمساك بالإبر وفرزها وعدّها في مكانها تماماً. سواء كنت بحاجة إلى نظام لا يكلف شيئاً لإعداده (صفر استيعاب)، أو نظام يضيف القليل من العمل المسبق لمزيد من الدقة (استيعاب محدود)، فإن هذا البحث يشير إلى أن مستقبل الإجابة على أسئلة الذكاء الاصطناعي قد يكون أبسط، وأسرع، وأرخص بكثير مما كنا نعتقد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.