Topology-Aware Hybrid Retrieval for Enterprise Knowledge Systems
تقدم هذه الورقة محرك استرجاع هجين مدركاً للطوبولوجيا يوحد البحث الكثيف والمتفرق وبحث نظام الملفات مع متحكم متعدد المستويات للتنقل تلقائياً عبر تسلسلات الوثائق والروابط التشعبية، مما يحسن بشكل كبير من الاستدعاء وجودة التصنيف وزمن الاستجابة لأنظمة المعرفة في المؤسسات مع تجنب العبء الإضافي الناتج عن تفكيك الاستعلام المدفوع بالنماذج اللغوية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول العثور على حقيقة محددة في مكتبة ضخمة وفوضوية. في عالم الذكاء الاصطناعي، هذه المكتبة هي الإنترنت أو الوثائق الداخلية للشركة، وأمين المكتبة هو نظام "التوليد المعزز بالاسترجاع" (RAG). فكر في الـ RAG كأنه روبوت فائق الذكاء لا يكتفي بحفظ الإجابات فحسب، بل يذهب إلى المكتبة ليبحث عنها قبل أن يتحدث؛ وهذا يمنع الروبوت من اختلاق الأمور (الهلوسة) ويسمح له بتعلم أشياء جديدة فوراً.
ومع ذلك، فإن أمناء المكتبات التقليديين لديهم بعض العيوهات. فبعضهم لا يهتم إلا بالكلمات الدقيقة التي تستخدمها (إذا قلت "سيارة"، فلن يجد لك "مركبة")، بينما يهتم آخرون فقط بالجو العام للجملة (إذا قلت "مركبة سريعة"، فقد يحضر لك سيارة سباق حتى لو كنت تسأل عن شاحنة). علاوة على ذلك، غالباً ما يعامل هؤلاء الأمناء كل كتاب كأنه كومة من الصفحات المنفصلة وغير المترابطة، متجاهلين حقيقة أن إحدى الصفحات قد تحتوي على ملاحظة تقول: "انظر أيضاً صفحة 42"، أو رابط تشعبي لكتاب آخر تماماً. وعندما يحاول الروبوت تجميع قصة معقدة تتطلب قراءة صفحات متعددة متصلة، فإنه غالباً ما يتوه أو يرتبك أو يستغرق وقتاً طويلاً لتحديد الصفحات التي يجب قراءتها تالياً.
وهنا يأتي نهج جديد، صُمم لجعل أمين المكتبة أسرع، وأذكى، وأكثر اتصالاً.
أمين المكتبة فائق الاتصال: طريقة جديدة لإيجاد الإجابات
تخيل أنك محقق تحاول حل لغز ما. في الطريقة القديمة، قد تسأل صديقاً واحداً عن دليل. إذا كان صديقك يعرف فقط عن "السيارات الحمراء"، فلن يخبرك عن "سيدان قرمزية"، حتى لو كانت هي نفسها. أو، إذا سألت صديقاً يعرف فقط "شعور" مسرح الجريمة، فقد يحضر لك قصة عن سرقة بالإكراه بينما كنت تبحث في الواقع عن سطو.
يقدم هذا البحث نوعاً جديداً من فرق التحقيق يسمى الاسترجاع الهجين المدرك للطوبولوجيا (Topology-Aware Hybrid Retrieval). بدلاً من الاعتماد على صديق واحد فقط، يرسل هذا الفريق أربعة كشافين مختلفين في نفس الوقت للعثور على الأدلة، ثم يدمجون تقاريرهم في قائمة واحدة مثالية.
الكشافون الأربعة
يرسل النظام نفس السؤال إلى أربعة "كشافين" مختلفين في وقت واحد:
- كشاف المعنى (البحث الكثيف - Dense Search): يفهم هذا الكشاف معنى الكلمات. إذا سألت عن "مركبات سريعة"، فسيجد وثائق عن السرعة، حتى لو لم تكن كلمة "سريع" موجودة.
- كشاف الكلمات المفتاحية (البحث المتفرق/BM25): هذا الكشاف شديد التمسك بالمطابقات الدقيقة. إذا طلبت رقماً تسلسلياً محدداً أو رمز خطأ، فسيجده هذا الكشاف فوراً، متجاهلاً المعنى العام.
- كشاف التكرار (بحث TF-IDF): ينظر هذا الكشاف إلى مدى ندرة الكلمة عبر المكتبة بأكملها. إذا كانت الكلمة شائعة جداً، فإنه يتجاهلها؛ وإذا كانت فريدة، فإنه يوليها اهتماماً.
- كشاف نظام الملفات (Native DFS): هذا الكشاف لا ينظر حتى إلى النص داخل الكتب. بدلاً من ذلك، ينظر إلى مجلدات الملفات، وأسماء الملفات، وعلامات الملكية على الرفوف للعثور على المستندات الصحيحة بناءً على مكان تخزينها.
وعاء الخلط العظيم
الجزء الصعب هنا هو أن كشاف المعنى يعطي درجات مثل "0.95" (قريب جداً)، بينما يعطي كشاف الكلمات المفقية درجات مثل "150" (بناءً على عدد مرات ظهور الكلمة). إذا قمت ببساطة بجمع هذه الأرقام، فإن كشاف الكلمات المفتاحية سيفوز في كل مرة، وسيتم تجاهل رؤى كشاف المعنى الذكية.
لحل هذه المشكلة، يستخدم النظام استراتيجية "الإحضال الزائد" (Over-Fetching) الذكية. فبدلاً من طلب 5 نتائج فقط من كل كشاف، فإنه يطلب منهم إحضار كومة ضخمة (مثلاً 100 نتيجة لكل منهم). بعد ذلك، يستخدم النظام "مترجماً" رياضياً لتوحيد (Normalization) جميع الدرجات، ووضعها على نفس المقياس. أخيراً، يخلطها معاً باستخدام وصفة قابلة للتخصيص. يمكنك أن تقول للنظام: "أريد 70% معنى و30% كلمات دقيقة"، أو "أعطني فقط أعلى درجة من أي كشاف". هذا يضمن أن القائمة النهائية من المستندات هي الأفضل من جميع العوالم.
القوة الخارقة لـ "الرابط التشعبي"
إن السحر الحقيقي، مع ذلك، يحدث بعد إعداد القائمة الأولى. في المكتبة العادية، إذا وجدت صفحة تقول: "انظر أيضاً: الوصفة السرية"، فقد يتوقف إنسان ليفكر، ويطلب من أمين المكتبة الذهاب والعثود على تلك الصفحة الثانية. هذا يستغرق وقتاً ويمكن أن يؤدي إلى أخطاء.
هذا النظام الجديد يمتلك متحكماً متعدد المستويات مدركاً للطوبولوجيا (Topologically-Aware Multi-Tier Controller). فكر في الأمر كأنه روبوت يمكنه رؤية الخيوط غير المرئية التي تربط الصفحات فوراً.
- المرحلة الأولية: يجد أفضل المستندات الأولية باستخدام الكشافين الأربعة.
- قفزة الرابط: يقوم فوراً بمسح تلك المستندات بحثاً عن أي "روابط تشعبية" أو إشارات إلى مستندات أخرى.
- المرحلة الثانوية: بدلاً من طلب ذكاء اصطناعي بطيء "يفكر" ليقرر ما الذي يجب البحث عنه تالياً، يقوم الروبوت برمجياً بالقفز إلى تلك المستندات المرتبطة ويجلبها فوراً.
- شبكة الأمان: لضمان عدم تعلقه في حلقة مفرغة (مثل كلب يطارد ذيله)، يحتفظ النظام بـ "قائمة الزيارات". إذا رأى مستنداً سبق وأن فحصوه، فإنه يتخطاه. كما يتحقق مما إذا كان المستند الجديد يناسب بالفعل سياق الرابط الأصلي، مستبعداً أي معلومات غير ذات صلة.
لماذا هذا مهم: السرعة والذكاء
اختبر المؤلفون هذا النظام ووجدوا نتائج مبهرة.
- إجابات أفضل: حسن النظام "الاستدعاء" (Recall) (كم عدد الإجابات الصحيحة التي وجدها) بنسبة 20.0%، ليصل إلى درجة مثالية قدرها 1.0000 Recall@100 في اختبارات معينة. كما حسن جودة الترتيب (مدى جودة وجود أفضل الإجابات في المقدمة) بنسبة 13.2%.
- سرعة فائقة: الفوز الأكبر هو السرعة. الطرق القديمة التي استخدمت ذكاءً اصطناعياً "يفكر" لتحديد الخطوة التالية استغرقت ثوانٍ (حوالي 3,700 ميلي ثانية). هذا النظام الجديد يقوم بنفس المهمة في أقل من ميلي ثانية واحدة (0.87 ميلي ثانية). هذا يمثل انخفاضاً بنسبة 95% في وقت الانتظار.
- هدر أقل: من خلال جلب المستندات المرتبطة المحددة فقط، قلل النظام من كمية النص الإضافي (Tokens) التي يتعين معالجتها بنسبة تتراوح بين 25.8% إلى 43.3%.
ما لا يفعله هذا البحث
من المهم ملاحظة ما لا يفعله هذا البحث. فهو لا يستبدل الذكاء الاصطناعي الكبير الذي يكتب الإجابة النهائية؛ بل يجعل جزء "البحث عن المعلومات" أفضل بكثير. كما أنه يعارض فكرة استخدام وكلاء ذكاء اصطناعي بطيئين يعملون في حلقات لتحديد ما يجب البحث عنه تالياً، موضحاً أن القفز المباشر والمبرمج إلى المستندات المرتبة هو أسرع وأكثر موثوقية.
باختสร، يقترح هذا البحث أنه من خلال الجمع بين أربعة أساليب بحث مختلفة، وخلط نتائجها رياضياً، واستخدام الخريطة الداخلية للمستند للقفز إلى الصفحات ذات الصلة، يمكننا بناء نظام بحث للمؤسسات ليس فقط أذكى، بل سريع بما يكفي لمواكبة المحادثات في الوقت الفعلي. إنه يحول المكتبة الفوضوية إلى شبكة معرفة فائقة الاتصال ومنظمة بشكل مثالي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.