Evaluating Retrieval Accuracy and Latency for Enterprise RAG Systems on FiQA
تقيم هذه الدراسة دقة الاسترجاع وزمن الاستجابة لكل من TF-IDF وBM25 ومسترجع كثيف من نوع MiniLM مكمّم، ودمج رتبهم التبادلي على معيار FiQA، حيث وجدت أنه في حين يتفوق النموذج الكثيف بشكل كبير على الطرق المتفرقة، فإن نهج الدمج لا يحقق سوى تحسن طفيف وغير مهم إحصائياً مقارنة بنموذج MiniLM وحده.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطنا الحديث، يبرز تحدٍ شائع يتمثل في مساعدة الحاسوب على الإجابة عن الأسئ st باستخدام مكتبة ضخمة من المستندات التي لم يسبق له رؤيتها. تخيل نظاماً يمكنه قراءة مليون صفحة من النصوص ثم مناقشتها معك. ولكي يعمل هذا النظام بشكل جيد، فإنه يحتاج إلى أمين مكتبة يمكنه العث Å على الصفحات الصحيحة فوراً. فإذا أحضر أمين المكتبة الصفحات الخاطئة، سيعطي الحاسوب إجابة خاطئة، وإذا استغرق وقتاً طويلاً في العثور على الصفحات الصحيحة، ستتوقف المحادثة وتصبح عديمة الفائدة. إن هذا التوازن بين العثور على المعلومات الصحيحة بسرعة وبين العث find المعلومات الصحيحة بدقة هو المشكلة المركزية التي يواجهها الباحثون عند بناء هذه الأنظمة الذكية. إذ يتعين عليهم تقرير كيفية البحث عبر المكتبة: هل يبحثون عن تطابق الكلمات بدقة، مثل الفهرس التقليدي، أم يبحثون عن المعنى العام للكلمات، مثل الفهم البشري للسياق؟
لقد وضعت دراسة حديثة هدفها لاختبار طرق البحث المختلفة هذه على مجموعة محددة من الأسئلة والأجوبة في المنتديات المالية. أراد الباحثون معرفة أي نهج كان الأفضل لنظام مؤسسي، حيث تعد السرعة والدقة أمرين بالغ الأهمي significantly. لقد قارنوا بين أربع طرق مختلفة للبحث. اعتمدت الطريقتان الأوليان على مطابقة الكلمات مباشرة؛ حيث كانت إحداهما تعتمد على عدّ بسيط لعدد مرات ظهور الكلمات، بينما كانت الأخرى نسخة أكثر دقة تفهم مدى شيوع أو ندرة الكلمة عبر المجموعة بأكملها. أما الطريقة الثالثة، فقد استخدمت تقنية حديثة تحول كل سؤال وكل مستند إلى تمثيل رياضي لمعناه، مما يسمح للنظام بالعثور على الإجابات حتى لو اختلفت الكلمات. وكانت الطريقة الرابعة نهجاً هجيناً يحاول الجمع بين نتائج بحث مطابقة الكلمات وبحث قائم على المعنى للحصول على أفضل ما في العالمين.
قام الفريق بتشغيل هذه الطرق الأربع مقابل مجموعة اختبار معيارية تحتوي على ما يقرب من ستين ألف مستند وستمائة وثمانية وأربعين سؤالاً. وقاسوا شيئين: عدد المرات التي ظهرت فيها الإجابة الصحيحة بالقرب من أعلى القائمة، والوقت الذي استغرقه الحاسوب لإنتاج تلك القائمة. وأظهرت النتائج مقايضة واضحة؛ فالطريقة التي اعتمدت كلياً على مطابقة الكلمات كانت الأسرع، حيث وجدت مستنداً ذا صلة ضمن أول خمس نتائج في حوالي أربعين بالمائة من الحالات، ولكنها استغرقت أقل من ستة مللي ثانية للقيام بذلك. أما الطريقة التي فهمت المعنى فكانت أكثر دقة بشكل ملحوظ، حيث وجدت مستنداً ذا صلة ضمن أول خمس نتائج في حوالي أربعة وخمسين بالمائة من الحالات، ولكنها استغرقت قرابة ثمانية عشر مللي ثانية للتشغيل. وتعود هذه السرعة الأقل إلى ضرورة قيام الحاسوب بترجمة السؤال إلى شكله الرياضي المعقد قبل أن يتمكن من البحث.
وعندما دمج الباحثون الطريقتين، آملين في الحصول على دقة البحث القائم على المعنى وسرعة البحث القائم على مطابقة الكلمات، كانت النتائج مفاجئة. فالطريقة المدمجة لم تصبح أكثر دقة بشكل ملحوظ من البحث القائم على المعنى وحده. في الواقع، كان التحسن في الدقة ضئيلاً جداً لدرجة أنه قد يكون ناتجاً عن الصدفة المحضة. ومع ذلك، استغرقت الطريقة المدمجة وقتاً أطول، حيث تطلبت قرابة أربعة وعشرين مللي ثانية لإتمام عملية البحث. حدث هذا لأن النظام كان عليه تشغيل كلا البحثين بشكل منفصل ثم دمج القائمتين، مما أدى فعلياً إلى مضاعفة العمل مقابل مكسب لا يكاد يُذكر. كما وجدت الدراسة أن الطريقتين غال world وجدتا إجابات صحيحة مختلفة؛ فقد وجد بحث مطابقة الكلمات مستندات ذات صلة فاتتها طريقة البحث القائمة على المعنى، والعكس صحيح. ورغم أن هذا أظهر أن الطريقتين تكملان بعضهما البعض، إلا أن الطريقة البسيطة التي تم بها دمجهما لم تنجح في الحفاظ على أفضل الإجابات من كلتا القائمتين في الخمس الأوائل النهائية.
وأكد الباحثون أن هذه النتائج تنطبق تحديداً على سرعة البحث نفسه، وليس على الإجابة النهائية التي يولدها الحاسوب. فالبحث السريع الذي يجد المستند الصحيح هو نصف المعركة فقط؛ إذ يجب على الحاسوب بعد ذلك قراءة ذلك المستند وكتابة إجابة جيدة. كما أشارت الدراسة إلى أن بيانات الاختبار جاءت من منتديات مالية عامة، والتي قد لا تمثل تماماً المستندات المعقدة والمقيدة الموجودة داخل شركة حقيقية. علاوة على ذلك، فإن الحاسوب المستخدم في الاختبار كان معالجاً قياسياً، وليس آلة متخصصة عالية السرعة، لذا فإن الأوقات المقاسة تعكس إعداداً معيناً وليس حداً عالمياً.
وفي الختام، يشير هذا العمل إلى أنه بالنسبة لنظام يحتاج إلى أن يكون سريعاً ودقيقاً في آن واحد، فإن مجرد إضافة طريقة بحث ثانية لا يؤدي تلقائياً إلى تحسين النتيجة. إن النهج الأكثر فعالية يعتمد على الاحتياجات المحددة للمستخدم. فإذا كانت السرعة هي الأولوية المطلقة، فقد يكون البحث البسيط القائم على مطابقة الكلمات كافياً. وإذا كانت الدقة هي الأكثر أهمية، فإن البحث الأكثر تعقيداً القائم على المعنى يستحق الوقت الإضافي. لكن دمج الاثنين يتطلب ضبطاً دقيقاً، حيث إن الوقت الإضافي المستغرق في دمج القوما قد لا يستحق المكسب الضئيل في العثور على المستند الصحيح. تقدم الدراسة نظرة واضحة ومدروسة لهذه الخيارات، مبينة أنه في عالم الذكاء الاصطناعي، لا تؤدي إضافة المزيد من التعقيد دائماً إلى نتيجة أفضل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.