← أحدث الأبحاث
💻 computer science

RAGtio: A Modular Framework for Systematic Evaluation of Hybrid Retrieval-Augmented Generation Pipelines

تقدم هذه الورقة RAGtio، وهو إطار عمل مفتوح المصدر ومعياري مبني على Haystack وQdrant، يتيح التقييم المنهجي والقابل للتكرار لخطوط أنابيب استرجاع RAG الهجينة في المجال الطبي الحيوي من خلال أوضاع تقييم مزدوجة وواجهات سهلة الاستخدام لكل من المستخدمين التقنيين وغير التقنيين.

المؤلفون الأصليون: Annamaria Defilippo, Nicola Procopio, Pietro Hiram Guzzi, Pierangelo Veltri, Patrizia Vizza

نُشر 2026-08-13
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Annamaria Defilippo, Nicola Procopio, Pietro Hiram Guzzi, Pierangelo Veltri, Patrizia Vizza

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتاً فائق الذكاء يمكنه كتابة المقالات، والإجابة على الأسئلة، ورواية القصص. إنه يشبه طالباً نابغاً قرأ كل الكتب تقريباً في العالم. لكن هناك مشكلة: هذا الروبوت ينسى الأخبار الحديثة قليلاً، وأحياناً، عندما لا يعرف الإجابة، يقوم بتأليف شيء ما ليبدو واثقاً من نفسه. هذه مشكلة إذا كنت بحاجة إلى الحقيقة، خاصة في الأماكن الجادة مثل المستشفيات أو مختبرات الأبحاث. ولحل هذه المشكلة، اخترع العلماء حيلة تسمى "التوليد المعزز بالاسترجاع" (أو RAG اختصاراً). فكر في الأمر كأنك تعطي الروبوت حقيبة ظهر مليئة بالكتب المدرسية المحددة. عندما تسأله سؤالاً، لا يعتمد الروبوت فقط على ذاكرته؛ بل يفتح أولاً حقيبة الظهر، ويجد الصفحات الصحيحة، ويقرأها، ثم يجيب. هذا يجعل الروبوت أكثر موثوقية. ولكن الجزء الصعب هو: كيف تعرف ما إذا كان الروبوت يجد الصفحات الصحيحة بالفعل؟ إذا كانت حقيبة الظهر فوضوية، أو إذا كان الروبوت يبحث عن كلمات رئيسية خاطئة، فقد يلتقط الصفحة الخطأ ويعطيك إجابة خاطئة. لذا يحتاج العلماء إلى طريقة لاختبار ما إذا كان جزء "محرك البحث" في الروبوت يعمل بشكل مثالي قبل أن يتركوه يتحدث إلى المرضى أو الباحثين.

هذا هو بالضبط موضوع ورقة بحثية بعنوان "RAGtio". فقد قام المؤلفون، وهم فريق من جامعات في إيطاليا، ببناء أداة جديدة مفتوحة المصدر تسمى RAGtio لتعمل بمثابة "تجربة قيادة" صارمة لمحركات بحث هذه الروبوتات. لقد أدركوا أنه بينما يبني الكثير من الناس أنظمة RAG هذه للطب وعلم الأحياء، فإنهم غالباً ما يتجاهلون الجزء الصعب: التحقق بشكل منهجي مما إذا كان البحث جيداً بالفعل. RAGtio هو إطار عمل معياري، ويمكنك التفكير فيه كمجموعة ضخمة ومخصصة من قطع "الليغو" للاختبار. فبدلاً من بناء اختبار جديد في كل مرة، يمكن للباحثين توصيل "استراتيجيات بحث" مختلفة (مثل البحث عن الكلمات الدقيقة مقابل البحث عن المعنى) ومعرفة أي منها يعمل بشكل أفضل على مجموعة وثائقهم الخاصة.

الأداة ذكية لأنها توفر طريقتين مختلفتين لاختبار النظام. الطريقة الأولى، وتسمى النمط (أ) - Mode A، تشبه "سباق السرعة". يستخدم النظام ذكاءً اصطناعياً ذكياً لاختراع آلاف الأسئلة تلقائياً بناءً على الوثائق التي لديه، ثم يتحقق مما إذا كان محرك البحث يمكنه العثور على الإجابات. إنها طريقة سريعة وممتاة لرؤية كيف يتعامل النظام مع حجم هائل من البيانات. أما الطريقة الثانية، النمط (ب) - Mode B، فهي "فحص الخبير". هنا، يقوم متخصص بشري بكتابة أسئلة حقيقية وصعبة، ويحدد بدقة الصفحات التي تحتوي على الإجابات. هذا الأمر أصعب ولكنه يعطي صورة أكثر صدقاً لكيفية أداء النظام في العالم الحقيقي، حيث قد تُصاغ الأسئلة بطرق لم تستخدمها الوثائق أبداً.

اختبر الباحثون RAGtio في أربعة مواضيع طبية مختلفة: السرطان (الأورام)، والسكري، والأدوية (علم الصيدلة)، والأمراض المعدية. وقد جربوا أربع طرق بحث مختلفة: البحث عن تطابقات الكلمات الدقيقة، والبحث عن المعاني المتشابهة، ومزيج من كليهما، ومزيج يحصل فيه على رأي ثانٍ من "مُعيد ترتيب" (re-ranker) لصقل النتائج. تشير نتائجهم إلى أن النهج "الهجين" (hybrid)—الذي يجمع بين مطابقة الكلمات الدقيقة والبحث القائم على المعنى، ثم إعطاء نظرة ثانية سريعة لأفضل النتائج—هو عادةً الأقوى أداءً. في اختباراتهم، وجد هذا النهج المعلومات الصحيحة مبكراً في قائمة النتائج باستمرار. على سبيل المثال، في اختبارات السرطان، وجد النظام الإجابة الصحيحة في أفضل 5 نتائج بنسبة 73% تقريباً عند استخدام الاختبارات الآلية، وبنسبة أفضل عند فحصها من قبل خبراء بشريين.

ومع ذلك، فإن الورقة البحثية حذرة في عدم الادعاء بأن هذا حل سحري لكل شيء. فقد أشار المؤلفون إلى أن اختباراتهم أجريت على عدد صغير نسبياً من الوثائق (حوالي 20 ورقة بحثية إجمالاً عبر المواضيع الأربعة) وأن الخبراء البشريين الذين فحصوا الإجابات كانوا شخصاً واحداً فقط وليس فريقاً كاملاً. كما ذكروا أنه بينما نجح النهج الهجين بشكل جيد في إعدادهم الخاص، فإن الأداة مصممة بحيث يمكن للمستخدمين استبدال محركات البحث لمعرفة ما يناسب مكتبتهم الخاصة من الوثائق. النتيجة الرئيسية ليست أنهم وجدوا "أفضل" محرك بحث للعالم أجمع، بل أنهم بنوا ورشة عمل شفافة وسهلة الاستخدام حيث يمكن لأي شخص اختبار ومقارنة محركات البحث الخاصة به دون الحاجة لأن يكون خبيراً في البرمجة. ومن خلال جعل هذه الأداة مفتوحة ومجانية، يأملون في مساعدة الأطباء والباحثين على بناء مساعدين ذكاء اصطناعي أكثر موثوقية، لا يكتفون فقط بالظهور بمظهر الذكي، بل يتقنون الحصول على الحقائق بدقة.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💻 cs →