💻 computer science

Multi-Step Semantic Reasoning in Generative Retrieval

تقدم الورقة البحثية ReasonGR، وهو إطار عمل يعزز قدرة نماذج الاسترجاع التوليدي على التعامل مع مهام الاستدلال الرقمي والدلالي المعقدة، مثل الاستعلامات المالية، من خلال توظيف التلقين المهيكل ووحدة تكييف تركز على الاستدلال لتحسين دقة الاسترجاع بشكل كبير.

المؤلفون الأصليون: Steven Dong, Yubao Tang, Maarten de Rijke

نُشر 2026-03-16

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Steven Dong, Yubao Tang, Maarten de Rijke

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول العثين على صفحة محددة في مكتبة ضخمة ومغبرة من التقارير المالية. أنت لا تبحث فقط عن تطابق للكلمات المفتاحية؛ بل تحتاج إلى حل لغز. على سبيل المثال، قد تسأل: "أي شركة أظهر تقريرها لعام 2023 أن أرباحها نمت بنسبة 15% بعد شرائها لشركة منافسة؟"

للإجابة على هذا، لن يكتفي أمين مكتبة بشري بالبحث عن كلمات مثل "الربح" أو "15%". بل سيتعين عليه:

العثين على التقرير الصحيح.
قراءة الأرقام.
إجراء بعض العمليات الحسابية في ذهنه.
الربط بين الأجزاء المختلفة.
وأخيرًا، استخراج الكتاب بدقة وقول: "ها هو ذا".

الاسترجاع التوليدي (Generative Retrieval - GR) هو نوع جديد من أمناء المكتبة الآليين الذين يحاولون القيام بذلك. فبدلاً من البحث في فهرس بطاقات ضخم (مثل محركات البحث التقليدية)، يقوم بحفظ المكتبة بأكملها داخل دماغه الخاص (معلماته/parameters). عندما تطرح سؤالاً، هو لا يبحث عن بطاقة؛ بل "يتخيل" الرقم التعريفي الدقيق للكتاب الذي تحتاجه.

المشكلة: أمين المكتبة "الصندوق الأسود"

المشكلة في أمناء المكتبة الآليين الحاليين هي أنهم سريعون جداً وكسالى جداً. فعند مواجهة لغز رياضي معقد في تقرير مالي، يحاولون تخمين الإجابة في قفزة واحدة كبيرة. إنهم يتخطون خطوات التفكير. الأمر يشبه مطالبة طالب بحل مسألة جبر معقدة وإعطائه الإجابة النهائية فقط، دون السماح له بإظهار خطوات الحل. غالباً ما يخطئون لأنهم لا يستطيعون التعامل مع "التفكير متعدد الخطوات" المطلوب للأرقام والمنطق.

الحل: ReasonGR

قام مؤلفو هذه الورقة البحثية، ستيفن دونغ وفريقه، ببناء نظام جديد يسمى ReasonGR. تخيل الأمر كأنك توظف مدرساً خصوصياً لتعليم أمين المكتبة الآلي كيف يفكر قبل أن يتحدث.

إليك كيف يعمل ReasonGR، باستخدام تشبيهات بسيطة:

1. "ورقة الغش" خطوة بخطوة (Prompting)
تخيل أنك تخوض امتحاناً صعباً. يُسمح لك بتدوين أفكارك قبل وضع دائرة حول الإجابة النهائية.

الطريقة القديمة: يرى الذكاء الاصطدي السؤال ويصرخ بالإجابة فوراً.
طريقة ReasonGR: يتم إعطاء الذكاء الاصطناعي تعليمات خاصة: "توقف! فكر خطوة بخوة. أولاً، ابحث عن أرقام الأرباح. ثانياً، احسب النمو. ثالثاً، طابقها مع الشركة."
هذا يجبر الذكاء الاصطناعي على التوقف، وتفكيك المشكلة، والتفكير في المنطق قبل توليد رقم المستند النهائي. إنه يشبه إعطاء الذكاء الاصطناعي "عجلات تدريب" لـ "سلسلة الأفكار" (Chain of Thought).

2. "النظارات المتخصصة" (LoRA Adapters)
تدريب نموذج ذكاء اصطناوي ضخم من الصفر يشبه محاولة إعادة بناء محرك سيارة كاملة فقط لإصلاح إطار مثقوب. إنه أمر مكلف وبطيء.

الحيلة: وضع الباحثون "نظارات متخصصة" (تسمى LoRA adapters) على الذكاء الاصطناعي. هذه الإضافات صغيرة وخفيفة الوزن تعلم الذكاء الاصطناعي كيفية رؤية مشكلات الاستدلال بوضوح.
يظل العقل الرئيسي للذكاء الاصطناعي ثابتاً (يحتفظ بكل معرفته العامة)، لكن هذه النظارات الصغيرة تسم تتيح له تعلم مهارة "الاستدلال الرياضي المالي" دون الحاجة إلى كمية هائلة من الذاكرة أو الوقت. إنه يشبه إعطاء طبيب عام سماعة طبية متخصصة لجراحة القلب.

3. "المصحح الصارم" (Adaptive Loss)
عندما يتدرب الذكاء الاصطناعي، فإنه يحتاج إلى تغذية راجعة.

المصحح القديم: "خطأ. حاول مرة أخرى."
مصحح ReasonGR: "لقد أصبت في اسم الشركة، لكن السنة غير صحيحة بفارق عام واحد. كما أنك أخطأت في فاصلة عشرية. إليك درجة جزاء تعكس بالضبط مدى قربك من الإجابة."
هذا يساعد الذكاء الاصطناعي على التعلم من أخطائه الصغيرة، وليس فقط من إخفاقاته الكبيرة.

النتائج: هل نجح الأمر؟

اختبر الفريق هذا النظام على مجموعة بيانات FinQA، وهي عبارة عن كومة ضخمة من التقارير المالية التي تحتوي على أسئلة رياضية مخادعة.

المنافسة: قارنوا ReasonGR بمحرك بحث تقليدي (BM25) وبمسترجع ذكاء اصطناعي قياسي (DSI).
الفائز: كان ReasonGR هو الفائز الواضح. لم يجد المستندات الصحيحة بشكل أكثر تكراراً فحسب، بل كان أفضل بك كثيراً في ضبط التفاصيل الدقيقة (مثل السنة الصحيحة أو اسم الشركة).
الكفاءة: على الرغم من أنه كان "يفكر" بجهد أكبر، إلا أنه لم يتسبب في تعطل الكمبيوتر. فبفضل تلك "النظارات المتخصصة" (LoRA)، تدرب بشكل أسرع واستخدم ذاكرة أقل مما قد تتوقع.

الخلاصة

تظهر هذه الورقة البحثية أنه إذا كنت تريد من الذكاء الاصطناعي أن يكون جيداً في العثين على المعلومات في المستندات المعقدة والمملوءة بالأرقام (مثل التقارير المالية)، فلا يمكنك الاكتفاء بجعله يخمن. يجب عليك تعليمه كيف يبطئ، ويفكر خطوة بخطوة، ويتدرب مع مدرب متخصص.

يثبت ReasonGR أنه من خلال الجمع بين "التفكير بصوت عالٍ" (Chain-of-Thought) وأدوات التدريب الفعالة، يمكننا بناء محركات بحث ذكاء اصطناعي قادرة على التعامل مع الأمور الصعبة، وليس فقط عمليات مطابقة الكلمات المفتاحية السهلة.

إليك ملخص تقني مفصل لورقة البحث "Multi-Step Semantic Reasoning in Generative Retrieval" (الاستدلال الدلالي متعدد الخطوات في الاسترجاع التوليدي) من إعداد ستيفن دونج، ويوباو تانغ، وماارتن دي ريك.

1. بيان المشكلة

تقوم نماذج الاسترجاع التوليدي (Generative Retrieval - GR) بتشفير مجموعة من الوثائق مباشرة في معاملات النموذج وتوليد معرفات الوثائق (docids) استجابةً للاستعلامات، مما يوفر بديلاً شاملاً لنماذج الاسترجاع التقليدية القائمة على خطوط الأنابيب (index-retrieve). ومع ذلك، تواجه نماذج الاسترجاع التوليدي الحالية قيوداً كبيرة عند التعامل مع الاستعلامات المعقدة التي تتطلب استدلالاً دلالياً متعدد الخطوات في السياقات الرقمية (مثل التقارير المالية).

تتمثل التحديات الجوهرية المحددة فيما يلي:

الطبيعة "الصندوق الأسود": غالباً ما تقوم نماذج الاسترجاع التوليدي الحالية بعملية الاسترجاع في تمريرة أمامية واحدة (single forward pass) دون خطوات استدلال صريحة وقابلة للتفسير، مما يجعل من الصعب التعامل مع المهام التي تتطلب استنتاجاً منطقياً أو تجميعاً للأدلة.
قيود التدريب: يتم تدريب معظم النماذج باستخدام تقدير الاحتمال الأقصى (Maximum Likelihood Estimation - MLE) على أزواج (الاستعلام-الوثيقة) السطحية، وهو ما يفشل في تعزيز قدرات الاستدلال المنطقي أو متعدد الخطوات الضرورية لمجالات مثل التحليل المالي (مثل مجموعة بيانات FinQA).
فجوة الأداء: تؤدي هذه النقص في قدرة الاستدلال إلى ضعف دقة الاسترجاع وتعيق التطبيق العملي في السيناريوهات التي تتطلب كثافة في الاستدلال.

2. المنهجية: ReasonGR

يقترح المؤلفون ReasonGR، وهو إطار عمل مصمم لتعزيز الاستدلال الدلالي متعدد الخطوات في نماذج الاسترجاع التوليدي. تتكون المنهجية من ثلاثة مكونات رئيسية:

أ. بنية النموذج والتكيف الفعال للمعلمات

النموذج الأساسي (Backbone): يستخدم النموذج بنية مشفر-فك تشفير (encoder-decoder) قائمة على المحولات (Transformer) (تحديداً FLAN-T5 base).
LoRA و QLoRA: لتكييف النموذج مع مهام الاستدلال دون ضبط كامل للمعلمات، دمج المؤلفون وحدات التكيف منخفض الرتبة (Low-Rank Adaptation - LoRA).
- يتم تجميد الأوزان الأصلية ( $\theta$ ).
- يتم حقن مصفوفات منخفضة الرتبة قابلة للتدريب ( $\Delta\theta = AB^\top$ ) لتعلم المعلمات الخاصة بالاستدلال.
- يتم تطبيق QLoRA لتقييد النموذج الأساسي المجمد إلى دقة 4-بت، مما يقلل بشكل كبير من تكاليف الذاكرة والحوسبة مع الحفاظ على الأداء.

ب. إطار التدريب الموجه بالاستدلال

يعمل الإطار على تحسين الاستدلال من خلال بناء مدخلات مهيكلة وأهداف تدريب متخصصة:

التحفيز المهيكل (المعزز بالاستدلال):
- يتم بناء المحفزات (Prompts) عن طريق الجمع بين تعليمات خاصة بالمهمة (مثلاً: "ولد معرف الوثيقة الذي يجيب على السؤال") وإضافات سلسلة الأفكام (Chain-of-Thought - CoT) (مثلاً: "فكر في الأمر بعناية"، "اشرح استدلالك قبل الإجابة").
- أثناء التدريب، تعمل التوليفات العشوائية من هذه القوالب على إنشاء محفزات متنوعة تشجع الاستنتاج المنطقي خطوة بخطوة.
مهام التدريب:
- حفظ المجموعة (Corpus Memorization): تعلم الربط من الوثائق إلى معرفات الوثائق (docids) باستخدام خسارة MLE. يتضمن ذلك معالجة البيانات الجدولية عبر تقسيم الجداول وإرفاق رؤوس الأعمدة والصفوف بالمدخلات.
- تعلم الصلة (Relevance Learning): يقوم النموذج بتوليد مسارات استدلال متعددة الخطوات صحيحة جنباً إلى جنب مع الـ docid المستهدف.
- تعزيز البيانات (Data Augmentation): يتم توليد استعلامات وهمية (Pseudo-queries) لكل وثيقة لتقريب توزيع الاستعلامات في العالم الحقيقي.
خسارة قياس العقوبة التكيفية (Adaptive Penalty Scaling Loss):
- تم تصميم دالة خسارة مخصصة لتوفير إشراف دقيق.
- وهي تدمใจ عدة إشارات تقييم: المطابقة التامة (Exact Match - EM)، المطابقة الجزئية (Partial Match - PM)، مطابقة المجموعة (Set Match - SM)، والتشابه الهيكلي (S-Score).
- يعمل عامل العقوبة على تغيير حجم خسارة الإنتروبيا المتقاطعة (cross-entropy loss) للتأكيد على الأخطاء في توقعات الـ docid غير الصحيحة أو غير المكتملة بشكل تناسبي.

3. المساهمات الرئيسية

إطار عمل ReasonGR: نهج مبتكر يدمج التحفيز المهيكل (المهمة + CoT) مع الضبط الدقيق الفعال للمعلمات (LoRA/QLoRA) خصيصاً للاستدلال الرقمي في الاسترجاع.
وحدات مهايئ الاستدلال (Reasoning-Adapter Modules): تقديم مهايئات LoRA المصممة لالتقاط المعلمات المتعلقة بالاستدلال، مما يسمح للنموذج بتعلم أنماط استنتاج معقدة دون فرط في التخصيص (overfitting) أو تكلفة حوسبية مفرطة.
دالة الخسارة التكيفية: دالة خسارة متعددة الإشارات تعاقب الأخطاء الهيكلية والجزئية بشكل أكثر فعالية من MLE القياسي، مما يوجه النموذج نحو توليد docid أفضل.
تقييم شامل: تجارب واسعة على مجموعة بيانات FinQA، أظهرت أن التحفيز المعزز بالاستدلال يرفع دقة الاسترجاء والاتساق بشكل كبير.

4. النتائج التجريبية

أُجريت التجارب على مجموعة بيانات FinQA (8,281 عينة تتضمن استعلامات مالية عبر وثائق معقدة). تمت مقارنة النموذج مع BM25 (الاسترجاع المتناثر) و DSI (الاسترجاع التوليدي القياسي).

النتائج الرئيسية:

تفوق الأداء: تفوق ReasonGR على كل من BM25 و DSI في جميع المقاييس.
- المطابقة التامة (EM): حقق ReasonGR نسبة 0.626 في مجموعة الاختبار، متفوقاً على DSI (0.578) و BM25 (0.625).
- المطابقة الجزئية (PM) ومطابقة المجموعة (SM): أظهر ReasonGR تحسينات ملحوظة (PM: 0.762، SM: 0.779)، مما يشير إلى مطابقة أفضل على مستوى الرموز (tokens) والمكونات غير المرتبة مقارنة بـ DSI.
دراسات الاستبعاد (Ablation Studies):
- أهمية التحفيز: تفوق نموذج ReasonGR الكامل على ReasonGR (Zero) (الذي يفتقر إلى تدريب المحفزات)، مما يؤكد أن التحفيز المهيكل ضروري للأداء.
- مساهمة CoT: حقق ReasonGR (CoT) (باستخدام محفزات CoT فقط) نتائج متوسطة، مما يشير إلى أن الجمع بين التحفيز بلقطات قليلة (few-shot) وCoT يحقق أفضل تآزر.
الكفاءة:
- الذاكرة: استخدمت جميع النسخ ذاكرة نموذج متشابهة (~~654 ميجابايت)، لكن ذاكرة التدريب تفاوتت. كان ReasonGR (Zero) هو الأكثر كفاءة في الذاكرة أثناء التدريب (~~8.5 جيجابايت)، بينما تطلبت نسخ CoT المزيد بسبب التسلسلات الأطول.
- وقت التدريب: تدرب ReasonGR (Zero) بشكل أسرع (~3.5 ساعة)، بينما تدرب ReasonGR الكامل في ~5.2 ساعة. كانت المقايضة للحصول على قدرة استدلال أعلى هي زيادة معتدلة في وقت التدريب وانخفاض طفيف في معدل الإنتاجية (throughput).

5. الأهمية والعمل المستقبلي

الأهمية:
يجسر هذا العمل الفجوة بين الاسترجاع التوليدي ومهام الاستدلال المعقدة. فهو يثبت أنه يمكن تكييف نماذج GR بفعالية لمهام الاستدلال المكثفة (مثل التمويل) دون الحاجة إلى تحديثات هائلة للمعلمات، بشرط استخدام التحفيز المهيكل والتكيف الفعال (LoRA). تشير النتائج إلى أن GR مرشح قابل للتطبيق للاسترجاع من طرف إلى طرف في السيناريوهات التي تتطلب استنتاجاً منطقياً.

القيود والتوجهات المستقبلية:

حجم النموذج: قد يكون نموذج FLAN-T5-base صغيراً جداً لتحقيق الاستدلال الأمثل لـ CoT؛ قد تستكشف الأعمال المستقبلية نماذج أكبر أو بنيات تعتمد على فك التشفير فقط (decoder-only).
قيود المدخلات: حد الـ 512 رمزاً للمدخلات أقصر من متوسط أطوال الوثائق في التقارير المالية.
تصميم الخسارة: قد تؤدي دالة الخسارة الحالية على مستوى العينة إلى تخفيف التغذية الراجعة الدقيقة؛ قد تستكشف النسخ المستقبلية الخسارة على مستوى الرمز (token-level) للتركيز على الرموز ذات الصلة وتقليل الضوضاء من نص الاستدلال.
القدرة على التعميم: تم تكييف مجموعة البيانات من مهام غير متعلقة بالاسترجاع المعلوماتي (IR)، مما قد يحد من القدرة على التعميم لمجالات أخرى.

في الختام، يضع ReasonGR معياراً جديداً للاسترجاع التوليدي القائم على الاستدلال، ويثبت أن الجمع بين التحفيز الموجه والضبط الدقيق الفعال يمكن أن يعزز بشكل كبير قدرة نماذج GR على التعامل مع مهام الاسترجاع المعقدة والرقمية والمنطقية.