Iterate Until Retrieved: Factual Nugget Optimization for Discoverable Continual Corrections in Agentic RAG
تقدم هذه الورقة البحثية طريقة "تحسين النواة التكراري" (INO)، وهي طريقة تُنفذ عند وقت الفهرسة تعمل على تحويل التصحيحات الواقعية حرة التنسيق إلى "نواة واقعية" مُحسّنة من خلال تنقيحها تكرارياً عبر اختبار وكلاء استرجاع المعلومات المعزز (RAG) في بيئة الإنتاج لضمان قابليتها للاكتشاف واستخدامها الفعال في أنظمة المساعدة المعرفية الموجهة للشركات (B2B).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعمل لدى مساعد روبوت ذكي ومفيد للغاية، يجيب على الأسئلة المتعلقة بمنتجات شركة ما. أحياناً، قد يخطئ الروبوت في حقيقة ما. قد يقول مستخدم بشري: "في الواقع، هذا ليس صحيحاً. إعادة تعيين كلمة المرور تعمل للمديرين فقط، وليس للموظفين العاديين".
في الماضي، كان إصلاح هذا الأمر صعباً. لم يكن بإمكانك ببساطة تعديل دليل التعليمات الضخم الخاص بالروبوت لأن ذلك قد يؤدي إلى إتلاف أشياء أخرى، كما أن الروبوت قد لا "يسمع" القاعدة الجديدة إذا كانت مدفونة في وثيقة ضخمة.
يقدم هذا البحث طريقة جديدة لتعليم الروبوت: تحسين النواحي المتكرر (Iterative Nugget Optimization - INO). فكر في الأمر كمنظومة "جرب، افشل، ثم عدّل" التي تحول تصحيح المستخدم إلى بطاقة حقيقة صغيرة ومتينة للغاية تسمى "القطعة المعرفية" (Focal Nugget).
إليك كيف يعمل الأمر، باستخدام تشبيهات بسيطة:
1. المشكلة: "الإبرة في كومة قش"
تخيل أن قاعدة معرفة الروبوت هي مكتبة ضخمة تحتوي على ملايين الكتب (الوثائق). عندما يسأل مستخدم سؤالاً، يتعين على الروبوت العثور على الكتاب المناسب فوراً.
- المشكلة: إذا كتبت فقط بطاقة حقيقة جديدة وألقيتها في المكتبة، فقد يفتقدها الروبوت. قد يسأل المستخدم: "كيف أعيد تعيين كلمة المرور؟"، لكن البطاقة الجديدة قد يكون عنوانها "سياسة إعادة تعيين SSO للمديرين". قد لا يربط الروبوت بين الاثنين لأن الكلمات لا تتطابق تماماً.
2. الحل: "القطعة المعرفية"
بدلاً من إعادة كتابة المكتبة بأكملها، يقوم النظام بإنشاء قطعة معرفية.
- ما هي؟ ملاحظة صغيرة ومستقلة بذاتها (مثل الملاحظة اللاصقة) تذكر حقيقة واحدة مصححة بدقة.
- الهدف: يجب أن تكون هذه الملاحظة واضحة ومصنفة جيداً بحيث مهما كانت طريقة سؤال المستخدم لاحقاً، سيجدها الروبوت فوراً.
3. الخدعة السحرية: "رحلة الاختبار" (INO)
هذا هو الابتكار الجوهري. بدلاً من مجرد كتابة الملاحظة والأمل في نجاحها، يخضع النظام الملاحظة لـ "رحلة اختبار" قبل أن تصبح متاحة للاستخدام الفعلي.
فكر في (INO) كأنه غرفة بروفات:
- إنشاء مسودة: يأخذ النظام تصحيح المستخدم ويكتب مسودة للقطعة المعرفية.
- التشغيل التجريبي: يضع هذه المسودة في مكتبة الروبوت ويوجه للروبوت سلسلة من الأسئلة. هو لا يكتفي بالسؤال الأصلي فحسب؛ بل يطرح نسخاً مختلفة كثيرة (مثلاً: "كيف أغير كلمة مروري؟"، "هل يمكنني إعادة تعيين تسجيل دخولي؟"، "من يمكنه إعادة تعيين كلمات المرور؟").
- فحص "الفشل": إذا لم يجد الروبوت القطعة المعرفية، أو وجد الكتاب الخطأ بدلاً منها، فإن النظام لا يستسلم.
- التفكير التأملي: ينظر "مدرب" ذكاء اصطناعي في سبب فشل الروبوت. هل كان العنوان تقنياً أكثر من اللازم؟ هل فاته كلمة مفتاحية؟
- إعادة الكتابة: يعيد المدرب كتابة القطعة المعرفية لجعل العثور عليها أسهل. ربما يضيف مرادفاً أو يوضح العنوان.
- التكرار: يختبر النظام النسخة الجديدة مرة أخرى. ويستمر في هذه الحلقة (حتى 3 مرات) حتى يجد الروبوت القطعة المعرفية دائماً عند طرح السؤال.
4. النتائج: لماذا يهم هذا؟
اختبر الباحثون هذا على روبوتات أعمال حقيقية (روبوت يجيب على أسئلة العملاء، وآخر يساعد مهندسي الدعم).
- الأساس المرجعي: بدون حلقة تجربة الاختبار هذه، كان الروبوت يجد المعلومة الجديدة بنسبة 50-60% فقط من الوقت.
- باستخدام (INO): وجد الروبوت المعلومة الجديدة بنسبة 77-97% من الوقت.
- الأثر: لأن الروبوت وجد الحقيقة، فقد قدم الإجابة الصحيحة في كثير من الأحيان. لم يحفظ السؤال المحدد فحسب؛ بل تعلم التعرف على الفكرة الكامنة وراء السؤال، حتى لو اختلفت الكلمات.
5. الحالة الواقعية
هذا ليس مجرد نظرية. يذكر البحث أن هذا النظام يعمل بالفعل في بيئة الإنتاج لعملائهم. فهو يعالج مئات من هذه "القطع المعرفية" كل أسبوع، ويصلح الأخطاء تلقائياً دون الحاجة إلى تدخل بشري لتعديل عقل الروبوت يدوياً.
باختصار: يعلمنا هذا البحث كيفية تحويل تصحيح مستخدم واحد إلى "حقيقة فائقة" مضمونة العثور عليها من قبل الروبوت، وذلك من خلال جعل الروبوت يتدرب على إيجادها مراراً وتكراراً حتى يتقن الأمر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.