Open-Source Reproduction and Explainability Analysis of Corrective Retrieval Augmented Generation
تقدم هذه الورقة إعادة إنتاج مفتوحة المصدر بالكامل لنظام التوليد المعزز بالاسترجاع التصحيحي (CRAG) باستخدام ويكيبيديا وPhi-3-mini، مما يظهر أداءً مماثلاً للنظام الأصلي مع تقديم أول تحليل قابل للتفسير قائم على SHAP يكشف عن اعتماد المُقيّم على محاذاة الكيانات المسماة ويحدد أنماط الفشل الرئيسية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك طالب عبقري ولكنه كثير النسيان يدعى LLM (نموذج لغوي كبير). LLM بارع في كتابة المقالات والإجابة على الأسئلة، لكنه يخطئ أحياناً لأنه يختلق أشياء من خياله (وهي مشكلة تسمى "الهلوسة").
لإصلاح ذلك، لدى LLM شريك دراسة يدعى RAG (التوليد المعزز بالاسترجاع). قبل الإجابة على أي سؤال، يركض RAG إلى المكتبة، ويحضر بعض الكتب، ويسلمها لـ LLM لمساعدته في كتابة الإجابة.
المشكلة:
أحياناً، يحضر RAG الكتب الخاطئة. ربما يحضر كتاباً عن "التفاح" بينما السؤال عن "شركة آبل". إذا قرأ LLM الكتاب الخاطئ، فسيصاب بالارتباك ويعطي إجابة خاطئة.
الحل الأصلي (CRAG):
قام الباحثون الأصليون بإنشاء "أمين مكتبة" فائق الذكاء (يسمى مُقيّم الاسترجاع) للتحقق من الكتب قبل أن يقرأها LLM.
- إذا بدا الكتاب مثالياً، يقول أمين المكتبة: "صحيح!" ويستخدمه LLM.
- إذا كان الكتاب خاطئاً تماماً، يقول أمين المكتبة: "خاطئ!" ويرسل LLM إلى الإنترنت (جوجل) للعثور على معلومات أفضل.
- إذا كان الكتاب جيداً ولكن ليس رائعاً، يقول أمين المكتبة: "غامض!" ويستخدم LLM كلاً من كتاب المكتبة والإنترنت.
العقبة:
كان "أمين المكتبة" الأصلي و"الإنترنت" محجوبين خلف جدران دفع. كنت بحاجة إلى بطاقة ائتمان للبحث في جوجل وبرمجيات خاصة ومكلفة لتشغيل أمين المكتبة. هذا يعني أن الباحثين العاديين لم يتمكنوا من اختبار أو تحسين النظام.
ما فعله هذا البحث: عملية التجديد "مفتوحة المصدر"
قرر المؤلف، سوريا (Surya)، إعادة بناء هذا النظام بالكامل باستخدام أدوات مجانية مفتوحة المصدر فقط، مثل استبدال مكتبة خاصة بمكتبة عامة.
إليك تفصيل بسيط لعملهم:
1. الاستبدال (إعادة الإنتاج)
استبدل سوريا الأجزاء المكلفة ببدائل مجانية:
- الإنترنت: بدلاً من الدفع مقابل بحث جوجل، قام ببناء روبوت ذكي يبحث في ويكيبيديا (الموسوعة الإلكترية المجانية).
- الدماغ: بدلاً من استخدام نموذج ذكاء اصطناعي ثقيل ومكلف، استخدم نموذجاً أصغر ومجانياً وذكياً جداً يسمى Phi-3.
- أمين المكتبة: حافظ على "أمين المكتبة" الأصلي (نموذج T5) ولكنه تأكد من قدرته على العمل مع الإعداد الجديد المجاني.
النتيجة: عمل النظام الجديد المجاني بشكل مماثل تقريباً للنظام الأصلي المكلف. لقد أثبت أنه لست بحاجة لإنفاق ثروة للحصول على نتائج ذكاء اصطناعي ذكية.
2. العمل الاستقصائي (القابلية للتفسير)
هذا هو الجزء الأكثر إثارة للاهتمام. أراد الباحثون معرفة: كيف يقرر أمين المكتبة فعلياً ما إذا كان الكتاب جيداً أم سيئاً؟
استخدموا أداة تسمى SHAP (تخيلها كجهاز أشعة سينية لعقول الذكاء الاصطناعي) لمعرفة ما الذي ينظر إليه أمين المكتبة.
الاكتشاف الكبير:
توقعوا أن أمين المكتبة يقرأ معنى الجمل (الفهم الدلالي).
- مثال: توقعوا أن أمين المكتبة يفهم أن "رئيس فرنسا" و"إيمانويل ماكرون" يعبران عن نفس الشيء.
لكن الأشعة السينية أظهرت شيئاً آخر:
أمين المكتبة هو في الواقع مجرد مطابق أسماء. إنه لا يقرأ حقاً من أجل المعنى؛ بل يتحقق فقط مما إذا كانت الأسماء الموجودة في السؤال تطابق الأسماء الموجودة في الكتاب.
- إذا كان السؤال عن "هنري" والكتاب يحتوي على "هنري"، يقول أمين المكتبة "صحيح!".
- إذا كان السؤال عن "هنري" والكتاب يتحدث عن "الميتوكوندريا"، يقول أمين المكتبة "خاطئ!".
الاستعارة:
تخيل حارس أمن عند ملهى ليلي. تتوقع منه أن يفحص هويتك ليرى ما إذا كنت شخصاً جيداً. لكن بدلاً من ذلك، هو فقط يتحقق مما إذا كان اسمك موجوداً في القائمة.
- إذا كان اسمك "جون"، فهو يسمح لك بالدخول.
- إذا كان اسمك "جين"، فهو يسمح لك بالدخول.
- ولكن إذا كنت ممثلاً مشهوراً باسم "تيتانيك" (اسم غريب)، ولم يكن اسم "تيتانيك" في القائمة، فسيطردك، حتى لو كنت شخصاً جيداً.
3. أوضاع الفشل (أين يتعطل النظام)
بما أن أمين المكتبة هو مجرد "مطابق أسماء"، فإنه يفشل بطريقتين مضحكتين:
- مشكلة "العلوم": تدرب أمين المكتبة غالباً على أسئلة تتعلق بالأشخاص (مثل "من هو الرئيس؟"). عندما يُسأل سؤالاً علمياً مثل "لماذا السماء زرقاء؟"، لا توجد أسماء محددة للمطابقة. يصاب أمين المكتبة بالارتباك ويقول "لا أعرف، لنبحث في الإنترنت"، حتى لو كانت الإجابة بسيطة.
- مشكلة "السينما": إذا سألت عن فيلم مثل "تيتانيك"، يرتبك أمين المكتبة لأنه لا يتعرف على "تيتانيك" كاسم شخص في قائمة تدريبه. هو يرفض الإجابات الجيدة لمجرد أن الاسم لم يتطابق مع قائمته المحددة.
الخلاصة
هذا البحث يشبه دليل "افعلها بنفسك" (DIY) لعالم الذكاء الاصطناعي.
- أظهر أنه يمكنك بناء نظام ذكاء اصطناعي رفيع المستوى دون دفع ثمن أدوات باهظة الثمن.
- كشف أن الجزء "الذكي" من النظام هو في الواقع "غبي" نوعاً ما—فهو مجرد مطابقة للأسماء، وليس فاهماً حقيقياً للعالم.
- حذرنا من أنه إذا أردنا أن يكون الذكاء الاصطناعي جيداً في العلوم أو الأفلام، فنحن بحاجة لتعليم "أمين المكتبة" النظر إلى ما وراء مجرد الأسماء.
باختصار: بنى المؤلف نسخة مجانية ومفتوحة المصدر من مساعد ذكاء اصطناعي ذكي، ثم استخدم الأشعة السينية ليظهر لنا أن المساعد هو في الواقع مجرد مدقق أسماء حرفي للغاية، وليس مفكراً عميقاً. وهذا يساعدنا على فهم كيفية جعل الجيل القادم من الذكاء الاصطناعي أكثر ذكاءً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.