FCPRAG: Fusion-Controller Parametric Retrieval-Augmented Generation for Stable Multi-Passage LoRA Injection

في عالم الذكاء الاصطناعي، تُشبه النماذج اللغوية الكبيرة مكتبات شاسعة من المعرفة البشرية، قادرة على الإجابة عن الأسئلة وكتابة القصص. ومع ذلك، فإن هذه المكتبات ثابتة؛ فهي لا تعرف سوى ما تعلمته خلال تدريبها الأولي. وللإجابة عن أسئلة تتعلق بأحداث جارية أو حقائق محددة، غالبًا ما يستخدم الباحثون تقنية تُسمى "التوليد المعزز بالاسترجاع" (retrieval-augmented generation). وهذا يشبه تسليم النموذج مجموعة من الوثائق ذات الصلة قبل أن يتحدث، مما يسمماح له بالتشاور مع أدلة حديثة. ورغم فعالية هذا النهج، إلا أنه يواجه مشكلة متزايدة: فكلما زاد حجم مجموعة الوثائق، أصبح النموذج مثقلاً. فالنصوص الإضافية تبطئ عمل الحاسوب، وتستهلك كميات هائلة من الذاكرة، ويمكن أن تسبب أحيانًا ارتباكًا للنموذج بسبب المعلومات المتضاربة، مما يؤدي إلى وقوع أخطاء.

ويحاول نهج أحدث، يُعرف باسم "الاسترجاع البارامتري" (parametric retrieval)، حل هذه المشكلة عبر نقل المعلومات من حزمة النصوص إلى الذاكرة الداخلية للنموذج نفسه. فبدلاً من قراءة وثيقة، يقوم النظام بتحويل الوثيقة إلى مجموعة صغيرة ومتخصصة من التعليمات التي تعدل دماغ النموذج بشكل طفيف. وهذا يحافظ على سرعة ونقاء المحادثة. لكن تحديًا جديدًا قد ظهر عندما تكون عدة وثائق ذات صلة بسؤال واحد؛ فإذا استدعى النظام ثلاث مقالات مختلفة، فسيصبح لديه الآن ثلاث مجموعات مختلفة من التعليمات. ويصبح السؤال الجوهري هنا: كيف يمكن دمج هذه المجموعات؟ فإذا قمت بمزجها بالتساوي، فقد تضعف أهم حقيقة بسبب الضجيج غير ذي الصلة، أو والأسوأ من ذلك، قد تترك مقالاً متضاربًا يربك النموذج.

وقد طور باحثون في جامعة هونغ كونغ للعلوم والتكنولوجيا وزملاؤهم حلاً لهذه المشكلة في المزج، أطلقوا عليه اسم FCPRAG. يعالج عملهم العقبة المحددة حيث يجب دمج قطع متعددة من الأدلة في تحديث واحد متماسك للنموذج. وفي تجاربهم، وجدوا أن الطريقة القديمة التي تعامل كل وثيقة مسترجعة على أنها متساوية الأهمية غالبًا ما تفشل. فعندما يتطلب الاستعلام إيجاد جسر محدد بين حقيقتين، قد تحمل وثيقة واحدة المفتاح بينما تكون الوثائق الأخرى مجرد مشتتات. والمزج البسيط والمتساوي لجميع الوثائق الثلاث سيضعف الإشارة. وعلى العكس من ذلك، عندما تكون الأدلة ضوضائية أو غير واضحة، فإن فرض قرار حاسم قد يؤدي بالنموذج إلى التشبث بتفصيل خاطئ.

وقدم الفريق "متحكم دمج" (fusion controller) خفيف الوزن لإدارة هذه العملية. فكر في هذا المتحكم كشرطي مرور ذكي يقف عند التقاطع حيث تلتقي قطع الأدلة المختلفة. فقبل أن يستخدم النموذج المعلومات، ينظر هذا المتحكم إلى السؤال المحدد والوثائق المسترجعة. ثم يتخذ قرارين حاسمين لكل قطعة من الأدلة. أولاً، يقرر مقدار الوزن الذي يجب إعطاؤه لتلك الوثيقة، وكأنه يقول: "هذه مهمة جدًا"، أو "هذه مجرد ضجيج خلفي". ثانياً، وهو الأهم، يقرر مدى الثقة التي يجب أن يتحلى بها النظام في حكمه الخاص. فإذا كانت الأدلة واضحة وقوية، يسمح المتحكم للنموذج بالتركيز بحدة على أفضل وثيقة. أما إذا كانت الأدلة فوضوية أو متضاربة، فإن المتحكم يخبر النموذج بأن يكون أكثر تحفظاً، ويمزج المعلومات بلطف أكبر لتجنب المبالغة في رد الفعل تجاه قطعة واحدة سيئة من البيانات.

وقد أثبت هذا النهج فعالية عالية عبر العديد من اختبارات الإجابة على الأسئلة الصعبة. ففي مجموعة بيانات تسمى 2WikiMultiHopQA، والتي تتطلب ربط الحقائق عبر وثائق متعددة، حسنت الطريقة الجديدة دقة الإجابات بنسبة تصل إلى 4.65 بالمائة مقارنة بالطرق القياسية السابقة. وفي مجموعة بيانات أخرى معقدة تُعرف باسم CWQ، كان التحسن أكثر أهمية، حيث وصل إلى 7.55 بالمائة. وكانت هذه المكاسب ثابتة عبر مختلف أحجام النماذج اللغوية، من الأصغر والأسرع إلى الأكبر والأكثر قوة. كما اختبر الباحثون مرونة النظام من خلال تغذيته عمداً بوثائق غير ذات صلة أو مكررة لمحاكاة عملية بحث ضوضائية. وفي هذه السيناريوهات، نجح المتحكم الجديد في منع النموذج من الانخداع، محافظاً على أدائه في حين تعثرت الطرق القديمة.

وتتمثل الرؤية الأساسية من الدراسة في أن الإعداد الواحد الثابت لكيفية مزج المعلومات لا يصلح لكل موقف. فقد أثبت الباحثون رياضياً ومن خلال التجارب أن "درجة الحرارة" (temperature) أو حدة القرار يجب أن تتغير من سؤال إلى آخر. فبعض الأسئلة لها إجابات حاسمة وواضحة مخبأة في وثيقة واحدة، بينما تتوزع أدلة أخرى غامضة عبر العديد من الوثائق. ومن خلال تعلم ضبط هذا الإعداد آنياً لكل سؤال على حدة، يتجنب النظام الحاجة إلى ضبط يدوي مكلف من قبل المهندسين البشريين. يتعلم المتحكم أن يكون حاسماً عندما ينبغي له ذلك، وحذراً عندما ينبغي له ذلك، وكل ذلك دون إبطاء عملية توليد الإجابة النهائية.

كما سلطت الدراسة الضوء على أهمية كيفية تعليم النظام اتخاذ هذه القرارات. فبدلاً من النظر فقط في مدى جودة وثيقة واحدة بمفردها، قام الباحثون بتدريب المتحكم من خلال مراقبة مدى مساهمة كل وثيقة عندما كانت جزءاً من مجموعة. وقد استخدموا طريقة حيث يقومون بإزالة وثيقة واحدة في كل مرة من المزيج لمعرفة مدى انخفاض جودة الإجابة. هذه الطريقة، المعروفة بـ "ترك واحد واستبعاد الآخر" (leave-one-out)، أعطت المتحكم صورة أوضح حول أي الوثائق كانت أساسية حقاً وأيها كانت زائدة عن الحاجة. سمحت طريقة التدريب هذه للنظام بتعلم الفروق الدقيقة بين الوثيقة التي هي مجرد ذات صلة والوثيقة التي تعد حاسمة للإجابة.

وفي نهاية المطاف، يشير هذا العمل إلى أن مستقبل الذكاء الاصطناعي الفعال لا يكمن فقط في استرجاع المزيد من المعلومات، بل في معرفة كيفية وزنها. يعمل متحكم الدمج كمثبت، مما يضمن تحديث الذاكرة الداخلية للنموذج بالتوازن الصحيح من الثقة والحذر. ومن خلال استبدال القواعد الجامدة التي تناسب الجميع باستراتيجية مرنة ومكتسبة، أظهر الباحثون أن الذكاء الاصطناعي يمكنه التعامل مع الاستدلال المعقد متعدد الوثائق بشكل أكثر موثوقية. وتشير النتائج إلى أن هذا النهج يمثل خطوة عملية للأمام، حيث يوفر طريقة لجعل أنظمة الذكاء الاصطناعي أسرع وأكثر دقة دون الحاجة إلى زيادات هائلة في القدرة الحوسبية أو التدخل اليدوي.