When Context Misleads: Intent-Guided Decoding for Robust Retrieval-Augmented Generation

تُعد نماذج اللغات الكبيرة أدوات قوية يمكنها كتابة القصص، والإجابة على الأسئلة، وحل المشكلات من خلال الاستناد إلى الكم الهائل من المعلومات التي حفظتها أثناء التدريب. ومع ذلك، فإن هذه النماذج ليست مثالية؛ فهي أحياناً تنسى الحقائق أو تخترع تفاصيل تبدو منطقية ولكنها خاطئة. ولإصلاح ذلك، طور الباحثون طريقة تسمى "التوليد المعزز بالاسترجاع". يعمل هذا النهج كأمين مكتبة للنموذج: فعند طرح سؤال ما، يبحث النظام أولاً في قاعدة بيانات من الوثائق الخارجية للعثور على أدلة ذات صلة، ثم يغذي النموذج بتلك الأدلة جنباً إلى جنب مع السؤال. والأمل هو أن يستخدم النموذج هذه المعلومات الجديدة لتقديم إجابة أكثر دقة. ومع ذلك، فإن هذا النظام يحتوي على عيب خفي؛ ففي بعض الأحيان تكون الوثائق التي يجدها مضللة، أو قديمة، أو حتى كاذبة عمداً. وإذا وثق النموذج في هذه الوثائق بشكل أعمى، فإنه سيكرر أخطاءها. وعلى العكس من ذلك، إذا تجاهل النموذج الوثائق تماماً، فقد يفوت معلومات مفيدة أو يفشل في الإجابة على أسئلة تتطلب تفاصيل محددة من نص مقدم. التحدي الجوهري يكمن في معرفة متى يجب الوثوق بالأدلة الخارجية ومتى يجب الاعتماد على المعرفة الداخلية للنموذج.

اقترح فريق من الباحثين من جامعة سيدني طريقة جديدة لحل هذه المعضلة، تسمى "فك التشفير الموجه بالنية" (Intent-Guided Decoding). فبدلاً من إجبار النموذج على الثقة بالوثائق دائماً أو تجاهلها دائماً، يعتمد نظامهم على تعليمات المستخدم الصريحة لتحديد الاستراتيجية. في بعض الحالات، قد يكون المستخدم يقرأ تقريراً معيناً ويريد من النموذج أن يجيب بناءً على ما يقوله ذلك التقرير حصراً، حتى لو كان التقرير يحتوي على خطأ. وفي حالات أخرى، قد يكون المستخدم يطرح سؤالاً عاماً للتحقق من الحقائق ويريد من النموذج تجاهل وثيقة مضللة لصالح الحقيقة. لقد بنى الباحثون إطار عمل يتكيف مع هذه التعليمات المحددة. ويعمل من خلال جعل النموذج يولد ثلاثة إجابات محتملة مختلفة في وقت واحد: إحداها بناءً على سؤال المستخدم الأصلي، وأخرى بناءً على الوثائق المقدمة حصراً، وثالثة بناءً على ذاكرته الداخلية وحدها. ثم يقارن النظام بين مسارات التفكير الثلاثة هذه. فإذا اختلفت الوثائق والذاكرة الداخلية، يتحقق النظام من تعليمات المستخدم ليقرر أي مسار يتبع. فإذا طلب المستخدم صراحةً الالتزام الصارم بالنص، يميل النظام نحو الوثيقة. وإذا طلب المستخدم صراحةً البحث عن الحقيقة، يميل النظام نحو الذاكرة الداخلية، مما يؤدي فعلياً إلى تصفية المعلومات المضللة.

اختبر الباحثون هذا النهج على مجموعة واسعة من الأسئلة وأنواع مختلفة من نماذج اللغة. وقد أنشأوا سيناريوهات كانت فيها الوثائق المقدمة صحيحة وسيناريوهات أخرى كانت فيها خاطئة عمداً. وفي الحالات التي كانت فيها الوثائق مضللة، غالباً ما قدمت الأنظمة القياسية التي تتبع النص بشكل أعمى إجابات خاطئة. ومع ذلك، استطاع النظام الجديد إدراك التعارض والتحول إلى معرفته الداخلية، مسترجعاً الإجابة الصحيحة في كثير من الحالات. وفي الاختبارات المرجعية حيث كانت الوثائق مضللة، حسّنت الطريقة الجديدة دقة الإجابات بما يصل إلى 65.4 نقطة مئوية مقارنة بالنهج القياسي. والأهم من ذلك، أن هذا التحسن لم يأتِ على حساب تجاهل المعلومات المفيدة؛ فعندما طلب المستخدم من النموذج صراحةً اتباع النص المقدم، استمر النظام في القيام بذلك بدقة، حتى عندما كان النص صحيحاً. وهذا يشير إلى أن النظام نجح في موازنة احتياجين متنافسين: أن يكون أميناً للمادة المصدرية عندما يتطلب الأمر ذلك، وأن يكون صحيحاً واقعياً عندما تكون المادة المصدرية غير جديرة بالثقة.

كشفت الدراسة أيضاً أن مجرد قول "كن حذراً" أو "تحقق من الحقائق" للنموذج ليس كافياً لمنعه من أن يُضلل بوثائق سيئة. ووجد الباحثون أن النماذج غالباً ما تفشل في تصحيح نفسها ما لم يكن هناك آلية محددة لوزن الأدلة مقابل نية المستخدم. لا يتطلب منهجهم إعادة تدريب النموذج أو تغيير كيفية بحثه عن المعلومات؛ بل يعمل كمرشح ذكي خلال الخطوة النهائية لتوليد الإجابة. ومن خلال تحليل مدى ثقة النموذج في إجاباته المحتملة المختلفة وتوسيع نطاق تأثير الوثائق بناءً على موثوقيتها، يمكن للنظام إجراء تعديلات دقيقة. على سبيل المثال، إذا كانت الذاكرة الداخلية واثقة جداً والوثيقة مهتزة، فإن النظام يوجه الإجابة بلطف نحو الحقيقة. وإذا كانت الوثيقة قوية وكان المستخدم يريد اتباعها، فإن النظام يسمح للوثيقة بتوجيه الإجابة. هذا النهج الدقيق يسمح للنموذج بالتعامل مع المواقف المعقدة حيث تعتمد الإجابة الصحيحة تماماً على ما يحاول المستخدم تحقيقه.

في نهاية المطاف، يسلط هذا العمل الضوء على أن العلاقة بين نموذج اللغة ومعرفته الخارجية ليست مجرد مسألة ثقة أو عدم ثقة بسيطة. إنها عملية تفاوض ديناميكية تعتمد على سياق المحادثة. لقد أثبت الباحثون أنه من خلال جعل النموذج مدركاً لنية المستخدم، من الممكن إنشاء نظام يكون موثوقاً ومرناً في آن واحد. وهذا يعني أنه في المستقبل، يمكن أن تكون هذه الأدوات أكثر فائدة لمهام تتراوح من تحليل الوثائق القانونية الصارم، حيث يكون اتباع النص أمراً بالغ الأهمية، إلى استعلامات المعرفة العامة، حيث تكون الأولوية لتجنب المعلومات المضللة. وتشير النتائج إلى أن مستقبل الذكاء الاصطناعي قد لا يكمن فقط في جعل النماذج أكثر ذكاءً، بل في جعلها أفضل في معرفة متى تستمع ومتى تتحدث عن نفسها.