TRACE: Trustworthy Retrieval-Augmented Conversational Engine

تخيل أنك تحاول العثث عن كنز محدد ومخفي في علية فوضوية وعملاقة. هذه العلية مليئة بالصناديق القديمة، بعضها يحمل ملصقات واضحة، وبعضها بملصقات ممزقة، والبعض الآخر بلا أي ملصقات على الإطلاق. الآن، تخيل أن لديك مساعداً آلياً (روبوت) ذكياً جداً، لكنه يعشق سرد القصص. إذا سألت الروبوت: "أين العملة الذهبية في العلية؟"، فقد يتحمس كثيراً لسرد قصة عن العملات الذهبية لدرجة أنه قد يخترع موقعاً غير موجود أصلاً، أو يشير إلى صندوق يحتوي في الواقع على جوارب قديمة. هذه هي مشكلة العديد من برامج الدردشة الآلية الحديثة (AI chatbots): فهي بارعة في التحدث، لكنها أحياناً تخترع أشياء عندما تحتاج إلى إيجاد حقائق حقيقية.

هذا البحث يعيش في عالم "الاسترجاع" (retrieval)، وهو مجرد مصطلح منمق لعملية البحث عن المعلومات قبل الإجابة على سؤال ما. كما أنه يتعامل مع "القيود" (constraints)، وهي القواعد المحددة التي تضعها للبحث، مثل "ابحث فقط في الصناديق الحمراء" أو "ابحث فقط في الصناديق التي تعود لعام 1990". السؤال الكبير الذي يطرحه الباحثون هو: إذا قمنا بإصلاح جزء البحث بحيث يقتصر بحث الروبوت على الصناديق الحقيقية في العلية، فهل سيتوقف الروبوت عن تأليف القصص؟ يريدون معرفة ما إذا كان محرك البحث الأفضل هو "الخلطة السرية" لجعل الذكاء الاصطناعي جديراً بالثقة، خاصة عندما يحتاج الناس للمساعدة في العثور على خدمات واقعية مثل دور إطعام المحتاجين.

بنى الباحثون نظاماً جديداً يسمى TRACE (محرك المحادثة المعزز بالاسترجاع الموثوق) لاختبار هذه الفكرة. فكر في TRACE كأنه أمين مكتبة صارم جداً يرفض السماح للروبوت بالتحدث حتى يتأكد جسدياً من بطاقات المكتبة. عندما يطرح مستخدم سؤالاً مثل: "أين يمكنني الحصول على طعام في مقاطعة سيدجويك إذا لم يكن معي بطاقة هوية؟"، فإن TRACE لا يترك الروبوت يخمن فحسب. أولاً، يقوم بتفكيك السؤال إلى جزأين: القواعد "الهيكلية" (مثل المقاطعة المحددة) والقواعد "الدلالية" (مثل شرط وجود الهوية).

لإيجاد الإجابات الصحيحة، يستخدم TRACE خريطة "مزدوجة". جزء من الخريطة هو الرسم البياني للمعرفة (Knowledge Graph)، وهو يشبه شبكة من النقاط المتصلة التي توضح بالضبط أين توجد الأشياء (مدينة ← مقاطعة ← دار إطعام). الجزء الآخر هو التضمين الشعاعي (Vector Embedding)، وهو يشبه سحابة ضبابية من المعاني تفهم الأوصاف النصية لمن يمكنهم الحصول على المساعدة. يستخدم النظام أولاً الشبكة الصارمة للعثور على قائمة صغيرة من المرشحين الذين يتناسبون مع قواعد الموقع. ثم يفحص السحب الضبابية ليرى ما إذا كان هؤلاء المرشحون يتناسبون أيضاً مع القواعد الأخرى. إذا كانت القائمة فارغة، فإنه يسحب دفعة أخرى من المرشحين ويحاول مجدداً. وفقط بمجرد حصوله على قائمة موثقة، يسمح للذكاء الاصطناعي بكتابة الإجابة النهائية.

اختبر الفريق هذا النظام باستخدام دليل حقيقي يحتوي على حوالي 800 دار لإطعام المحتاجين ومجموعة من 1,000 سؤال وهمي لمعرفة مدى نجاحه. جربوا ذلك باستخدام 15 نموذجاً مختلفاً من الذكاء الاصطناعي، تتراوح من النماذج الصغيرة جداً إلى النماذج الكبيرة جداً، وقارنوها أيضاً بنموذج "مملوك" شهير (GPT 5.5). كما اختبروا نسخاً مختلفة من "خريطتهم"، بما في ذلك نسخة لا تحتوي على أي رسم بياني على الإطلاق (مجرد نص عادي) وأخرى تجمع بين الموقع وساعات العمل في "رسم بياني فائق".

كانت النتائج واضحة تماماً وتشير إلى أن جودة البحث تهم أكثر من حجم "الدماغ" الذي يقف وراء برنامج الدردة الآلي. فعندما استخدموا أفضل نسخة من خريطتهم (KG-3، التي جمعت بين الموقع وساعات العمل)، أصبح النظام أفضل بكثير في اتباع القواعد. على سبيل المثال، ارتفع متوسط "استيفاء القيود" (مدى اتباع الإجابة لقواعد المستخدم بالفعل) من حوالي 64% مع البحث الأساسي إلى ما يقرب من 88% مع الخريطة المتقدمة. والأهم من ذلك، انخفض عدد المرات التي اخترع فيها الذكاء الاصطنا العالمي داراً وهمية ("الهلوسة") بشكل كبير، من حوالي 10% إلى 2% فقط.

ولعل الاكتشاف الأكثر إثارة للاهتمام هو أنه كلما تحسن البحث، بدأت الفروق بين أذكى ذكاء اصطناي وأصغرها تتلاشى. فعندما كان البحث فوضوياً، كانت النماذج الكبيرة والمكلفة أفضل بكثير من النماذج الصغيرة. ولكن عندما كان البحث صارماً ودقيقاً، أدت حتى النماذج الصغيرة أداءً يقارب أداء العمالقة. وهذا يشير إلى أنه في المواقف التي تحتاج فيها إلى معلومات حقيقية وموثقة، فإن امتلاك أمين مكتبة رائع (الاسترجاع) أهم من امتلاك عبقري يجيد الكلام (النموذج اللغوي الكبير - LLM). ويخلص البحث إلى أنه لكي تكون برامج الدردة الآلية للخدمات العامة موثوقة، نحتاج إلى التركيز على إصلاح عملية الاسترجاع أولاً، لأن هذا هو المفتاح لمنع الذكاء الاصطناعي من اختلاق الأشياء.