LLM Enhancement with Domain Expert Mental Model to Reduce LLM Hallucination with Causal Prompt Engineering

في عالم الذكاء الاصطناعي، أصبحت النماذج اللغوية الكبيرة ماهرة بشكل ملحوظ في القراءة والكتابة وتلخيص كميات هائلة من المعلومات. يمكنها شرح النظريات العلمية المعقدة، وصياغة الوثائق القانونية، وحتى كتابة الأكواد البرمجية. ومع ذلك، فإن هذه الأنظمة لديها نقطة عمياء جوهرية: فهي لا تستطيع العمل إلا مع المعرفة التي كُتبت بالفعل وتم إدخالها في بيانات تدريبها. وعند مواجهة قرار يعتمد على الحدس غير المكتوب، أو السياق التنظيمي المحدد، أو مزيج فريد من الظروف التي لم تُسجل من قبل، فإن النموذج لا يكتفي ببساطة بالاعتراف بأنه لا يعرف، بل غالبًا ما يبتكر إجابة واثقة ولكنها خاطئة، وهي ظاهرة تُعرف باسم "الهلوسة". وهذا ليس خللاً يمكن إصلاحه بالبحث عن المزيد من المستندات؛ بل هو حد هيكلي. فإذا لم تكن المعرفة موجودة في قاعدة بيانات، فلا يمكن للآلة العثور عليها. وبالنسبل للقرارات عالية المخاطر في مجالات مثل الطب، أو الأمن القومي، أو تمويل الأبحاث، فإن هذه الفجوة بين ما تعرفه الآلة وما يعرفه الخبير البشري يمكن أن تكون خطيرة.

لقد اقترح الباحثان بوريس كوفاليرتشوكك وبرينت د. فيجلي طريقة جديدة لسد هذه الفجوة. فبدلاً من محاولة جعل الذكاء الاصطناعي أكثر ذكاءً أو إعطائه المزيد من الكتب ليقرأها، يقترحان بناء خريطة محددة ومنظمة لكيفية تفكير الخبير البشري فعليًا. ويسمون هذا "النموذج الذهني للخبير". الفكرة الجوهرية هي التوقف عن مطالبة الآلة بتخمين الإجابة، واستخدام الآلة بدلاً من ذلك كأداة لمساعدة الخبير على صياغة منطق اتخاذ القرار الخاص به بوضوح. ومن خلال تحويل الحكم الحدسي للإنسان إلى مجموعة واضحة من القواعد الخطوة بخطوة، يمكن للنظام بعد ذلك تطبيق تلك القواعد على المواقف الجديدة دون الحاجة أبداً إلى الهلوسة. هذا النهج يعامل المشكلة ليس كفشل في ذاكرة الآلة، بل كفشل في التقاط عملية التفكير المحددة للإنسان.

اختبر الباحثان هذه الفكرة عبر ثلاثة مجالات مختلفة تمامًا: تقرير ما إذا كان ينبغي التقدم بطلب للحصول على منحة بحثية، وتصميم نظام للأمن السيبراني، ووضع تشخيصات سريرية. في السيناريو الأول، احتاج فريق من الباحثين إلى تحديد ما إذا كان ينبغي عليهم قضاء شهور في كتابة مقترح لجهة تمويل. كان القرار يعتمد على عوامل عديدة، مثل ما إذا كان لدى الفريق المهارات المناسبة، وما إذا كان المشروع يتناسب مع أهداف الجهة، وما إذا كان لديهم الوقت الكافي. يمكن للذكاء الاصطناعي القياسي أن يولد قائمة بالأسئلة لطرحها، لكنه لا يستطيع تحديد كيفية وزن تلك الإجابات. فإذا قال الفريق "نعم" لامتلاك المهارات و"لا" لامتلاك الميزانية، فقد تخمن الآلة أن المشروع لا يزال قابلاً للتنفيذ، أو قد تخمن أنه ليس كذلك. لم يكن لدى الآلة وسيلة لمعرفة أن الميزانية، بالنسبة لهذا الفريق تحديدًا، كانت عائقًا حاسمًا، بينما قد تكون لفريق آخر مجرد عقبة بسيطة.

ولحل هذه المشكلة، استخدم الباحثون منهجًا يعتمد على مبدأ بسيط: إذا كان الوضع جيدًا بما يكفي لقول "نعم"، فإن جعل أي جزء منه أفضل لا ينبغي أن يحول الإجابة إلى "لا". وهذا ما يسمى بـ "الرتابة" (monotonicity). تخيل فريقًا من الخبراء يجيبون على سلسلة من الأسئلة التي تحتمل الإجابة بنعم أو لا حول مشروع ما. إذا قرروا أن مشروعًا يتميز بفكرة رائعة ولكن بدون مال هو "لا"، فإن مشروعًا يتميز بفكرة رائعة، وبدون مال، وأيضًا بدون أعضاء فريق، يجب أن يكون أيضًا "لا". باستخدام هذا المنطق، تمكن الباحثون من طرح عدد أقل بكثير من الأسئلة على الخبير. فبدلاً من السؤال عن كل توليفة ممكنة من العوامل - والتي قد تصل إلى الملايين في القرارات المعقدة - طرحوا مجموعة مختارة بعناية من الأسئلة. وقد سمحت الإجابات على هذه الأسئلة باستنتاج الإجابات لآلاف السيناريوهات الأخرى تلقائيًا.

في مثال مقترح المنحة، بدأ الفريق بعشرين سؤالاً محتملاً. ساعد الذكاء الاصطناعي في تنظيم هذه الأسئلة في تسلسل هرمي، وتجميع الأسئلة ذات الصلة معًا. ثم أجاب الخبير البشري على عدد صغير من الأسئلة العامة. على سبيل المثال، بدلاً من الإجابة على كل تفصيل حول الموارد، قد يجيب الخبير على سؤال واسع حول ما إذا كان الفريق مستعدًا. إذا كانت الإجابة "لا"، عرف النظام فورًا أنه لا داعة لمزيد من التفاصيل لرفض المشروع. وإذا كانت الإجابة "نعم"، فسيقوم النظام بالتعمق في التفاصيل المحددة. ومن خلال أربع جولات فقط من الأسئلة، تمكن الباحثون من رسم مسار منطق اتخاذ القرار للخبير لأكثر من 60 بالمائة من جميع السيناريوهات الممكنة. أما السيناريوهات المتبقية فقد تجمعت حول الحالات الحدية الصعبة حيث يكون القرار غير واضح، وهو بالضبط المكان الذي تكون فيه القدرة على الحكم البشري ذات قيمة عالية.

كما اختبر الباحثون هذه الطريقة في مجال الأمن السيبراني، حيث غالبًا ما تُحدد القواعد بواسطة المعايير الحكومية. في هذه الحالة، استطاع الذكاء الاصطناعي استخراج القواعد القياسية من وثيقة ما، لكنه كان لا يزال بحاجة إلى خبير بشري لتطبيق تلك القواعد على البيانات الخاصة بمؤسسة معينة. ساعد النظام الخبير في تحديد تأثير خرق أمني على شبكته الخاصة، وترجمة المخاوف الغامضة إلى نموذج مهيكل. وفي المجال الثالث، وهو الرعاية الصحية، راجع الباحثون دراسات سابقة حيث استُخدمت طرق مماثلة لتشخيص سرطان الثدي. ووجدوا أنه عندما استُخرجت قواعد القرار مباشرة من أطباء الأشعة باستخدام هذا النهج المهيكل، كانت النماذج الناتجة أكثر دقة واتساقًا مما بني على البيانات فقط. كما استطاعت النماذج شرح سبب اتخاذ القرار، وتتبع ذلك وصولاً إلى عوامل محددة، وهو أمر بالغ الأهمية للأطباء الذين يحتاجون إلى الثقة في النظام.

كان جزء حاسم من هذا العمل هو قياس عدد المرات التي قد يخطئ فيها الذكاء الاصطناعي إذا تُرِك ليعمل بمفرده. أنشأ الباحثون عمليات محاكاة حيث قارنوا قرارات الخبير البشري مقابل تخمينات الذكاء الاصطناعي. ووجدوا أنه بينما قد يبدو معدل الخطأ الإجمالي صغيرًا، إلا أن الأخطاء كانت تتركز في الحالات الأكثر أهمية. فعندما كان الخبير سيقول "نعم" لمشروع ما، كان الذكاء الاصطناعي غالبًا ما يقول "لا"، مما يعني ضياع الفرصة تمامًا. وفي بعض عمليات المحاكاة، اقترب معدل الخطأ لهذه الفرص الضائعة من 100 بالمائة. وقد كشف هذا أن خطر الهلوسة لا يقتصر فقط على ارتكاب أخطاء عشوائية، بل يتعلق بالفشل المنهجي في التعرف على الحالات النادرة وعالية القيمة التي تتطلب معرفة محددة وغير مكتوبة.

ويرى الباحثون أن الحل ليس في محاولة جعل الذكاء الاصطناعي يشبه البشر، بل في استخدام الذكاء الاصطناعي لمساعدة البشر على ترميز تفكيرهم الخاص. فالآلة ممتازة في إنشاء قوائم العوامل، وتنظيمها في مجموعات منطقية، والتحقق من الاتساق، لكنها سيئة جدًا في معرفة ما يهم فريقًا أو مؤسسة معينة. ومن خلال الجمع بين الاثنين، يخلق النظام أداة لدعم القرار تكون فعالة حاسوبيًا ومستندة إلى خبرة بشرية حقيقية. يتولى الذكاء الاصطناعي العمل الشاق المتمثل في الهيكلة والتنظيم، بينما يقدم الإنسان القيم والمنطق المحدد الذي يجعل القرار ذا معنى.

يساعد هذا النهج أيضًا في منع خطر خفي يُعرف باسم "التجانس المعرفي"، حيث يبدأ الجميع في اتخاذ القرارات بنفس الطريقة لأنهم جميعًا يستخدمون نفس الذكاء الاصطناعي. فإذا اعتمدت مؤسسة ما على نموذج عام فقط، فقد تفقد منظورها الفريد والرؤى المحددة التي تأتي من تجربتها الخاصة. ومن خلال بناء "النموذج الذهني للخبير" الخاص بها، تحافظ المؤسسة على طريقتها المميزة في التفكير. يصبح النموذج سجلًا متنقلًا لحكمتهم الجماعية، يستمر حتى لو غادر الخبراء الذين أنشأوه المؤسسة. وهو يضمن أن تظل عملية اتخاذ القرار شفافة وخاضعة للمساءلة، بدلاً من أن تكون "صندوقًا أسود" ينتج إجابات لا يستطيع أحد تفسيرها.

لا تدعي الدراسة أنها حلت كل المشكلات. فالطريقة تعمل بشكل أفضل عندما يتبع منطق القرار مبدأ أن تحسين وضع ما لا يؤدي أبدًا إلى جعل النتيجة أسوأ. كما تتطلب أن يكون الخبراء مستعدين لقضاء وقت في توضيح أفكارهم، وهو أمر قد يمثل تحديًا. وفي بعض الحالات، قد يواجه الخبراء صعوبة في الإجابة على أسئلة مجردة دون رؤية التفاصيل المحددة، ويحتاج النظام إلى أن يكون مرنًا بما يكفي للتعامل مع عدم اليقين هذا. علاوة على ذلك، وبينما تم اختبار هذه الطريقة في عمليات المحاكاة وتمت مراجعتها مقابل دراسات سابقة، يقر الباحثون بأن هناك حاجة لمزيد من الاختبارات في العالم الحقيقي لمعرفة كيفية أدائها في البيئات السريرية الحية أو مع مقترحات المنح الفعلية.

رغم هذه القيود، تقدم النتائج مسارًا واضحًا لاستخدام الذكاء الاصطناعي في المجالات الحرجة. الفكرة الرئيسية هي أن الآلة لا ينبغي أن تكون هي صانعة القرار، بل يجب أن تكون هي المهندس لعملية اتخاذ القرار، حيث تساعد في بناء هيكل يلتقط الحكم البشري بدقة. ومن خلال القيام بذلك، تتجنب فخ الهلوسة وتوفر أداة قوية وجديرة بالثقة. والنتيجة هي نظام لا يستبدل الخبير، بل يعزز قدرته على اتخاذ قرارات سليمة ومتسقة وقابلة للتفسير، حتى في مواجهة المواقف المعقدة وغير المؤكدة.