The "Curse of Knowledge" in LLM Query Simulation: Concept Provenance for Tracing Answer-Side Intrusion
تقدم هذه الورقة "أصل المفهوم" (concept provenance)، وهو إطار عمل للكشف عن تداخل المعرفة من جانب الإجابة وتصنيفها في استعلامات البحث التي تولدها النماذج اللغوية الكبيرة، مما يكشف عن أن هذا التداخل، رغم كونه شائعاً ومتميزاً عن التباين البشري الطبيعي، إلا أن له تأثيراً ضئيلاً على مقاييس تقييم الاسترجاع الإجمالية، ولكن يمكن القضاء عليه بفعالية من خلال الاختيار ما بعد التوليد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
عندما يبحث شخص ما عن معلومات عبر الإنترنت، فإنه يبدأ بسؤال نابع مما يعرفه بالفعل وما يحتاج إلى اكتشافه. يكتب كلمات في صندوق البحث بناءً على فهمه الحالي، آملًا أن يقوده الكمبيوتر إلى إجابات لا يمتلكها بعد. هذه اللحظة من السؤال هي حد فاصل وصارم: المستخدم لديه السؤال، لكن ليس لديه الإجابة. إذا كان السؤال نفسه يحتوي على الإجابة، فإن عملية البحث تصبح معطلة، لأن المستخدم لم يعد يبحث؛ بل هو ببساطة يؤكد ما يعرفه بالفعل. وفي العالم الحديث، يستخدم الباحثون الذكاء الاصطناعي بشكل متزايد لمحاكاة هؤلاء الباحثين البشر. إنهم يطلبون من النماذج اللغوية الكبيرة توليد آلاف الأسئلة البحثية المختلفة لاختبار مدى كفاءة محركات البحث. ومع ذلك، تعاني هذه العقول الاصطناعية غالبًا من عيب خفي. فبسبب قراءتها لكميات هائلة من النصوص، قد تدرج أحيانًا وبشكل عرضي الإجابة داخل السؤال الذي يُفترض بها طرحه. وهذا يخلق اختبارًا زائفًا، حيث يظهر محرك البحث وكأنه يعمل بشكل مثالي ببساء لأن السؤال قدم له الإجابة مسبقًا.
وضع فريق من الباحثين في جامعة آر إم آي-تي (RMIT) نصب أعينهم كشف هذا العيب، الذي يسمونه "لعنة المعرفة" في عمليات محاكاة البحث. لقد طوروا طريقة جديدة للنظر في الكلمات داخل استعلام البحث، وتتبع أصل كل مفهوم بمفرده لمعرفة من أين جاء. طرحوا سؤالاً بسيطًا ولكنه حاسم: هل كان بإمكان إنسان حقيقي، بمعرفته فقط لقصة مشكلته ولا شيء غيرها، أن يأتي بهذه الكلمة المحددة؟ ولإيجاد الإجابة، قاموا بتحليل أكثر من 77,000 استعلام بحث تم توليدها بواسطة ثمانية نماذج مختلفة من الذكاء الاصطناعي عبر 100 موضوع بحث مختلف. وقارنوا هذه الأسئلة التي صنعتها الآلة مقابل مجموعة كبيرة من الأسئلة الحقيقية التي كتبها آلاف المتطوعين البشر الذين أُعطوا نفس القصص دون الوصول إلى نتائج البحث.
أنشأ الباحثون نظامًا لتصنيف كل كلمة في الاستعلام إلى واحد من عدة فئات. بعض الكلمات جاءت مباشرة من القصة التي أُخبر بها المستخدم. وبعضها الآخر كان كلمات شائعة استخدمها العديد من البشر. وتكونت مجموعة ثالثة من الكلمات النادرة التي استخدمها البشر، ولكن بشكل عرضي فقط. أما المجموعة الأخيرة، التي كان الباحثون مهتمين بها أكثر، فقد احتوت على كلمات لم يستخدمها أي إنسان قط في هذا السياق، ومع ذلك كانت دقيقة للغاية وتتعلق بالإجابة الصحيحة. كانت هذه هي "الكلمات الدخيلة". وقد وجدوا أنه في كل موضوع تقريبًا، تسلل الذكاء الاصطناعي بهذه المفاهيم الجانبية للإجابة. وعبر جميع الاستعلامات، شكلت هذه الكلمات الدخيلة حوالي 7.4 بالمائة من المصطلحات غير العامة. وفي 97 موضوعًا من أصل 100 موضوع تم اختبارها، تضمن الذكاء الاصطناعي على الأقل كلمة واحدة لم يكن لأي إنسان حقيقي، يبدأ من الصفر، أن يفكر في كتابتها.
كشفت الدراسة أن هذا التسلل يحدث بغض النظر عن كيفية محاولة الباحثين منعه. لقد حاولوا إعطاء الذكاء الاصطناعي تعليمات محددة للبقاء ضمن حدود القصة، وحاولوا صياغة المهمة كما لو كانت الآلة خبيرًا طبيًا أو شخصًا عاديًا. وبينما قللت هذه التغييرات من عدد التسللات قليلاً، إلا أنها لم تقضِ عليها. ظل الذكاء الاصطناعي يصل إلى مكتبته الداخلية الواسعة من الحقائق ويستخرج مصطلحات تنتمي إلى الإجابة، وليس إلى السؤال. واكتشف الباحثون أن هذا السلوك لم يكن مجرد خطأ عشوائي؛ بل كان عدم توافق جوهري بين كيفية تفكير الآلة وكيفية بحث الإنسان. فالآلة تعرف الإجابة، لذا تفترض أن السؤال يجب أن يعكس تلك المعرفة.
ومن المثير للاهتمام أن وجود هذه الكلمات الدخيلة لم يغير بشكل جذري الدرجة الإجمالية لكيفية أداء محرك البحث بمعناه الواسع. وجد الباحثون أن الفرق الإجمالي في نتائج البحث الناتج عن هذه الكلمات كان صغيرًا بشكل مفاجئ عند النظر إلى الصورة الكبيرة. ومع ذلك، عندما نظروا إلى عمليات بحث فردية، كان التأثير كبيرًا. فعندما أزالوا هذه الكلمات الدخيلة المحددة من الاستعلام، انخفضت قدرة محرك البحث على إيجاد المستندات الصحيحة بشكل ملحوظ. وأظهر هذا أنه بينما قد لا تفسد هذه التسللات اختبارًا كاملاً، إلا أنها تشوه المسار المحدد لعملية بحث واحدة، وتجذبها نحو مستندات لم يكن من المفترض أن يراها المستخدم بعد.
ولحل هذه المشكلة، اختبر الباحثون ما إذا كان بإمكانهم ببساطة تصفية الاستعلامات "السيئة" بعد أن يقوم الذكاء الاصطناعي بتوليدها. جربوا استراتيجية تتمثل في توليد عدد كبير من الأسئلة المحتملة ثم اختيار تلك التي تجتاز فحصًا صارمًا للامتثال للحدود. ومن خلال القيام بذلك، تمكنوا من إزالة الكلمات الدخيلة من 99 بالمائة من المواضيع. ووجدوا أنه يمكنهم الحصول على نتائج شبه مثالية من خلال توليد مجموعة كبيرة من الخيارات ثم اختيار تلك التي بقيت ضمن الحدود البشرية بعناية. وقد أثبت هذا أن المشكلة لم تكن غير قابلة للحل، لكنها تطلبت خطوة تحقق لا يستطيع الذكاء الاصطناعي القيام بها بمفرده.
كما سلطت الدراسة الضوء على قضية أعمق تتعلق بمدى ثقتنا في قدرة الذكاء الاصطناعي على الحكم على نفسه. فعندما طلب الباحثون من نماذج ذكاء اصطناعي أخرى العمل كحكام وتقرر ما إذا كانت الكلمات دخيلة أم لا، فشلت الآلات. فقد اتفقت النماذج مع بعضها البعض باستمرار على أن الكلمات الدخيلة كانت معرفة عادية وشائعة، في حين حدد الحكام البشر بشكل صحيح أنها مصطلحات متخصصة لا يمكن لشخص عام معرفتها. وهذا يشير إلى أن نماذج الذكاء الاصطناعي تميل إلى إسقاط معرفتها المتقدمة على الشخص العادي، بافتراض أن ما يبدو بديهيًا لها هو بديهي للجميع.
في النهاية، توفر هذه الأبحاث عدسة جديدة لفهم كيفية تفاعل الذكاء الاصطناعي مع المهام البشرية. فهي تظهر أن مجرد طلب القيام بدور الإنسان من الآلة ليس كافيًا؛ بل يجب فحص الآلة للتأكد من أنها لا تستخدم معلومات لا ينبغي أن تمتلكها. وخلص الباحثون إلى أنه بينما يمكن للذكاء الاصطناعي أن يكون أداة قوية لمحاكاة سلوك البحث، فإنه يتطلب شبكة أمان من تصميم البشر لضمان بقاء المحاكاة صادقة. وبدون هذا الفحص، فإن الاختبارات التي نجريها لتحسين محركات البحث قد تكون تقيس قدرة الآلة على تخمين الإجابة، بدلاً من قياس قدرة المحرك على إيجادها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.