Do LLMs Know What to Ask and When? Evaluating Multi-Turn Information Seeking
تقدم هذه الورقة MT-InfoSeek، وهي مجموعة تقييم مضبوطة تُظهر أنه بينما تستطيع النماذج اللغوية الكبيرة إدراك الحاجة إلى معلومات إضافية في المهام متعددة الأدوار غير محددة المواصفات، إلا أنها تقلل بشكل منهجي من مقدار المعلومات المطلوبة، وتفشل في تحديد الاستعلامات الدنيا الكافية، وتواجه صعوبة في ترتيب الاستعلامات، مما يكشف عن فجوة متميزة بين قدراتها في البحث عن المعلومات ومقاييس التقييم الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل طبيباً يجلس في مواجهة مريض يقول فقط: "لدي ألم". لكي يتمكن من وضع تشخيص، لا يمكن للطبيب أن يخمن؛ بل يجب عليه طرح أسئلة محددة لاستكمال التفاصيل المفقودة. هل الألم حاد أم باهت؟ أين يقع بالضبط؟ منذ متى وهو مستمر؟ في عالم الذكاء الاصطناائي، غالباً ما تُختبر النماذج اللغوية الكبيرة على قدرتها على الإجابة عن الأسئلة، لكن نادراً ما تُختبر على قدرتها على معرفة متى تفتقر إلى المعلومات الكافية للإجابة على الإطلاق. هذه فجوة حرجة. فالذكاء الاصطناعي القادر يجب أن يدرك متى يكون الموقف غير مكتمل، وأن يحدد بدقة ما هو مفقود، ويطلبه قبل تقديم استنتاج. فإذا خمن في وقت مبكر جداً، فإنه يخاطر بأن يكون مخطئاً بثقة.
قام باحثون من جامعة هارفارد و"جوجل ديب مايند" (Google DeepMind) ببناء طريقة جديدة لاختبار هذه المهارة المحددة. لقد أنشأوا بيئة محكومة حيث يُعطى الذكاء الاصطناعي لغزاً ذا قطع ناقصة. قد يكون اللغز مسألة رياضية بها رقم مخفي، أو لغزاً منطقياً به حقيقة مفقودة، أو سيناريو طبياً به عرض لم يُسأل عنه. الهدف ليس مجرد حل اللغز بالنسبة للذكاء الاصطناعي، بل التنقل في عملية طرح الأسئلة الصحيحة بالترتيب الصحيح حتى تتضح الإجابة. أراد الباحثون معرفة ما إذا كانت هذه النماذج قادرة على التصرف كمحقق ماهر يعرف تماماً ما هي الأدلة المطلوبة، أم أنها ستندفع نحو استنتاج بقرائن غير كافية.
طور الفريق مجموعة اختبارات تسمى MT-INFOSEKE، تحتوي على أكثر من 5,000 مشكلة متميزة عبر خمسة مجالات مختلفة: الرياضيات، والمنطق، والأحياء، والطب، والمعرفة العامة. في هذه الاختبارات، يُعطى الذكاء الاصطناعي نقطة انطلاق ناقصة عمداً. على سبيل المثال، في اختبار طبي، قد يعرف الذكاء الاصطناعي أن المريض يعاني من ألم في الحوض ولكنه لا يعرف منذ متى بدأ الألم أو ما إذا كانت المريضة حاملاً. يجب على الذكاء الاصطناعي بعد ذلك الانخراط في محادثة، وطرح سؤال واحد في كل مرة على "عراف" (Oracle)—وهو نظام يقدم الإجابة الصحيحة للسؤال. يجب على الذكاء الاصطناعي أن يقرر متى يتوقف عن السؤال ويعطي إجابته النهائية. وقد قاس الباحثون النجاح ليس فقط من خلال ما إذا كانت الإجابة النهائية صحيحة، بل من خلال ما إذا كان الذكاء الاصطناعي قد جمع بالفعل معلومات كافية لجعل تلك الإجابة مؤكدة.
كشفت النتائج عن ضعف كبير في النماذج الحالية. فبينما أدركت أنظمة الذكاء الاصطناعي بشكل عام أنها تفتقر إلى المعلومات، إلا أنها قللت باستمرار من تقدير حجم ما تحتاجه. فعندما أنشأ الباحثون مشكلات تتطلب قطعتين مفقودتين من المعلومات لحلها، غالباً ما خمنت النماذج أن قطعة واحدة فقط هي المفقودة. وفي الألغاز المنطقية، كانت النماذج أكثر عرضة بأربعة أضعاف لتقدير المعلومات المفقودة بأقل من حجمها الحقيقي مقارنة بتقديرها بأكثر من حجمها. كما واجهت صعوبة في تحديد الأسئلة المحددة التي من شأنها حل المشكلة فعلياً. وحتى عندما أخبر الباحثون النماذج بالضبط عدد الأسئلة التي يتعين عليها طرحها، فشلت النماذج غالباً في اختيار المجموعة الصحيحة من الأسئلة؛ إذ كانت تطرح أسئلة غير ذات صلة أو تتوقف عن السؤال مبكراً جداً، مما يترك اللغز دون حل.
بحثت الدراسة أيضاً في ترتيب طرح الأسئلة. ففي مجالات مثل الطب، يسلسل المعلومات أمر بالغ الأهمية. يجب على الطبيب أن يحدد ما إذا كان الألم حاداً أو مزمناً قبل أن يقرر الفحوصات التي سيطلبها تالياً. ووجد الباحثون أنه عندما طرحت نماذج الذكاء الاصطناعي الأسئلة الصحيحة ولكن بالترتيب الخاطئ، انخفضت دقتها النهائية بشكل كبير. وهذا يشير إلى أن معرفة ما تسأل ليس سوى نصف المعركة؛ فمعرفة متى تسأل هي أمر لا يقل أهمية. علاوة على ذلك، اكتشف الباحثون أن النموذج يمكنه التعافي من سؤال أول سيء. فإذا طرح النموذج سؤالاً غير مفيد في البداية ولكنه استمر في طرح أسئلة ذات صلة في الجولات التالية، فبإمكانه الوصول إلى الحل الصحيح. ومع ذلك، فشلت العديد من النماذج في الاستمرار، حيث توقفت غالباً بعد جولات قليلة حتى بعد أن لم تكن قد جمعت أدلة كافية.
ولعل النتيجة الأكثر إثارة للدهشة هي أن قدرة النموذج على طرح أسئلة جيدة منفصلة عن قدرته على تقديم إجابة جيدة. اختبر الباحثون ذلك من خلال أخذ محادثة كان الذكاء الاصطناعي قد جمع فيها جميع المعلومات اللازمة ثم طلبوا من نموذج آخر حل اللغز بناءً على تلك المحادثة وحدها. ووجدوا أن بعض النماذج يمكنها حل اللغز بشكل مثالي عند تزويدها بكامل الحقائق، حتى لو فشلت في جمع تلك الحقائق بنفسها. وهذا يعني أن الفشل لم يكن في التفكير أو المعرفة لدى النموذج، بل في عملية البحث عن المعلومات. لم تكن النماذج سيئة في حل المشكلات، بل كانت سيئة في معرفة ما لا تعرفه.
خلص الباحثون إلى أن التقييمات الحالية للذكاء الاصطناعي غير مكتملة. إن قياس الدقة النهائية لإجابة النموذج فقط يخفي حقيقة أن النموذج قد وصل إلى تلك الإجابة عن طريق التخمين أو عن طريق تجاهل المعلومات المفقودة. ولفهم كيفية تفاعل الذكاء الاصطناعي مع العالم حقاً، يجب أن نقيس قدرته على إدراك عدم اليقين، وتحديد ما هو مفقود، والحصول على تلك المعلومات المفقودة خطوة بخطوة. يوفر هذا الإطار الجديد طريقة للقيام بذلك بالضبط، موضحاً أنه بينما تعد نماذج اليوم قوية، إلا أنها لا تزال تفتقر إلى الحس البديهي للخبير البشري الذي يعرف متى يتوقف عن التخمين ويبدأ في السؤال.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.