From Causal Plausibility to Causal Reliability: Evaluating LLMs as Calibrated Direct Causal-Edge Classifiers
تقيم هذه الورقة البحثية بشكل منهجي اثني عشر نموذجاً من نماذج اللغات الكبيرة بصفتها مصنفات مباشرة للحواف السببية، وتجد أنه بينما تُظهر هذه النماذج قدرة قوية على الاستدعاء، إلا أنها تعاني من الإفراط الملحوظ في التنبؤ، وضعف التمييز بين العلاقات المباشرة وغير المباشرة، والثقة المفرطة الشديدة في الأحكام الخاطئة، مما يشير إلى أنها ملائمة لتكون مصادر للبديهيات السببية الناعمة بدلاً من كونها أدلة مباشرة موثوقة للبنية السببية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
غالباً ما يسعى العلم ليس فقط لفهم ما يحدث، بل لماذا يحدث. عندما يحاول الباحثون رسم خريطة للأسباب الكامنة وراء ظاهرة ما — سواء كانت فيروساً ينتشر بين السكان أو آلة تتعطل في مصنع — فإنهم يبنون رسماً بيانياً للروابط. في هذا الرسم، يعني الخط المباشل من شيء إلى آخر أن الشيء الأول يسبب الثاني فوراً. إذا أدى فيروس إلى عدوى، والتي تؤدي بدورها إلى نتيجة فحص إيجابية، فإن الفيروس يسبب نتيجة الفحص بشكل غير مباشر فقط، من خلال العدوى. إن تحديد أي الخطوط مباشرة وأيها غير مباشرة هو لغز صعب يُعرف باسم "الاكتشاف السببي". لعقود من الزمن، اعتمد العلماء على أدوات رياضية معقدة ومجموعات كبيرة من الملاحظات لحل هذا اللغز، لكن هذه الأدوات تواجه أحياناً صعوبات عندما تكون البيانات شحيحة أو عندما تبدو الأنماط المختلفة متطابقة.
في السنوات الأخيرة، ظهر نوع جديد من الأدوات: النماذج اللغوية الكبيرة. هذه أنظمة حاسوبية مدربة على كميات هائلة من النصوص التي يمكنها الإجابة على الأسئلة، وكتابة القصص، والتفكير في المشكلات. ولأنها قرأت الكثير، يبدو أنها تمتلك بئراً عميقة من المعرفة حول كيفية عمل العالم، بما في ذلك كيفية تسبب الأشياء في بعضها البعض. بدأ الباحثون يتساءلون عما إذا كان بإمكان هذه الأنظمة أن تعمل كمرشدين خبراء، يخبروننا أي الروابط في الرسم البياني حقيقية ومباشرة. كان الأمل هو أن توفر هذه النماذج طريقاً مختصراً، حيث تقدم أحكاماً موثوقة حول السبب والنتيجة دون الحاجة إلى إجراء تجارب مكلفة. ومع ذلك، تشير دراسة جديدة إلى أنه بينما تجيد هذه النماذج استشعار وجود علاقة بين شيئين، إلا أنها غالباً ما تكون سيئة للغاية في معرفة كيفية ارتباطهما بالضبط، وهي واثقة جداً من نفسها عندما تخطئ.
وضع فريق من الباحثين هدفاً لاختبار مدى موثوقية هذه النماذج عبر معاملتها كقضاة للعلاقات المباشرة بين السبب والنتيجة. جمعوا اثني عشر إصداراً مختلفاً من هذه النماذج، تتراوح من الأنظمة الأصغر والأكثر كفاءة إلى الأنظمة الضخمة والقوية. ثم قدموا لهذه النماذج ستة سيناريوهات مختلفة من واقع الحياة، يمثل كل منها خريطة معروفة للأسباب والنتائج. غطت هذه السيناريوهات مجالات متنوعة، من الحالات الطبية مثل التهاب الكبد ومرض كوفيد-19 إلى العمليات الصناعية والأنظمة البيئية. ولكل زوج من المتغيرات في هذه الخرائط، سأل الباحثون النماذج سؤالاً بسيطاً: هل يسبب العنصر الأول العنصر الثاني بشكل مباشر؟ كان على النماذج أن تجيب بنعم أو لا وتقدم درجة ثقة، وهو رقم يشير إلى مدى تأكدها من إجابتها.
كشفت النتة عن نمط ثابت من الحماس المفرط. فقد مالت النماذج إلى قول "نعم" بشكل متكرر للغاية. وبدلاً من رسم خريطة متفرقة تحتوي فقط على الروابط المباشرة الضرورية، أنتجت النماذج شبكات كثيفة حيث يبدو أن كل شيء تقريباً مرتبط بكل شيء آخر. كان هذا السلوك قوياً لدرجة أنه حتى عندما حاول الباحثون طرقاً مختلفة لطرح الأسئلة، لم يتمكنوا من تدريب النماذج بسهولة لتكون أكثر انتقائية. كانت النماذج تحدد بشكل صحيح أن شيئين مرتبطان، لكنها كانت تفشل في التمييز بين السبب المباشر والسبب غير المباشر. على سبيل المثال، إذا تسبب فيروس في عدوى أدت بدورها إلى حمى، فإن النموذج غالباً ما يدعي أن الفيروس سبب الحمى مباشرة، متجاهلاً الخطوة الوسطى. حدث هذا الخطأ في حوالي 40 بالمائة من الحالات التي كانت فيها العلاقة غير مباشرة، وفي 36 بالمائة من الحالات التي كان فيها الاتجاه معكوساً.
ولعل النتيجة الأكثر إثارة للقلق هي افتقار النماذج للوعي الذاتي بشأن أخطائها. فعندما ارتكبت هذه النماذج أخطاءً هيكلية، لم تتردد؛ ففي أكثر من 80 بالمائة من الحالات التي ادعت فيها خطأً وجود رابط مباشر بين عناصر مرتبطة بشكل غير مباشر، أعطت درجة ثقة لا تقل عن 80 بالمائة. لم تكن مجرد تخمين، بل كانت مخطئة بثقة. كما بحثت الدراسة فيما إذا كان يمكن الوثوق بالنماذج للتمييز بين التخمين الصحيح والخاطئ بناءً على درجات الثقة الخاصة بها. وجد الباحثون أن أرقام الثقة التي منحتها النماذج لنفسها كانت غالباً غير موثوقة. قد يقول النموذج إنه متأكد بنسبة 90 بالمائة، لكن هذا الرقم لا يرتبط في الواقع بصحة الإجابة. الطريقة الوحيدة التي أظهرت تحسناً طفيفاً كانت سؤال النماذج بالطرق نفسها ورؤية ما إذا كانت تتفق مع بعضها البعض، ولكن حتى هذه الطريقة لم تكن حلاً مثالياً.
كما بحث الباحثون فيما إذا كانت النماذج تقوم ببساطة بحفظ الإجابات لأسئلة الاختبار التي رأتها من قبل. وجدوا أنه بالنسبة لمجموعة بيانات محددة تتعلق بحالة طبية، كان أداء العديد من النماذج جيداً بشكل مريب، مما يشير إلى أنها ربما رأت هذه البيانات أثناء تدريبها. ومع ذلك، فإن هذا التعرف لم يفسر الأداء الضعيف في مجموعات البيانات الخمس الأخرى، حيث ظلت النماذج تعاني من نفس أنواع الأخطاء. وحتى عندما أجبر الباحثون النماذج على الاختيار بين ثلاثة خيارات — سبب مباشر، أو سبب عكسي، أو لا يوجد رابط مباشر — بدلاً من خيارين فقط، لم تتحسن النماذج بشكل ملحوظ. استمرت في التنبؤ بوجود روابط مباشرة حيث لا توجد، مما أثبت أن المشكلة لم تكن مجرد خلل في كيفية طرح الأسئلة، بل كانت قصوراً جوهرياً في كيفية فهم هذه الأنظمة للسببية.
في النهاية، تخلص الدراسة إلى أنه بينما تعد النماذج اللغوية الكبيرة أدوات قوية لتوليد الأفكار، لا ينبغي التعامل معها كدليل قاطع على كيفية عمل العالم. من الأفضل النظر إليها كمصادر للاقتراحات الناعمة، التي تقدم نقطة انطلاق يجب التحقق منها والتحقق من صحتها بطرق أخرى. يمكنها إخبارنا أن شيئين من المرجح أن يكونا مرتبطين، لكن لا يمكن الوثوق بها لرسم الخطوط الدقيقة لخريطة سببية بمفردها. إن الثقة التي تعبر عنها هي غالباً انعكاس لبيانات تدريبها وليس مقياساً حقيقياً للحقيقة. بالنسبة للعلماء والمهندسين الذين يحتاجون إلى فهم الآليات الدقيقة للسبب والنتيجة، فإن الاعتماد حصرياً على هذه النماذج سيكون بمثابة التنقل في مدينة معقدة باستخدام خريطة تربط كل شارع بكل شارع آخر؛ قد تبدو شاملة، لكنها ستضللك. إن الطريق إلى الأمام يكمن في استخدام هذه النماذج لتوليد فرضيات يتم اختبارها بصرامة، بدلاً من قبول أحكامها الواثقة كإجابات نهائية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.