Linear-LLM-SCM: Benchmarking LLMs for Coefficient Elicitation in Linear-Gaussian Causal Models
تقدم هذه الورقة Linear-LLM-SCM، وهو إطار عمل لتقييم قدرة النماذج اللغوية الكبيرة على تقدير المعاملات السببية الكمية في النماذج السببية الهيكلية الخطية الغاوسية، مما يكشف عن قيود كبيرة في دقتها واستقرارها عبر مجموعات البيانات الواقعية.
المؤلفون الأصليون:Kanta Yamaoka, Sumantrak Mukherjee, Thomas Gärtner, David Antony Selby, Stefan Konigorski, Eyke Hüllermeier, Viktor Bengs, Sebastian Josef Vollmer
المؤلفون الأصليون: Kanta Yamaoka, Sumantrak Mukherjee, Thomas Gärtner, David Antony Selby, Stefan Konigorski, Eyke Hüllermeier, Viktor Bengs, Sebastian Josef Vollmer
تخيل أن لديك روبوتًا فائق الذكاء قد قرأ كل الكتب والمقالات والمواقع الإلكترونية تقريبًا على الإنترنت. تسأله سؤالًا، فيجيبك بثقة أستاذ جامعي متمرس. لكن هنا تكمن العقبة: بينما يبدو هذا الروبوت مذهلاً في إخبارك بأن شيئين مرتبطان ببعضهما (مثل "التدخين يسبب السعال")، فإنه غالبًا ما يعاني في تحديد مقدار هذا الارتباط (مثل "التدخين يزيد من حدة السعال بنسبة 15% تمامًا"). هذا هو الفرق بين الاستدلال النوعي (معرفة القصة) والاستدلال الكمي (معرفة الرياضيات). في عالم العلوم، نستخدم شيئًا يسمى "النماذج السببية" لرسم خرائط هذه القصص. فكر في النموذج السببي كأنه مخطط انسيابي أو وصفة طعام حيث توضح الأسهم كيف يغير مكونٌ ما مكونًا آخر. عادةً، يحتاج العلماء إلى معالجة الأرقام من تجارب حقيقية لمعرفة المقادير الدقيقة في تلك الوصفة. ولكن ماذا لو استطعنا فقط أن نطلب من روبوتنا فائق الذكاء تخمين تلك الأرقام بناءً على ما قرأه؟ هذا هو السؤال الكبير الذي يطرحه الباحثون اليوم: هل يمكن لذكاء اصطناعي يعرف كل شيء عن العالم أن يقوم أيضًا بالعمليات الحسابية للتنبؤ بالمستقبل بدقة؟
هذه الورقة البحثية، التي تحمل عنوان "Linear-LLM-SCM"، تنشئ ساحة تجارب لاختبار ذلك بالضبط. فقد صمم الباحثون لعبة أعطوا فيها سبعة نماذج مختلفة من "النماذج اللغوية الكبيرة" (وهو الاسم الفني لهذه الروبوتات فائقة الذكاء) خريطة لنظام واقعي، وهو ما يسمى "الرسم البياني الموجه غير الدوري"، أو DAG اختصارًا. يمكنك التفكير في الـ DAG كخريطة شوارع ذات اتجاه واحد للسبب والنتيجة، حيث لا يمكنك القيادة في دوائر مفرغة. أظهرت الخريطة أي المتغيرات (مثل "مستويات الجلوكوز" أو "إنفاق المال") تؤثر في غيرها. كانت مهمة الروبوتات هي العمل كخبراء إحصائيين وكتابة المعادلات الرياضية الدقيقة التي تصف هذه العلاقات، وتحديدًا تخمين "المعاملات" (وهي الأرقام التي تخبرنا بمدى قوة التأثير).
اختبر الفريق سبع خرائط من العالم الحقيقي، تتراوح من كيفية إنفاق الناس لأموالهم إلى كيفية نمو النباتات في الطحالب. طلبوا من الروبوتات النظر إلى الخريطة وأوصاف المتغيرات، ثم كتابة معادلة انحدار (صيغة رياضية) لكل جزء من الخريطة. بعد ذلك، قارنوا تخمينات الروبوتات بما يسمى "الحقيقة الأرضية" (ground truth)—أي الأرقام الصحيحة الفعلية التي قاسها العلماء بالفعل في العالم الحقيقي.
جاءت النتائج مزيجًا من "ليس سيئًا" و"يا للخطأ". وجد الباحثون أنه بينما يمكن للروبوتات أحيانًا تخمين الاتجاه الصحيح (تأثير إيجابي أو سلبي)، إلا أن الأرقام الفعلية كانت مشتتة للغاية. وحتى عندما أخبر الباحثون الروبوتات بأن تكون متسقة قدر الإمكان (من خلال ضبط "درجة الحرارة" إلى صفر، وهو ما يشبه إخبار الروبوت بالتوقف عن التخمين والاكتفاء بالحساب فقط)، ظلت الإجابات تتباين بشكل كبير من محاولة إلى أخرى. على سبيل المثال، في خريطة "الدنف" (المرتبطة بضمور العضلات)، خمن أحد الروبوتات معاملًا قدره 1.07، بينما خمن آخر 1.04، وكان التباين عاليًا بما يكفي ليكون مقلقًا. وفي خريطة "الطحالب"، فشل نموذج روبوت أصغر (Llama 3.1 8B) تمامًا في كتابة معادلة قابلة للقراءة.
كما أخضع الباحثون الروبوتات لاختبار جهد لمعرفة مدى صمودها. أولاً، قاموا بتغيير وحدات القياس (مثل التبديل من الميكرومتر إلى النانومتر). ومن المثير للدهشة، أن هذا جعل إجابات الروبوتات تبدو أحيانًا "أفضل" بالصدفة، ربما لأن الأرقام أصبحت أسهل في الكتابة، وليس لأن الروبوتات فهمت الفيزياء بشكل أفضل. ثانيًا، خدعوا الروبوتات بإضافة اتصالات وهمية إلى الخريطة (حواف زائفة). عندما احتوت الخريطة على سهم وهمي يشير من شيء إلى آخر دون أن يؤثر عليه فعليًا، انخفض أداء الروبوتات؛ فقد ارتبكت، وساءت قدرتها على ترتيب أهمية العوامل المختلفة.
الخلاصة الرئيسية هي أنه بينما تعد هذه النماذج من الذكاء الاصطناعي جيدة في فهم "قصة" السبب والنتيجة، إلا أنها غير موثوقة حاليًا في إجراء "الرياضيات" للتنبؤ بالحجم الدقيق لتلك التأثيرات. تشير الدراسة إلى أن استخدام هذه الروبوتات لاتخاذ قرارات عالية المخاطر، مثل الرعاية الصحية أو السياقات السريرية، يعد أمرًا محفوفًا بالمخاطر في الوقت الحالي لأن أرقامها يمكن أن تكون غير متسقة وحساسة للتغييرات الصغيرة في كيفية عرض المشكلة. المؤلفون لا يقولون إن الروبوتات عديمة الفائدة، بل يقولون إننا بحاجة إلى توخي الحذر الشديد وعدم الوثوق بها في الأرقام النهائية حتى تصبح أكثر استقرارًا. لقد قاموا بالفعل بنشر إطار الاختبار الخاص بهم للجمهور حتى يتمكن العلماء الآخرون من الاستمرار في محاولة حل هذه المشكلة، آملين أن يأتي يوم يستطيع فيه مساعدونا الرقميون ليس فقط سرد القصة، بل وأيضًا القيام بالرياضيات بشكل مثالي.
ملخص تقني: Linear-LLM-SCM
بيان المشكلة بينما أظهرت النماذج اللغوية الكبيرة (LLMs) إمكانات في تحديد العلاقات السببية النوعية (مهام النوع 1)، إلا أن قدرتها على إجراء الاستدلال السببي الكمي — وتحديداً تقدير أحجام التأثير التي تصف العلاقات الوظيفية في المجالات المستمرة (مهام النوع 3) — لا تزال غير مستكشفة بشكل كافٍ. تشير الأبحاث الحالية إلى أن النماذج اللغوية الكبيرة تواجه صعوبة في اكتشاف البنى السببية من البيانات وتقدير النتائج كمياً. علاوة على ذلك، تعتمد الطرق الحالية لتقدير التأثير السببي القائم على النماذج اللغوية الكبيرة غالباً على مجالات منفصلة (discrete)، أو تتطلب بيانات رصدية عددية، أو تستخدم بنيات متخصصة لأخذ عينات من التوزيعات الشرطية بدلاً من استخلاص المعلمات الهيكلية مباشرة. تعالج هذه الورقة الفجوة في تقييم ما إذا كان بإمكان النماذج اللغوية الكبيرة تقدير معلمات التأثير السببي الخطي المستمرة لنماذج هيكلية سببية (SCMs) محددة مسبقاً باستخدام البنية السببية ودلالات المتغيرات فقط، دون الحاجة إلى بيانات رصدية.
المنهجية: إطار عمل Linear-LLM-SCM يقدم المؤلفون Linear-LLM-SCM، وهو إطار عمل "plug-and-play" مصمم لاختبار النماذج اللغوية الكبيرة في معلمات نماذج SCM الخطية-الغاوسية (Linear-Gaussian). يعمل إطار العمل تحت افتراض أن النماذج اللغوية الكبيرة قد تعلمت معلومات كمية أو نوعية من مجموعات البيانات التدريبية الخاصة بها، بما في ذلك الأدبيات العلمية المصاغة كنماذج SCM أو انحدارات خطية.
متطلبات المدخلات: يتطلب النظام رسم بياني موجه غير حلقي (DAG)، وأوصاف للمتغيرات (D) تشمل الوحدات والنصوص القصيرة، وقيود المتغيرات (R) (الحدود الدنيا/العليا). يتم توفير معلمات التأثير الحقيقية لأغراض التقييم.
التفكيك والتحفيز (Prompting): بدلاً من تغذية الرسم البياني بالكامل للنموذج، يقوم إطار العمل بتفكيك الرسم البياني إلى مجموعات محلية من "الآباء والأبناء". يقوم الإطار بالتنقل في الرسم البياني بترتيب طوبولوجي. لكل عقدة مستهدفة، يتم تحفيز النموذج اللغوي بـ:
تحليل الاستجابة: يقوم النظام باستخراج معاملات بيتا من المخرجات النصية للنموذج اللغوي، حيث يتم تحليل المعادلة الخطية لمقارنتها بالحقيقة الأرضية (ground truth).
التغذية الراجعة التكرارية: لفرض الاتساق العالمي داخل الرسم البياني، يتضمن إطار العمل آلية تغذية راجعة تكرارية. يقوم الإطار بإجراء فحوصات سلامة تحليلية مقابل قيود صارمة محددة مسبقاً (مثل نطاقات المتغيرات) ويعيد محاولة الاستخلاص إذا تم انتهاك القيود.
مقاييس التقييم: يقارن إطار العمل المعلمات المستخلصة بالحقيقة الأرضية باستخدام أربعة مقاييس:
M1–M3: مسافات معيار L2 بين ناقلات المعلمات (مع طرق تجميع مختلفة). M2 وM3 هي مقاييس مستقلة عن المقياس أو معيرة لمعالجة مشكلات نطاق المتغيرات.
M4: مقياس يلتقط ترتيب حجم التأثير النسبي لكل عقدة.
الإعداد التجريبي
النماذج: قيمت الدراسة أربعة نماذج لغوية كبيرة عامة مدربة مسبقاً: Gemini 2.5 Flash (مزيج ندرة من الخبراء - sparse Mixture-of-Experts)، Llama 3.1 8B (كثيف)، Llama 3.3 70B (كثيف)، و GPT-5.4.
مجموعات البيانات: تم اختيار سبعة رسوم بيانية (DAGs) من الواقع من مستودع BnRep، تم تصفيتها لتناسب الإعدادات الخطية-الغاوسية المستمرة وبحد أقصى 15 عقدة.
الحالات:
التقدير المباشر: المعلمة القياسية مقابل الحقيقة الأرضية.
الظروف العدائية (RQ2):
تعديل الوحدات: تغيير وحدات المتغيرات (مثلاً من μM إلى nM) لاختبار المتانة.
خطأ في توصيف الرسم البياني (DAG Misspecification): إدخال حواف زائفة في بنية الرسم البياني لمحاكاة أخطاء النمذجة أو القيود الرصدية.
البروتوكول: تم تشغيل كل حالة 25 مرة مع ضبط درجة الحرارة (temperature) عند الصفر لتقليل العشوائية، مع ذكر المتوسطات مع فترات ثقة 95%.
النتائج الرئيسية
التقدير المباشر (RQ1):
تفاوت الأداء بشكل كبير عبر الرسوم البيانية والنماذج. لم يتفوق نموذج واحد في جميع المقاييس عبر جميع الرسوم البيضاء.
أدى GPT-5.4 و Gemini 2.5 Flash أداءً أفضل عموماً في M3 (المسافة) و M4 (الترتيب).
تفوق Llama 3.3 70B عموماً على النموذج الأصغر Llama 3.1 8B، مما يشير إلى فائدة زيادة عدد المعلمات لهذه المهمة.
فشل النموذج الصغير (Llama 3.1 8B) في توليد معادلات قابلة للتحليل لـ algal2 DAG.
العشوائية: حتى عند درجة حرارة صفر، أظهرت النماذج الأكبر (Gemini 2.5 Flash, Llama 3.3 70B, GPT-5.4) تبايناً كبيراً عبر التشغيلات، مع توزيعات غير غاوسية. تم تحديد عدم الحتمية هذا كنمط فشل حرج للتطبيقات ذات الأهمية الحرجة للسلامة.
المتانة (RQ2):
حساسية الوحدات: أدى تغيير الوحدات أحياناً إلى تحسين المقايلات بشكل غير متوقع، ربما بسبب زيادة الدقة العددية في التمثيل النصي (مثلاً 1→1000).
الاضطراب الهيكلي: أدى إضافة حواف زائفة (خطأ في توصيف DAG) عموماً إلى تدهور الأداء. أظهرت معظم النماذج زيادة في المسافة (M3) وانخفاضاً في دقة الترتيب (M4) تحت الظروف العدائية الهيكلية، مما يشير إلى متانة محدودة تجاه عدم اليقين الهيكلي.
المساهمات الرئيسية
تقديم إطار العمل: تقدم الورقة Linear-LLM-SCM، وهو إطار عمل جديد لتقييم النماذج اللغوية الكبيرة في المعلمة السببية الكمية في المجالات المستمرة دون بيانات رصدية.
خط معالجة مفتوح المصدر: جعل المؤلفون خط التقيية مفتوح المصدر، مما يسمح للباحثين بإضافة رسوماتهم البيانية (DAGs)، وبيانات وصف المتغيرات، والنماذج اللغوية الخاصة بهم.
التقييم التجريبي: توفر الدراسة معياراً منهجياً عبر سبعة رسوم بيانية من الواقع وأربعة بنيات متنوعة للنماذج اللغوية الكبيرة، مما يسلط الضوء على القيود الحالية للنماذج اللغوية الكبيرة كمعلمات سببية كمية.
تحليل أنماط الفشل: يحدد العمل أنماط فشل محددة، بما في ذلك التباين العالي في تقديرات المعاملات، والحساسية للاضطرابات الهيكلية، وعدم قدرة النماذج الأصغر على تحليل المعادلات المعقدة باستمرار.
الأهمية والادعاءات تضع الورقة عملها كخطوة ضرورية لفهم القدرات والقيود للنماذج اللغية الكبيرة في المجالات الحرجة للسلامة، مثل الرعاية الصحية، حيث تكون المعرفة الخبيرة السببية الكمية مطلوبة. يصرح المؤلفون صراحةً بأنه لا ينبغي حالياً استخدام النماذج اللغية الكبيرة لتقدير التأثير السببي الكمي في الرعاية الصحية الحقيقية أو دعم القرار السريري بسبب التباين الملحوظ ونقص المتانة.
تكمن الأهمية في:
تسليط الضوء على الفجوة: إثبات أنه بينما قد تشفر النماذج اللغية الكبيرة المعرفة السببية نوعياً، فإن استدلالها الكمي في المجالات الخطية المستمرة غير موثوق حالياً.
تداعيات السلامة: تشكل العشوائية والحساسية للضوضاء الهيكلية مخاطر على التطبيقات الحرجة للسلامة، مما يستوجب مزيد من البحث في استراتيجيات اختبار السلامة والتخفيف منها قبل النشر.
مورد للمجتمع العلمي: من خلال توفير إطار عمل معياري، يهدف المؤلفون إلى تشجيع المزيد من الدراسات حول استخلاص التأثير السبدي القائم على النماذج اللغية، مع التركيز بشكل خاص على تحسين المتانة وتقليل التباين.
يخلص المؤلفون إلى أن العمل المستقبلي يجب أن يوسع إطار العمل ليشمل الأشكال الوظيفية غير الخطية، ويستقصي طرق تخفيف الضوضاء الهيكلية، وكذلك فحص ما إذا كانت مخرجات عدم اليقين النصية للنماذج اللغية معايرة (calibrated).