Why LLMs Fail at Causal Discovery and How Interventional Agents Escape

ملخص تقني: لماذا تفشل النماذج اللغوية الكبيرة في الاكتشاف السببي وكيف تنجو الوكلاء التدخليون

بيان المشكلة
يعد الاكتشاف السببي (استعادة بنى الرسوم البيانية السببية من البيانات الإحصائية) أمراً جوهرياً للاستدلال العلمي، ولكنه لا يزال يمثل تحدياً مفتوحاً للنماذج اللغوية الكبيرة (LLMs). وبينما تتفوق هذه النماذج في مهام اللغة الطبيعية، تشير الاختبارات المرجعية الحديثة (مثل Corr2Cause) إلى أنها تفشل في التمييز بشكل موثوق بين الرسوم البيانية السببية التي تولد بيانات رصدية متشابهة. وتحديداً، تعاني النماذج من فرضيات "الخطأ الوشيك" (near-miss): وهي الرسوم البيانية الموجهة غير الحلقية (DAGs) التي تنتمي إلى فئات تكافؤ ماركوف مختلفة ولكنها تنتج عبارات استقلال شرطي متطابقة تقريباً. وتظهر الأساليب الحالية، بما في ذلك استراتيجيات التلقين (prompting)، والضبط الدقيق الخاضع للإشراف (SFT)، وتحسين التفضيل المباشر (DPO)، والتعلم داخل السياق (ICL)، تدهوراً تجريبياً مع زيادة تعقيد الرسم البياني، ومع ذلك لم يتم تحديد السبب النظري لهذا الفشل بعد.

المنهجية والإطار النظري
يصيغ المؤلفون فشل النماذج اللغوية الكبيرة في الاكتشاف السببي كـ مبرهنة عائق النواة (Kernel Obstruction Theorem).

1. مبرهنة عائق النواة (المبرهنة 1): يثبت البحث أن أساليب SFT وDPO وICL تنتج متنبئات تعمل ضمن فضاء هيلبرت لإعادة إنتاج النواة (RKHS) ذات معايير محدودة (نظام "الكسل" أو NTK). بالنسبة لأزواج فرضيات "الخطأ الوشيك" (على سبيل المثال، سلسلة $V_1 \to V_2 \to V_3$ مقابل شوكة $V_1 \leftarrow V_2 \to V_3$)، تكون رموز البيانات الرصدية متطابقة تقريباً، مما يؤدي إلى تقارب تشابه النواة إلى 1 ($\delta \to 0$).

   • توضح المبرهنة أنه لتمييز هذه الفرضيات بهامش درجة $\gamma$، يجب أن ينمو معيار متجه وزن المتنبئ ($B$) كـ $B \geq \gamma / (\kappa\sqrt{2\delta})$.
   • مع زيادة تعقيد الرسم البياني ($d$)، يتدرج $\delta$ كـ $O(1/d^2)$. وبناءً على ذلك، فإن المعيار المطلوب $B$ يؤول إلى اللانهاية. وبما أن طرق التدريب مثل SFT وDPO تعمل تحت قيد المعايير المحدودة (التدريب الكسول)، فهي عاجزة هندسياً عن تمييز فرضيات الخطأ الوشيك مع زيادة التعقيد.

2. التحسين البايزي السببي الوكيل (A-CBO): للهروب من هذا العائق، يقترح المؤلفون إطار عمل ينقل عملية اتخاذ القرار المنفصلة خارج فضاء RKHS الخاص بالنموذج اللغوي الكبير.

   • الأوراكل التدخلي (Interventional Oracle): يعمل النموذج اللغوي الكبير (المجمد) حصرياً كـ "أوراكل" يجيب على استعلامات تدخلية ثنائية (على سبيل المثال، "هل تتغير $V_j$ تحت تأثير $do(V_i=v)$؟"). تثبت اللمة 2 أنه بينما قد تكون البيانات الرصدية حالات "خطأ وشيك"، فإن الاستجابات التدخلية تكون منفصلة بالنواة بهامش ثابت $\rho$ مستقل عن $\delta$.
   • الحلقة البايزية الخارجية: يحافظ وكيل خارجي على توزيع احتمالي فوق الرسوم البيانية المرشحة في مجمع الاحتمالات $\Delta^{n-1}$. ويستخدم تقييماً معلوماتياً (كسب المعلومات) لاختيار التدخل الأكثر تمييزاً، ويستعلم من النموذج اللغوي الكبير، ثم يحدث توزيع الاعتقاد عبر قاعدة بايز.
   • التقارب: نظرًا لأن منطق القرار يعمل في المجمع (simplex) بدلاً من RKHS، فإن معدل التقارب مستقل عن معامل الخطأ الوشيك $\delta$. وتثبت المبرهنة 2 أن A-CBO يتقارب نحو الرسم البياني الصحيح في $O(\log n)$ من الجولات، بشرما كان الرسم البياني الحقيقي قابلاً للتمييز تدخلياً.

المساهمات الرئيسية

1. الإثبات النظري للفشل: يثبت البحث أن عدم قدرة النماذج اللغوية الكبيرة على فصل فرضيات الخطأ الوشيك السببية هو عائق هندسي أساسي متأصل في المتنبئات من نوع النواة (SFT, DPO, ICL) في نظام الكسل، وليس قصوراً في حجم النموذج أو حجم البيانات.
2. إطار عمل A-CBO: تقديم "التحسين البايزي السببي الوكيل"، الذي يفصل دور النموذج اللغوي الكبير (الإجابة على الاستعلامات الثنائية المحلية) عن القرار السببي (اختيار الفرضية العالمي)، مما يتجاوز عائق النواة.
3. اختبار مرجعي موسع: إنشاء Extended Corr2Cause، وهو اختبار مرجعي جديد يتدرج من 7 إلى 24 متغيراً مع 18,000 عينة اختبار، مصمم لاختبار القدرة على التمييز السببي عند النطاقات الكبيرة حيث تتقلص فجوات الخطأ الوشيك إلى $O(1/d^2)$.

النتائج التجريبية

• Corr2Cause (الأصلي): يضاهي A-CBO أو يتفوق على النماذج المرجعية التي خضعت للضبط الدقيق (مثل LLaMA-7B FT) دون أي تحديثات تدرجية. على سبيل المثال، حقق نموذج A-CBO رفيع المستوى (GLM-5.1) درجة F1 بلغت 93.2، متفوقاً على LLaMA-7B المضبط دقيقاً (92.0).
• Extended Corr2Cause (d=7–24):
  • القابلية للتوسع: تتدهور النماذج المضبطة دقيقاً (SFT وDPO) بشكل كارثي مع زيادة حجم الرسم البياني، حيث تنخفض إلى دقة تقارب العشوائية (35.1% لـ S%， عند $d=21-24$). في المقابل، يحافظ A-CBO على أداء قوي (دقة 83.2% للنماذج رفيعة المستوى) عبر جميع أحجام الرسوم البيانية.
  • نمو الميزة: تنمو الفجوة في الأداء بين A-CBO والنماذج المرجعية المضبطة دقيقاً بشكل رتيب مع تعقيد الرسم البياني. في أصعب الرسوم البيانية ($d=21-24$)، يتفوق A-CBO على SFT بمقدار +44.7 نقطة مئوية.
  • الدراسة الاستئصالية (Ablation): الحلقة الوكيلية هي التي تقود الأداء. تطبيق A-CBO على النماذج ذات التمرير الصفري (zero-shot) يحقق مكاسب هائلة (على سبيل المثال، +59.3 نقطة مئوية لـ Qwen3-30B)، مما يؤكد أن التحسن ينبع من البنية الهيكلية وليس من القدرة الخام للنموذج.

الأهمية والادعاءات
يدعي البحث أن الاستعلام التدخلي ليس مجرد وسيلة استدلالية، بل هو هروب ضروري وكافٍ مثبت من عائق RKHS. ومن خلال قصر دور النموذج اللغوي الكبير على دور "الأوراكل" غير القراري وتفويض التمييز بين الفرضيات إلى حلقة بايزية خارجية، يحقق A-CBO اكتشافاً سببياً موثوقاً على نطاق واسع دون الحاجة إلى تعلم تمثيلات جديدة أو مغادرة نظام التدريب الكسول. يوفر هذا العمل أساساً مبدئياً للوكلاء اللغويين في العلوم والسياسات، مجادلاً بأن الذكاء السببي الحقيقي يتطلب الانتقال من الإشراف الارتباطي إلى هياكل الاستدلال التدخلي التي تحترم الحدود الهندسية لنماذج التعلم الحالية.