Evidence-Type Competition: When Can Interventional Data Teach Language Models Causal Direction?
تُظهر هذه الورقة أنه في البيئات الاصطناعية حيث تتعارض الأدلة الرصدية والتدخلية، فإن قدرة النموذج اللغوي على استنتاج الاتجاه السببي لا تتحدد بمزيج بيانات التدريب، بل يتم تبديلها ديناميكيًا بالتشغيل أو الإيقاف بناءً على نوع الأدلة الموجودة في سياق الاستدلال، حيث تعمل الإشارات الرصدية بنشاط على كبح قدرات الاستدلال السببي الكامنة لدى النموذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
المحقق، والخيط، والصوت العالي
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يفهم السبب والنتيجة. أنت تريد منه أن يعرف أنه إذا ضغطت على زر، سيضيء مصباح، وليس فقط أن الزر والمصباح يظهران معاً عادةً. في عالم الذكاء الاصطناعي، هناك فكرة شهيرة تسمى "سلم السببية" (Ladder of Causation). تشير هذه الفكرة إلى أنه لكي يفهم الكائن حقاً لماذا تحدث الأشياء، فإنه يحتاج إلى ما هو أكثر من مجرد مراقبة العالم وهو يمضي (الملاحظة)؛ بل يحتاج إلى التدخل فعلياً وتغيير الأشياء (التدخل). لفترة طويلة، اعتقد الباحثون أن أفضل طريقة لتعليم الذكاء الاصطناعي هذه المهارة هي تغذيته بـ "بيانات تدخلية" غنية—أي قصص يرى فيها الذكاء الاصطناعي شخصاً يضغط بالفعل على الزر ويضيء المصباح.
السؤال الكبير كان بسيطاً: إذا مزجنا المزيد من قصص "الأفعال" في تدريب الروبوت، فهل سيصبح أفضل في تحديد السبب والنتيجة؟ يغوص هذا البحث في هذا السؤال باستخدام عالم افتراضي محكم ومصنوع حيث النتائج معروفة رياضياً. وضع الباحث سيناريو مخادعاً يسمى "مفارقة سيمبسون" (Simpson's Paradox)، وهي لغز إحصائي حيث يبدو شيئان وكأنهما يتحركان في اتجاهين متعاكسين عندما تكتفي بمراقبتهما فقط، بينما يتحركان في الواقع معاً عند النظر إلى السبب الحقيقي. الأمر يشبه رؤية أن الأشخاص الذين يحملون مظلات يصبحون أكثر بللاً من أولئك الذين لا يحملونها، والاستنتاج بأن المظلات تسبب المطر، بينما في الواقع المطر هو ما يسبب كلاً من المظلات والبلل. يختبر البحث ما إذا كان إعطاء الروبوت المزيد من تدريب "التدخل" يمكن أن يساعده على تجاهل أدلة "الملاحظة" المضللة والعثور على السبب الحقيقي.
التجربة: تغذية الروبوت بنظام غذائي مختلط
بنى المؤلف ملعباً رقمياً يحتوي على 50 "عالماً" مختلفاً. في كل عالم، صنع خدعة خفية: أظهرت الملاحظة الطبيعية علاقة سلبية (مثل مثال المظلة)، لكن التأثير السببي الحقيقي كان إيجابياً. ثم قام بتدريب النماذج اللغوية على هذه العوالم، عبر مزج كميات مختلفة من البيانات "التدخلية" (حيث رأى النموذج شخصاً يفرض تغييراً) مقابل البيانات "الملاحظاتية" (حيث كان النموذج يكتفي بالمراقبة).
بدأ الباحث بافتراض شائع، سماه "الفرضية الأولى": "إذا زدنا كمية البيانات التدخلية في مزيج التدريب، فسوف يصبح النموذج أفضل في إيجاد السبب الحقيقي". واختبر ذلك عبر زيادة نسبة البيانات التدخلية ببطء من 0% وصولاً إلى 100%.
وهنا جاءت المفاجأة الصادمة: كانت الفرضية خاطئة.
حتى عندما غدوا النموذج ببيانات تدخلية بنسبة 100% أثناء التدريب، ظل النموذج يخطئ في تحديد اتجاه السبب إذا عُرضت عليه أدلة ملاحظاتية في اللحظة التي يتعين عليه فيها الإجابة. لقد تعلم النموذج حجم التأثير من البيانات التدخلية (عرف أن الضوء سيصبح أكثر سطوعاً)، لكنه نسخ الاتجاه (إيجابي أو سلبي) من أدلة الملاحظة التي رآها في السياق. كان الأمر يشبه طالباً حفظ الصيغ الرياضية بدقة، ولكنه عند خوض الاختبار، تجاهل الصيغ وخمن الإجابة بناءً على نمط الأسئلة السابقة.
الجاني الحقيقي: تبديل السياق
إذا لم يكن مزيج التدريب هو المؤثر، فما هو إذن؟ اكتشف البحث أن العامل الحاسم كان نوع الأدلة الموجودة في السياق في اللحظة التي يجيب فيها النموذج على السؤال.
أجرى الباحث "مقارنة رباعية الاتجاهات" ليرى كيف تؤثر أنواع مختلفة من الأدلة على النموذج:
- الملاحظة البحتة: عندما احتوى السياق فقط على سجلات ملاحظاتية، أخطأ النموذج في الاتجاه 29 مرة من أصل 50.
- الأدلة المختلطة: عندما احتوى السياق على مزيج من الملاحظة والتدخل، أخطأ 19 مرة من أصل 50.
- التدخل البحت (المجسات): عندما احتوى السياق فقط على سجلات تدخل (مجسات)، أصاب النموذج في 41 مرة من أصل 50.
جاء الاكتشاف الأكثر إثارة من "خدعة سحرية" أُجريت أثناء الاختبار. أخذ الباحث نموذجاً تم تدريبه على مزيج من البيانات وكان يفشل بسبب الأدلة الملاحظاتية في سياقه. ثم قام بمسح الأدلة الملاحظاتية من السياق قبل أن يجيب النموذج مباشرة. وفوراً، "اشتغلت" قدرة النموذج على إيجاد السبب الحقيقي؛ حيث قفزت دقته من نتيجة سلبية إلى نتيجة إيجابية، مطابقةً أداء نموذج لم يرَ سوى بيانات التدخل فقط.
أثبت هذا أن النموذج قد تعلم الاستدال السببي طوال الوقت؛ لكنه كان "مطفأً" بسبب وجود أدلة ملاحظاتية. كانت القدرة موجودة في دماغ النموذج (الأوزان)، لكن السياق كان يعمل مثل جهاز تحكم عن بعد يقوم بكتم الإجابة الصحيحة.
كيف يعمل المفتاح: قرص متدرج
استكشف البحث أيضاً كيف يعمل هذا المفتاح. إنه ليس مجرد زر تشغيل/إيقاف بسيط؛ بل يشبه قرص التحكم في مستوى الصوت.
- سجل ملاحظة واحد: بالكاد كبح النموذج.
- سجلان: أضعفا الإشارة، مما جعل النموذج مرتبكاً.
- أربعة سجلات: استولت تماماً على انتباه النموذج، وأجبرته على اتباع الاتجاه الملاحظ الخاطئ.
والأمر الأكثر إثارة للاهتمام هو أن محتوى الملاحظة كان مهماً. إذا كانت السجلات الملاحظاتية مجرد أرقام عشوائية لا تتطابق مع العالم الحالي، كان الكبح أضعف. ولكن إذا كانت السجلات متماسكة وتتطابق مع الارتباطات الخاصة بالعالم الحالي، كان الكبح في أقوى حالاته. وهذا يشير إلى أن النموذج يستمع بنشاط إلى "القصة" في السياق ويسمح للسرد الأكثر تماسكاً بأن يطغى على القواعد المتعلمة.
التوسع و"التحيز الإيجابي"
تحقق الباحث أيضاً مما إذا كانت هذه المشكلة تتحسن أو تسوء مع كبر حجم النماذج. اختبر نموذجاً يحتوي على ما يقرب من مليار معلمة (أكبر بكثير من الـ 25 مليوناً الأولية). استمرت المشكلة: لا يزال النموذج ذو السياق المختلط يعكس اتجاه السبب حوالي 32% من الوقت، بينما عكس نموذج التدخل البحت الاتجاه بنسبة 6% فقط.
أخيراً، نظروا في مجموعة بيانات مختلفة (CLadder) لمعرفة ما إذا كان النموذج قد تعلم قاعدة عامة مثل "الأسباب دائماً إيجابية". وجدوا أن النموذج قد تعلم بالفعل "تحيزاً إيجابياً" لأن جميع الأمثلة التدريبية التي استخدموها كانت ذات تأثيرات إيجابية. وعندما حاولوا إصلاح ذلك بإعادة التدريب باستخدام أمثلة إيجابية وسلبية معاً، أصبح النموذج أفضل في قراءة العلامات داخل عالم التدريب، لكنه ظل يعود إلى إجابة إيجابية عندما يواجه بيانات خارجية مربكة. يشير هذا إلى أن النموذج لديه "شبكة أمان" تعمل عندما يكون غير متأكد، وهذه الشبكة من الصعب إزالتها.
الخلاصة
يعلمنا هذا البحث درساً حيوياً حول تعليم الذكاء الاصطناعي: مجرد تغذيته بالبيانات الصحيحة ليس كافياً. قد يتعلم النموذج المهارة، ولكن إذا كانت البيئة التي يعمل فيها (السياق) مليئة بالدلالات المضللة، فسوف يتجاهل ما تعلمه ويتبع تلك الدلائل بدلاً من ذلك. "المفتاح" الذي يشغل قدرة الاستدلال السببي للنموذج ليس في بيانات التدريب؛ بل في السياق الذي نقدمه له في لحظة الاختبار. وللحصول على أفضل النتائج، نحتاج إلى هندسة السياق لتسليط الضوء على النوع الصحيح من الأدلة، بدلاً من مجرد الأمل في أن تقوم بيانات التدريب وحدها بالمهمة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.