Causal methods for LLM development and evaluation
تجادل هذه الورقة بأن أساليب الاستدلال السببي غير مستغلة حالياً رغم كونها ضرورية لمعالجة التحييد، والتحيز، وعدم الاستقرار في تطوير وتقييم النماذج اللغوية الكبيرة، حيث تقدم إطاراً مبدئياً لتوجيه التدخلات عبر كامل مسار النماذج اللغوية الكبيرة من مرحلة ما قبل التدريب وصولاً إلى النشر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك شيف (طاهٍ) تحاول ابتكار وصفة جديدة مثالية لسلسلة مطاعم ضخمة. لديك آلاف المكونات (البيانات)، وطرق طهي مختلفة (النماذج)، وفريق من النقاد (المقيمون). في الوقت الحالي، معظم الطهاة يكتفون بالتخمين فقط: "لنضف المزيد من الملح"، "لنُجرب فرناً مختلفاً"، أو "لنطلب من النقاد إخبارنا بما أعجبهم". يتذوقون الطبق، ويدونون ملاحظة، ثم يحاولون مرة أخرى. هذه هي الطريقة التي تُبنى بها النماذج اللغوية الكبيرة (LLMs) حالياً — من خلال التجربة والخطأ.
تجادل هذه الورقة بأن نهج "التخمين والتحقق" هذا ينطوي على مخاطرة. بدلاً من ذلك، يقترح المؤلفون وجوب استخدام الأسالى السببية (Causal Methods)، والتي تشبه حقيبة أدوات المحقق العلمي. فبدلاً من مجرد رؤية ما حدث، تساعدنا هذه الأدوات في الإجابة على السؤال: "ما الذي تسبب في هذه النتيجة، وماذا كان سيحدث لو فعلنا شيئاً مختلفاً؟"
إليك رؤية الورقة، مقسمة إلى تشبيهات بسيطة:
1. المشكلة الجوهرية: "الارتباط الزائف"
تخيل أنك لاحظت أن الزبائن الذين يطلبون أغلى أنواع النبيذ هم أيضاً الأكثر سخاءً في تقديم "البقشيش".
- النظرة الساذجة: "إذا قدمنا أغلى أنواع النبيذ مجاناً للجميع، فسوف يدفعون بقشيشاً أكثر!"
- النظرة السببية: "انتظر. ربما الأشخاص الأثرياء الذين يستطيعون تحمل تكلفة هذا النبيذ هم من يدفعون البقشيش جيداً، وليس النبيذ نفسه. إذا قدمت نبيذاً رخيصاً لشخص غني، فقد يظل كريماً في البقشيش. وإذا قدمت نبيذاً غالياً لشخص مفلس، فقد لا يدفع شيئاً على الإطلاق."
في النماذج اللغوية الكبيرة، يحدث هذا طوال الوقت.
- السيناريو: يقوم نظام بإرسال أسئلة صعبة إلى نموذج "ذكي" (كبير) وأسئلة سهلة إلى نموذج "سريع" (صغير).
- الخطأ: يحصل النموذج الكبير على درجات أقل لأن الأسئلة كانت أصعب، وليس لأن النموذج أسوأ.
- الإصلاح السببي: نحن بحاجة إلى الفصل بين صعوبة السؤال وبين جودة النموذج لنرى من هو الأفضل فعلياً في أداء المهمة.
2. الأدوات الثلاث الرئيسية (كيفية التنفيذ)
تشرح الورقة أنه لحل هذه الألغاز، نحتاج إلى ثلاث مهارات محددة:
- القابلية للتحديد (التحقق من "هل يمكننا المعرفة؟"): قبل البدء، نسأل: "هل لدينا بالفعل معلومات كافية لحل هذا؟" إذا كانت بياناتنا منحازة (مثل سؤال العملاء السعداء فقط عن آرائهم)، فقد لا نعرف أبداً الإجابة الحقيقية، مهما جمعنا من بيانات. الأساليب السببية تخبرنا متى نكون عالقين وما هي الافتراضات التي نضعها.
- التقدير (التحقق من "كيفية الحساب"): حتى لو كان بإمكاننا معرفة الإجابة، فإن البيانات تكون فوضوية وضخمة. نحن بحاجة إلى رياضيات خاصة (تسمى "تعلم الآلة المزدوج" - Double Machine Learning) لتنقية الضجيج والحصول على إجابة دقيقة، تماماً مثل سماعات إلغاء الضجيج التي تصفي الضوضاء الخلفية لتسمع الموسة بوضوح.
- الواقع المضاد/الافتراضي (آلة "ماذا لو؟"): هذه هي القوة الخارقة. فهي تسمح لنا بمحاكاة واقع مختلف. "ماذا لو قمنا بتوجيه هذا السؤال إلى النموذج الصغير بدلاً من الكبير؟" يمكننا الإجابة على ذلك دون الحاجة فعلياً لكسر النظام واختباره.
3. أين يساعد هذا (جولة في المطبخ)
يرسم المؤلفون خريطة توضح أين تناسب هذه الأدوات التحقيقية عملية بناء الذكاء الاصطناعي:
ما قبل التدريب (خلط المكونات):
- المشكلة: نحن نخلط الكتب، والأكواد البرمجية، والمنتديات لتدريب الذكاء الاصطناعي. ولكن إذا قمنا بتصفية النصوص "السامة"، فقد نقوم بالخطأ بإزالة لهجات أو حقائق مهمة.
- الإصلاح: استخدم الأدوات السببية للتنبؤ بكيفية تأثير تغيير "الوصفة" (خليط البيانات) على "المذاق النهائي" (أداء النموذج) دون الحاجة لطهي الوجبة كاملة مرة أخرى.
المواءمة (تعليم الذكاء الاصطناعي أن يكون مهذباً):
- المشكلة: نطلب من البشر اختيار الإجابة الأفضل بين خيارين. لكن البشر لديهم انحيازات (على سبيل المثال، يفضلون الإجابات الطويلة).
- الإصلاح: استخدم الأدوات السببية لإزالة الانحياز البشري حتى نتمكن من رؤية أي إجابة كانت أفضل حقاً، وليس فقط أي إجابة بدت أجمل.
التوجيه/التحويل (قرار النادل):
- المشكلة: يقوم "الموجه" (الراوتر) بتقرير أي شيف (نموذج) يتلقى الطلب. إذا أرسل الطلبات الصعبة إلى الشيف الرئيسي، فسيظهر الشيف الرئيسي وكأنه بطيء.
- الإصلاح: تساعد الأساليب السببية الموجه على تعلم السرعة والجودة الحقيقية لكل شيف، بغض النظر عن صعوبة الطلب، لكي يتمكن من توزيع المهام بكفاءة.
الوكلاء (فريق الذكاء الاصطناعي):
- المشكلة: الذكاء الاصطناعي الحديث لا يجيب فحسب؛ بل يتخذ خطوات (يبحث في الويب، يستخدم أدوات، يستدعي نماذج ذكاء اصطناعي أخرى). إذا كانت النتيجة النهائية سيئة، فهل كان السبب أداة البحث؟ أم مستخدم الأداة؟ أم الخطوة الأولى؟
- الإصلاح: تعمل الأساليب السببية مثل "الصندوق الأسود" الذي يتتبع بالضبط أي خطوة تسببت في النجاح أو الفشل، مما يساعدنا في إصلاح الحلقة المكسورة المحددة في السلسلة.
التقييم (النقاد):
- المشكلة: أحياناً نستخدم ذكاءً اصطناعياً واحداً للحكم على ذكاء اصطناعي آخر. لكن "الناقد" قد يكون منحازاً (مثلاً، يحب أسلوبه الخاص في الكتابة).
- الإصلاح: استخدم مزيجاً من النقاد البشر والذكاء الاصطناعي مع الرياضيات السببية لإلغاء الانحياز والحصول على درجة عادلة.
4. فحص السلامة
أخيراً، تتحدث الورقة عن السلامة. إذا قال الذكاء الاصطناعي شيئاً ضاراً، فنحن بحاجة لمعرفة لماذا. هل كان بسبب بيانات التدريب؟ أم نظام المكافأة؟
- التشبيه: إذا تعرضت سيارة لحادث، فنحن لا نقول فقط "لقد تحطمت". بل ننظر في الصندوق الأسود لنرى ما إذا كان السبب هو المكابح، أو السائق، أو الطريق.
- الإصلاح: تساعدنا الأساليب السببية في تتبع السلوك الضار وصولاً إلى مصدره في مسار التدريب، بدلاً من مجرد التخمين.
الخلاصة
المؤلفون لا يقولون "الأساليب السببية ستجعل الذكاء الاصطناعي أكثر ذكاءً". بل يقولون: "الأساليب السببية ستجعل عملية بناء واختبار الذكاء الاصطناعي أكثر موثوقية."
في الوقت الحالي، نحن نبني هذه الأنظمة المعقدة في الظلام، ونخمن ما الذي ينجح. تجادل هذه الورقة بأنه يجب علينا تشغيل الأضواء، واستخدام الأدوات العلمية لفهم السبب والنتيجة، وبناء أنظمة ذكاء اصطناعي أكثر أماناً، وأقل تكلفة، وأكثر موثوقية لأننا نعرف حقاً لماذا تعمل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.