🤖 machine learning

Barriers to Counterfactual Credit Attribution for Autoregressive Models

تتقصى هذه الورقة تحديات تنفيذ الإسناد الائتماني المقابل للواقع (CCA) في النماذج التوليدية ذاتية الانحدار، حيث تُظهر أن الإسناد الائتماني المقابل للواقع يفشل في التكوين ذاتي الانحدار، وأن تعديل النماذج الحالية لتلبية متطلباته يتطلب تعقيد استعلام يتناسب أسياً مع طول المخرجات.

المؤلفون الأصليون: Aloni Cohen, Chenhao Zhang

نُشر 2026-05-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Aloni Cohen, Chenhao Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ اخترعت للتو حساءً جديداً ولذيذاً. في الأيام الخوالي، إذا استخدمت توابل سرية من مزارع محدد، كنت ستقول بشكل طبيعي: "هذا الحساء مذاقه رائع بفضل توابل المزارع جون". أنت هنا تعطي الفضل لمن يستحق.

لكن الآن، تخيل أن لديك "روبوت حساء" سحرياً. تقوم بتغذيته بقائمة من المكونات (قاعدة بيانات)، وهو يقوم بتحضير الحساء. المشكلة هي أن الروبوت عبارة عن "صندوق أسود". إنه يمزج كل شيء بدقة شديدة لدرجة أنك لا تستطيع معرفة أي مكون محدد هو الذي جعل الحساء يتمتع بهذا المذاق. إذا لم تستطع معرفة ما الذي أثّر في الحساء، فلا يمكنك إعطاء الفضل للمزارعين.

تجادل هذه الورقة البحثية بأننا بحاجة إلى طريقة لإجبار الروبوت على قول: "لقد استخدمت توابل المزارع جون"، كلما كانت تلك التوابل ضرورية بالفعل للوصفة.

يسمي المؤلفون هذا "الإسناد الائتماني المقابل للواقع" (Counterfactual Credit Attribution - CCA). وهي طريقة معقدة لقول: "إذا أخرجنا توابل الممانع جون من القائمة، هل سيظل طعم الحساء كما هو؟" إذا كانت الإجابة "لا، سيكون الطعم مختلفاً"، فيجب على الروبوت منح الفضل للمزارع جون.

تستعرض الورقة طريقتين طبيعيتين لبناء هذا "الروبوت مانح الفضل"، وتجد أن كلتيهما تصطدم بجدار ضخم.

1. نهج "خطوة بخطوة" (النماذج ذات الترتيب الذاتي - Autoregressive Models)

معظم أنظمة الذكاء الاصطناعي الحديثة (مثل الذي يكتب هذا الملخص) تعمل مثل شخص يكتب قصة كلمة بكلمة. يختار كلمة، ثم الكلمة التالية، ثم التي تليها.

الفكرة: ربما يمكننا فقط تعليم الروبوت منح الفضل لكل كلمة فردية يختارها. إذا اختار كلمة تعتمد على توابل المزارع جون، فإنه ينسب الفضل إليه. بعد ذلك، نقوم فقط بربط كل تلك الكلمات معاً لصنع الحساء الكامل.

المشكلة: تثبت الورقة أن هذا لا يعمل.

التشبيه: تخيل أنك تبني برجاً من المكعبات. لديك قاعدة تقول: "في كل مرة تضع فيها مكعباً، يجب أن تتحقق مما إذا كان مستقراً". أنت تتبع هذه القاعدة بدقة لكل مكعب على حدة. ولكن عندما تنظر إلى البرج من بعيد، تجده ينهار بالكامل.
الواقع: يوضح المؤلفون أنه حتى لو كان الروبوت مثالياً في منح الفضل لكل كلمة ينتجها، فإن القصة النهائية (التسلسل الكامل) قد تفشل في منح الفضل بشكل صحيح. "الائتمان" أو الفضل يضيع أو يتشوه مع تراكم الكلمات. الأمر يشبه محاولة بناء منزل مستقر عبر التحقق من استقرار كل طوبة على حدة؛ قد يظل الهيكل ككل غير مستقر.

2. نهج "التعديل اللاحق" (إضافة الفضل لاحقاً)

الفكرة: ماذا لو كان لدينا بالفعل روبوت بارع في صنع الحساء ولكنه سيء في منح الفضل؟ هل يمكننا ببساطة وضع "غلاف" حوله؟ هذا الغلاف سيراقب الروبوت وهو يصنع الحساء، وبعد الانتهاء، يقرر: "حسناً، سأضيف ملاحظة تقول: الفضل للمزارع جون".

المشكلة: تثبت الورقة أن هذا مستحيل حاسوبياً (أو على الأقل صعب لدرجة تجعله يبدو مستحيلاً).

التشبيه: تخيل أن لديك خزنة مغلقة تولد رمزاً عشوائياً مكوناً من 100 رقم. تريد إضافة ملصق على الخزنة يقول: "هذا الرمز تأثر بالرقم 7". للقيام بذلك، عليك أن تطل من داخل الخزنة لترى ما إذا كان الرقم 7 قد استُخدم فعلاً.
الواقع: يوضح المؤلفون أنه لمعرفة ما إذا كان الروبوت بالفعل قد احتاج إلى معلومة محددة (مثل توابل المزارع جون) لإنتاج مخرجاته، سيتعين عليك طلب إنتاج الحساء من الروبوت تريليونات وتريليونات المرات (عدد هائل من الاستعلامات) لتكون متأكداً. الأمر يشبه محاولة العثور على حبة رمل واحدة محددة على الشاطئ عن طريق حفر كل حبة رمل واحدة تلو الأخرى. حتى لو كنت تريد مجرد تخمين "جيد بما يكفي"، فإن الرياضيات تقول إنك لا تزال مضطراً لحفر معظم الشاطب تقريباً.

الخلاصة الكبرى

تخلص الورقة إلى أننا نواجه حالياً عقبة رئيسية.

لا يمكننا مجرد بناء ذكاء اصطناعي يمنح الفضل عبر جعله يمنح الفضل عند كل خطوة صغيرة (كلمة بكلمة).
لا يمكننا بسهولة إصلاح الذكاء الاصطناعي الحالي عبر إضافة طبقة تمنح الفضل لاحقاً دون القيام بقدر هائل من العمل المستحيل.

كما يشير المؤلفون إلى أثر جانبي غريب: لكي يلبي الروبوت القواعد الصارمة لهذا "النظام الائتماني"، قد يُجبر على منح الفضل لمكونات لم تغير طعم الحساء إلا قليلاً جداً. الأمر يشبه إجبارك على شكر مزارع على حبة ملح واحدة لم تغير المذاق فعلياً، فقط لأن الرياضيات تقول إنك قد تكون احتجت إليها.

باختاً، إن جعل الذكاء الاصطناعي ينسب الفضل لمصادره بشكل موثوق وفعال هو أمر أصعب بكثير مما كنا نعتقد، والحلان الأكثر وضوحاً لا ينجحان.

ملخص تقني: عوائق العزو المقابل للواقع للائتمان في النماذج ذات التوليد الذاتي (Autoregressive Models)

بيان المشكلة

تؤدي نماذج الذكاء الاصطائي التوليدي إلى تعمية الرابط بين المدخلات والمخرجات، مما يعقد ممارسة إسناد الفضل (Giving credit) إلى الأعمال السابقة. وبينما تم تقديم "العزو المقابل للواقع للائتمان" (Counterfactual Credit Attribution - CCA) مؤخراً من قبل ليفني وآخرون [2024] كشرط تقني لخوارزميات التعلم (وهو تخفيف لخصوصية التفاضل يتطلب الاستقرار فيما يتعلق بالمدخلات غير المنسوبة)، فإن تطبيقه على النماذج التوليدية لا يزال غير مستكشف.

تبدأ هذه الورقة البحثية دراسة الـ CCA للنماذج اللغوية ذات التوليد الذاتي. وتحديداً، تعالج تحدي عزو الائتمان إلى مجموعة بيانات وقت التشغيل (مثل قاعدة بيانات RAG أو أمثلة التعلم داخل السياق) بدلاً من مجموعة بيانات التدريب. الهدف هو تصميم نماذج تخرج تسلسلاً مولداً ومجموعة ائتمان $C \subseteq S$ معاً، بحيث تستوفي شرط الـ CCA: إذا لم يتم نسب الوثيقة $s_i$ إليها، يجب أن يكون توزيع المخرجات غير قابل للتمييز عن التوزيع الذي تم فيه استبعاد $s_i$ من المدخلات.

المنهجية

يستقصي المؤلفون نهجين طبيعيين لبناء نماذج توليد ذاتي متوافقة مع الـ CCA:

التكوين الذاتي (Autoregressive Composition): تصميم متنبئ للرمز التالي (next-token predictor) متوافق مع الـ CCA ثم تشغيله لتوليد تسلسلات، مع تجميع مجموعات الائتمان للرموز الفردية.
الترقيع (Retrofitting): أخذ نموذج موجود غير مخصص للائتمان وتغليفه بخوارزمية تضيف مجموعة ائتمان لمخرجاته مع الحفاظ على توزيع التوليد الأصلي.

تستخدم الورقة التحليل النظري، بما في ذلك الأمثلة المضادة، وإثباتات الحد الأدنى، وحجج تعقيد الأوراكل (oracle complexity)، لتقيب مدى جدوى هذه النهج.

المساهمات والنتائج الرئيسية

1. عدم تكوين الـ CCA في التوليد الذاتي

يتحدى هذا النتائج الرئيسية الأولى النهج القياسي المستخدم للخصوصية التفاضلية (DP) في النماذج اللغوية الكبيرة، حيث يتم تكوين متنبئ رمز-تالي خاص بشكل ذاتي لضمان الخصوصية من البداية للنهاية.

النتيجة: الـ CCA لا يتكون ذاتياً (does not compose).
مبرهنة 4.2: يبني المؤلفون مثالاً مضاداً يوضح أنه لأي $\epsilon \ge 0$ و $\delta < 1$ ، يوجد متنبئ للرمز التالي $\tilde{M}$ يستوفي أشد شروط $(0,0)$ -CCA، ومع ذلك فإن عملية التوليد الذاتي لـ $\tilde{M}$ (المشار إليها بـ $G_{\tilde{M}}$ ) تفشل في استيفاء شرط $(\epsilon, \delta)$ -CCA.
مبرهنة 4.3: تم إثبات حد أدنى عام لمعامل الـ $\epsilon'$ الخاص بالناتج المتولد من متنبئ $\epsilon$ -CCA. ومن المفارقات أن مع اقتراب $\epsilon$ الخاص بالمتنبئ الأساسي من الصفر (أي يصبح "أفضل" في العزو)، يمكن أن يزدء الحد الأدنى لـ $\epsilon'$ الخاص بالناتج، مما يجعل ضمان التكوين أضعف. وهذا يتناقض تماماً مع الخصوصية التفاضلية (DP)، حيث يكون التكوين مفهوماً وقابلاً للإدارة بشكل جيد.

2. عدم جدوى ترقيع الـ CCA (Retrofitting)

يتضمن النهج الثاني، الترقيع، إضافة طبقة عزو ائتمان لنموذج موجود مسبقاً عبر الوصول إليه كصندوق أسود.

النتيجة: ترقيع الـ CCA غير ممكن حاسوبياً في الحالة الأسوأ.
مبرهنة 5.5: يثبت المؤلفون أن أي خوارزمية تحاول ترقيع نموذج ليكون $(\epsilon, 0)$ -CCA (مع $\delta=0$ ) ومثالياً للائتمان (يقلل من عدد العناصر المنسوبة المتوقع) تتطلب عدد استعلامات أسياً عن النموذج الأساسي بدلالة طول المخرج $\ell$ .
بناء الصعوبة (Hardness Construction): قاموا ببناء عائلة من النماذج $\{M_z\}$ المفهرسة بسلسلة مخفية $z \in \{0,1\}^\ell$ . لاستيفاء شرط الـ CCA، يجب على خوارزمية الترقيع تحديد $z$ بفعالية. وبينما يتطلب إيجاد $z$ من النموذج الأساسي $\Omega(2^\ell)$ من الاستعلامات، فإن إيجاد $z$ من تعزيز CCA الأمثل يتطلب استعلامات حدودية فقط. هذه الفجوة تعني أن أي خوارزمية ترقيع "صندوق أسود" يجب أن تقوم باستعلامات أسية للنموذج الأساسي لتحقيق التقريب اللازم.
مفارقة التأثير المتلاشي: يكشف التحليل عن مشكلة مفاهيمية: النماذج التي تم بناؤها غير متمايزة وظيفياً فيما يتعلق بالوثيقة المدخلة (المسافة التباينية الكلية تتلاشى كـ $2^{-\ell}$ )، ومع ذلك فإن تعزيز الائتمان الأمثل مطلوب لنسب الوثيقة باحتمالية ثابتة $\gamma > 0$ . يشير هذا إلى أن تعريفات الـ CCA الصارمة قد تفرض عزو الائتمان لمدخلات ذات تأثير ضئيل جداً.

الأهمية والادعاءات

تدعي الورقة أنها الأولى التي تدرس رسمياً الـ CCA في سياق نماذج التوليد الذاتي. تكمن أهميتها الأساسية في تحديد العوائق الجوهرية لاستراتيجيتين بديهيتين لتنفيذ عزو الائتمان:

الانفصال عن الخصوصية التفاضلية (DP): على عكس الخصوصية التفاضلية، لا يتكون الـ CCA تحت التوليد الذاتي. وهذا يعني أن مجرد تدريب متنبئ "عزو الرمز التالي" لا يكفي لضمان الـ CCA للنص المولد بالكامل.
الحدود الحسابية: ترقيع النماذج الموجودة لاستيفاء الـ CCA أمر محظور حاسوبياً (تعقيد استعلام أسي) تحت الافتراضات القياسية للصندوق الأسود ومتطلبات الأمثلية الصارمة.

يخلص المؤلفون إلى أن هذه النتيات تسلط الضوء على صعوبة صياغة عزو الائتمان للذكاء الاصطناعي التوليدي. ويقترحون أن تخفيف التعريف (على سبيل المثال، السماح بـ $\delta > 0$ أو تخفيف شرط أن يحافظ النموذج المعزز بدقة على توزيع المخرات الأصلي) قد يكون ضرورياً للوصول إلى حلول قابلة للتنفيذ، وإن كانت هذه التخفيفات متروكة للعمل المستقبلي. لا تقترح الورقة خوارزميات جديدة أو عمليات تحقق تجريبية، بل ترسم الحدود النظرية لإطار عمل الـ CCA الحالي عند تطبيقه على التوليد الذاتي.