🤖 machine learning

Algorithmic Recourse of In-Context Learning for Tabular Data

تقدم هذه الورقة أول دراسة للتعويض الخوارزمي (algorithmic recourse) للتعلم في السياق (in-context learning) على البيانات الجدولية، حيث توفر ضمانات نظرية حول تقارب الحلول وتقترح إطار عمل ASR-ICL، وهو إطار عمل جديد من الدرجة صفر (zeroth-order framework) يولد بكفاءة تعويضاً متفرقاً وقابلاً للتنفيذ لنماذج التعلم في السياق الصندوق الأسود (black-box ICL models).

المؤلفون الأصليون: Wenshuo Dong, Jiaming Zhang, Shaopneg Fu, Hongbin Lin, Di Wang, Lijie Hu

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wenshuo Dong, Jiaming Zhang, Shaopneg Fu, Hongbin Lin, Di Wang, Lijie Hu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تتقدم بطلب للحصول على قرض، لكن الكمبيوتر يقول لك "لا". أنت تريد أن تعرف: "ما الذي يمكنني تغييره للحصول على 'نعم' في المرة القادمة؟" هذه هي مشكلة الاسترداد الخوارزمي (Algorithmic Recourse). الأمر يشبه سؤال نظام تحديد المواطني (GPS): "إذا كنت أريد الوصول إلى الوجهة، فما هي المنعطفات التي يجب أن أتخذها؟"

لسنوات، كانت لدينا إجابات جيدة لهذا عندما يكون الكمبيوتر نموذجاً ثابتاً ومُدرباً مسبقاً. ولكن مؤخراً، ظهر نوع جديد من الذكاء الاصطناعي يسمى التعلم في السياق (In-Context Learning - ICL) وأصبح شائعاً. فكر في "التعلم في السياق" ليس كخريطة ثابتة، بل كـ وكيل سفر ذكي ينظر إلى أمثلة قليلة لرحلات أشخاص آخرين قبل أن يعطيك نصيحته مباشرة. ولأن هذا الوكيل يغير رأيه بناءً على الأمثلة التي يراها في تلك اللحظة، فإن "قواعد" الموافقة على القرض يمكن أن تتغير قليلاً في كل مرة تسأل فيها.

هذه الورقة البحثية تعالج سؤالاً كبيراً: كيف نقدم نصيحة جيدة وقابلة للتنفيذ للناس عندما يغير "وكيل السفر" (الذكاء الاصطناعي) قواعده باستمرار بناءً على الأمثلة التي ينظر إليها؟

إليك تفصيل لعملهم باستخدام تشبيهات بسيطة:

1. المشكلة: الهدف المتحرك

في الأيام الخوالي، كان الذكاء الاصطناعي يشبه آلة بيع ذاتي ثابتة. بمجرد وضع المال، لا تتغير الأزرار والوجبات الخفيفة بداخلها أبداً. إذا كنت تريد وجبة مختلفة، فأنت تعرف بالضبط أي الأزرار تضغط.

أما مع التعلم في السياق، فإن الذكاء الاصطناعي يشبه الحرباء. فهو ينظر إلى بعض الأمثلة (السياق) المقدمة في لحظة سؤالك، ثم يغير لونه (قاعدة القرار الخاصة به) ليتناسب معها.

التحدي: إذا استمرت القواعد في التغير، فكيف نعرف ما إذا كان التغيير المقترح (مثل "زيادة دخلك") سيعمل حقاً؟ ماذا لو غير الذكاء الاصطناعي رأيه في منتصف الطريق؟

2. النظرية: إثبات أن القواعد لا تزال موجودة

قام المؤلفون أولاً ببعض الرياضيات الثقيلة لإثبات أنه على الرغم من أن الذكاء الاصطناعي يشبه الحرباء، إلا أنه ليس فوضوياً.

التشبيه: تخيل أن الحرباء تجلس على غصن. حتى لو تغير لونها، فإن الغصن نفسه صلب. أثبت المؤلفون أنه طالما قدمت للذكاء الاصطناعي أمثلة كافية (سياق كبير)، فإن نصيحته ستصبح مستقرة ويمكن التنبؤ بها.
النتيجة: أظهروا أنه إذا أعطيت الذكاء الاصطناعي أمثلة كافية لينظر إليها، فإن نصيحته ستستقر لتصبح موثوقة تماماً مثل النموذج التقليدي الثابت. كما أثبتوا أنه يوجد دائماً "حد" لمقدار ما تحتاج لتغييره للحصول على نتيجة مختلفة؛ فلن يُطلب منك القيام بالمستحيل.

3. الحل: ASR-ICL (كشاف البحث الذكي)

بما أن الذكاء الاصطناعي عبارة عن "صندوق أسود" (لا يمكننا رؤية ما بداخله لنعرف كيف يحسب الأشياء)، فلا يمكننا استخدام الحيل الرياضية القياسية لإيجاد الإجابة. علينا التخمين والتجربة، وهو أمر بطيء ومكلف.

ابتكر المؤلفون أداة جديدة تسمى ASR-ICL.

التشبيه: تخيل أنك تبحث عن مفتاح معين في غرفة ضخمة ومظلمة مليئة بـ 1,000 درج.
- الطريقة القديمة: تفتح كل درج من الأدراج واحداً تلو الآخر. هذا يستغرق وقتاً طويلاً ويستهلك الكثير من الطاقة (الاستعلامات).
- طريقة ASR-ICL: هذه الأداة تشبه كشاف البحث الذكي. بدلاً من فحص كل الدرج، تقوم بمسح الغرفة بسرعة وتدرك: "مهلاً، المفتاح غالباً موجود في هذه الأدراج الخمسة فقط". ثم تركز كل طاقتها على تلك الأدراج الخمسة، وتتجاهل الـ 995 الأخرى.
لماذا تنجح: في الحياة الواقعية، أنت عادةً ما تحتاج لتغيير أشياء قليلة فقط (مثل دخلك أو ديونك) للحصول على موافقة القرض، وليس كل شيء. تقوم ASR-ICL تلقائياً بتحديد السمات القليلة الأكثر أهمية وتتجاهل الباقي. وهذا يجعلها سريعة، رخيصة، وفعالة.

4. النتائج: إنها تعمل في العالم الحقيقي

اختبر الفريق أداتهم على بيانات من العالم الحقيقي (مثل درجات الائتمان، وتقييمات المخاطر الجنائية، والبيانات الطبية) باستخدام أنواع مختلفة من نماذج الذكاء الاصطناعي.

النجاح: وجدت أداتهم حلولاً صالحة (طرق للحصول على "نعم") تماماً مثل الطرق القديمة، لكنها فعلت ذلك من خلال طرح عدد أقل من الأسئلة (الاستعلامات) على الذكاء الاصطناعي.
الكفاءة: لأنها ركزت على مجموعة فرعية صغيرة من السمات، كانت التغييرات المقترحة غالباً أبسط وأكثر واقعية (على سبيل المثال: "خفض ديونك بمقدار 500 دولار" بدلاً من "غير وظيفتك، وانتقل لمدينة أخرى، واشترِ سيارة جديدة").
متعدد الفئات: لقد نجحت أيضاً عندما تكون هناك نتائج أكثر من اثنين (مثل الحصول على تصنيف ائتماني "جيد"، أو "متوسط"، أو "ضعيف")، وليس فقط "نعم" أو "لا".

الملخص

تقول الورقة البحثية: "لا تقلقوا بشأن نماذج الذكاء الاصطناعي الجديدة والمتغيرة. لقد أثبتنا أن نصائحها مستقرة إذا أعطيتموها أمثلة كافية. علاوة على ذلك، قمنا ببناء أداة ذكية (ASR-ICL) تعمل ككشاف ضوئي، حيث تجد التغييرات القليلة والبسيطة التي تحتاجون لإجرائها للحصول على نتيجة أفضل، دون إضاعة الوقت في فحص كل الاحتمالات الممكنة".

الخلاصة الرئيسية: حتى عندما تتغير قواعد الذكاء الاصطناعي بناءً على ما ينظر إليه، لا يزال بإمكاننا تقديم نصائح واضحة، قابلة للتنفيذ، وفعالة للناس حول كيفية تحسين وضعهم.

ملخص تقني: التعويض الخوارزمي للتعلم في السياق للبيانات الجدولية

تعريف المشكلة

تعالج الورقة البحثية الفجوة بين النموذج الناشئ لـ التعلم في السياق (In-Context Learning - ICL) للبيانات الجدولية ومجال التعويض الخوارزمي (Algorithmic Recourse) الراسخ. في حين يتم نشر النماذج التنبؤية بشكل متزايد في المجالات عالية المخاطر (مثل الإقراض الائتماني، والعدالة الجنائية) حيث يحتاج الأفراد إلى توجيهات قابلة للتنفيذ لعكس القرارات غير المواتية، تفترض طرق التعويض الحالية دالة قرار ثابتة ومدربة.

في المقابل، تقوم نماذج التعلم في السياق (مثل TabPFN وTabICL والنماذج اللغوية الكبيرة العامة) باستنتاج التنبؤات ديناميكيًا بناءً على مجموعة من الأمثلة المصنفة المقدمة وقت الاستدلال. يؤدي هذا إلى متنبئ مشروط بالسياق ( $f_C$ ) حيث تختلف قاعدة القرار اعتمادًا على مجموعة السياق $C$ المحددة. هذه الطبيعة الديناميكية تتحدى الافتراضات الأساسية للتعويض التقليدي، وتثير تساؤلات جوهرية:

هل التعويض محدد بوضوح ومحصور عندما لا تكون قاعدة القرار ثابتة؟
هل التعويض مستقر عبر تركيبات السياق المختلفة؟
هل يمكن حساب التعويض بكفاءة لنماذج التعلم في السياق (ICL) التي تعمل كصندوق أسود (Black-box) دون الوصول إلى الاشتقاقات (Gradients)؟

المنهجية

1. التحليل النظري

قام المؤلفون بصياغة التعويض الخوارزمي ضمن إطار التعلم في السياق باستخدام مهمة انحدار خطي مستحثة بواسطة نموذج انتباه ذاتي خطي أحادي الطبقة (LSA).

ضمانات الجدوى: وضعوا شروطًا تضمن تحقيق التعويض. وتحديدًا، إذا كانت جميع الميزات غير محدودة، فإن التعويض مضمون لجميع الأفراد بشرط وجود ميزة واحدة قابلة للتنفيذ على الأقل. وعلى العكس من ذلك، إذا كانت الميزات محدودة وتوجد ميزات غير قابلة للتغيير، فقد يُرفض التعويض لبعض الأفراد، تمامًا كما في المصنفات الخطية الكلاسيكية.
التقارب والحدود: استنتجت الورقة حلاً مغلق الصيغة للتشويش الأمثل للتعويض ( $\delta^*_{ICL}$ $δ_{I C L}^{*}$ ) وأثبتت حدًا علويًا عالي الاحتمالية لتكلفة التعويض.
- رؤية رئيسية: مع زيادة عدد أمثلة السياق ( $M$ ) وأمثلة التدريب المسبق ( $N$ )، يقترب التعويض القائم على ICL من التعويض الأمثل للنموذج الخطي الأساسي. يضيق حد التشويش مع نمو $M$ و $N$ ، حيث يعتمد حد الخطأ على $O(1/N)$ و $O(\sqrt{\ln(d)/M})$ .
- الاستنتاج: يشير هذا إلى أنه مع توفر سياق كافٍ، تسلك نماذج ICL سلوكًا مشابهًا بشكل متزايد للنماذج الخطية الكلاسيكية، مما يؤدي إلى استقرار حل التعويض.

2. الخوارزمية المقترحة: ASR-ICL

لمعالجة التحديات العملية للبيانات الجدولية عالية الأبعاد وصندوق الأسود حيث لا تتوفر الاشتقاقات، اقترح المؤلفون التعويض في الفضاء الفرعي التكيفي للتعلم في السياق (Adaptive Subspace Recourse for In-Context Learning - ASR-ICL).

التحسين من الدرجة صفر (Zeroth-Order Optimization): تعامل خوارزمية ASR-ICL توليد التعويض كمسألة تحسين "صندوق أسود" مقيدة. وهي تعتمد فقط على تقييمات الدالة (استعلامات للنموذج اللغوي الكبير) بدلاً من الاشتقاقات.
اختيار الفضاء الفرعي التكيفي: للتخفيف من لعنة الأبعاد وتقليل ميزانية الاستعلامات، لا تقوم الخوارزمية بتحسين جميع الميزات $d$ $d$ في وقت واحد. بدلاً من ذلك، تقوم بما يلي:
1. الاحتفاظ بدرجة أهمية لكل ميزة.
2. أخذ عينة من مجموعة فرعية صغيرة من الميزات (حجم الفضاء الفرعي $k \ll d$ ) بناءً على درجات الأهمية هذه.
3. تحسين التعويض داخل هذا الفضاء الفرعي منخفض الأبعاد باستخدام حلل من الدرجة صفر (RACOS).
4. تحديث درجات أهمية الميزات بناءً على نجاح عملية التحسين في الفضاء الفرعي الذي تم أخذ العينة منه، مما يركز البحث تدريجيًا على الميزات المؤثرة.
القيود: يفرض الإطار قيود الجدوى (مثل عدم قابلية تغيير العمر، ورتابة الدخل) عبر عامل إسقاط $\Pi_\Omega$ على الحلول المرشحة.
دعم تعدد الفئات: تمتد الطريقة بشكل طبيعي لمهام البيانات الجدولية متعددة الفئات دون تعديلات خاصة بالمهمة، وذلك من خلال التحسين نحو فئة مستهدفة مرغوبة.

النتائج الرئيسية

الإعداد التجريبي

قيم المؤلفون خوارԷما ASR-ICL على خمس مجموعات بيانات من العالم الحقيقي (الائتمان الأسترالي، COMPAS، السكري، التصنيف المؤسسي، أداء الطلاب) تغطي مهام الثنائية ومتعددة الفئات. اختبروا النتائج مقابل نماذج ICL جدولية متخصصة (TabPFN-2.5، TabICL) ونماذج لغوية كبيرة عامة (Qwen3، LLaMA-3، GPT-4o). شملت خطوط الأساس (Baselines) كل من DiCE وActionable Recourse (AR) وFACE، والتي تم تنفيذها على نماذج مدربة للمقارنة.

نتائج الأداء

الصلاحية والتكلفة: تحقق ASR-ICL صلاحية تعويض تضاهي الطرق الموجودة للنماذج المدربة (تصل غالبًا إلى 100% من الصلاحية) مع الحفاظ على تكاليف تعويض أقل بشكل ملحوظ. على سبيل المثال، في مجموعة بيانات الائتمان الأسترالي، حققت Aft ASR-ICL صلاحية مثالية بمتوسط تكلفة قدره 3.83، مقارنة بـ 8.96 لخوارزمية DiCE.
كفاءة الاستعلام: تتميز ASR-ICL بكفاءة عالية في الاستعلام. فهي تحقق صلاحية مماثلة لخطوط الأساس من الدرجة صفر في الفضاء الكامل مع تقليل ميزانية الاستعلام بمعدل 2 إلى 3 أضعاف.
التحقق النظري: أكدت التجارب سلوك التقارب النظري. ومع زيادة عدد حالات السياق (من 4 إلى 64 حالة)، استقرت صلاحية التعويض وانخفضت التكاليف، مقتربة من أداء المراجع للنماذج الخطية.
المتانة: أظهرت الطريقة متانة تجاه الاختلافات في توزيع وترتيب السياق، وإن لوحظ بعض الحساسية في النماذج اللغوية الكبيرة تحت ترتيبات معينة للمطالبات (Prompts).
التشتت (Sparsity): تنتج ASR-ICL بطبيعتها حلول تعويض متفرقة. أظهرت دراسات الحالة أنها تستطيع تغيير التنبؤات عن طريق تعديل ميزتين فقط من الميزات القابلة للتنفيذ، بينما تطلبت الطرق الأخرى غالبًا تغيير 5 ميزات أو أكثر.

الأهمية والادعاءات

تدعي الورقة أنها تقدم أول درسة منهجية للتعويض الخوارزمي تحت ظروف التعلم في السياق للبيانات الجدولية. تكمن أهميتها في:

الأساس النظري: إثبات أن التعويض يظل محددًا ومحصورًا تحت تأثير المتنبئات الديناميكية المشروطة بالسياق، وإثبات أن التعويض القائم على ICL يتقارب مع الحلول الكلاسيكية مع زيادة حجم السياق.
الإطار العملي: تقديم ASR-ICL، وهو أول إطار عمل للتعويض مصمم خصيصًا لنماذج ICL التي تعمل كصندوق أسود. إنه يسد الفجوة بين طرق التعويض الكلاسيكية (المصممة للنماذج الثابتة) ونماذج ICL الناشئة.
الكفاءة والقابلية للتنفيذ: إثبات أن التحسين التكيفي من الدرجة صفر يمكن أن يولد تعويضًا متفرقًا، وقابلًا للتنفيذ، ومنخفض التكلفة في المساحات عالية الأبعاد دون الحاجة إلى معرفة داخلية بالنموذج أو اشتقاقاته.

حافظ المؤلفون على نبرة متواضعة، مشيرين إلى أنه بينما تؤكد نتائجهم جدوى وتقارب التعويض في إعدادات ICL، فإن أداء النماذج اللغوية الكبيرة قد يظل متغيرًا بناءً على حساسية المطالبة وصعوبة المهمة، خاصة في سيناريوهات تعدد الفئات. هم لا يدعون حل جميع تحديات ICL، بل يقدمون خطوة تأسيسية نحو جعل هذه النماذج الديناميكية خاضعة للمساءلة والقدرة على اتخاذ إجراءات بشأنها.