Learning to Decide with AI Assistance under Human-Alignment

ملخص تقني: تعلم اتخاذ القرار بمساعدة الذكاء الاصطناعي في ظل التوافق مع الإنسان

صياغة المشكلة
تتناول هذه الورقة تحدي تعلم سياسات القرار المثلى في المجالات عالية المخاطر حيث يتم مساعدة صانعي القرار البشريين بواسطة نماذج الذكاء الاصطناعي. يتم تعريف الإطار من خلال تنبؤات ثنائية وقرارات ثنائية. في كل تفاعل $t$، يلاحظ صانع القرار متجه الميزات $(x, v)$، وتنبؤ المصنف $\hat{y}$، وثقة المصنف $b \in B$ (حيث $B \subseteq [0, 1]$). كما يمتلك صانع القرار ثقة شخصية $h \in H$ فيما يتعلق بالتسمية $y=1$، حيث $H$ هي مجموعة منفصلة مرتبة كلياً ومحدودة. الهدف هو تعلم سياسة $\pi(h, b) \in \{0, 1\}$ تعظم المنفعة المتوقعة $u(a, y)$، بالنظر إلى أن المنفعة تكون أعلى عندما يتطابق القرار $a$ مع التسمية الحقيقية $y$.

تكمن الصعوبة الجوهرية في عدم قدرة صانع القرار على تعديل الثقة بفعالية بناءً فقط على الثقة التي يعبر عنها الذكاء الاصطناعي. تشير الأعمال السابقة (Corvelo Benz و Gomez-Rodriguez, 2023, 2025) إلى أن درجة "التوافق" بين ثقة الذكاء الاصطناعي وثقة الإنسان تؤثر بشكل كبير على منفعة اتخاذ القرار بمساعدة الذكاء الاصطناعي. ومع ذلك، لم تكن درجة تأثير هذا التوافق على تعقيد تعلم سياسة مثلى من خلال التفاعلات المتكررة واضحة بعد.

المنهجية والإطار النظري
يؤطر المؤلفون مشكلة تعلم اتخاذ القرار بمساعدة الذكاء الاصطناعي كـ مشكلة تعلم سياقي عبر الإنترنت بأسلوب الذراعين (two-armed online contextual learning problem) مع تغذية راجعة كاملة.

• السياق: زوج قيم الثقة $(h_t, b_t)$.
• الأذرع: القرارات الثنائية $a \in \{0, 1\}$.
• التغذية الراجعة: تتوفر التغذية الراجعة الكاملة لأنه، بالنظر إلى التسمية $y_t$، يمكن لصانع القرار حساب المنفعة لكلا الإجراءين الممكنين.

تضع الورقة حداً أدنى للندم المتوقع لأي متعلم في الحالة العامة (بدون افتراض التوافق)، ثم تحلل التعقيد تحت افتراض التوافق التام. يُعرف التوافق التام بحيث أنه لأي $h < h'$ و $b < b'$، يكون الاحتمال الشرطي $P(Y=1 | H=h, B=b)$ غير متزايد بالنسبة لمستويات الثقة.

المساهمات الرئيسية والنتائج

1. الحد الأدنى العام:
   يثبت المؤلفون أنه بدون افتراضات التوافق، فإن الندم المتوقع $E[R(T)]$ لأي متعلم يكون محكوماً بالحد الأدنى $\Omega(\sqrt{|H| \cdot |B| \cdot T})$. يشير هذا إلى أن تعقيد التعلم يتناسب مع حاصل ضرب أحجام مجموعات ثقة الإنسان والذكية الاصطناعي.

2. تقليل الندم تحت التوافق التام:
   تحت افتراض التوافق التام، يتبين أن السياسة المثلى $\pi^*$ هي دالة عتبة (threshold function) على ثقة الذكاء الاصطناعي $b$، حيث تعتمد العتبة $b^*(h)$ على ثقة الإنسان $h$.

• الخوارزمية: يقترح المؤلفون خوارزمية تعلم عبر الإنترنت (الخوارزمية 1) تتعلم هذه العتبات. وهي تعامل المشكلة كمسائل "متعددة الأذرع" (multi-armed bandit) مستقلة لـ $|H|$ (لكل مستوى ثقة إنساني)، حيث تكون "الأذرع" هي العتبات المرشحة في $B$.
• حد الندم 1: باستخدام متباينة Dvoretzky-Kiefer-Wolfowitz (DKW) لحد أخطاء التقدير بشكل موحد عبر جميع العتبات، تحقق الخوارزمية ندماً متوقعاً قدره $O(\sqrt{|H| \cdot T \log T})$. ومن الجدير بالذكر أن هذا الحد مستقل عن حجم مجموعة ثقة الذكاء الاصطناعي $|B|$.
• حد الندم 2: عندما يكون $\sqrt{|H|} = O(\log T)$ و $B$ مجموعة قابلة للعد، يستنتج المؤلفون تعميماً غير بديهي لمتباينة DKW لسياسات العتبة. يسمح هذا بإعادة صياغة المشكلة كتعلم دالة واحدة $\ell: H \to B$ بدلاً من $|H|$ من العتبات المستقلة. يؤدي هذا إلى تحسين حد الندم إلى $O(\sqrt{T} \log T)$، مما يزيل الاعتماد على كل من $|H|$ و $|B|$.

3. المتانة تجاه عدم التوافق:
   توضح الورقة نظرياً أنه إذا لم يتحقق التوافق التام، فإن درجة عدم التوافق (المقاسة بـ "خطأ التوافق الأقصى" MAE) تحدد الفجوة بين منفعة السياسة المتعلمة والسياسة المثلى. وبشكل محدد، تكون السياسة المتعلمة قريبة من المثالية، حيث تتناسب فجوة الأداء خطياً مع MAE.

التحقق التجريبي
يتم التحقق من النتائج النظرية باستخدام بيانات حقيقية من دراستين بشريتين:

• مجموعة بيانات التوافق البشري (Corvelo Benz و Gomez-Rodriguez, 2025): توقع المشاركون النتائج في لعبة ورق مع درجات متفاوتة من توافق ثقة الإنسان والذكاء الاصطناعي عبر مجموعات مختلفة.
• مجموعة بيانات التفاعلات بين الإنسان والذكاء الاصطناعي (Vodrahalli et al., 2022a): قام المشاركون بمهام تصنيف ثنائية (فن، سخرية، مدن، تعداد سكاني) بمساعدة الذكاء الاصطناعي.

النتائج:

• حققت الخوارزمية المقترحة (الخوارزمية 1) باستمرار ندمًا متوسطًا تجريبيًا أقل مقارنة بخوارزمية السياق الأساسية (الخوارزمية 2) عبر جميع المجموعات والمهام، باستثناء مهمة "التعداد السكاني" (Census) حيث تم انتهاك الرتابة (monotonicity).
• تؤكد النتائج أنه حتى عندما لا يكون التوافق التام موجوداً بدقة، فإن افتراض التوافق التام يوفر أداءً أفضل من عدم وضع أي افتراض، بشرما كان هناك مفهوم أضعف من التوافق (رتابة $P(Y=1|H, B)$ بالنسبة لـ $B$) متحقق.

الأهمية
تزعم الورقة أن التوافق بين ثقة الذكاء الاصطناعي وثقة الإنسان يمكن أن يقلل بشكل جوهري من تعقيد تعلم اتخاذ القرارات بمساعدة الذكاء الاصطناعي. من خلال الاستفادة من الخصائص الهيكلية الناجمة عن التوافق (تحديداً طبيعة العتبة للسياسة المثلى)، يمكن للمتعلمين تحقيق حدود ندم أضيق بكثير ومستقلة عن دقة مخرجات ثقة الذكاء الاصطناعي. يشير هذا إلى أن تصميم أنظمة الذكاء الاصطناعي بمقاييس ثقة متوافقة مع الحدس البشري ليس مجرد ميزة لتحسين سهولة الاستخدام، بل هو آلية لتسريع تعلم سياسات القرار المثلى في التفاعلات المتكررة.