🤖 machine learning

Towards a theory of inference-time alignment with unknown rewards

تؤسس هذه الورقة إطار تعلم PAC للمحاذاة عند وقت الاستدلال تحت مكافآت غير معروفة من خلال تعريف "بُعد محاذاة" جديد يصف قابلية التعلم بشكل كامل، واقتراح خوارزمية قائمة على البطولة باستخدام الرسم البياني أحادي الاحتواء لتحويل سياسة مرجعية ضعيفة إلى متعلم قوي.

المؤلفون الأصليون: Steve Hanneke, Hongao Wang, Mingyue Xu

نُشر 2026-08-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Steve Hanneke, Hongao Wang, Mingyue Xu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالم الذكاء الاصطناي المتطور بسرعة، يبرز تحدٍ مركزي يتمثل في ضمان أن تتصرف برامج الكمبيوتر بطرق تتوافق مع النوايا البشرية. وبينما تستطيع الأنظمة الحديثة توليد نصوص بليغة وحل مشكلات معقدة، إلا أنها أحياناً تنتج مخرجات غير منطقية، أو ضارة، أو ببساطة غير مفيدة. ولإصلاح ذلك، طور الباحثون طرقاً لـ "محاذاة" هذه النماذج مع القيم البشرية. ويتضمن أحد الأساليب الشائعة تدريب النموذج على كميات هائلة من البيانات حيث قام البشر أو أجهزة ذكاء اصطناعي أخرى بتصنيف الإجابات المختلفة، مما يعلم النظام تفضيل الإجابات الجيدة على السيئة. وهناك نهج آخر، يُعرف باسم "المحاذاة أثناء الاستنتاج"، وهو لا يغير الكود الداخلي للنموذج، بل يعمل كمرشح (فلتر) في لحظة الاستخدام: حيث يقوم النظام بتوليد عدة إجابات محتملة، وتقوم آلية تسجيل منفصلة باختيار الأفضل منها لعرضها على المستخدم. يحظى هذا الأسلوب بشعبية لأنه مرن ولا يتطلب عملية إعادة تدريب مكلفة للنظام بأك entero. ومع ذلك، بينما تعمل هذه التقنيات بشكل جيد في الممارسة العملية، فقد كافح العلماء لتفسير سبب عملها بدقة أو ما هي الحدود التي تمنع نجاحها من منظور رياضي.

لقد اتخذ فريق من الباحثين في جامعة بوردو الآن خطوة كبيرة نحو سد هذه الفجوة من خلال بناء إطار إحصائي جديد لفهم المحاذاة أثناء الاستنتاج. لقد تناولوا المشكلة كمسألة تعلم حيث يتم تحسين نقطة بداية "ضعيفة" لتصبح نتيجة "قوية" باستخدام البيانات. تخيل نموذجاً مرجعياً كفؤاً بشكل عام ولكنه يرتكب أخطاءً أحياناً؛ فهو يعمل كخط أساس يولد قائمة من الإجابات المرشحة. والهدف هو استخدام مجموعة بيانات من التفضيلات البشرية لتعليم نظام جديد كيفية اختيار الإجابة الأفضل الواحدة من تلك القائمة في كل مرة بشكل موثوق. وقد طرح الباحثون سؤالاً جوهرياً: تحت أي ظروف يكون من الممكن حقاً تعلم مهارة الاختيار هذه من البيانات وحدها، دون أي معرفة مسبقة بكيفية عمل نظام التسجيل؟ ووجدوا أن الإجابة تعتمد كلياً على مدى تعقيد القواعد المستخدمة للحكم على الإجابات.

اكتشف الفريق أن ليست كل مجموعات قواعد الحكم قابلة للتعلم. وقد قدموا طريقة جديدة لقياس تعقيد هذه القواعد، والتي يسمونها "بُعد المحاذاة". فكر في هذا البُعد كمقياس لعدد الطرق التي يمكن للقواعد من خلالها أن تتعارض مع النظام أو تربكه. إذا كان هذا الرقم محدوداً، مما يعني أن القواعد ذات مستوى معقول من التعقيد، فمن الممكن تصميم خوارزمية ستتعلم في النهاية اختيار الإجابة الصحيحة بدقة تقارب الكمال، إذا توفرت بيانات كافية. أما إذا كان البُعد لانهائياً، فإن القواعد تكون فوضوية للغاية بحيث لا يمكن تعلمها من البيانات مهما تم جمعها. يوفر هذا الاكتشاف ضماناً رياضياً كاملاً: نظام المكافأة قابل للتعلم إذا وفقط إذا كان بُعد المحاذاة الخاص به محدوداً. ويمثل هذا تحولاً كبيراً عن النظريات السابقة، التي كانت تفترض غالباً أن الباحثين لديهم بالفعل فهم مثالي لنظام التسجيل أو أن القواعد بسيطة بما يكفي لوصفها بعدد ثابت من المعلمات (parameters).

ولإثبات ذلك، صمم الباحثون إجراء تعلم محدداً يعمل مثل "البطولة" (tournament). فعندما يحتاج النظام إلى اختيار إجابة، فإنه لا ينظر ببساطة إلى البيانات مرة واحدة ثم يخمن. بدلاً من ذلك، يقوم بمقارنة أزواج من مجموعات الإجابات المحتملة مع بعضها البعض. ومع كل زوج من المجموعات حيث لا تكون إحدى المجموعتين مجموعة جزئية واضحة من الأخرى، يقوم النظام بتشغيل خوارزمية مقارنة متخصصة لتحديد أي مجموعة هي الأكثر احتمالاً لاحتواء الإجابة الصحيحة. ومن خلال تشغيل هذه المقارنات عبر جميع الأزواج الممكنة، يضيق النظام المجال حتى يتبقى لديه مجموعة صغيرة وموثوقة للغاية من المرشحين الذين يمكن الاختيار من بينهم للإجابة النهائية. وتعمل هذه الطريقة من خلال الاستفادة من حقيقة أن النموذج الأولي، رغم كونه غير كامل، لديه فرصة ثابتة لتوليد إجابة جيدة. ومن خلال أخذ عينات كافية من المرشحين واستخدام منطق البطولة لتصفيتهم، يمكن للنظام رفع معدل نجاحه إلى مستوى عالٍ للغاية.

كما توضح الورقة البحثية ما تستبعده هذه النظرية الجديدة. فهي تظهر أن مجرد محاولة حفظ أفضل الإجابات من مجموعة تدريب، وهي طريقة تُعرف باسم "تقليل المخاطر التجريبية" (empirical risk minimization)، ليست كافية بمفردها. ففي بعض الحالات، قد يحتاج النظام إلى الاعتماد على البنية المحددة للبيانات والقدرة على أخذ عينات من مرشحين جدد في لحظة الاختبار، بدماكن مجرد استرجاع ما رآه أثناء التدريب. وقد أثبت الباحثون أنه بالنسبة لأنواع معينة من أنظمة المكافأة المعقدة، لن تسمح أي كمية من بيانات التدريب لخوارزمية تعلم قياسية بالنجاح دون خطوة أخذ العينات الإضافية هذه. ويشير عملهم إلى أن المفتاح للوصة الناجحة في المحاذاة يكمن في التفاعل بين تعقيد قواعد المكافأة والقدرة على توليد خيارات متعددة في وقت الاختبار.

يمثل هذا البحث خطوة تأسيسية نحو نظرية صارمة لمحاذاة الذكاء الاصطناعي. فمن خلال تحديد الشروط الدقيقة التي تكون فيها المحاذاة ممكنة، قدم المؤلفون هدفاً واضحاً للتطوير المستقبلي. لقد انتقلوا بالمجال من مرحلة التجربة والخطأ إلى تقديم برهان رياضي يخبر المهندسين بالضبط متى ستنجح استراتيجيات المحاذاة الخاصة بهم ومتى ستفشل. وبينما تركز الدراسة الحالية على المكافآت الثنائية — حيث تكون الإجابة إما جيدة أو سيئة — فإن الإطار يفتح الباب لفهم أنظمة تسجيل أكثر تعقيداً ذات قيم حقيقية. والهدف النهائي هو وضع مجموعة من المبادئ التي يمكن أن توجه إنشاء أنظمة ذكاء اصطناعي أكثر أماناً وموثوقية، لضمان أنه مع زيادة قوة هذه النماذج، تظل قدرتها على اتباع النوايا البشرية مضمونة رياضياً.

ملخص تقني: نحو نظرية للاستدلال وقت الاستنتاج مع مكافآت مجهولة

صياغة المشكلة
يتناول هذا العمل الأسس الإحصائية للتعلم لظاهرة المحاذاة وقت الاستنتاج (inference-time alignment)، وهي نموذج يتم فيه اختيار استجابات النموذج التوليدي أو توجيهها أثناء وقت الاختبار بناءً على إشارة مكافأة، دون تحديث معاملات النموذج (على عكس التعلم التعزيزي من التغذية الراجعة البشرية أو الذكائية، RLHF). يصيغ المؤلفون هذه المسألة كـ مشكلة تعلم من ضعيف إلى قوي (weak-to-strong learning problem) تحت فرضية المكافآت المجهولة.

يتضمن الإعداد ما يلي:

السياسة المرجعية ( $\pi_{ref}$ ): "متعلم ضعيف" (مثل نموذج مدرب مسبقاً أو نموذج ضبط دقيق مستمر SFT) يقوم بتوليد استجابات مرشحة. ويُفترض أن لديه احتمالية ثابتة $\gamma$ لتوليد استجابة "جيدة" (مكافأة $r^*(x, y) = 1$ ) لأي مدخل $x$ .
فئة المكافأة ( $\mathcal{R}$ ): مجموعة من دوال المكافأة الثنائية $r: \mathcal{X} \times \mathcal{Y} \to \{0, 1\}$ . دالة المكافأة الحقيقية $r^*$ مجهولة ولكنها تقع ضمن $\mathcal{R}$ .
توليد البيانات: تتكون بيانات التدريب من $m$ من العينات مستقلة ومتماثلة التوزيع (i.i.d.). تتضمن كل عينة مدخلاً $x_i$ و"لوحة" (slate) من $k$ استجابات $\{y_i^{(1)}, \dots, y_i^{(k)}\}$ مستخرجة من $\pi_{ref}(\cdot|x_i)$ . يلاحظ المتعلم مؤشرات الاستجابات الجيدة $A_{r^*}(z_i) = \{j : r^*(x_i, y_i^{(j)}) = 1\}$ .
الهدف: تصميم خوارزمية تعلم، تُعطى مدخلاً اختبارياً $x$ ولوحة من $k$ مرشحين من $\pi_{ref}$ ، بحيث تختار مؤشراً $j$ يحقق $r^*(x, y^{(j)}) = 1$ باحتمالية عالية ( $1-\epsilon$ ).

يميز المؤلفون عملهم عن الأدبيات النظرية القائمة عبر إزالة فرضية الوصول إلى نموذج مكافأة مُقدر مسبقاً. بدلاً من ذلك، يعاملون المشكلة كتعلم من الصفر، حيث يجب استنتاج دالة المكافأة نفسها من بيانات التفضيل المحدودة.

المنهجية والمفاهيم الجوهرية
يقدم البحث بُعداً توافقياً جديداً لتوصيف قابلية تعلم فئة المكافأة:

بُعد المحاذاة ( $d_{ALN}(\mathcal{R})$ ):
مجموعة المدخلات $\{x_1, \dots, x_d\}$ تُعتبر "مُحاذاتية التجزئة" (alignment shattered) بواسطة $\mathcal{R}$ إذا وُجدت أزواج من الاستجابات $(y_i^{(0)}, y_i^{(1)})$ بحيث لأي متجه ثنائي $b \in \{0, 1\}^d$ ، توجد دالة مكافأة $r_b \in \mathcal{R}$ تحقق $r_b(x_i, y_i^{(b_i)}) = 1$ و $r_b(x_i, y_i^{(1-b_i)}) = 0$ . بُعد المحاذاة هو حجم أكبر مجموعة من هذا النوع.
بُعد ناتارجان غير المهيمن (Non-Dominating Natarajan Dimension):
لإثبات قابلية التعلم، يربط المؤلفون المشكلة بخوارزمية الرسم البياني أحادي الاحتواء (One-Inclusion Graph - OIG) المستخدمة لفئات المفاهيم الجزئية. يعرّفون "بُعد ناتارجان غير المهيمن" لفئة القبول ذات القيم المجموعية المستحثة. ويثبتون أن هذا البُعد محكوم من الأعلى ببُعد المحاذاة.
خوارزمية التعلم (بطولة فوق الأزواج غير المهيمنة):
الإجراء المقترح للتعلم هو إجراء استنتاجي (transductive) يعمل في وقت الاستنتاج:

بالنسبة للوحة اختبار $Z$ ، تنظر الخوارزمية في جميع أزواج المجموعات الجزئية غير الفارغة من المؤشرات $(A, B)$ بحيث لا تكون إحداهما مجموعة جزئية من الأخرى ( $A \not\subseteq B$ و $B \not\subseteq A$ ).
لكل زوج، تقوم بإنشاء مجموعة تدريب فرعية تحتوي على الحالات التي كانت فيها مجموعة القبول الحقيقية هي $A$ أو $B$ .
تقوم بتشغيل خوارزمية OIG على هذه المجموعة الفرعية للتنبؤ بما إذا كانت مجموعة القبول الحقيقية هي $A$ أم $B$ .
تشكل هذه العملية "بطولة" (tournament) تعمل على تضييق مجموعات القبول الممكنة إلى سلسلة (chain). التنبؤ النهائي هو أي مؤشر استجابة موجود في تقاطع المجموعات الناجية.

النتائج الرئيسية
يضع البحث توصيفاً كاملاً لـ قابلية تعلم المحاذاة:

النظرية 1: تكون فئة المكافأة $\mathcal{R}$ قابلة للتعلم بالمحاذاة إذا وفقط إذا كان بُعد المحاذاة $d_{ALN}(\mathcal{R})$ منتهياً.
الحد الأعلى (النظرية 2): إذا كان $d_{ALN}(\mathcal{R}) < \infty$ ، فإن خوارزمية البطولة المقترحة تحقق قابلية التعلم $(\epsilon, \delta)$ بحجم عينة $m$ وحجم لوحة استنتاج $k$ هما دوال منتهية من البُعد، $\epsilon$ ، $\delta$ ، و $\gamma$ .
الحد الأدنى (النظرية 3): إذا كان $d_{ALN}(\mathcal{R}) = \infty$ ، فلا يمكن لأي خوارزمية تعلم تحقيق قابلية تعلم المحاذاة بعينات منتهية. يثبت البرهان وجود حالة صعبة باستخدام الطريقة الاحتمالية، موضحاً أن البُعد اللانهائي يعني وجود توزيعات لا يستطيع المتعلم من خلالها التمييز بين دالة المكافأة الحقيقية.

الأهمية والادعاءات
يضع المؤلفون هذا العمل كخطوة رائدة نحو نظرية تعلم إحصائي صارمة لمشكلات المحاذاة العامة. وتتضمن الادعاءات الرئيسية لمساهمة الورقة ما يلي:

إطار عمل مبتكر: هذا هو العمل الأول الذي يصيغ المحاذاة وقت الاستنتاج كمسألة تعلم إحصائي حيث تكون المكافأة مجهولة ويتم تعلمها بالكامل من البيانات، مما يميزها عن الأعمال السابقة التي تفترض الوصول إلى تقدير جيد للمكافأة.
التوصيف النظري: يوفر تقديم بُعد المحاذاة شرطاً ضرورياً وكافياً لقابلية التعلم، على غرار بُعد VC في التصنيف الثنائي، ولكن مصمم خصيصاً لقيود اختيار استجابة جيدة واحدة من بين عدة مرشحين.
التمييز عن النماذج القائمة: يوضح المؤلفون أن إعدادهم يختلف عن تعلم الفئات المتعددة (حيث يكون هناك تسمية واحدة صحيحة) وتعلم القوائم (حيث يتم إخراج قائمة من التسميات). في إعدادهم، قد تكون استجابات متعددة صحيحة، ولكن يجب على المتعلم تحديد واحدة منها بنجاح.
التواضع في النطاق: يقر المؤلفون بالقيود، مشيرين إلى أن صيغتهم الحالية تفترض مكافآت ثنائية وإعدادات واقعية (realizable). ويذكرون صراحة أن إجراء التعلم الخاص بهم غير قياسي (يعتمد على الحوسبة وقت الاختبار وافتراضات ترتيب الصفوف/الترتيبات) وأن توسيع النظرية لتشمل بيانات تدريب ذات استجابة واحدة، أو مكافآت ذات قيم حقيقية، أو التعلم القائم على التفضيل (نماذج برادلي-تيري) يظل توجهاً مفتوحاً للعمل المستقبلي.

تخلص الورقة إلى أن ترسيخ بُعد المحاذاة كمعيار تعقيد أساسي يوفر أساساً نظرياً لفهم متى وكيف يمكن تحقيق المحاذاة وقت الاستنتاج، مما قد يوجه تطوير مبادئ أكثر منهجية للمحاذاة العملية.

أبحاث مشابهة