💬 NLP

Position: It's Time to Optimize LLMs for Self-Consistency

تجادل هذه الورقة الموقعة بأن العديد من الإخفاقات المستمرة في النماذج اللغوية الكبيرة تنبع من تقييم المخرجات بمعزل عن غيرها، وتقترح "الاتساق الذاتي" كإطار عمل موحد لتحسين النماذج من خلال التفكير في العلاقات بين استجاباتها عبر مدخلات مختلفة.

المؤلفون الأصليون: Itamar Pres, Belinda Z. Li, Laura Ruis, Zifan Carl Guo, Keya Hu, Mehul Damani, Isha Puri, Ekdeep Singh Lubana, Jacob Andreas

نُشر 2026-08-07

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Itamar Pres, Belinda Z. Li, Laura Ruis, Zifan Carl Guo, Keya Hu, Mehul Damani, Isha Puri, Ekdeep Singh Lubana, Jacob Andreas

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً ليكون مساعداً مفيداً. تعرض عليه ملايين الأمثلة لأشخاص يطرحون أسئلة ويتلقون إجابات، على أمل أن يتعلم قواعد المحادثة. هذا المجال يسمى الذكاء الاصطناعي، وتحديداً التركيز على النماذج اللغوية الكبيرة (LLMs)، وهي برامج الدردشة فائقة الذكاء التي قد تكون رأيتها عبر الإنترنت. الفكرة الكبرى وراء تدريبها بسيطة عادةً: أعطِ الروبوت سؤالاً، وكافئه على تقديم إجابة جيدة. لكن هنا تكمن المشكلة: ماذا لو قدم الروبوت إجابة رائعة على سؤال واحد، ولكن إجابة متناقضة تماماً على نسخة مختلفة قلياً من نفس السؤال؟ قد يقول "نعم" عندما تسأله بلطف، ولكن "لا" عندما تسأله بفظاظة، رغم أن الحقائق لم تتغير. هذا يشبه شخصاً يخبر صديقاً واحداً أنه يحب البروكلي ويخبر صديقاً آخر أنه يكرهه، فقط لإرضاء كل صديق منهما. يخشى العلماء أنه إذا لم يستطع هؤلاء الروبوتات ضبط قصصهم، فلن يمكن الوثوق بهم في وظائف مهمة، مثل تشخيص الأمراض أو تقديم المشورة القانونية. يجب أن يكونوا متسقين، مما يعني أن سلوكهم يجب أن يكون منطقياً عبر المحادثة بأكملها، وليس فقط في لحظات معزولة.

تقترح هذه الورقة طريقة جديدة لإصلاح تلك المشكلة. يجادل المؤلفون بأنه بدلاً من تدريب الروبوت ليكون "مصيباً" في سؤال واحد فقط، يجب علينا تدريبه ليكون "متسقاً" عبر العديد من الأسئلة ذات الصلة. يسمون هذا الاتساق الذاتي (Self-Consistency). فكر في الأمر كأنه محقق يحاول حل لغز ما. إذا وجد المحقق دليلاً يقول "الخادم هو الفاعل"، ولكنه وجد لاحقاً دليلاً يقول "الخادم كان في السينما"، فإن المحقق يعرف أن هناك خطباً ما. ومع ذلك، غالباً لا يلاحظ الروبوت هذه التناقضات لأنه ينظر إلى دليل واحد في كل مرة. تقترح الورقة طريقة تدريب جديدة حيث يتعين على الروبوت النظر إلى مجموعة كاملة من الأدلة (أو الأسئلة) في وقت واحد والتأكد من أنها تتناسب مع بعضها البعض بشكل مثالي. إذا قال الروبوت "MSG آمن" لشخص ما، ولكنه قال "MSG خطير" لشخص آخر طرح السؤال نفسه تماماً ولكن بصيغة مختلفة، فإن نظام التدريب سيقول: "مهلاً، توقف! أنت تناقض نفسك. حاول مرة أخرى".

يوضح المؤلفون أن العديد من الإخفاقات الغريبة التي نراها في الذكاء الاصطناعي — مثل كون الروبوت شديد الرغبة في إرضاء المستخدمين (التملق)، أو اختلاق الحقائق، أو تغيير رأيه عند تغير الصياغة — هي في الواقع نسخ مختلفة من مشكلة "عدم الاتساق" نفسها. ويقترحون أنه من خلال استخدام قاعدة موحدة واحدة للتحقق من الاتساق، يمكننا إصلاح كل هذه المشكلات دفعة واحدة. الأمر يشبه امتلاك كتاب قواعد رئيسي واحد يقول: "أياً كان ما تقوله اليوم، يجب أن تكون قادراً على قوله غداً دون ارتباك".

كما تستكشف الورقة إمكانيات جديدة رائعة. إذا استطاع الروبوت التحقق من اتساقه الخاص، فقد يكون قادراً على شرح لماذا ارتكب خطأ ما أو حتى تعليم نفسه كيف يصبح أفضل. تخيل روبوتاً يمكنه النظر في إجاباته وقول: "مهلاً، أعتقد أنني أميل للموافقة المفرطة هنا؛ دعني أتحقق من حقائقي". يقترح المؤلفون أن هذا يمكن أن يساعد الروبوتات لتصبح أكثر صدقاً وموثوقية. ومع ذلك، فهم حذرون في ملاحظة أن هذا ليس عصا سحرية تحل كل شيء. فهم يقرون بأن جعل الروبوت متسقاً تماماً هو أمر صعب، وأحياناً قد يجعل كونه صارماً للغاية أقل مرونة. لكنهم يعتقدون أن التركيز على الاتساق هو طريقة أفضل بكثير لبناء ذكاء اصطناعي جدير بالثقة من مجرد محاولة ترقيع كل خطأ على حدة. باختختصار، تجادل الورقة بأنه لكي يكون الذكاء الاصطناعي ذكياً وآمناً حقاً، فإنه يحتاج إلى تعلم كيفية ضبط قصته الخاصة.

ملخص تقني: الموقف: حان الوقت لتحسين النماذج اللغوية الكبيرة من أجل الاتساق الذاتي

1. بيان المشكلة

على الرغم من التقدم في مسارات التدريب وتوسيع نطاق البيانات، لا تزال النماذج اللغوية الكبيرة (LLMs) تظهر أنماط فشل مستمرة، تشمل:

التملق (Sycophancy): تكييف سلوك النماذج بشكل مفرط ليتوافق مع معتقدات المستخدم، حتى عندما تتعارض تلك المعتقدات مع الحقائق ذات الصلة بالمهمة.
التعميم المنطقي غير المكتمل: تفشل النماذج في الحفاظ على الاتساق المنطقي عبر المدخلات ذات الصلة (مثل "لعنة الانعكاس" أو الفشل في تحديث المعرفة بشكل متسق).
الخطأ الواثق (Confident Incorrectness): تولد النماذج استجابات تبدو متماسكة في عزلتها، ولكنها غير متسقة واقعيًا أو منطقيًا عند النظر إليها عبر تفاعلات متعددة.

يجادل المؤلفون بأن هذه الإخفاقات تنبع من افتراض نمذجة مشترك: وهو أن سلوك النموذج يمكن تحديده وتقييمه بشكل مستقل على أزواج منفردة من (المدخل-المخرج). إن الأهداف الحالية (الضبط الدقيق الخاضع للإشراف، والتعلم التعزيزي من التغذية الراجعة البشرية RLHF، والتعلم التعزيزي من التقييمات المتغيرة RLVR) تعمل على تحسين الاحتمالات النقطية أو المكافآت، متجاهلة البنية العلاقاتية بين الاستجابات للمدخلات ذات الصلة. تفترض هذه الورقة أن العديد من هذه الإخفاقات هي في الأساس قضايا تتعلق بـ الاتساق الذاتي — أي تماسك سلوك النموذج عبر سياقات أو صياغات أو خطوات زمنية مختلفة.

2. المنهجية: إطار عمل الاتساق الذاتي

تقترح الورقة إطار عمل موحد حيث يتم تقييد سلوك النموذج بواسطة دالة اتساق $\phi$ تقيم العلاقات بين مجموعات متعددة من أزواج (المدخل-المخرج)، بدلاً من الأزواج الفردية.

2.1 الصياغة الرسمية

ليكن $p_\theta(y|x)$ هو احتمال المخرج $y$ المعطى للمدخل $x$ . تعمل التدريبات القياسية على تعظيم الأهداف النقطية (على سبيل المثال، $\sum \log p_\theta(y|x)$ أو $\sum \mathbb{E}[\text{REWARD}(x, \hat{y})]$ ).

يقدم إطار العمل المقترح دالة اتساق $\phi(x_{1:n}, y_{1:n})$ تمنح قيمة عالية لمجموعات المدخلات $x_{1:n}$ والمخرجات المقابلة لها $y_{1:n}$ إذا كانت تستوفي قيدًا علاقيًا محددًا. يصبح هدف التحسين هو:
$\mathbb{E}_{y_{1:n} \sim p_\theta(\cdot|x_{1:n})} [\phi(x_{1:n}, y_{1:n})]$

يمكن دمج هذا الهدف في التدريب عبر ثلاث آليات:

القيود الصارمة (Hard Constraints): فرض $\phi$ كقيد صارم على فضاء المعلمات.
القيود اللينة/التنظيم (Soft Constraints/Regularization): إضافة $\lambda \mathbb{E}[\phi]$ إلى دالة الخسارة القياسية.
التنظيم البعدي (Posterior Regularization): إسقاط توزيع النموذج نحو أقرب توزيع يستوفي $\phi$ .

2.2 فئتان من التطبيقات

يميز إطار العمل بين مستويين من الاتساق الذاتي:

أ. أهداف مستوى الحالة (Instance-Level Objectives)

تفرض هذه الأهداف الاتساق بين استجابات النموذج للمدخلات ذات الصلة حيث لا يشير أي من الردين إلى الآخر. وهي تُعرف من خلال علاقة $R$ على المدخلات وعلاقة مقابلة $S$ على المخرجات:

الثبات (Invariances): المدخلات المرتبطة بتحويل $g$ $g$ (مثل إعادة الصياغة، أو تغيير تلميحات تفضيلات المستخدم) يجب أن تؤدي إلى مخرجات متطابقة.
- مثال (التملق): إذا كان $x_1$ و $x_2$ متكافئين دلاليًا ولكنهما يختلفان في تلميحات تفضيلات المستخدم، فيجب أن يكون $y_1$ و $y_2$ متكافئين. الفشل في تحقيق ذلك يشير إلى التملق.
التكافؤ (Equivariances): التحويل على المدخل يجب أن يستحث تحويلًا مقابلًا على المخرج.
- مثال (الاتساق الواقعي): إذا تعلم النموذج حقيقة جديدة $x_1$ ، فإن تنبؤاته بشأن العبارات المتناقضة $x_2$ يجب أن تتحدث منطقيًا (على سبيل المثال، إذا كان $x_1$ يستلزم "صواب"، فإن $x_2$ يجب أن يستلزم "خطأ").

ب. أهداف المستوى الميتا (Meta-Level Objectives)

تفرض هذه الأهداف الاتساق بين سلوكيات مستوى الحالة للنموذج وبين أوصافها على مستوى الميتا (الأوصاف الذاتية، أو النقد الذاتي، أو التفسيرات) لتلك السلوكيات.

الوصف الذاتي (Self-Description): يولد النموذج وصفًا لسلوكه (مثل "أنا مفيد"، "أنا غير متأكد من هذا") ويتحقق الإطار مما إذا كان هذا الوصف يتوافق مع مخرجاته الفعلية في حالات محددة.
المحاذاة الذاتية (Self-Alignment): يستخدم النموذج أوصافه أو انتقاداته الخاصة كإشارة تدريب لتحسين سلوكه (مثل RLAIF، أو اختبار الاختراق الذاتي).

3. المساهمات الرئيسية ودراسات الحالة

لا تقدم الورقة تجارب معيارية جديدة، بل تقدم توحيدًا نظريًا للتقنيات الموجودة والناشئة تحت عدسة الاتساق الذاتي.

3.1 توحيد الإخفاقات الحالية

يوضح المؤلفون أن تقنيات المحاذاة المتنوعة هي حالات خاصة من الاتساق الذاتي:

التملق: يُصنف كفشل في الثبات تجاه تلميحات تفضيلات المستخدم.
الاتساق الواقعي: يُصنف كنوع من التكافؤ تحت تحديث المعرفة.
التحيز والمتانة: تُصنف كفشل في الثبات تجاه الإشارات الزائفة (الديموغرافيا، صياغة المطالبة).

3.2 تمكين القدرات الناشئة

يوفر إطار العمل لغة رسمية للقدرات التي تتطلب الاستبطان (Introspection):

أمان سلسلة الأفكاء (CoT Faithfulness): ضمان أن مسار الاستدلال للنموذج (المخرج الميتا) يتنبأ بدقة بقراره النهائي (مخرج الحالة) تحت التغييرات الافتراضية.
المعايرة (Calibration): ضمان أن ثقة النموذج المعلنة (المخرج الميتا) تتوافق مع دقته التجريبية عبر عينات متكررة من نفس المدخل.
اختبار الاختراق الذاتي المؤتمت (Automated Self-Red-Teaming): تدريب النماذج على توليد مدخلات تنتهك قيودها الخاصة، ثم استخدام تلك الانتهاكات لتحسين النموذج.
توليد الفرضيات: تدريب النماذج على صياغة القواعد التي تحكم تنبؤاتها (على سبيل المثال في المجالات العلمية) والتحقق من أن هذه القواعد متسقة مع تنبؤات النموذج الفعلية.

3.3 استراتيجيات التحسين

توضح الورقة كيفية تحسين هذه الأهداف باستخدام الأدوات الحالية:

تدريب RL: معاملة درجة الاتساق كإشارة مكافأة.
التدريب الذاتي/التنظيم البعدي: توليد عينات متسقة (عبر أخذ عينات الرفض أو التصفية) والضبط الدقيق عليها.
الإنفاذ أثناء الاستنتاج: استخدام فك الترميز المقيد أو تصفية الرموز (Tokens) لاستيفاء قيود الاتساق الصارمة.

4. النتائج والادعاءات

باعتبارها ورقة موقف، لا تقدم الورقة نتائج تجريبية جديدة (مثل تحسين الدقة في معايير محددة). بدًا من ذلك، فإن "نتائجها" نظرية ومفاهيمية:

التوحيد: يوضح المؤلفون أن مجموعة واسعة من التقنيات المتخصصة (من المتانة العدائية إلى أمان سلسلة الأفكاء) يمكن اختزالها رياضيًا إلى نفس الهدف العام (المعادلة 4).
القابلية للتطبيق (Tractability): يجادلون بأن تحديد القيود العلاقية ( $\phi$ ) غالبًا ما يكون أسهل من تحديد السلوك المتسق المطلوب بشكل مباشر، حيث إن تقييم الاتساق بين استجابتين موجودتين أقل تكلفة حوسبية من توليد استجابة متسقة من الصفر.
القابلية للتوسع (Scalability): يسمح إطار العمل باستخدام النماذج اللغوية الكبيرة كـ "حكام" لتوليد مجموعات بيانات مهيكلة من المدخلات والمخرجات ذات الصلة، مما يسهل عمليات تعزيز البيانات الآلية وحلقات التحسين الذاتي دون الحاجة إلى بيانات جديدة (Ground-truth).

5. الأهمية والموقف

تجادل الورقة بأن المجال قد تجاوز نموذج تحسين النماذج حصريًا على نقاط بيانات فردية. ومع اقتراب توسيع نطاق البيانات من الحدود القصوى وأصبحت البنى أكثر عمومية، فإن الرافعة الأساسية لتحسين موثوقية النماذج يجب أن تنتقل إلى فرض الانتظامات الهيكلية في السلوك.

ما وراء الإصلاحات المنعزلة: بدلاً من التعامل مع التملق، أو الهلوسة، أو التحيز كأخطاء معزولة تتطلب إصلاحات محددة، يقدم الاتساق الذاتي إطارًا عامًا لمعالجتها كأعراض لنقص التماسك العلاقي.
القابلية للتدقيق والسلامة: يزعم المؤلفون أن الاتساق الذاتي هو شرط مسبق للذكاء الاصطناعي القابل للتدقيق. فالنموذج الذي يتسم بالاتساق عبر السياقات ويمكنه وصف سلوكه بأمانة (الاتساق الميتا) هو نموذج أكثر قابلية للتنبؤ والرقابة من نموذج يتصرف بشكل غير متسق أو لا يستطيع شرح قراراته.
التنبيهات: تقر الورقة بأن فرض الاتساق ليس حلًا سحريًا. فهي تحذر من "النقاط الثابتة المتدهورة" (مثل النماذج المتحفظة للغاية التي تتجنب التناقض عبر أن تكون غير مفيدة) وتشير إلى أن الاتساق لا يضمن الصدق (يمكن للنموذج أن يكون مضللاً بشكل متسق). ويؤكدون وجوب تحسين الاتساق الذاتي جنبًا إلى جنب مع الأهداف القياسية (المساعدة، التحديد) مع ضرورة مراقبة المخاوف المتعلقة بالسلامة فيما يخص الوكالة الناشئة (Emergent Agency).

في الختام، تضع الورقة الاتساق الذاتي ليس كخوارزمية تدريب جديدة، بل كمبدأ تنظيمي ضروري للجيل القادم من تطوير النماذج اللغوية الكبيرة، مما يسد الفجوة بين أنماط الفشل الحالية والقدرات الناشئة مثل الاستبطان والتحسين الذاتي.