🤖 AI

Behavior Cue Reasoning: Monitorable Reasoning Improves Efficiency and Safety through Oversight

تقدم هذه الورقة "استنتاج إشارات السلوك" (Behavior Cue Reasoning)، وهي طريقة تُدرب النماذج اللغوية الكبيرة على إصدار إشارات رموز خاصة قبل سلوكيات محددة، مما يتيح إشرافاً فعالاً يقلل بشكل كبير من رموز الاستنتاج المهدرة ويستعيد الإجراءات الآمنة دون المساس بالأداء.

المؤلفون الأصليون: Christopher Z. Cui, Taylor W. Killian, Prithviraj Ammanabrolu

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Christopher Z. Cui, Taylor W. Killian, Prithviraj Ammanabrolu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً عبقرياً ولكنه كثير الكلام جداً (وهو الذكاء الاصطناعي) يحاول حل لغز صعب. قبل أن يعطيك الإجابة النهائية، يقوم بتدوين دفتر ملاحظات طويل وفوضوي من الأفكار، والحسابات، والبدايات الخاطئة.

المشكلة هي أنه بحلول الوقت الذي يكتب فيه الطالب الإجابة النهائية، قد يكون قد ارتكب خطأً في دفتر ملاحظاته لم يقم بتصحيحه أبداً، أو أنه أضاع ساعات في التدوين حول نفس الفكرة الخاطئة. إذا نظرت أنت (المعلم) إلى الإجابة النهائية فقط، فلن تتمكن من رؤية الأخطاء التي تحدث في دفتر الملاحظات إلا بعد فوات الأوان.

تقدم هذه الورقة البحثية طريقة جديدة لتعليم الطالب استخدام "قصاصات ملاحظات خاصة" (تسمى إشارات سلوكية - Behavior Cues) داخل دفتر ملاحظاته. تعمل هذه الملاحظات مثل إشارات المرور أو اللوحات الإرشادية التي تخبر المعلم بما يفعله الطالب في تلك اللحظة بالضبط.

إليك كيف يعمل الأمر، مقسماً إلى مفاهيم بسيطة:

1. ثلاث قصاصات ملاحظات سحرية

درب الباحثون الذكاء الاصطناعي على كتابة ثلاث عبارات محددة تلقائياً في لحظات رئيسية من عملية تفكيره:

[الإجابة]: هذا يشبه رفع الطالب ليده وقوله: "هذا هو أفضل تخمين لدي الآن". في كل مرة يغير فيها تخمينه، يجب عليه كتابة هذه الملاحظة وتحديث التخمين.
[استمرار]: هذا هو قول الطالب: "لم أنتهِ بعد، أحتاج للتفكير أكثر".
[توقف]: هذا هو قول الطالب: "أنا واثق، لقد انتهيت من التفكير، إليكم إجابتي النهائية".

2. لماذا يعد هذا تغييراً جذرياً؟

بدون هذه الملاحظات، يتعين على المعلم (أو نظام الرقابة) قراءة دفتر الملاحظات الفوضوي بالكامل ليعرف ما إذا كان الطالب على المسار الصحيح. الأمر يشبه محاولة مشاهدة فيلم عبر النظر فقط إلى الإطار الأخير.

باستخدام هذه الملاحظات، يمكن للمعلم إلقاء نظرة خاطفة على ملاحظات [الإجابة] ورؤية تطور عملية تفكير الطالب فوراً.

الكفاءة (توفير الوقت): إذا رأى المعلم الطالب يكتب الإجابة الصحيحة على إحدى الملاحظات، يمكنه القول فوراً: "توقف! لقد انتهيت. لا تضيع المزيد من الوقت في التفكير". تُظهر الورقة أن هذا يمكن أن يقلل وقت التفكير الضائع بنسبة تصل إلى 50%.
الأمان (إيقاف الأخطاء): تخيل أن الطالب يلعب لعبة حيث يجب عليه تجنب الخطو على "الحمم البركانية". إذا كانت فكرة الطالب النهائية هي القفز على الحمم، ولكن ملاحظة [الإجابة] الخاصة به منذ خمس دقائق قالت "اقفز على العشب"، يمكن للمعلم رصد تلك الفكرة الآمنة مبكراً وقول: "في الواقع، لنذهب مع فكرة العشب الآمنة تلك بدلاً من ذلك". سمح هذا للنظام بإنقاذ 80% من المحاولات التي كانت ستفشل لولا ذلك.

3. ميزة "الصندوق الأسود"

عادةً، لكي تتحكم في ذكاء اصطناعي، قد تحتاج إلى التلصص داخل عقله (كوده الداخلي أو حالاته الخفية). طريقة هذه الورقة مميزة لأنها تعامل الذكاء الاصطناعي كـ صندوق أسود. لا يحتاج المعلم لمعرفة كيف يعمل عقل الذكاء الاصطناعي؛ بل يحتاج فقط لقراءة قصاصات الملاحظات الخاصة التي يكتبها الذكاء الاصطناعي على السطح. هذا يجعل من السهل جداً بناء "مراقب" (ذكاء اصطناعي أضعف وأبسط) لإبقاء الذكاء الاصطناعي الذكي تحت السيطرة.

4. ماذا تظهر النتائج

اختبر الباحثون هذه الطريقة على نوعين مختلفين من عقول الذكاء الاصطناعي وفي ثلاثة "عوالم" مختلفة:

المسائل الرياضية: حل الذكاء الاصطناعي مسائل رياضية صعبة بنفس كفاءة السابق (أو أفضل)، لكن المعلم استطاع منعه من إضاعة الوقت بمجرد العثور على الإجابة.
ألعاب النصوص: في لعبة يتعين على الذكاء الاصطدي فيها طهي وجبة، استطاع المعلم منعه من التجول بلا فائدة.
ألعاب السلامة: في لعبة تحتوي على "حمم" (مناطق خطر)، استطاع المعلم التدخل واستبدال حركة خطيرة بأخرى آمنة كان الذكاء الاصطناعي قد فكر فيها سابقاً، مما حول معدل الفشل من 46% إلى معدل نجاح قدره 96%.

الخلا الخلاصة

تقترح هذه الورقة فكرة بسيطة ولكنها قوية: علّم الذكاء الاصطناعي أن يعلن عن أفكاره أثناء التفكير فيها.

من خلال إجبار الذكاء الاصطناعي على وضع "قصاصات ملاحظات" على أفكاره المتغيرة، نحن نجعل من الممكن لمشرف أبسط مراقبة العملية في الوقت الفعلي، أو إيقافه عندما ينتهي، أو إصلاح مساره عندما يوشك على ارتكاب خطأ. إنها تحول عملية التفكير الخفية والفوضوية للذكاء الاصطناعي إلى شيء شفاف، قابل للتحكم، وأكثر أماناً للاستخدام.

ملخص تقني: استدلال إشارات السلوك للنماذج اللغوية الكبيرة القابلة للمراقبة والتحكم

بيان المشكلة

يمثل الاستدلال في النماذج اللغوية الكبيرة (LLMs) تحديًا كبيرًا للإشراف القابل للتوسع. وبينما تسمات الاستدلال (reasoning traces) تسمثل وسيلة تتيح للنماذج مقايضة وقت الاستنتاج بتحسين الأداء، إلا أن هذه التسمات غالبًا ما تكون غامضة بالنسبة للمراقبين الخارجيين. فالسلوكيات غير المتوافقة أو الإجراءات غير الآمنة كثيرًا ما تظل مخفية داخل عملية الاستدلال، ولا تظهر إلا عندما يلتزم النموذج بإجابة نهائية. وبناءً على ذلك، تمتلك أدوات المراقبة الخارجية قدرة محدودة على اكتشاف السلوكيات السلبية وإيقافها قبل أن تتجلى في الاستجابة النهائية.

تعتمد المقاربات السابقة لتوجيه الاستدلال عادةً على حقن عبارات أو رموز خارجية أثناء عملية فك التشفير، أو تدريب النماذج على الشرط بوجود سياق مدرج خارجيًا. ومع ذلك، تعامل هذه الطرق إشارات التوجيه كمدخلات خارجية بدلاً من كونها إشارات داخلية للنموذج. فالنموذج نفسه لا يبرز بشكل طبيعي معلومات حول حالته السلوكية الكامنة، مما يحد من إمكانية تطبيق هذه المقاربات في الإشراف الفعال.

المنهجية: استدلال إشارات السلوك (Behavior Cue Reasoning)

لمعالجة غموض تسمات الاستدلال، قدم المؤلفون إطار عمل "استدلال إشارات السلوك"، حيث يتم تدريب النموذج على إصدار تسلسلات من الرموز الخاصة بشكل طبيعي مباشرة قبل سلوكيات معينة ضمنية وصريحة. تعمل هذه الرموز كإشارات مزدوجة الغرض: فهي تبرز الحالة الداخلية للنموذج للمراقبة، وتعمل كرافعات قابلة للإنفاذ للتحكم الخارجي.

يستخدم إطار العمل ثلاثة إشارات سلوكية محددة:

[answer]: يشير إلى تحديث لـ "الإجابة العاملة" للنموذج. يتم تدريب النموذج على تقديم أفضل تخمين للإجابة دون مزيد من الاستدلال فور ظهور هذا الرمز.
[continue]: يشير إلى أن النموذج ينوي مواصلة الاستدلال بعد استقرار إجابة عاملة جديدة.
[stop]: يشير إلى إنهاء الاستدلال بعد استقرار إجابة عاملة جديدة.

مسار التدريب

تتضمن عملية التدريب مسار استخراج، وتضمين، وضبط دقيق تحت الإشراف (SFT):

الاستخراج (Elicitation): لكل خطوة في تسمة الاستدلال، يتم قطع استدلال النموذج، ثم تُلحق عبارة إنهاء، ويُسمح للنموذج بإنتاج إجابة نهائية. هذا يولد سلسلة من "الإجابات العاملة" ( $a_0, a_1, \dots$ ) المقابلة لخطوات الاستدلال ( $r_0, r_1, \dots$ ).
التضمين (Embedding): يتم تضمين هذه الإجابات العاملة مرة أخرى في تسمة الاستدلال بين كتل [answer] و [continue] (أو [stop]). ومن الأهمية بمكان أنه لا يتم تضمين الإجابة إلا إذا كانت تختلف عن الإجابة المضمنة سابقًا، مما يضمن أن كل رمز [answer] يمثل تغييرًا ملموسًا في المخرج الأكثر احتمالية للنموذج.
الضبط الدقيق تحت الإشراف (SFT): يتم ضبط النموذج دقيقًا على هذه المجموعة المعدلة من البيانات ليتعلم الإصدار الطبيعي لهذه الإشارات. ويشير المؤلفون إلى أن محاولات استخراج هذا السلوك عبر التلقين (Prompting) أو التعلم التعزيزي (RL) وحده لم تنجح بسبب ميل النموذج للتمسك بالإجابات المذكورة سابقًا.

آليات الإشراف

يقيّم البحث نوعين من وحدات الإشراف الخارجية:

مراقبة الكفاءة: مراقب غير مستدل (تم ضبطه دقيقًا عبر التعلم التعزيزي) يراقب تسمة الاستدلال. يستخدم رمز [answer] كإشارة معلومات كثيفة لتقرير ما إذا كان يجب إيقاف الاستدلال (إذا ظهرت الإجابة الصحيحة) أو الاستمرار. وهذا يسمح بتقليص "المسارات المسدودة" في الاستدلال أو الحوسبة غير الضرورية.
مراقبة السلامة: يقوم مراقب (سواء كان نموذجًا لغويًا كبيرًا أو قائمًا على القواعد) بتصنيف الإجراءات كآمنة أو غير آمنة. في بيئة إنفاذ السلامة، يقوم مراقب قائم على القواعد بتحليل الإجراءات المرشحة التي برزت عبر [answer]. إذا انتهى استدلال النموذج بإجراء غير آمن، يمكن للمراقب استعادة والالتزام بآخر إجراء آمن معروف تم كشفه بواسطة إشارات [answer]، مما يتدخل فعليًا في منتصف عملية الاستدلال.

المساهمات الرئيسية

آلية إشارات السلوك: تقديم طريقة لجعل استدلال النماذج اللغوية الكبيرة أكثر قابلية للمراقبة والتحكم من خلال تسلسلات الرموز المدربة ([answer], [continue], [stop]) التي تعمل كخطافات سطحية لسلوكيات الاستدلال.
الأداء والقدرة على التحكم: إثبات أن النماذج المدربة على استدلال إشارات السلوك تحافظ على أداء النماذج الأساسية أو تتفوق عليها، وتلتزم ببراعة بالإشارات المفروضة خارجيًا.
مكاسب الكفاءة: تقديم دليل على أن استدلال إشارات السلوك يتيح الإشراف الخارجي عبر آفاق قرار قابلة للتتبع. تسمح صياغة التسمة المضغوطة (باستخدام تقدم الإجابة وعدد خطوط الاستدلال فقط) للمراقب غير المستدل بتقليص ما يصل إلى 50% من رموز الاستدضاء الضائعة في المسائل الرياضية المعقدة دون التضحية بالصحة.
استعادة السلامة: إثبات أن استدلال إشارات السلوك يتيح لمراقب سلامة قائم على القواعد (شبه مثالي) استعادة الإجراءات الآمنة من 80% من تسمات الاستدلال التي كانت ستنتهي بإجراء غير آمن. وهذا يرفع معدل النجاح في البيئات المقيدة بالسلامة من 46% إلى 96%.
إصدار الأدوات: الإصدار العام لملحق متوافق مع النماذج اللغوية الكبيرة لبيئة Hazardworld لأبحاث الإشراف على الاستدلال.

النتائج التجريبية

قيم المؤلفون النهج عبر عائلتين من النماذج (Qwen3-8B و GLM-Z1-9B) وثلاثة مجالات: AIME (الرياضيات المعقدة)، Textworld (إكمال مهام متعددة الخطوات مثل Cookingworld)، و Hazardworld (الالتزام بالقيود في الملاحة).

أداء النموذج الأساسي: طابقت نماذج استدلال إشارات السلوك أداء النماذج الأساسية أو تفوقت عليها في جميع المجالات. على سبيل المثال، تحسن نموذج Qwen3-8B من 62.5% إلى 69.2% في AIME 2025.
الالتزام بالإشارات: التزمت النماذج عمومًا بالإشارات المفروضة خارجيًا، رغم تباين الالتزام حسب المجال. في Hazardworld، كان الالتزام بـ [stop] بنسبة 100% لنموذج Qwen3-8B، بينما في AIME، كان الالتزام بـ [stop] مرتفعًا، لكن فرض [continue] نادرًا ما أدى إلى تغيير الإجابات (16% فقط لـ GLM).
مراقبة الكفاءة: في AIME، سمح استخدام [answer] كنقاط قرار للمراقب بتعلم معايير التوقف بناءً على أنماط تقدم الإجابة. فرضت صياغة التسمة المضغوطة (إزالة محتوى الاستدلال الخام) على المراقب الاعتماد على هذه الأنماط، مما نجح في تقليص الرموز.
مراقبة السلامة: واجهت المراقبات القائمة على النماذج اللغوية الكبيرة صعوبة في تصنيف السلامة حتى مع وجود إشارات السلوك. ومع ذلك، حقق مراقب قائم على القواعد يقوم بتحليل مخرجات [answer] درجة 99.54% F1 في تصنيف الإجراءات. وعند اقترانه بنموذج استدلال إشارات السلوك، سمح ذلك باستعادة الإجراءات الآمنة في 80% من التسمات التي كانت ستفشل لولا ذلك، مما ضاعف معدل النجاح.

الأهمية والادعاءات

يدعي البحث أن استدلال إشارات السلوك يدفع الإشراف القابل للتوسع من خلال إثبات كيف يمكن تدريب النموذج المراقب ليكون أكثر قابلية للتتبع في استدلاله. ومن خلال تدريب النموذج على كشف إجابته العاملة صراحةً عند نقاط جوهرية، يتجنب هذا النهج مشكلة "الأمانة" (faithfulness) حيث لا تتوافق تسمات الاستدلال مع الإجابات النهائية.

يؤكد المؤلفون أن هذه الطريقة تحسن قابلية مراقبة وتحكم الاستدلال دون تكلفة على الأداء. وهم يضعون إشارات السلوك ليس كضمانات حتمية (نظرًا للطبيعة العشوائية للنماذج اللغوية الكبيرة) ولكن كأولويات تعلم قوية تخلق "أفقًا قابلًا للتعلم" للإشراف. وهذا يسمح بتدريب مراقبين أضعف، غير مستدلين، للإشراف بفعالية على فاعلين أقوياء في الاستدلال، مما يعالج تحدي الإشراف على أنظمة الذكاء الاصطناعي التي تتجاوز قدراتها قدرات مقيميها.

كما يسلط العمل الضوء على مبدأ "ضريبة المراقبة": من خلال ترك الاستدلال عمدًا خارج حلقة التحسين لنموذج الفاعل (عبر تحسين المراقب بدلاً من ذلك)، يتجنب النظام خطر تعلم النموذج لإخفاء السلوك السيئ لإرضاء مكافأة الإشراف.