💬 NLP

Inference-time Alignment via Sparse Junction Steering

تقترح هذه الورقة البحثية "المحاذاة المتفرقة عند وقت الاستدلال" (SIA)، وهي طريقة تعمل على تحسين كفاءة المحاذاة وجودة التوليد من خلال التدخل فقط عند نقاط القرار ذات الإنتروبيا العالية بدلاً من كل رمز، مما يحقق نتائج متفوقة بتكلفة حوسبية أقل بمقدار يصل إلى 6 أضعاف.

المؤلفون الأصليون: Runyi Hu, Jie Zhang, Shiqian Zhao, Jiale Meng, Jiwei Li, Jason Zeng, Ming Wu, Michael Heinrich, Yonggang Wen, Tianwei Zhang

نُشر 2026-02-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Runyi Hu, Jie Zhang, Shiqian Zhao, Jiale Meng, Jiwei Li, Jason Zeng, Ming Wu, Michael Heinrich, Yonggang Wen, Tianwei Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طباخاً موهوباً جداً ولكنه مشاكس قليلاً (وهو النموذج اللغوي الكبير، أو LLM). يمكن لهذا الطباخ إعداد أطباق مذهلة (إجابات) بمفرده، لكنه قد يضيف أحياناً الكثير من الملح عن طريق الخطأ، أو يقدم طبقاً غير آمن، أو ببساطة يسترسل في الكلام دون الوصول إلى الجوهر.

تقليدياً، لمحاولة إصلاح ذلك، جربنا أمرين رئيسيين:

إعادة تدريب الطباخ: نرسل الطباخ للعودة إلى مدرسة الطهي لعدة أشهر لتعلم الوصفات من جديد. هذا ينجح، لكنه مكلف وبطيء ويتطلب عملية تجديد شاملة للمطبخ (التكلفة الحسابية).
الإدارة الدقيقة لكل خطوة: نقف فوق كتف الطباخ ونصرخ بالتعليمات لكل مكون يختاره. "ضع ملحاً أقل هنا!" "لا تقطع تلك البصلة!" "أضف المزيد من الفلفل!" هذا يضمن أن الطبق آمن، لكنه يرهق الطباخ، ويبطئ عملية الطهي بشكل كبير، وأحياناً يصبح الطعام أسوأ المذاق بسبب كثرة الصراخ التي تشتت انتباه الطباخ.

تقدم هذه الورقة البحثية طريقة جديدة وأكثر ذكاءً: "التوجيه عند التقاطعات المتفرقة" (Sparse Junction Steering).

إليك شرح بسيط لكيفية عملها، باستخدام بعض التشبيهات:

1. "التقاطع عالي المخاطر" (الفكرة الجوهرية)

تخيل أن الطباخ يقود سيارة على طريق طويل لتوصيل الوجبة.

الطريقة القدة: مساعد طيار يصرخ بالاتجاهات للسائق في كل قدم يقطعها. "انعطف يساراً هنا! اضغط المكابح هنا! زد السرعة هنا!" هذا الأمر مزعج، ومكلف، ويجعل السائق يشعر بالانزعاج.
الطريقة الجديدة (SIA): تدرك أن معظم الطريق مستقيم وسهل، والسائق يعرف تماماً ما يجب فعله. أنت لا تحتاج للتدخل إلا عند التقاطعات الحرجة حيث قد يتوه السائق، أو يأخذ منعطفاً خاطئاً، أو ينحرف عن الطريق.

تطلق الورقة البحثية على هذه اللحظات الحرجة اسم "التقاطعات عالية الإنتروبيا" (High-Entropy Junctions).

الإنتروبيا (Entropy) هي مجرد كلمة معقدة تعني "الحيرة" أو "عدم اليقين".
عندما يكون النموذج واثقاً (إنتروبيا منخفضة)، فهو يقود في طريق مستقيم. لا داعة للصراخ.
عندما يكون النموذج غير متأكد (إنتروبيا عالية)، فإنه يكون عند مفترق طرق. هذه هي اللحظة التي قد ينحرف فيها إلى مسار غير آمن أو غير مفيد. هذا هو الوقت الوحيد الذي تحتاج فيه للتدخل.

2. نظام "إشارة المرور" (كيف يقرر متى يتحدث)

كيف يعرف النظام متى يصرخ ومتى يظل صامتاً؟ يستخدم إشارة مرور تعتمد على ثقة النموذج نفسه.

الضوء الأخضر (إنتروبيا منخفضة): النموذج واثق من نفسه. يظل النظام صامتاً ويترك النموذج يطبخ/يقرر بشكل طبيعي.
الضوء الأحمر (إنتروبيا عالية): النموذج يتردد أو يشعر بالحيرة. يومض الضوء ويقول له النظام: "مهلاً، توقف! انظر إلى هذا المسار. إنه خطر. اتخذ هذا المسار الآخر بدلاً منه".

من خلال التدخل فقط في لحظات "الضوء الأحمر" هذه، يوفر النظام كمية هائلة من الطاقة (القدرة الحسابية) ويسمح لموهبة الطباخ الطبيعية بالظهور في بقية الوقت.

3. النتائج: "قاعدة الـ 20%"

اختبر الباحثون هذا على العديد من "الطباخين" (نماذج الذكاء الاصطناعي). ووجدوا شيئاً مفاجئاً:

لست بحاجة للإدارة الدقيقة لـ 100% من الخطوات.
التدخل في 20% إلى 80% فقط من الخطوات (تحديداً الخطوات المربكة) كافٍ للحصول على نتائج مثالية.
في الواقع، بالنسبة لبعض النماذج الذكية جداً، جعل التدخل في 20% فقط من الخطوات أداءها أفضل من النماذج التي تمت إعادة تدريبها لعدة أشهر.

4. لماذا يعد هذا أمراً هاماً؟

السرعة والتكلفة: لأنك لا تملي التعليمات في كل ثانية، فإن العملية أسرع بـ 6 مرات وأقل تكلفة بكثير.
المذاق الأفضل: من خلال عدم مقاطعة الطباخ باستمرار، يظل الطعام (مخرجات الذكاء الاصطناعي) طبيعياً وانسيابياً، ولا يبدو آلياً أو مشتتاً.
الأمان: إنه يمسك بالنموذج قبل أن يرتكب خطأً، مما يمنعه من السير في "مسار سيء" دون إفساد الرحلة بأكملها.

ملخص التشبيه

فكر في الأمر مثل نظام الملاحة (GPS).

الطريقة القديمة: الـ GPS يصرخ "انعطف يساراً، انعطف يساراً، انعطف يساراً" لكل كتلة سكنية، حتى وأنت تسير في طريق سريع مستقيم.
طريقة SIA: يظل الـ GPS صامتاً بينما تقود في طريق مستقيم، ولا يتحدث إلا عندما تقترب من تقاطع معقد أو منعطف خاطئ.

تثبت هذه الورقة البحثية أنه من خلال الاستماع إلى الذكاء الاصطناعي فقط عندما يكون غير متأكد حقاً، يمكننا جعله أكثر أماناً، وأكثر ذكاءً، وأسرع بكثير، دون الحاجة إلى إعادة بناء المحرك بالكامل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Inference-time Alignment via Sparse Junction Steering" (SIA).

1. بيان المشكلة

تهدف طرق المحاذاة أثناء الاستدلال (Inference-time Alignment) الحالية لنماذج اللغات الكبيرة (LLMs) إلى توجيه سلوك النموذج نحو التفضيلات البشرية (مثل السلامة، والمساعدة) دون تعديل أوزان النموذج. ويقوم النموذج السائد، وهو التوجيه على مستوى الرمز (Token-level steering)، بتطبيق تدخلات كثيفة عند كل خطوة فك تشفير من خلال تعديل توزيعات المخرجات باستخدام إشارات المكافأة.

حدد المؤلفون عيبين حرجين في طرق التدخل الكثيفة الحالية:

العبء الحسابي: إن تقييم إشارات المكافأة أو نماذج القيمة عند كل خطوة توليد للرموز (Tokens) يفرض تكاليف حسابية باهظة.
تدهور الجودة: يخلق التلاعب الكثيف والمستمر صراعاً بين التوزيع الأصلي للنموذج وإشارات المكافأة الخارجية. هذا "التوجيه المفرط" (Over-steering) يتسبب في انحراف النموذج عن سلاسته الأصلية، مما يؤدي غالباً إلى تدهور جودة التوليد والوصول إلى محاذاة دون المستوى الأمثل.

سؤال البحث الجوهري هو: هل من الضروري التدخل عند كل رمز، أم يمكن تحقيق المحاذاة عبر التوجيه فقط عند نقاط اتخاذ القرار الحرجة والمتفرقة؟

2. المنهجية: المحاذاة المتفرقة أثناء الاستدلال (SIA)

تقترح الورقة إطار عمل SIA، الذي يقوم بالمحاذاة عبر التدخل فقط عند الوصلات المتفرقة (Sparse Junctions) (نقاط اتخاذ القرار الحرجة) بدلاً من التدخل المنتظم عبر جميع الرموز.

أ. الصياغة النظرية

تنمذج SIA توليد النصوص كعملية قرار ماركوف (MDP) على مستوى الرمز. وبدلاً من تطبيق السياسة المثلى $\pi^*$ عند كل خطوة، تقدم SIA آلية بوابة $G(s_t)$ تحدد ما إذا كان سيتم استدعاء توجيه القيمة عند الحالة $s_t$ .

السياسة المتفرقة:
$\pi_{sparse}(y_t|s_t) = \begin{cases} \frac{1}{Z}\pi_{base}(y_t|s_t)e^{\beta V^*(s_{t+1})} & \text{if } G(s_t) = 1 \\ \pi_{base}(y_t|s_t) & \text{if } G(s_t) = 0 \end{cases}$
حيث $V^*$ هي دالة قيمة متعلمة، و $\beta$ عامل وزن، و $G(s_t)$ مؤشر ثنائي.

ب. نموذج قيمة عالي الدقة على مستوى الرمز

لتمكين التوجيه المتفرق الموثوق، قام المؤلفون بتدريب نموذج قيمة مخصص على مستوى الرمز ( $V_\theta$ ) عبر عملية التقطير (Distillation):

هدف التدريب: يتم تدريب النموذج للتنبؤ بقيمة عددية لكل بادئة رمز (Token Prefix) بحيث يتطابق متوسط هذه القيم عبر تسلسل معين مع المكافأة العالمية على مستوى المسار المقدمة من نموذج مكافأة مدرب مسبقاً (مثل Skywork-Reward-V2).
الميزة: يتجنب هذا الطريقة الضوضاء والتباين العالي للمكافآت على مستوى المسار التي تُطبق على التسلسلات الجزئية (كما في طرق مثل ARGS)، والتكلفة العالية لمحاكاة التطلع متعدد الرموز (كما في Transfer Q*).

ج. آلية البوابة القائمة على الإنتروبيا (Entropy-Based Gating)

قيمت الورقة استراتيجيات بوابة متنوعة (عشوائية، قائمة على الموقع، قائمة على الانتباه، وقائمة على الإنتروبيا) لتحديد الوصلات الحرجة.

الرؤية الجوهرية: تمثل وصلات الإنتروبيا العالية نقاط عدم اليقين العالي حيث توجد مسارات متعددة محتملة، والتي قد ينحرف بعضها عن أهداف المحاذاة. هذه هي النقاط التي يحقق فيها التوجيه الخارجي أعلى تأثير.
التنفيذ: يحسب النظام الإنتروبيا $H_t$ لتوزيع الرموز عند كل خطوة. إذا كانت $H_t > \tau$ (عتبة، وُجد تجريبياً أنها $\approx 1.0$ )، تُفتح البوابة ( $G=1$ )، ويُطبق توجيه القيمة. خلاف ذلك، يولد النموذج بشكل طبيعي ( $G=0$ ).

3. المساهمات الرئيسية

تحول في النموذج الفكري: إثبات أن التدخل الكثيف ليس ضرورياً وغالباً ما يكون ضاراً. فالتوجيه المتفرق (التدخل في 20%–80% فقط من الرموز) يحقق توازناً متفوقاً بين الكفاءة والأداء.
بنية مبتكرة: تقديم نموذج تدريب قائم على التقطير لنماذج القيمة على مستوى الرمز، مما يوفر إشارات أكثر دقة وموثوقية من الطرق السابقة القائمة على مستوى المسار أو التطلع المستقبلي.
التوجيه المبوّب بالإنتروبيا: تحديد إنتروبيا النموذج كأكثر الإشارات قوة للكشف عن نقاط اتخاذ القرار الحرجة للمحاذاة، متفوقة على الاستدلالات الهيكلية أو الموضعية.
تعميم "من الضعيف إلى القوي" (W2S): إظهار أن نموذج قيمة أصغر يمكنه توجيه نموذج لغوي كبير بشكل فعال، مما يقلل من زمن التأخير والتكاليف الحسابية بشكل أكبر.

4. النتائج التجريبية

أُجريت التجارب عبر عائلات نماذج متعددة (Qwen3, Llama-3) وأهداف محاذاة مختلفة (عدم الضرر، المساعدة، الأمانة).

الأداء مقابل الكفاءة:
- التوجيه لـ 20%–40% فقط من الرموز يضاهي أو يتفوق على أداء نماذج الـ Instruct التي خضعت لتدريب لاحق مكثف، وعلى النماذج القائمة على البحث مثل Best-of-N (BoN-8) و Chunk-based Search (CBS-8).
- التوفير الحسابي: تقلل SIA العبء الحسابي بمقدار 3 إلى 6 أضعاف مقارنة بالتوجيه الكثيف على مستوى الرمز والطرق القائمة على البحث.
تعزيز النموذج الأساسي: بالنسبة للنماذج الأساسية القوية (مثل Qwen3-Base)، فإن تطبيق التوجيه المتفرق يسمح لها بمنافسة أو حتى تجاوز نظيراتها من فئة الـ Instruct، مما يشير إلى أن التوجيه أثناء الاستدلة خفيف الوزن يمكن أن يكرر فوائد التدريب اللاحق واسع النطاق.
المتانة: تعمم عتبة الإنتروبيا المثلى ( $\sim 1.0$ ) عبر مختلف النماذج والمهام.
التكامل: تتكامل SIA بسلاسة مع طرق البحث (مثل BoN + SIA)، مما يساعد في تقليص المسارات غير الواعدة مبكراً وتحسين جودة المحاذاة النهائية.

5. الأهمية والآثار المترتبة

فك الارتباط بين الكفاءة والأداء: تكسر SIA المقايضة التقليدية حيث تتطلب جودة المحاذاذ الأعلى تكلفة حسابية أعلى. فمن خلال التركيز فقط على اللحظات الحرجة، تسمح بتوجيه أقوى دون كسر سلاسة النموذج الأصلية.
القابلية للتوسع: الطريقة قابلة للتوسع بشكل كبير، خاصة في سياق (Weak-to-Strong)، حيث يمكن لنموذج قيمة صغير ورخيص توجيه نماذج لغوية ضخمة، مما يجعل المحاذاة أثناء الاستدلال أمراً ممكناً في البيئات محدودة الموارد.
الرؤية النظرية: توفر الورقة حدوداً نظرية تظهر أن التوجيه المتفرق يعمل كمنظم (Regularizer) ضد ضوضاء تقدير القيمة، مما يمنع "ارتداد الإنتروبيا" وتدهور الجودة الذي يُلاحظ في التدخل الكثيف.
النشر العملي: تقدم SIA حلاً جاهزاً للاستخدام (Plug-and-play) لمحاذاة النماذج اللغوية الكبيرة دون الحاجة إلى إعادة تدريب مكلفة (RLHF/DPO) أو زمن تأخير البحث متعدد الجولات، مما يجعلها مساراً قابلاً للتطبيق لمساعدات الذكاء الاصطنا-الآمنة في الوقت الفعلي.

في الختام، تعيد SIA تعريف المحاذاة أثناء الاستدلال بإثباتها أن المحاذاة النوعية هي عملية متفرقة. فمن خلال التدخل فقط عند نقاط اتخاذ القرار ذات الإنتروبيا العالية باستخدام نموذج قيمة مستخلص، تحقق SIA محاذاة رائدة مع تقليل التكاليف الحسابية بشكل كبير.