🤖 AI

COLD-Steer: Steering Large Language Models via In-Context One-step Learning Dynamics

يُعد COLD-Steer إطار عمل لا يتطلب تدريباً يقوم بتوجيه النماذج اللغوية الكبيرة عبر تقريب التغييرات التمثيلية لعملية الانحدار الاشتقاقي على أمثلة السياق، محققاً فعالية توجيه تصل إلى 95% بـ 50 ضعف أقل من العينات مقارنة بالطرق الحالية.

المؤلفون الأصليون: Kartik Sharma, Rakshit S. Trivedi

نُشر 2026-03-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kartik Sharma, Rakshit S. Trivedi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتًا ذكيًا جدًا وقويًا للغاية (نموذج لغوي كبير، أو LLM) يمكنه كتابة القصص، والإجابة على الأسئلة، والدردشة معك. لكن في بعض الأحيان، قد يصبح هذا الروبوت ثرثارًا أكثر من اللازم، أو يختلق حقائق، أو يرفض الإجابة على أسئلة بسيطة.

عادةً، لإصلاح هذه العادات السيئة، عليك القيام بواحد من أمرين:

طريقة "المدرسة": إعادة تدريب الروبوت من الصفر باستخدام آلاف الأمثلة على "السلوك الجيد". هذا يستغرق وقتًا طويلاً، ويكلف الكثير من المال، ويتطلب فصلًا دراسيًا ضخمًا.
طريقة "الهمس": إعطاء الروبوت بضعة أمثلة في المحادثة (مثل "إليك كيف أريدك أن تتحدث") والأمل في أن يلتقط الأجواء. لكن الطرق الحالية تشبه محاولة تعليم إنسان لغة جديدة عبر إظهار قاموس له؛ فهم يحتاجون إلى مئات الأمثلة لضبط الأمر.

إليك COLD-Steer.

لقد ابتكر مؤلفا هذه الورقة البحثية (Kartik Sharma و Rakshit S. Trivedi) حيلة ذكية تسمى COLD-Steer. فكر في الأمر كـ "مدرس يسافر عبر الزمن" للروبوت.

الفكرة الكبرى: محاكاة درس تعليمي

تخيل أنك تريد تعليم الروبوت التوقف عن اختلاق الحقائق (الهلوسة).

الطريقة القديمة: تعرض على الروبوت 500 مثال لـ "حقيقة مقابل خيال"، وهو يتعلم النمط ببطء على مدار أيام من التدريب.
طريقة COLD-Steer: تعرض على الروبوت مثالين فقط. وبدلاً من الانتظار حتى يتعلم، يسأل COLD-Steer: "لو كان هذا الروبوت قد درس هذين المثالين بالفعل لجزء من الثانية، كيف كان سيتحول دماغه؟"

بعد ذلك، يقوم بمحاكاة هذا القدر الضئيل من التعلم فوراً ويطبق التغيير على دماغ الروبوت الآن، حتى قبل أن يجيب على سؤالك. إنه يشبه تسريع عملية تعلم الروبوت بحيث "يعرف" الدرس دون أن يقضي أي وقت فعلي في الدراسة.

كيف يعمل (الأداتان)

تقدم الورقة البحثية طريقتين للقيام بهذه المحاكاة، كأداتين مختلفتين في صندوق الأدوات:

"التخمين المتوسط" (COLD-Kernel):
تخيل أن لديك مجموعة من الخبراء (الأمثلة) الذين يتفقون جميعًا على كيفية التصرف. تأخذ هذه الطريقة "الرأي المتوسط" لهؤلاء الخبراء وتدفع الروبوت بلطف في ذلك الاتجاه. إنها بسيطة، سريعة، وتعمل بشكل جيد بشكل مفاجئ لأن دماغ الروبوت خطي بشكل مدهش (مثل الخط المستقيم) عندما يتعلق الأمر بالمفاهيم.
"الدفعة الصغيرة" (COLD-FD):
هذه هي الأداة الأكثر دقة. تخيل أنك تريد معرفة اتجاه لف مقود السيارة. تدفع المقود مسافة صغيرة غير مرئية جهة اليسار، وترى ما يحدث، ثم تدفعه جهة اليمين، وترى ما يحدث. ومن خلال المقارنة بينهما، تعرف بالضبط الاتجاه الذي يجب أن تلف إليه. تقوم COLD-FD بهذا الأمر رياضياً مع دماغ الروبوت. فهي تسأل: "إذا قمت بتعديل إعدادات الروبوت الداخلية بقدر ضئيل جداً بناءً على أمثلتك، كيف سيتغير الجواب؟" ثم تطبق هذا التعديل الدقيق.

لماذا يعد هذا أمراً مهماً؟

إنه "موفر للعينات": تحتاج الطرق الحالية إلى مئات الأمثلة لتعمل بشكل جيد. أما COLD-Steer فيمكنه العمل بنفس الكفاءة تقريباً باستخدام مثالين أو عشرة فقط. إنه الفرق بين الحاجة إلى مكتبة كاملة لتعلم مفهوم ما، مقابل مجرد قراءة ورقة ملاحظات لاصقة واحدة.
إنه "خالٍ من التدريب": ليس عليك إعادة تدريب الروبوت. أنت فقط تعدل دماغه بما يتناسب مع المحادثة التي تجريها.
إنه مرن: يمكنك استخدامه لجعل الروبوت أكثر إبداعاً، أو أكثر واقعية، أو حتى لجعله يبدو وكأن لديه شخصية محددة (مثل وجهة نظر سياسية معينة أو خلفية ثقافية) بمجرد إظهار بضعة أمثلة من ذلك الأسلوب له.

تشبيه من العالم الحقيقي

فكر في الروبوت كأنه آلة موسيقية (مثل الغيتار).

إعادة التدريب تشبه تفكيك الغيتار، وإعادة بناء الخشب، وإعادة تركيب الأوتار ليبدو مختلفاً. يستغرق ذلك وقتاً طويلاً ولا يمكنك فعل ذلك أثناء العزف.
التوجيه الحالي يشبه مطالبة العازف بأن "يحاول أن يبدو كعازف جاز" والأمل في أن يفهم الأمر بعد عزف 1000 أغنية.
COLD-Steer يشبه جهاز ضبط النغمات السحري. تعرض على الجهاز مثالين لـ "الجاز"، فيقوم الجهاز فوراً بضبط شد الأوتار بينما تعزف لكي يبدو صوت الغيتار كأنه جاز على الفور. أنت لم تعد بناء الغيتار؛ بل قمت بتوجيهه بدقة للحظة الحالية.

النتيجة

في اختباراتهم، تمكن COLED-Steer من توجيه سلوك الروبوت ليكون تماماً كما هو مطلوب (مثل منعه من الكذب أو جعله أكثر تهذيباً) بفعالية بلغت 95%، مستخدماً أقل بـ 50 مرة من الأمثلة التي احتاجتها أفضل الطرق السابقة.

باختصار: COLD-Steer هو طريقة لـ "تعليم" ذكاء اصطناوي فائق الذكاء سلوكاً جديداً فوراً، باستخدام حفنة صغيرة من الأمثلة، من خلال محاكاة رياضية لما سيحدث لو أن الذكاء الاصطناوي قد تعلم منها بالفعل. إنه فعال، سريع، ولا يتطلب إعادة بناء الذكاء الاصطناوي من الصفر.

إليك ملخص تقني مفصل لورقة البحث بعنوان "COLD-STEER: STEERING LARGE LANGUAGE MODELS VIA IN-CONTEXT ONE-STEP LEARNING DYNAMICS".

1. بيان المشكلة

تواجه الطرق الحالية لتوجيه النماذج اللغوية الكبيرة (LLMs) لإظهار سلوكيات محددة (مثل تقليل الهلوسة، أو تبني شخصيات معينة، أو التوافق مع قيم متنوعة) مقايضة جوهرية بين كفاءة العينات (sample efficiency) وفعالية التوجيه (steering effectiveness):

طرق ضبط المعلمات (مثل ReFT): تتعلم هذه الطرق نواقل التوجيه الفعالة من خلال تحسين معلمات النموذج. ورغم قوتها، إلا أنها تتطلب مئات إلى آلاف الأمثلة المصنفة وموارد حوسبة كبيرة للتدريب.
الطرق القائمة على التباين/التنشيط فقط (مثل CAA، DiffMean): هذه الطرق لا تتطلب تدريباً وتتميز بكفاءة العينات، لكنها تعتمد غالباً على فروق بسيطة في التنشيط بين الأزواج الإيجابية والسلبية. وكثيراً ما تفشل في التقاط السلوكيات المعقدة المدفوعة بالخسارة (loss-driven) أو التعميم بشكل جيد مع عدد قليل جداً من الأمثلة.
الفجوة: يمكن للبشر تعلم التحولات السلوكية من عدد قليل من الأمثلة (العشرات)، بينما تتطلب طرق التحكم الحالية في النماذج غالباً أعداداً أكبر بمراتب عشرية للوصول إلى تحكم مماثل.

تعالج الورقة مشكلة التوجيه السلوكي داخل السياق (In-Context Behavioral Steering): كيف يمكن توجيه مخرجات النموذج اللغوي الكبير نحو سلوك مرغوب $B$ باستخدام مجموعة صغيرة من الأمثلة داخل السياق $\{(x_i, y_i)\}$ دون إعادة تدريب النموذج، مع تعظيم احتمالية توليد السلوك المطلوب.

2. المنهجية: COLD-Steer

تتمثل الرؤية الجوهرية لـ COLD-Steer في أن تأثير الضبط الدقيق (fine-tuning) لنموذج على مجموعة صغيرة من الأمثلة يمكن تقريبه أثناء الاستدلال (inference time) عبر محاكاة التغييرات التمثيلية التي ستنتج عن خطوة واحدة من التدرج النزولي (gradient descent) على تلك الأمثلة. وبدلاً من البحث عن اتجاه ثابت، تقوم الطريقة بنمذجة ديناميكيات التعلم.

يقترح الإطار نهجين متكاملين لا يتطلبان تدريباً لحساب ناقل التوجيه $\Delta Z$ الذي سيُضاف إلى تنشيطات النموذج الوسيطة:

أ. COLD-Kernel-Steer (تقريب النواة)

تقوم هذه الطريقة بتقريب تحديث التدرج باستخدام نهج قائم على النواة مستمد من النواة المماسية العصبية (Neural Tangent Kernel - NTK).

الآلية: تقوم بتوسيع حد التدرج $\nabla_\theta L$ باستخدام قاعدة السلسلة. وتقرب التفاعل بين مدخل الاستعلام (query input) والأمثلة داخل السياق باستخدام دالة نواة $\kappa$ .
تقريب النواة الموحدة (Unit Kernel Approximation): بدلاً من حساب الـ NTK الكامل المكلف (الذي يتطلب الانتشار العكسي)، يقترح المؤلفون نواة موحدة ( $\kappa(f_i, f_j) = 1$ $κ (f_{i}, f_{j}) = 1$ ).
- المبرر: بناءً على فرضية التمثيل الخطي (Linear Representation Hypothesis)، يتم ترميز المفاهيم خطياً. وتكون التدرجات للأمثلة التي تنتمي لنفس المفهوم متوافقة للغاية، حيث تهيمن عليها اتجاهات مشتركة. وبالتالي، فإن الضرب الداخلي للتدرجات يقرب من قيمة ثابتة (وحدة).
الحوسبة: تتطلب $N$ من عمليات الانتشار العكسي (backward passes) على الأمثلة داخل السياق لحساب تدرجات الخسارة، ولكنها تتطلب تمريرة أمامية (forward pass) واحدة فقط للاستعلام الجديد.

ب. COLD-FD-Steer (تقريب الفرق المحدود)

تتجنب هذه الطريقة الانتشار العكسي تماماً باستخدام تعريف الفرق المحدود للتدرج.

الآلية: تعيد كتابة تحديث التدرج كـ "نهاية" (limit):
$\Delta Z \approx -\frac{\eta}{\epsilon N} \left( Z(x; \theta + \epsilon \sum \nabla_\theta L) - Z(x; \theta) \right)$
الحوسبة:
1. حساب التدرج التجميعي للخسارة عبر الأمثلة داخل السياق (مفهومياً).
2. اضطراب (perturb) معلمات النموذج $\theta$ بهذا التدرج التجميعي (مفهومياً).
3. إجراء تمريرتين أماميتين (two forward passes) على المدخل الجديد $x$ : واحدة بالمعلمات الأصلية $\theta$ وأخرى بالمعلمات المضطربة $\theta + \epsilon \sum \nabla_\theta L$ .
4. الفرق بين التنشيطات في هاتين التمريرتين يقرب ناقل التوجيه.
الميزة: لا تتطلب أي انتشار عكسي أثناء الاستدلال، مما يجعلها فعالة للغاية وقابلة للتوسع.

3. المساهمات الرئيسية

إطار عمل مبتكر: تقديم COLD-Steer، وهو إطار عمل لا يتطلب تدريباً يوجه النماذج اللغوية الكبيرة عبر تقريب التغييرات التمثيلية الناجمة عن خطوة تدرج واحدة على الأمثلة داخل السياق.
التوحيد النظري: أظهرت الدراسة أن الطرق التباينية الحالية (مثل DiffMean) تقوم ضمناً بتقدير اتجاهات التدرج تحت وظائف خسارة وافتراضات نواة محددة. ويقوم COLD-Steer بتعميم ذلك عبر نمذجة ديناميكيات التعلم بشكل صريح.
تقريبان فعالان:
- COLD-Kernel: يستفيد من فرضية التمثيل الخطي لتقريب النواة الموحدة.
- COLD-FD: يستخدم الفروق المحدودة لتقريب التدرجات عبر تمريرتين أماميتين فقط، بغض النظر عن عدد الأمثلة.
التوافق التعددي (Pluralistic Alignment): إثبات القدرة على توجيه النماذج نحو وجهات نظر متنوعة ومحددة ديموغرافياً، وهي مهمة عانت منها الطرق السابقة.

4. النتائج التجريبية

قيم المؤلفون COLD-Steer على مجموعات بيانات متعددة (CAA, BiPO, OpinionsQA) عبر نماذج لغوية مختلفة (Llama-2, Qwen, Mistral, Gemma).

كفاءة العينات: يحقق COL-Steer فعالية توجيه تصل إلى 95% باستخدام أقل بـ 50 مرة من العينات مقارنة بأفضل طريقة أساسية (ReFT). ويصل إلى ذروة أدائه مع 10-20 مثالاً فقط، بينما تتطلب الطرق الأساسية مئات الأمثلة.
الدقة:
- تفوق COLD-FD باستمرار على جميع الطرق الأساسية (DiffMean, ReFT, ICV) في مهام اختيار السلوك، محققاً مراكز متقدمة في معظم المهام والنماذج.
- في مهمة الهلوسة (Hallucination)، حقق COLD-FD دقة تقارب 96% على نموذج Qwen-2.5-7B، متفوقاً بشكل كبير على الطرق الأساسية.
التوافق التعددي: في مجموعة بيانات OpinionsQA (التوجيه نحو مجموعات ديموغرافية محددة)، تفوق COLD-Kernel بشكل كبير على جميع الطرق الأخرى، حيث خفض تباعد KL من ~2.4 إلى ~0.86 لمجموعات محددة. يشير هذا إلى أن التوجيه القائم على النواة هو الأفضل للحفاظ على دقة التوزيع في البيئات التعددية.
الكفاءة:
- COLD-Kernel هي الطريقة الأكثر كفاءة، وهي قابلة للمقارنة بالطرق التباينية البسيطة.
- COLD-FD أكثر كفاءة بكثير من طرق ضبط المعلمات (ReFT)، وهي قابلة للمقارنة أو أبطأ قليلاً من الطرق التباينية، لكنها تقدم دقة أعلى بكثير.
التحليل النوعي: أظهرت دراسات الحالة أن COLD-FD يمكنه تعديل الهلوسة بمرونة (كبح الحقائق الخاطئة مع الحفاظ على الطلاقة) وتعديل النبرة (مثل التحول من نبرة عاطفية إلى احترافية) بناءً على اتجاه التوجيه ( $\eta = 1$ مقابل $\eta = -1$ ).

5. الأهمية والأثر

جسر بين النظرية والتطبيق: يربط COLD-Steer بين الفهم النظري لكيفية ترميز النماذج اللغوية الكبيرة للسلوكيات (التمثيلات الخطية، ديناميكيات التعلم) والحاجة العملية للتحكم الفعال والقابل للتكيف.
دمقرطة التحكم: من خلال تقليل متطلبات البيانات من المئات إلى العشرات، يجعل COLD-Steer توجيه النماذج متاحاً للمهام المتخصصة، والمساعدين الشخصيين، والنماذج الأولية السريعة دون تكلفة الضبط الدقيق.
الذكاء الاصطناعي التعددي: يوفر آلية عملية لـ "التوافق التعددي"، مما يسمح لنموذج واحد بالتكيف ديناميكياً مع القيم البشرية والسياقات الثقافية المتنوعة دون إعادة تدريب، مما يعالج تحدياً حرجاً في سلامة وأخلاقيات الذكاء الاصطناعي.
الاتجاهات المستقبلية: يفتح هذا العمل آفاقاً جديدة للتحكم في النماذج المتكيف مع السياق، مما يشير إلى أن محاكاة ديناميكيات التعلم هي نموذج أكثر قوة من التحسين الثابت (static optimization) للتدخل أثناء الاستدلال.

باختصار، يعيد COLD-Steer صياغة التوجيه باعتباره محاكاة للتعلم، مما يتيح تحكماً عالي الدقة في النماذج اللغوية الكبيرة بأقل قدر من البيانات ودون الحاجة لتحديث المعلمات.