🤖 AI

From Noise to Diversity: Random Embedding Injection in LLM Reasoning

تُثبت هذه الورقة أن حقن متجهات التضمين العشوائية الخالية من التدريب في مدخلات النماذج اللغوية الكبيرة يعزز بفعالية أداء الاستدلال من خلال زيادة تنوع الرموز في المراحل المبكرة وتوسيع نطاق Pass@N، وهي آلية تُحسن كلاً من دقة الاستدلال ونتائج التدريب دون الحاجة إلى مطالبات ناعمة متعلمة.

المؤلفون الأصليون: Heejun Kim, Seungpil Lee, Jewon Yeom, Jaewon Sok, Seonghyeon Park, Jeongjae Park, Taesup Kim, Sundong Kim

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Heejun Kim, Seungpil Lee, Jewon Yeom, Jaewon Sok, Seonghyeon Park, Jeongjae Park, Taesup Kim, Sundong Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة عبقرياً ولكنه جامد جداً (نموذج لغوي كبير)، وهو بارع في حل المسائل الرياضية، لكنه أحياناً يعلق في مسار واحد مكرر. هو دائماً يتبع نفس المسار للوصول إلى الإجابة، وإذا أدى هذا المسار إلى طريق مسدود، فإنه يستسلم.

لفترة طويلة، حاول الباحثون إصلاح ذلك عبر "تدريب" أمين المكتبة باستخدام ملاحظات خاصة ومكتوبة بعناية (تسمى المحفزات الناعمة - Soft Prompts) لتوجيهه نحو حلول أفضل. افترضوا أن السحر يكمن في محتوى تلك الملاحظات.

هذه الورقة البحثية تسأل سؤالاً مختلفاً: ماذا لو لم يكن السحر في الملاحظات نفسها، بل في مجرد فعل تسليم ورقة عشوائية جديدة لأمين المكتبة قبل أن يبدأ؟

إليك تفصيل اكتشافهم، المحفزات الناعمة العشوائية (RSP)، باستخدام تشبيهات من الحياة اليومية:

1. تجربة "الضجيج العشوائي"

بدلاً من تدريب ملاحظة خاصة، قام الباحثون فقط بالتقاط حفنة من الخربشات العشوائية التي لا معنى لها تماماً (أرقام عشوائية) وأرفقوها في مقدمة أو نهاية المسألة الرياضية.

المفاجأة: على الرغم من أن هذه الخربشات لم تكن تحتوي على أي معلومات مفيدة، إلا أن أمين المكتبة بدأ فجأة في حل المسائل بشكل أفضل. وفي بعض الحالات، كان أداؤه يضاهي أداءه لو أعطيته ملاحظة دقيقة ومدروسة بعناية.
الدرس: لم يأتِ التحسن من تعلم شيء جديد، بل جاء من فعل حقن شيء جديد في المزيج.

2. كيف يعمل الأمر: تشبيه "المسار المتفرع"

تخيل عملية التفكير لدى أمين المكتبة كأنه يمشي في ردهة بها أبواب كثيرة.

بدون الورقة العشوائية: يمشي أمين المكتبة في خط مستقيم في الردهة الرئيسية، يفتح أول باب يراه، ويستمر في السير في ذلك المسار. إذا كان هذا المسار طريقاً مسدوداً، فإنه يفشل.
مع الورقة العشوائية: تعمل الخربشات العشوائية مثل هبة ريح مفاجئة ومربكة في بداية الردهة تماماً.
- المرحلة المبكرة (التفرع): بسبب هذه "الريح"، يتوقف أمين المكتبة وينظر إلى أبواب مختلفة عن تلك التي اعتاد عليها. قد يفتح باباً لم يفكر فيه من قبل. هذا يخلق "تفرعاً" في تفكيره، مما يؤدي إلى مسار مختلف تماماً.
- المرحلة اللاحقة (الاستقرار): بينما يواصل أمين المكتبة السير في هذا المسار الجديد، تتلاشى "الريح" (الورقة العشوائية) لأن الردهة تصبح أطول ويتلاشى أثر ذاكرة أمين المكتبة عن البداية. عندها يستقر في خطوة واثقة على هذا المسار الجديد.

3. تأثير "رمي النرد" (Pass@N)

وجدت الورقة أنه إذا طلبت من أمين المكتبة تجربة نفس المسألة 10 مرات، ولكن أعطيته في كل مرة خربشة عشوائية مختلفة، فستحصل على 10 مسارات مختلفة.

النتيجة: حتى لو كانت 9 من تلك المسارات خاطئة، فإن حقيقة أنك أجبرته على تجربة 10 نقاط بداية مختلفة تعني أنك أكثر عرضة للعثور على المسار الصحيح الواحد من بينها.
التنبيه: إذا استخدمت نفس الخربشة العشوائية لكل المحاولات العشر، فستسلك جميعها نفس المسار الخاطئ. السحر لا يعمل إلا إذا تغيرت "الريح" في كل مرة.

4. لماذا يهم هذا الأمر

إنه مجاني: لا تحتاج لقضاء أسابيع في تدريب النموذج أو تعليمه حقائق جديدة. أنت فقط تضيف ضجيجاً عشوائياً.
إنه هيكلي: تثبت الورقة أن "السحر" في هذه الحيل المتقدمة للذكاء الاصطناعي غالباً ما يأتي من هيكل إضافة رموز (tokens) إضافية، وليس من المحتوى المحدد لتلك الرموز. الأمر يشبه كيف يمكن لهز صندوق من قطع الأحجية (البازل) أن يساعدك في العثود على قطعة الزاوية الصحيحة بشكل أسرع، حتى لو كان الهز نفسه لا يحل الأحجية.
إنه يساعد في التدريب: أظهروا أيضاً أن استخدام هذه "الريح" العشوائية أثناء مرحلة تدريب النموذج (مرحلة التعليم) يساعد النموذج على التعلم بشكل أسرع وأفضل، تماماً كما قد يقوم مدرب بتغيير التمارين لإبقاء الرياضي بعيداً عن الملل أو الوقوع في روتين ثابت.

ملخص

تزعم الورقة أن العشوائية هي أداة قوية. من خلال حقن نواقل (vectors) عشوائية ولا معنى لها في مدخلات الذكاء الاصطناعي، أنت تجبره على استكشاف "طرق" مختلفة للوصول إلى الإجابة في وقت مبكر. وبمجرد أن يختار طريقاً، فإنه يستمر فيه، ولكن بما أنك بدأت بطريق مختلف، فقد تنتهي إلى الوجهة في كثير من الأحيان أكثر مما لو التزمت بالطريق المعتاد. اتضح أن خلط الأمور وتغييرها قد يكون فعالاً بقدر تعليم شيء جديد.

ملخص تقني: من الضجيج إلى التنوع: حقن التضمين العشوائي في استدلال النماذج اللغوية الكبيرة (LLM)

بيان المشكلة

ركزت الأبحاث الحديثة في استدلال النماذج اللغوية الكبيرة (LLM) على المطالبات الناعمة (Soft Prompts)، والتي تقوم بإدراج متجهات تضمين مستمرة قابلة للتدريب في مدخلات النموذج لتوجيه السلوك. وبينما أظهرت هذه الطرق (مثل Prefix-Tuning وSoftCoT وLTPO) مكاسب في الأداء، لا يزال هناك غموض حرج: هل يعود التحسن إلى المحتوى المتعلم للمتجهات المحسنة، أم إلى فعل الحقن الهيكلي نفسه؟ تعزو الأعمال السابقة المكاسب إلى التمثيلات المتعلمة، ومع ذلك تشير القيود النظرية إلى أن المطالبات الناعمة تقوم فقط بتحيز الانتباه في اتجاهات ثابتة دون تغيير أنماط الانتباه النسبية بين الرموز (tokens) المحتوية على المحتوى. علاوة على على ذلك، تتطلب الطرق الحالية تدريباً خاصاً بكل مجال، وهي حساسة للمعلمات الفائقة (hyperparameters)، وتفتقر إلى تفسير نظري موحد لفعاليتها.

المنهجية: المطالبات الناعمة العشوائية (RSP)

لفصل مساهمة المحتوى المتعلم عن فعل الحقن نفسه، يقترح المؤلفون المطالبات الناعمة العشوائية (RSPs). تُعد RSPs تدخلاً لا يتطلب تدريباً، حيث يتم إلحاق سلسلة من متجهات التضمين العشوائية بالمدخلات.

البناء: يتم أخذ متجهات RSP عن طريق أخذ عينات بشكل مستقل من توزيع غاوسي متماثل المناحي (isotropic Gaussian distribution) متناسب مع المتوسط ( $\mu_E$ ) والتباين ( $\sigma_E$ ) لكل عنصر في جدول تضمين الرموز مسبق التدريب.
$h_j \sim \mathcal{N}(\mu_E \mathbf{1}_d, \sigma_E^2 \mathbf{I}_d)$
الآلية: تعتمد الطريقة على مرحلتين نظريتين:
1. الاستكشاف (الترميز المبكر - Early Decoding): عندما تكون ذاكرة المفتاح والقيمة (KV cache) قصيرة، تكون كتلة الانتباه ( $w$ ) المخصصة للرموز العشوائية كبيرة. ولأن RSP متماثل المناحي، فإنه يسبب اضطراباً في الحالة الخفية في جميع الاتجاهات، مما قد يؤدي إلى تغيير تنبؤات أفضل $K$ من الرموز وفتح مسارات استدلال متنوعة تختلف عن الخط المرجعي (baseline).
2. التخميد (الترميز المتأخر - Later Decoding): مع تقدم التوليد التكراري (autoregressive generation)، تنمو ذاكرة KV. يوضح التحليل النظري (النظرية 1) أن الحد الأعلى لكتلة الانتباه المخصصة لتسلسل RSP ثابت الطول يتناقص رتيباً مع زيادة عدد الرموز الحقيقية ( $n$ ). وبناءً على ذلك، فإن تأثير RSP يخف طبيعياً، مما يسمح للنموذج بالالتزام بمسار إكمال واحد.
التنفيذ: يتم حقن RSPs كـ لاحقة (suffix) (وهو الوضع الافتراضي)، أو سابقة (prefix)، أو داخلية (infix). ومن الأهمية بمكان أنها يتم إعادة أخذ عينات منها بشكل جديد لكل عملية توليد (inference rollout) أو مسار تدريبي، مما يضمن الاستقلالية.

المساهمات الرئيسية

عزل آثار الحقن: توفر RSP عدسة موحدة لدراسة التأثير الهيكلي لحقن المطالبات الناعمة. من خلال إزالة خطوة التدريب تماماً، يثبت المؤلفون أن فعل حقن المتجهات العشوائية وحده يمكن أن يؤدي إلى دقة مقاربة للمطالبات الناعمة المحسنة.
التحقق النظري والتجريبي: تؤسس الورقة إطاراً نظرياً يوضح كيفية تلاشي كتلة الانتباه مع نمو ذاكرة KV (النظرية 1) وكيف يضمن التغطية متماثلة المناحي إمكانية الوصول إلى حالات تفرع متنوعة. تجريبياً، تحاكي RSPs بصمات الإنتروبيا للترميز المبكر للطرق المحسنة (LTPO وSoftCoT وTTSV) دون أي معلمات متعلمة.
التوسع في التدريب: يوسع المؤلفون RSP من مرحلة الاستدلال إلى DAPO (خوارزمية تدريب التعلم المعزز)، موضحين أن إعادة أخذ عينات RSP المستقلة أثناء عمليات التوليد تتضافر مع الحفاظ على تنوع مستوى الخسارة (loss-level diversity) لتحقيق مكاسب إضافية في الأداء.

النتائج التجريبية

قيم المؤلفون RSP على اختبارات الاستدلال الرياضي (MATH-500 وGSM8K وAIME24) باستخدام نماذج مثل Qwen2.5-Math وLLaMA-3.1.

مكاسب الدقة: تحقق RSP دقة مقاربة أو متفوقة على المطالبات الناعمة المحسنة (TTSV وSoftCoT وLTPO) دون تدريب. والجدير بالذكر أنه في سيناريوهات عدم تطابق التنسيق (تطبيق قوالب ChatML على نماذج أساسية لم تُدرب عليها)، استعادت RSP دقة كبيرة (على سبيل المثال، +29.0 نقطة مئوية في Qwen2.5-Math-1.5B لاختبار MATH-500).
التنوع و Pass@N:
- على مستوى الرمز (Token-Level): تسبب RSP تحولاً متميزاً في توزيع الرمز الأول (معامل سبيرمان $\rho = 0.709$ مقابل 1.0 لضبط درجة الحرارة/temperature scaling)، مما يوسع نطاق الدعم بما يتجاوز أفضل 10 رموز للخط المرجعي.
- على مستوى المسار (Trajectory-Level): تولد RSP مسارات استدلال متنوعة دلالياً (مسافة أكبر بين المجموعات) مع الحفاظ على التماسك داخل المجموعة الواحدة.
- على مستوى النتيجة (Outcome-Level): يتوسع Pass@N (احتمالية وجود إجابة واحدة صحيحة على الأقل من أصل $N$ محاولة) بشكل كبير مع إعادة أخذ العينات المستقلة. إن مشاركة RSP واحدة عبر العينات لا يحقق أي مكاسب، مما يؤكد أن التنوع ينشأ من الحقن العشوائي، وليس من الاضطراب الثابت.
التكامل مع التدريب: في تدريب DAPO، أدى إضافة RSP إلى عمليات التوليد إلى تحقيق ذروة أعلى في متوسط الدقة (54.36% مقابل 53.20% لـ DAPO وحدها) وأخر تدهور الأداء، مما يشير إلى تحسين ديناميكيات الاستكشاف والاستغلال (exploration-exploitation).

الأهمية والادعاءات

تدعي الورقة أن جزءاً كبيراً من النجاح المنسوب إلى المطالبات الناعمة "المتعلمة" هو في الواقع منتج هيكلي ثانوي لآلية الحقن نفسها. إن فعل إدخال اضطرابات عشوائية ومتماثلة المناحي عند طبقة المدخلات:

يرفع تنوع الرموز في المراحل المبكرة، مما يمكن النموذج من استكشاف مسارات استدلال قد تكون غير متاحة عبر ضبط درجة الحرارة القياسي (الذي يحافظ على ترتيب الرتبة).
يتلاشى تلقائياً مع تقدم التوليد، مما يمنع الضجيج العشوائي من زعزعة استقرار الإجابة النهائية.
يعمل كأداة ضبط (control) تكشف عن حدود افتراض الأعمال السابقة بأن المحتوى المتعلم هو المحرك الأساسي لتحسينات الاستدلال.

يخلص المؤلفون إلى أن RSP توفر بديلاً بسيطاً لا يتطلب تدريباً لتعزيز تنوع الاستدلال ودقته، خاصة في السيناريوهات التي يكون فيها التوافق مع التنسيق ضعيفاً أو حيث يكون استكشاف المسارات المستقلة حاسماً للتدريب القائم على التعلم المعزز (RL). ويشيرون إلى قيود تتعلق بالتفسير النظري للتلاشي عبر الطبقات ومدى قابلية التطبيق على المهام غير الرياضية، واضعين هذا العمل كتحليل تأسيسي لديناميكيات الحقن بدلاً من كونه حلاً جاهزاً للاستخدام.