💬 NLP

GTS: Inference-Time Scaling of Latent Reasoning with a Learnable Gaussian Thought Sampler

تقترح هذه الورقة "عينة التفكير الغاوسي" (GTS)، وهي وحدة خفيفة الوزن تستبدل الاضطرابات الاستدلالية بتوزيع أخذ عينات شرطي قابل للتعلم ومعتمد على السياق، وذلك لتحقيق توسع أكثر موثوقية وقابلية للتحسين في عملية الاستدلال لنماذج التفكير الكامنة.

المؤلفون الأصليون: Minghan Wang, Ye Bai, Thuy-Trang Vu, Ehsan Shareghi, Gholamreza Haffari

نُشر 2026-03-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Minghan Wang, Ye Bai, Thuy-Trang Vu, Ehsan Shareghi, Gholamreza Haffari

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "GTS: توسيع نطاق الاستدلال في الفضاء الكامن أثناء الاستنتاج باستخدام عينة تفكير غاوسية قابلة للتعلم"، مترجمة بلغة بسيطة واستعارات إبداعية.

الصورة الكبيرة: مشكلة "التفكير"

تخيل أن لديك روبوتًا فائق الذكاء (ذكاء اصطناعي) يحتاج إلى حل مسألة رياضية.

في الطريقة القديمة، كان الروبوت "يفكر بصوت عالٍ"، أي يكتب كل خطوة من خطواته في شكل نص (مثل الإنسان الذي يكتب على سبورة بيضاء). ولجعل الروبوت أكثر ذكاءً، استخدمنا حيلة تسمى توسيع النطاق أثناء الاستنتاج (Inference-Time Scaling): حيث نطلب من الروبوت كتابة 32 حلاً مختلفاً، ثم نختار الأفضل من بينها. نجحت هذه الطريقة لأن الروبوت كان بإمكانه بسهولة رؤية احتمالية كل كلمة يكتبها.

لكن مؤخراً، تم اختراع نوع جديد من الذكاء الاصطناعي "يفكر" بصمت داخل دماغه الخاص (في الفضاء الكامن - Latent Space). هو لا يكتب كلمات؛ بل يقوم فقط بتحريك أرقامه الداخلية للوصول إلى الإجابة. هذه الطريقة أسرع وأكثر كفاءة.

المشكلة: عندما حاولنا استخدام حيلة "طلب 32 حلاً" مع هذا المفكر الصامت، لم تنجح العملية بشكل جيد. الطرق القديمة كانت تستخدم الضجيج العشوائي (مثل هز دماغ الروبوت) لإجباره على التفكير بشكل مختلف.

هز خفيف جداً: سيكرر الروبوت نفس الإجابة الخاطئة 32 مرة.
هز قوي جداً: سيصاب الروبوت بالارتباك ويبدأ في إنتاج هراء غير مفهوم (هلوسة).

وجد الباحثون أن العشوائية ليست هي الحل. أنت لا تحتاج فقط إلى المزيد من الفوضى؛ بل تحتاج إلى فوضى أذكى.

الحل: "عينة التفكير الغاوسية" (GTS)

بنى المؤلفون أداة جديدة تسمى GTS. فكر فيها كأنها نظام GPS ذكي لعقل الروبوت.

1. الطريقة القديمة: المتسلق معصوب العينين

تخيل أنك تحاول العثور على كنز مخفي (الإجابة الصحيحة) في غابة ضبابية.

الطريقة القديمة (الاضطراب التجريبي): تخبر المتسلق: "سر بشكل عشوائي فقط!"
- إذا قلت له أن يسير بشكل عشوائي قليلاً، فسوف يدور في دائرة صغيرة حول المكان الخطأ.
- إذا قلت له أن يسير بشكل عشوائي جامح، فسوف يركض نحو منحدر أو مستنقع.
- ليس لديك أي سيطرة على أين يذهب، بل فقط على مقدار تعثره.

2. الطريقة الجديدة: المرشد الذكي (GTS)

الآن، تخيل أنك تعطي المتسلق نظام GPS ذكي (وهو GTS).

ينظر الـ GPS إلى مكان وجود المتسلق الآن (الفكرة الحالية).
يحسب قائلاً: "حسناً، الكنز الصحيح يقع على الأرجح في جهة الشمال الشرقي. لنقم بدفع المتسلق قليلاً نحو الشمال الشرقي، مع إبقائه بعيداً عن الحافة."
يتعلم الـ GPS بالضبط مقدار الدفعة والاتجاه المطلوب بناءً على المشكلة المحددة. هو لا يهز المتسلق فحسب، بل يوجه مساره.

كيف يعمل (السر الخفي)

تقدم الورقة البحثية ثلاثة مفاهيم رئيسية:

1. تعلم "الدفعة"
بدلاً من استخدام كمية ثابتة من الضجيج العشوائي (مثل مقبض صوت ثابت)، فإن GTS هو ذكاء اصطناعي صغير قابل للتدريب يتنبأ بـ توزيع غاوسي (Gaussian Distribution).

استعارة: تخيل لوحة رماية بالسهام. الطريقة القديمة ترمي السهام بانتشار عشوائي ثابت. أما GTS فهو يشبه المدرب الذي ينظر إلى اللوحة ويقول: "لهذا الهدف تحديداً، صوب قليلاً لليسار بانتشار ضيق". إنه يتعلم "الانتشار" المثالي لكل خطوة من عملية التفكير.

2. التدريب باستخدام "المكافآت" (التعلم التعزيزي)
كيف يتعلم نظام الـ GPS؟ إنه يلعب لعبة.

يحاول الروبوت حل المسألة 32 مرة باستخدام دفعات الـ GPS.
إذا أدى مسار ما إلى الإجابة الصحيحة، يحصل الـ GPS على مكافأة (قطعة حلوى).
إذا أدى مسار ما إلى إجابة خاطئة، يحصل الـ GPS على توبيخ.
بمرور الوقت، يتعلم الـ GPS بالضبط كيف يدفع عملية التفكير لزيادة عدد الإجابات الصحيحة.

3. تقنية "التجميد"
الجزء الأهم هو أنهم لا يعيدون تدريب الروبوت الأساسي. هم يبقون الدماغ الرئيسي "مجمداً" (حتى لا ينسى ما يعرفه) ويقومون فقط بتدريب الـ GPS الصغير (العينة). هذه العملية رخيصة، سريعة، وآمنة.

لماذا يهم هذا الأمر؟

تثبت الورقة أن جودة الاستكشاف أهم من كمية العشوائية.

قبل: كنا نعتقد: "إذا هززنا الذكاء الاصطناعي بقوة أكبر، فسوف يجد إجابات أفضل". (النتيجة: أصيب بالارتباك فقط).
الآن: نحن نعلم: "نحن بحاجة لتوجيه استكشاف الذكاء الاصطناعي". (النتيجة: وجد الكنز في كثير من الأحيان).

النتائج

عندما اختبروا ذلك على مسائل رياضية (مثل GSM8K):

طرق "الهز العشوائي" القديمة عملت بشكل مقبول للمجموعات الصغيرة، لكنها فشلت عندما طُلب منها توليد خيارات كثيرة.
أما GTS (الـ GPS الذكي) فقد استمر في التحسن والتحسن كلما طلب منهم توليد خيارات أكثر. لقد وجد الإجابة الصحيحة بشكل متسق أكثر من الطرق القديمة، مما يثبت أن الاستكشاف الموجه والمتعلم هو مستقبل جعل الذكاء الاصطناعي أكثر ذكاءً دون جعله أكبر حجماً.

ملخص في جملة واحدة

بدلاً من هز ذكاء اصطناዊ يفكر بشكل عشوائي لجعله أكثر ذكاءً، بنى المؤلفون مرشداً صغيراً قابلاً للتعلم يوجه تفكير الذكاء الاصطناعي بلطف نحو الاتجاه الصحيح، مما يضمن أن كل سيناريو "ماذا لو" يساعد فعلياً في حل المشكلة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "GTS: توسيع الاستدلال في وقت الاستنتاج عبر عينة تفكير غاوسية قابلة للتعلم".

1. بيان المشكلة

توسيع وقت الاستنتاج (Inference-Time Scaling - ITS) هو تقنية لتحسين استدلال النماذج اللغوية الكبيرة (LLMs) عبر توليد مسارات استدلال متعددة عند الاختبار واختيار الأفضل منها (على سبيل المثال، عبر Best-of-N أو Self-Consistency).

النماذج المنفصلة (Discrete Models): في النماذج اللغوية الكبيرة التقليدية القائمة على الرموز (tokens)، يعتمد ITS على توزيعات احتمالية مشروطة صريحة فوق المفردات، مما يسمح باستراتيجيات أخذ عينات مبدئية (مثل ضبط درجة الحرارة Temperature scaling، أو أخذ عينات النواة Nucleus sampling).
نماذج الاستدلال الكامن (Latent Reasoning Models): تقوم النماذج الحديثة بالاستدلال مباشرة في فضاء الحالة الخفية المستمر دون توليد رموز وسيطة. تفتقر هذه النماذج عادةً إلى توزيعات احتمالية صريحة فوق الحالات الكامنة.
القصور: تعتمد طرق ITS الحالية للاستدلال الكامن على الاضطرابات التجريبية (Heuristic Perturbations) (مثل Dropout أو ضجيج غاوسي ثابت) لإحداث التنوع. حدد المؤلفون عيبين حرجين:
1. نقص التحكم: لا تحدد الاضطرابات التجريبية توزيع أخذ عينات مشروط صريح. فهي تضخ العشوائية دون سياسة مبدئية، مما يجعل الاستكشاف صعب التحسين.
2. عدم الكفاءة: الاضطرابات الأقوى لا تضمن نتائج أفضل؛ فهي غالبًا ما تسبب تحولات كبيرة في التوزيع تنقل النموذج بعيدًا عن مسارات الاستدلال الصحيحة (الإفراط في الاستكشاف/Over-exploration)، أو تفشل في تحريكه بما يكفي (نقص الاستكشاف/Under-exploration)، مما يؤدي إلى عدم تطابق بين التنوع وجودة القرار.

2. المنهجية: عينة التفكير الغاوسية (GTS)

يقترح المؤلفون GTS، وهو وحدة خفيفة الوزن تعيد صياغة الاستكشاف الكامن كعملية أخذ عينات من توزيع مشروط متعلم فوق حالات الاستدلال المستمرة.

البنية الأساسية

العمود الفقري المجمد (Frozen Backbone): يظل نموذج الاستدلال الكامن الأساسي (مثل COCONUT أو CODI) مجمدًا.
العينة القابلة للتعلم (Learnable Sampler): عبارة عن MLP خفيف الوزن يتنبأ بـ توزيع غاوسي يعتمد على السياق للاضطرابات عند كل خطوة استدلال.
- المدخلات: الحالة الخفية الحتمية $h_t^{det}$ عند الخطوة $t$ .
- المخرجات: معلمات لتوزيع غاوسي قطري: المتوسط $\mu_\phi(h_t^{det})$ والانحراف المعيائي اللوغاريتمي $\log \sigma_\phi(h_t^{det})$ .
- الاضطراب: يتم تحديث الحالة الكامنة الفعلية كـ $\tilde{h}_t = h_t^{det} + z_t$ ، حيث $z_t \sim \mathcal{N}(\mu, \text{diag}(\sigma^2))$ .
إعادة التوصيف (Reparameterization): تستخدم عملية أخذ العينات خدعة إعادة التوصيف ( $z_t = \mu + \sigma \odot \epsilon$ ) للسماح بتدفق التدرج (gradient flow) عبر عملية أخذ العينات.

هدف التدريب (تحسين السياسة)

بما أن صحة الإجابة النهائية غير قابلة للاشتقاق بالنسبة للعينة، يتم تدريب GTS باستخدام التعلم التعزيزي (Reinforcement Learning)، وتحديدًا نهج يشبه GRPO (Group Relative Policy Optimization):

التشغيل (Rollout): لكل مطالبة (prompt)، يتم أخذ عينات من $N$ من مسارات الاضطراب.
تصميم المكافأة (Reward Design):
- الصحة (Correctness): مكافأة ثنائية بناءً على ما إذا كانت الإجابة المفكوكة تطابق الحقيقة الأرضية (ground truth).
- التشكيل (Shaping): مصطلح قائم على الثقة مشتق من الاحتمال اللوغاريتمي الطبيعي للإجابة. هذا يشجع الإجابات الصحيحة ذات الثقة العالية ويعاقب الإجابات الخاطئة ذات الثقة العالية.
التحسين (Optimization):
- حساب نسبة الكثافة بين السياسة الحالية والسياسة المرجعية (المتوسط المتحرك الأسي للسياسة الحالية).
- تقليل خسارة البديل المقصوص (Clipped Surrogate Loss) (على غرار PPO/GRPO) مع عقوبة تباعد KL لمنع السياسة من الانهيار إلى نقطة حتمية أو الانحراف بعيدًا جدًا عن المرجع.

3. المساهمات الرئيسية

الرؤية التشخيصية: تقدم الورقة تحليلًا دقيقًا يوضح أنه في الاستدلال الكامن، لا يرتبط تحول التوزيع بجودة أخذ العينات. الطرق التجريبية غالبًا ما تزيد من التباعد (تباعد JS) بينما تقلل من احتمالية إيجاد الإجابة الصحيحة (مكسب أخذ العينات/Sampling Gain).
تحول الصياغة: تعيد صياغة الاستكشاف الكامن من مشكلة اضطراب تجريبي إلى مشكلة سياسة أخذ عينات احتمالية صريحة، مما يسد الفجوة بين أخذ عينات الرموز المنفصلة والاستدلال الكامن المستمر.
وحدة GTS: تقدم عينة غاوسية خفيفة الوزن وقابلة للتدريب تتعلم أين ومقدار الاضطراب بناءً على السياق، بدلاً من استخدام مقاييس ضجيج ثابتة.
التفوق التجريبي: تثبت أن أخذ العينات المتعلم والمشروط بالسياق يتفوق باستمرار على النماذج المرجعية التجريبية الثابتة (Dropout، Gaussian القياسي) عبر بنيات متعددة وميزانيات مختلفة.

4. النتائج التجريبية

قيم المؤلفون GTS على بنيتين للاستدلال الكامن (COCONUT و CODI) باستخدام مجموعة بيانات GSM8K وثلاثة اختبارات خارج نطاق التوزيع (MultiArith, SVAMP, GSM8K-Hard).

أداء التوسيع (Pass@N):
- يحقق GTS أقوى سلوك توسيع مع زيادة ميزانية أخذ العينات ( $N$ ).
- بينما قد تؤدي النماذج المرجعية التجريبية (خاصة Dropout $p=0.5$ القوي) إلى تدهور الأداء أو إظهار عوائد متناقصة، يحافظ GTS على تحسن مستمر.
- على نموذج COCONUT، يتفوق GTS بشكل كبير على النماذج المرجعية؛ وعلى نموذج CODI، يظهر مكاسب أكثر اعتدالًا ولكنها مستمرة.
تحليل جودة أخذ العينات:
- مكسب أخذ العينات (Sampling Gain - SG): يحقق GTS أعلى SG، مما يعني أن المسارات المأخوذة تزيد بشكل كبير من ثقة النموذج في الإجابة الصحيحة مقارنة بالخط الأساسي الحتمي.
- تحول التوزيع (Distribution Shift): يحقق GTS أعلى SG مع تحول متحكم فيه في التوزيع (تباعد Jensen-Shannon أقل من الهيورستيات القوية). هذا يؤكد أن GTS يستكشف مناطق مفيدة في الفضاء الكامن بدلاً من مجرد ضجيج عشوائي.
أنماط فشل النماذج المرجعية:
- نقص الاستكشاف (Under-exploration): تفشل الهيورستيات الضعيفة (مثل Dropout $p=0.1$ ) في تحريك المسار بما يكفي لإيجاد مسارات أفضل.
- الإفراط في الاستكشاف (Over-exploration): تعطل الهيورستيات القوية (مثل Dropout $p=0.5$ ) ديناميكيات الاستدلال، مما يؤدي إلى SG سلبي.
التحليل خطوة بخطوة (SNR):
- يتكيف GTS مع استراتيجية الاضطراب ديناميكيًا. بالنسبة لـ COCONUT، يظهر نمط "أسنان المنشار" بين التأثير الحتمي والعشوائي، بما يتماشى مع المنهج الداخلي للنموذج. بالنسبة لـ CODI، فإنه يطبق توجيهًا حتميًا أقوى في البداية واستكشافًا أكثر لاحقًا.

5. الأهمية والخاتمة

تحول النموذج (Paradigm Shift): تجادل الورقة بأن التوسيع الفعال لوقت الاستنتاج في المساحات المستمرة يتطلب أخذ عينات أكثر تحكمًا، وليس مجرد زيادة العشوائية.
سياسة قابلة للتحسين: من خلال معاملة الاستكشاف الكامن كسياسة قابلة للتعلم، يسمح GTS للنظام بالتكيف مع هندسة فضاء الاستدلال ومتطلبات المهمة، وهو ما لا تستطيع الهيورستيات الثابتة القيام به.
القدرة على التعميم: تعمل الطريقة عبر بنيات أساسية مختلفة (المعتمدة على GPT-2 و LLaMA-3) وتعمم على مهام خارج نطاق التوزيع دون إعادة تدريب العينة.
الاتجاه المستقبلي: يشير هذا العمل إلى أن نماذج الاستدلال الكامن المستقبلية يجب أن تدمج آليات استكشاف قابلة للتعلم ومعتمدة على السياق بدلاً من الاعتماد على حقن الضجيج الثابت، مما قد يفتح الإمكانات الكاملة للاستدلال المستمر لحل المشكلات المعقدة.