💬 NLP

Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production

تقدم الورقة البحثية "Catch Your Breath" (CYB)، وهي دالة خسارة خاضعة للإشراف يتم صياغتها كمسألة قرار متسلسلة تُمكّن النماذج التأسيسية من إدراج رموز التوقف ذاتياً وتكيفياً أثناء الاستدلال لتخصيص خطوات الحوسبة ديناميكياً، مما يؤدي إلى تحسين الارتباك (perplexity) ودقة المهام اللاحقة دون زيادة في التكاليف الحسابية أو تكاليف الذاكرة.

المؤلفون الأصليون: Alexandre Galashov, Matt Jones, Rosemary Ke, Yuan Cao, Vaishnavh Nagarajan, Michael C. Mozer

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Alexandre Galashov, Matt Jones, Rosemary Ke, Yuan Cao, Vaishnavh Nagarajan, Michael C. Mozer

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشارك في مسابقة أسئلة سريعة للغاية. في نموذج الذكاء الاصطعي القياسي، القاعدة بسيطة: بمجرد ظهور السؤال، يجب عليك الصراخ بالإجابة فوراً. إذا ترددت، ستخسر نقاطاً. حتى لو كان السؤال صعباً وتحتاج إلى لحظة للتفكير، فإن النظام يجبرك على التخمين فوراً.

الآن، تخيل قاعدة جديدة لهذه المسابقة تسمى "التقاط الأنفاس" (Catch Your Breath - CYB).

الطريقة القديمة: "فكر قبل أن تتحدث" (Think Before You Speak - TBYS)

قبل هذه الورقة البحثية، حاول الباحثون منح نماذج الذكاء الاصطناعي "وقت تفكير" عن طريق إدراج وقفات غير مرئية في النص. أطلقوا عليها اسم "فكر قبل أن تتحدث" (TBYS).
تخيل الأمر كمعلم يقول: "حسناً يا رفاق، بعد كل كلمة أقولها، يجب أن تجلسوا بصمت لمدة ثانيتين بالضبط قبل أن تتمكنوا من الإجابة على الكلمة التالية".

المشكلة: النموذج لا يملك خيار تحديد متى يفكر. عليه فقط الانتظار لمدة ثانيتين كاملتين في كل مرة، حتى لو كانت الكلمة سهلة (مثل "الـ" أو "و").
النتيجة: الأمر يشبه إجبارك على حبس أنفاسك لمدة ثانيتين حتى عندما لا تحتاج لذلك. هذا يهدر الوقت ولا يساعد النموذج فعلياً على التفكير بشكل أفضل لأنه لا يستطيع أن يقرر بنفسه متى يشعر بالارتباك.

الطريقة الجديدة: "التقاط الأنفاس" (CYB)

يقترح مؤلفو هذه الورقة نظاماً أكثر ذكاءً. فبدلاً من فرض وقفة، يمنحون النموذج زراً خاصاً مكتوباً عليه "لا أعرف".

إليك كيف يعمل الأمر:

الخيار: عندما يرى النموذج كلمة ما، يمكنه إما الإجابة فوراً أو الضغط على زر "لا أعرف".
الوقفة: إذا ضغط على الزر، تتوقف المسابقة. يحصل النموذج على ثانية إضافية (أو ثانيتين، أو ثلاث) ليفكر في تلك الكلمة المحددة قبل أن يتعين عليه الإجابة.
القرار: يتعلم النموذج الضغط على الزر فقط عندما يشعر بعدم اليقين. إذا كانت الكلمة سهلة، فإنه يجيب فوراً. أما إذا كانت الكلمة صعبة (مثل مسألة رياضية معقدة أو تعبير اصطلاحي مخادع)، فإنه يضغط على الزر، ويأخذ نفساً عميقاً، ويستخدم ذلك الوقت الإضافي ليفهم الأمر.

لماذا يعد هذا أمراً هاماً؟

تقارن هذه الورقة بين هذه الطريقة الجديدة وطريقة "الوقفة المفروضة" باستخدام اختبارين رئيسيين:

1. اختبار "الحيرة" (Perplexity) (مدى ارتباك النموذج؟)
تخيل "الحيرة" (Perplexity) كمقياس لمدى شعور النموذج بالضياع. كلما انخفضت القيمة، كان ذلك أفضل.

اختبر الباحثون ذلك على نماذج Gemma من Google.
النتيجة: كانت نماذج "التقاط الأنفاس" (CYB) أقل حيرة بكثير من نماذج "الوقفة المفروضة". في الواقع، كان النموذج الذي يستخدم CYB بوقفة واحدة فقط أفضل من النموذج الذي يستخدم الطريقة القديمة بثلاث وقفات. الأمر يشبه طالباً يعرف تماماً متى يدرس بجد، فيحصل على درجة أفضل من طالب يُجبر على الدراسة لثلاث ساعات يومياً بغض النظر عن المادة.

2. الاختبار "التطبيقي" (Downstream Test) (هل يمكنه حل المشكلات حقاً؟)
اختبروا النماذج على مهام واقعية مثل الإجابة على أسئلة الاختيار من متعدد (MMLU) وحل المسائل الرياضية (GSM8K).

النتيجة: حصلت نماذج CYB على إجابات صحيحة أكثر. لقد كانت أفضل في الاستنتاج وفهم السياق.

السر الكامن: التنظيم الذاتي

الجزء الأكثر أهمية في هذه الورقة هو أن النموذج يتعلم تنظيم نفسه.

لا يحتاج إلى إنسان ليخبره: "توقف، هذه كلمة صعبة".
يتعلم أنه إذا قال "لا أعرف"، فإنه يحصل على وقت إضافي للتفكير، وإذا استخدم هذا الوقت بحكمة، فإنه يحصل على درجة أفضل.
وجدت الورقة أن النموذج يتوقف طبيعياً عند الكلمات الصعبة (مثل "تحديات" أو "تطبيقات") ويتخطى الوقفة في الكلمات السهلة (مثل "هو" أو "لا"). إنه يشبه القارئ البشري الذي يبطئ سرعته لقراءة جملة معقدة بينما يمر سريعاً على جملة بسيطة.

ما لا تدعيه الورقة البحثية

من المهم الالتزام بما وجده المؤلفون بالفعل:

الأمر لا يتعلق بتوفير الوقت: لا تدعي الورقة أن هذا يجعل الذكاء الاصطناعي أسرع. في الواقع، ولأن النموذج يمكنه أخذ وقت إضافي، فقد يستغرق وقتاً أطول أحياناً. الهدف هو الدقة، وليس السرعة.
ليس حلاً سحرياً لكل شيء: تركز الورقة تحديداً على كيفية تدريب النماذج على استخدام رموز "الوقفة" هذه بشكل أفضل. هي لا تدعي أن هذا يحل جميع مشاكل الذكاء الاصطناي أو أنه سيُستخدم في التشخيص الطبي أو السيارات ذاتية القيادة (هذه التطبيقات لم تُذكر في النص).
الأمر لا يتعلق بـ "التفكير" بالمعنى البشري: تقارن الورقة سلوك النموذج بعادات القراءة البشرية (حيث نتوقف عند الكلمات الصعبة)، لكنها تظل تحسيناً رياضياً وهندسياً لكيفية معالجة الكمبيوتر للبيانات.

ملخص

تقدم الورقة طريقة تدريب جديدة تسمى "التقاط الأنفاس" (Catch Your Breath). بدلاً من إجبار الذكاء الاصطناي على الانتظار لفترة زمنية ثابتة ليفكر، تسمح له بتقرير متى يحتاج إلى لحظة للتفكير بنفسه. من خلال الضغط على زر "لا أعرف"، يحصل الذكاء الاصطناي على وقت إضافي لمعالجة الكلمات الصعبة. وتظهر النتائج أن هذا التحكم الذاتي يجعل الذكاء الاصطناي أكثر ذكاءً، وأقل حيرة، وأفضل في الإجابة على الأسئلة مقارنة بالطرق السابقة التي كانت تجبره على الانتظار بغض النظر عن الموقف.

ملخص تقني: التقط أنفاسك: الحوسبة التكيفية لإنتاج التسلسلات ذات الإيقاع الذاتي

بيان المشكلة

بينما ركز توسيع النطاق أثناء الاستدلال (inference-time scaling) للنماذج التأسيسية بشكل كبير على زيادة عمق النموذج (مثل تكرار الطبقات) أو استخدام استراتيجيات الاستنتاج مثل "سلسلة الأفكار" (Chain-of-Thought)، فإن هناك بديلاً واعداً يتضمن التوسيع القائم على العرض (width-based scaling). يعتمد هذا النهج على إدراج رموز <PAUSE> (توقف مؤقت) خاصة في تدفق المدخلات، مما يمنح النموذج تمريرات أمامية إضافية لمعالجة السياق قبل توليد الاستجابة.

ومع ذلك، تعاني الطرق الحالية لاستخدام رموز التوقف، وتحديداً إطار عمل "فكر قبل أن تتحدث" (TBYS)، من قصور حرج: يتم تحديد عدد خطوات الحوسبة خارجياً بواسطة محمل البيانات (data loader). في نظام TBYS، يتم إدراج عدد ثابت من رموز <PAUSE>، ويتم تجاهل مخرجات النموذج حتى خطوة التوقف النهائية. هذا يجبر النموذج على التصرف بنهم (greedily) عند كل خطوة وسيطة، غير قادر على توقع التوقفات المستقبلية أو تنظيم معالجته الخاصة. وبناءً على ذلك، لا يستطيع النموذج الإشارة إلى جاهزيته للاستجابة أو تخصيص موارد الحوسبة بشكل تكيفي بناءً على تعقيد الرمز الحالي، حيث يعامل الخطوات الإضافية كحاجز ثابت بدلاً من كونها مورداً ديناميكياً.

المنهجية: التقط أنفاسك (Catch Your Breath - CYB)

يقترح المؤلفون التقط أنفاسك (CYB)، وهو دالة خسارة تحت الإشراف (supervised loss function) مصاغة كمسألة قرار متسلسل تمكن النماذج من تحديد عدد خطوات الحوسبة المطلوبة لكل رمز مدخل بشكل مستقل.

الآلية الجوهرية

بدلاً من تسلسل توقف ثابت، يسمح CYB للنموذج بتقرير ما إذا كان سيقوم في كل خطوة $i$ بـ:

الاستجابة: توليد الرمز التالي في التسلسل.
الامتناع: إصدار رمز <DON'T KNOW> (لا أعرف) خاص، لطلب خطوة <PAUSE> إضافية لمواصلة المعالجة.

يخلق هذا نظاماً متغير التأخير (variable-latency system) حيث يمكن للنموذج الامتناع عدة مرات متتالية، مما يؤدي فعلياً إلى توسيع عمق الحوسبة لكل رمز بناءً على عدم اليقين الداخلي.

دالة الخسارة

يتم اشتقاق خسارة CYB من الدقة المتوقعة المخصومة (expected discounted accuracy) لعملية اتخاذ القرار في النموذج. لتكن $d_i$ هي احتمالية امتناع النموذج عند الخطوة $i$ ، و $t_i$ هي احتمالية اختيار الرمز المستهدف الصحيح عند الخطوة $i$ . يقوم النموذج بتوليد مخرج عند الخطوة $S$ (سواء كان ناتجاً عن الذات عبر الامتناع أو ناتجاً عن العالم عبر التوقف القسري).

تُعرف الخسارة بأنها السلب اللوغاريتمي للاحتمالية المتوقعة للدقة المخصومة:
$\ell_{CYB}(t, d; \omega, \gamma) = -\log \mathbb{E}_{S \sim \text{Pr}(S|d, \omega)} [\gamma_S t_S]$
حيث:

$\omega$ يمثل توزيع أوقات التوقف المستحثة من العالم (مما يسمح بالإنهاء القسري).
$\gamma$ يمثل عوامل الخصم لكل خطوة، مما يسمح بمعاقبة النموذج على تأخير الاستجابات ما لم تتحسن الدقة.
يتم حساب التوقع عن طريق الجمع عبر جميع خطوات التوقف المحتملة، مع وزنها باحتمالية التوقف عند تلك الخطوة.

تنفيذ التدريب

لضمان الكفاءة، يقترح المؤلفون إجراء تدريب متوازٍ. أثناء التدريب، يتم إدراج $W_{max} - 1$ من رموز التوقف بعد كل رمز مدخل حقيقي. يقوم المحول (transformer) بمعالجة هذه الخطوات بالتوازي مع استخدام القناع السببي (causal masking). تُحسب الخسارة بحيث إذا اختار النموذج الاستجابة مبكراً (قيمة $d_i$ منخفضة) أو إذا أجبره "العالم" على التوقف، فإن خطوات التوقف اللاحقة لا تساهم في الخ loss لهذا الرمز المحدد. يحافظ هذا النهج على نفس البصمة الحسابية والذاكرة لتدريب التقاطع المتوقع (cross-entropy) القياسي مع التوقفات الثابتة.

المساهمات الرئيسية

دالة خسارة مبدئية: تقديم CYB، وهي خسارة تدرب المحولات على تحديد خطوات الحوسبة ذاتياً، مما يتناقض مع التأخيرات الثابتة المفروضة خارجياً في TBYS.
تدريب متوازٍ فعال: إجراء تدريب يطابق كفاءة الحوسبة والذاكرة لتدريب التقاطع المتوقع القياسي بينما يتيح الحوسبة التكيفية.
التحقق من الفرضيات: تثبت الورقة أربع فرضيات:
- H1: يتفوق CYB على TBYS لأنه يحدد توقيت القراءة ذاتياً.
  * H2: ينتج CYB نموذجاً معايرًا جيداً حيث ترتبط احتمالية <DON'T KNOW> بإمكانية تحسن الدقة عبر التأخير.
- H3: إزالة تحكم النموذج في أوقات التوقف (عبر التوقف المبكر القسري) يؤدي إلى تدهور الأداء، مما يؤكد قيمة الاستقلالية.
- H4: يمكن التلاعب بالمقايضة بين السرعة والدقة عبر عوامل الخصم ( $\gamma_0$ )، مما يسمح للنموذج بالاستجابة بشكل أسرع على حساب بعض الدقة.
التفوق التجريبي: إثبات أن CYB يقلل من الارتباك (perplexity) ويعزز الدقة في المهام اللاحقة في كل من مرحلتي ما قبل التدريب والضبط الدقيق دون تكلفة حسابية إضافية مقارنة بـ TBYS.

النتائج

أُجريت التجارب باستخدام نماذج Gemma1-2B وGemma3-4B على مجموعة بيانات C4 ومختلف الاختبارات المعيارية (HellaSwag, MMLU, GSM8K).

تقليل الارتباك: تفوق CYB باستمرار على TBYS. ومن الملاحظ أن نموذج CYB الذي يحتوي على رمز توقف واحد فقط حقق ارتباطاً أقل في الارتباك من نموذج TBYS الذي يحتوي على ثلاثة رموز توقف. في مرحلة ما قبل التدريب، أظهر CYB مع 3 توقفات تحسناً نسبياً في الارتباك بنسبة 3.6% مقارنة بـ TBYS، مقابل 2.7% في الضبط الدقيق.
كفاءة البيانات: تطلب CYB 33% فقط من البيانات لمطابقة أداء النموذج الأساسي، وأقل من 66% من البيانات للتفوق على نموذج TBYS ذي الـ 3 توقفات، مما يشير إلى تحسينات حقيقية في كفاءة التعلم وليس مجرد آثار تشبع البيانات.
الدقة في المهام اللاحقة: حققت النماذج المدربة بـ CYB دقة أعلى في الجزء الأول (top-1 accuracy) في HellaSwag وMMLU وGSM8K مقارنة بكل من النموذج الأساسي وTBBS.
المعايرة والسلوك: أظهر التحليل وجود ارتباط إيجابي ذو دلالة إحصائية بين احتمالية <DON'T KNOW> وإمكانية اكتساب الدقة من خطوة إضافية. كما كشف التحليل النوعي أن مدد التوقف تعتمد على السياق؛ فعلى سبيل المثال، يتوقف النموذج لفترة أطول على الرموز المعقدة (مثل "traditional") ولكن ليس على التسلسلات المتوقعة (مثل الأرقام).

الأهمية والادعاءات

تدعي الورقة أن الاستقلالية في تخصيص الحوسبة هي الميزة الفارقة بين CYB وطرق التوسيع القائمة على العرض الحالية. من خلال السماح للنموذج بتقرير متى يكون مستعداً للاستجابة، يحول CYB رموز التوقف من حاجز ثابت إلى مورد ديناميكي لدمج المعلومات.

يؤكد المؤلفون أن CYB لا يهدف أساساً إلى توفير الحوسبة أثناء الاستدلال، بل لتوفيد تحكم مرن ومعتمد على السياق للهيكل المعماري فوق قدراته الحوسبية. هذا يحاكي سلوك القراءة البشري، حيث تختلف مدة التركيز بناءً على متطلبات المعالجة. وتضع الورقة CYB كبديل متفوق هيكلياً لطرق التكيف القائمة على العمق (مثل المحولات المتكررة/looped transformers) نظراً لقابليتها للتوازي، وبساطتها، وتعبيرها الصوري، مما يقدم نموذجاً جديداً للتوسع أثناء الاستدلال يحسن أداء النموذج دون زيادة التكلفة الحسابية.