🤖 machine learning

Diffusion Language Models Are Natively Length-Aware

تقترح هذه الورقة آلية "صفرية التدريب" (zero-shot) تستفيد من تمثيلات المطالبات الكامنة لقص نافذة السياق الثابتة لنماذج اللغات الانتشارية ديناميكيًا قبل عملية التوليد، مما يقلل التكاليف الحسابية بشكل كبير مع الحفاظ على الأداء أو تحسينه عبر المهام المتنوعة.

المؤلفون الأصليون: Vittorio Rossi, Giacomo Cirò, Davide Beltrame, Luca Gandolfi, Paul Röttger, Dirk Hovy

نُشر 2026-03-09

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Vittorio Rossi, Giacomo Cirò, Davide Beltrame, Luca Gandolfi, Paul Röttger, Dirk Hovy

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ (الذكاء الاصطناعي) مُكلف بطهي وجبة (توليد نص) لزبون ما.

الطريقة القديمة: بوفيه "كل ما يمكنك أكله"

تعمل معظم نماذج لغة الانتشار (DLMs) حالياً مثل طاهٍ يُجبر على إعداد مأدبة ضخمة مكونة من 50 طبقاً لكل طلب، بغض النظر عما يريده الزبون بالفعل.

السيناريو: إذا أراد الزبون مجرد كوب من الماء (إجابة قصيرة)، فإن الطاهي لا يزال يقوم بتجهيز المطبخ بالكامل، ويقطع 500 حبة خضار، ويسخن 50 قدراً.
الهدر: ينتهي الأمر بالطاهي بتقديم كوب الماء فقط، لكنه لا يزال قد استهلك كل تلك الطاقة والوقت في إعداد المأدبة الوهمية المتبقية.
الحل (الطريقة القديمة): لمنع الطاهي من تقديم الطعام الزائد، يضعون علامة "توقف" (رمز نهاية التسلسل - End-of-Sequence token) عند الطبق الخامس. لكن الطاهي كان لا يزال مضطراً لطهي الـ 495 طبقاً الأخرى للوصول إلى تلك العلامة. إنه أمر غير فعال للغاية.

الفكرة الجديدة: "SMARTCROP"

اكتشف مؤلفو هذه الورقة البحثية شيئاً مذهلاً: الطاهي يعرف بالفعل حجم الوجبة التي يجب أن تكون بالضبط قبل أن يبدأ في الطهي.

عندما يطلب الزبون طلبه (المُدخل/Prompt)، يكون لدى عقل الطاهي (الحالة الداخلية للنموذج) بالفعل "شعور داخلي" بحجم الاستجابة. وتسمي الورقة البحثية هذه الحالة بكونها "واعية بالطول بشكل طبيعي" (Natively Length-Aware).

لقد بنوا أداة تسمى SMARTCROP للاستماع إلى ذلك الشعور الداخلي.

كيف يعمل SMARTCROP (الاستعارة)

تخيل لوحة الرسم (الكانفاس) الخاصة بالطهي كأنها ورقة بيضاء ضخمة حيث يكتب الطاهي الوصفة.

التخمين: قبل أن يبدأ الطاهي في الكتابة، ينظر SMARTCROP إلى أفكار الطاهي الأولية ويسأل: "كم عدد الكلمات التي نحتاجها حقاً؟"
الحساب: يقوم بحساب الاحتمالية: "هناك احتمال بنسبة 90% أن تنتهي الوصفة عند الكلمة رقم 200."
القص (The Crop): بدلاً من إعطاء الطاهي ورقة مكونة من 1000 كلمة، يقوم SMARTCROP بقص الورقة لتصبح 200 كلمة فقط.
النتيجة: الآن يطهو الطاهي لـ 200 كلمة فقط. لقد وفر 80% من الطاقة والوقت والمكونات.

لماذا يعد هذا أمراً هاماً

اختبر الباحثون هذا على أربعة أنواع مختلفة من "الطلبات":

المسائل الرياضية (GSM8K): إجابات قصيرة ودقيقة.
البرمجة (HumanEval): كتابة برامج الكمبيوتر.
اتباع القواعد (IfEval): القيام بما أُمر به تماماً (مثل: "اكتب قصيدة من 3 أسطر").
الإجابات الطويلة (LongFormQA): الدردشة حول مواضيع معقدة.

النتائج كانت مفاجئة:

توفير هائل: وفروا ما بين 46% و98% من قدرة الكمبيوتر (FLOPs). إنه يشبه الحصول على وجبة كاملة بسعر وجبة خفيفة.
جودة أفضل: قد تعتقد أن قص الورقة سيجعل الإجابة أسوأ، ولكن من المثير للدهشة أن الإجابات أصبحت أفضل في مهام مثل اتباع القواعد أو الدردشة.
- لماذا؟ عندما يُجبر الطاهي على الكتابة على ورقة ضخمة وفارغة، يصاب بالملل ويبدأ في الخربشة أو تكرار نفسه في المساحة الفارغة. ومن خلال قص الورقة إلى الحجم المناسب، يظل الطاهي مركزاً ويكتب إجابة أكثر إحكاماً وجودة.

منطقة "غولدي لوكس" (المنطقة المثالية)

وجدت الورقة البحثية أن تخمين النموذج يشبه منطقة "غولدي لوكس" (التي تكون فيها الأشياء مثالية، ليست زيادة ولا نقصاناً):

إذا قصصت الورقة صغيرة جداً، فسيتم قطع الإجابة (سيء).
إذا تركت الكثير من الورق، فستصبح الإجابة فوضوية ومتكررة (سيء).
ولكن إذا وثقت في حدس النموذج الداخلي (SMARTCROP)، فستصل إلى النقطة المثالية حيث تكون الإجابة كاملة، وموجزة، وعالية الجودة.

العقبة (القيود)

هناك مشكلة لوجستية واحدة صغيرة. نظرًا لأن كل زبون يحصل على قطعة ورق ذات حجم مختلف، فمن الصعب الطهي لمجموعة من الأشخاص في وقت واحد (معالجة الدفعات/Batch Processing) لأن المطبخ لا يمكنه ترتيبهم في صفوف مثالية. ولكن بالنسبة للطلبات الفردية، فإن هذا التغيير يعد بمثابة تحول جذري.

باختصار

تثبت هذه الورقة البحثية أن نماذج الذكاء الاصطناعي الانتشارية أذكى مما كنا نظن. إنها تعرف طول إجاباتها قبل أن تبدأ. ومن خلال الثقة في هذا الحدس وقص الورق الزائد، يمكننا جعل الذكاء الاصطناعي أسرع، وأرخص، وأحياناً حتى أذكى، دون الحاجة إلى إعادة تدريب النموذج أو تغيير دماغه.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "نماذج اللغة الانتشارية تدرك الطول بشكل أصيل" (Diffusion Language Models Are Natively Length-Aware).

1. بيان المشكلة

"ضريبة الحشو" (The Padding Tax) في نماذج اللغة الانتشارية (DLMs):
على عكس النماذج ذات التوليد الذاتي (Autoregressive) التي تولد الرموز (tokens) بالتتابع وتتوقف عند التنبؤ برمز "نهاية التسلسل" (EoS)، تعمل نماذج اللغة الانتشارية على لوحة ثابتة الطول (نافذة السياق). ولدعم المخرجات متغيرة الطول، تقوم هذه النماذج بملء الجزء غير المستخدم من هذه اللوحة برموز قناع (mask tokens) مؤقتة، وتعتمد على النموذج للتنبؤ برموز EoS لـ "حشو" نهاية التسلسل.

عدم الكفاءة: حتى بالنسبة للاستجابات القصيرة (مثل جملة واحدة أو مقتطف برمجي قصير)، يجب على النموذج معالجة نافذة السياق الكاملة ذات الطول الثابت خلال كل تمريرة أمامية (forward pass) وكل خطوة إزالة ضجيج (denoising step).
الهدر الحسابي: يؤدي هذا إلى تكاليف حسابية هائلة وغير ضرورية (FLOPs)، لا سيما في المهام التي يكون فيها المخرج المطلوب أقصر بكثير من السياق الأقصى المخصص.
تدهور الجودة: تفترض الورقة أن معالجة كميات كبيرة من الحشو الفارغ قد تؤدي أيضًا إلى إدخال الضجيج، مما يؤدي إلى حلقات تكرارية أو "هلوسات" في المساحة الفارغة في التذييل.

2. الفرضية الجوهرية

يفترض المؤلفون أن نماذج اللغة الانتشارية (DLMs) تدرك الطول بشكل أصيل. وتحديدًا، يزعمون أن التمثيل الكامن للمدخل (prompt) يحتوي على معلومات كافية لتقدير الطول المطلوب للمخرج قبل بدء عملية التوليد. هذه الإشارة مشفرة ضمنيًا أثناء التدريب المسبق (حيث تتعلم النماذج استخدام رموز EoS للحشو) ويمكن استخراجها من القيم المنطقية (logits) الأولية دون الحاجة لإعادة التدريب.

3. المنهجية: SMARTCROP

يقترح المؤلفون SMARTCROP، وهي آلية "صفرية التدريب" (zero-shot) ومستقلة عن البنية الهيكلية، لقص نافذة السياق ديناميكيًا قبل بدء التوليد.

الخوارزمية:

التمريرة الأمامية الأولية: يقوم نموذج DLM بتمريرة أمامية واحدة على نافذة السياق الكاملة (المُدخل + رموز القناع) عند خطوة إزالة الضجيج الأولى ( $t=0$ ).
استخراج القيم المنطقية (Logits): يخرج النموذج القيم المنطقية للمفردات، بما في ذلك احتمالية رمز EoS عند كل موضع.
دالة البقاء العكسية (Inverse Survival Function): تحول الطريقة احتمالات Eos المحلية ( $\phi_i = P(token_i = EoS)$ ) إلى توزيع تراكمي يمثل احتمالية أن التسلسل قد انتهى عند الموضع $\ell$ :
$Pr(L^* \le \ell) = 1 - \prod_{j=L_p+1}^{\ell} (1 - \phi_j)$
العتبة (Thresholding): يتم تحديد الطول المتوقع $\hat{L}$ كموضع أدنى تتجاوز فيه هذه الاحتمالية التراكمية عتبة الثقة $\tau$ (على سبيل المثال، $\tau = 0.9$ ).
القص الديناميكي: يتم تقليص نافذة السياق إلى الحجم $\hat{L}$ عن طريق إزالة رموز القناع المتبقية.
التوليد: تستمر عملية إزالة الضجيج القياسية فقط على هذه اللوحة المختصرة والأقصر.

الخصائص الرئيسية:

صفرية التدريب (Zero-Shot): لا تتطلب ضبطًا دقيقًا (fine-tuning) أو تغييرات في البنية.
جاهزة للتشغيل (Plug-and-Play): تُطبق مباشرة بعد التمريرة الأمامية الأولى.
متعامدة (Orthogonal): متوافقة مع طرق الكفاءة الأخرى (مثل تقليل الخطوات) لأنها تستهدف بُعد طول التسلسل ( $L_c$ ) بدلاً من عدد الخطوات ( $T$ ).

4. الإعداد التجريبي

النموذج: LLaDA (بـ 8 مليارات بارامتر)، وهو نموذج DLM حديث يعتمد على القناع (masked DLM) تم تدريبه باستخدام حشو EoS.
الاختبارات المرجعية: أربع مهام متنوعة ذات متطلبات طول مخرجات متفاوتة:
- GSM8K: الاستدلال الرياضي (قصير، مهيكل).
- HumanEval: توليد الكود البرمجي (متغير الطول).
- IfEval: اتباع التعليمات (يتطلب التزامًا صارمًا، وغالبًا ما يكون قصيرًا).
- LongFormQA: الإجابة على الأسالئلة (مفتوحة، حوارية).
النماذج المرجعية (Baselines): تمت المقارنة مع فك التشفير بـ "السياق الكامل" (Full Context - FC) حيث يعالج النموذج النافذة الثابتة بأكملها.
المقاييس: الأداء (الدقة، Pass@1، ROUGE-1) والكفاءة (الـ FLOPs التي تم توفيرها).

5. النتائج الرئيسية

تكشف التقييمات عن مكاسب هائلة في الكفاءة مع تأثير ضئيل أو إيجابي على الأداء.

الاختبار المرجعي	الـ FLOPs التي تم توفيرها	تأثير الأداء
IfEval	97–98%	تحسن كبير (+11% إلى +18%)
LongFormQA	76–85%	تحسن كبير (+57% إلى +64% ROUGE-1)
HumanEval	30–46%	مستقر / تحسن طفيف
GSM8K	37–69%	تدهور غير ذي دلالة إحصائية (~2%)

النتائج الجوهرية:

الكفاءة: قلل SMARTCROP التكاليف الحسابية بنسبة 46% إلى 98% عبر المهام، بمتوسط توفير قدره 67%.
استقرار الأداء: على عكس الخوف من القص المبكر، لم يتدهور الأداء بشكل كبير. وفي مهمتين (IfEval و LongFormQA)، تحسن الأداء بشكل ملحوظ.
تعزيز الجودة: يعزو المؤلفون مكاسب الأداء إلى إزالة "الضجيج" الناتج عن الحشو الزائد. من خلال قص اللوحة، تركز آلية الانتباه في النموذج على الرموز ذات الصلة، مما يقلل من التدهور والهلوسة الشائعة في السياقات الكبيرة والمتناثرة.
تحليل الحساسية: الطريقة قوية تجاه التقدير المنخفض المعتدل (القص الزائد)، لكنها تتدهور إذا تم الإفراط في الحشو (إضافة الضوضاء مجددًا). يعمل الطول المتوقع كعتبة "المنطقة المثالية" (Goldilocks threshold).

6. الأهمية والمساهمات

اكتشاف الإدراك الأصيل للطول: تقدم الورقة دليلًا تجريبيًا على أن نماذج DLM المدربة بنماذج EoS تشفر بطبيعتها توقعات طول المخرج في حالاتها الكامنة، وهو سلوك لم يكن ملحوظًا من قبل.
طفرة في الكفاءة: يسد SMARTCROP الفجوة بين لوحة التوليد الثابتة والتوليد متغير الطول، مما يقدم حلاً عمليًا لـ "ضريبة الحشو" دون الحاجة لإعادة التدريب.
عكس مقايضة الجودة مقابل الأداء: تتحدى هذه الدراسة الافتراض القائل بأن الكفاءة تأتي على حساب الدقة. بدلاً من ذلك، تثبت أن تقليل حجم السياق يمكن أن يحسن جودة التوليد عن طريق التخلص من الضجيج المرتبط بمعالجة الحشو الفارغ.
القابلية للتطبيق العملي: باعتباره طريقة "صفرية التدريب" ولا تتطلب إعادة تدريب، يمكن تطبيقها فورًا على نماذج DLM الكبيرة الموجودة لتقليل زمن الاستجابة واستهلاك الطاقة بشكل كبير.

7. القيود

تحديات المعالجة بالدفعات (Batching): يؤدي القص الديناميكي إلى إنشاء أطوال تسلسل غير متجانسة داخل الدفعة الواحدة، مما يعقد تسريع الأجهزة ما لم تُستخدم استراتيجيات تجميع متخصصة.
النطاق: تم التقييم بشكل أساسي على نموذج LLaDA (8B) والاختبارات باللغة الإنجليزية؛ وتتطلب قابلية التعميم إلى بنيات ولغات أخرى مزيدًا من الدراسة.
الاعتماد على EoS: تعتمد الطريقة على امتلاك النموذج لرمز EoS مُعاير جيدًا؛ النماذج التي لا تملك رموز إنهاء صريحة قد لا تظهر هذه الإشارة الكامنة.

الخاتمة

تخلص الورقة إلى أن نماذج اللغة الانتشارية (DLMs) "تدرك الطول بشكل أصيل". ومن خلال استغلال هذه الإشارة الكامنة عبر SMARTCROP، يمكن للباحثين تحقيق كفاءة حسابية مثالية تقريبًا مع الحفاظ على جودة التوليد أو حتى تعزيزها، مما يمثل خطوة مهمة نحو جعل التوليد غير التتابعي (non-autoregressive) منافسًا للنماذج التتابعية في النشر الواقعي.