💬 NLP

AdaPonderLM: Gated Pondering Language Models with Token-Wise Adaptive Depth

يُعد AdaPonderLM نموذج لغة متكررًا يعتمد على التعلم الذاتي، يستخدم بوابات توقف تكيفية لكل رمز (token) وإعادة استخدام مفاتيح وقيم (KV reuse) لتخصيص قدرة الحوسبة الاستدلالية ديناميكيًا للرموز الصعبة، محققًا مكاسب كفاءة كبيرة دون التضحية بالأداء مقارنة بالنماذج المرجعية ذات العمق الثابت.

المؤلفون الأصليون: Shixiang Song, He Li, Zitong Wang, Boyi Zeng, Feichen Song, Yixuan Wang, Zhiqin John Xu, Ziwei He, Zhouhan Lin

نُشر 2026-03-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shixiang Song, He Li, Zitong Wang, Boyi Zeng, Feichen Song, Yixuan Wang, Zhiqin John Xu, Ziwei He, Zhouhan Lin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ يحاول إعداد مأدبة ضخمة لألف ضيف. في المطبخ التقليدي (نماذج الذكاء الاصطناي القياسية)، يتبع الطاهي وصفة صارمة: "قطّع كل الخضروات لمدة 30 ثانية بالضبط، بغض النظر عن نوعها".

إذا كانت الخضروات عبارة عن حبة طماطم طرية، فإن 30 ثانية هي وقت ضائع. أما إذا كانت حبة بطاطس صلبة كالصخر، فإن 30 ثانية ليست كافية. يبذل الطاهي نفس الجهد في كل شيء، وهذا أمر غير فعال.

AdaPonderLM هو مثل طاهٍ ذكي وواعٍ بذاته، يتعلم تقييم كل مكون على حدة. يتساءل: "هل هذه الطماطم طرية؟ نعم؟ انتهينا! انتقل لما بعدها. هل هذه البطاطس صلبة؟ استمر في التقطيع!"

إليك شرح كيفية عمل هذه الورقة البحثية، باستخدام تشبيهات بسيطة:

1. المشكلة: مطبخ "المقاس الواحد للجميع"

تعمل نماذج الذكاء الاصطعي الحالية (مثل تلك التي تدردش معها) في طبقات. لفهم جملة ما، تمرر هذه النماذج الكلمات عبر هذه الطبقات بشكل متكرر.

الطريقة القديمة: يُطلب من النموذج تمرير كل كلمة على حدة عبر الطبقات 4 مرات بالضبط.
الهدر: بعض الكلمات سهلة (مثل "الـ" أو "و")، وهي لا تحتاج إلى 4 تمريرات؛ بل تُفهم فوراً. لكن النموذج يهدر الطاقة في معالجتها على أي حال. وهناك كلمات أخرى صعبة (مثل الأسماء المعقدة أو المفاهيم المجردة)، وقد تحتاج فعلياً إلى أكثر من 4 تمريرات، لكن النموذج يتوقف على أي حال.

2. الحل: زر "التوقف الذكي"

ابتكر المؤلفون AdaPonderLM، وهو نموذج يتعلم الضغط على زر "التوقف" للكلمات السهلة، بينما يستمر في الضغط على زر "التفكير" للكلمات الصعبة.

الحارس (بوابة MLP): تخيل وجود حارس عند مدخل ملهى لكل كلمة. بعد الجولة الأولى من التفكير، يتحقق الحارس من الكلمة.
- الكلمة السهلة: "لقد فهمت الأمر. أنت انتهيت." (تتوقف الكلمة عن المعالجة).
- الكلمة الصعبة: "ليس بعد، استمر في التفكير." (تذهب الكلمة إلى الجولة التالية).
التعلم الذاتي: الجزء المذهل هو أن النموذج يعلم نفسه هذه المهارة أثناء تعلمه القراءة، دون وجود معلم بشري يقول له: "توقف هنا". هو يكتشف بنفسه أن الكلمات السهلة لا تحتاج إلى تفكير عميق.

3. الخدعة السحرية: "الصورة المجمدة" (إعادة استخدام KV)

هذا هو السر التقني الذي يجعل النموذج سريعاً.

في الكمبيوتر العادي، إذا توقفت كلمة عن التفكير، فعادة ما يضطر الكمبيوتر للقيام ببعض العمل لتذكرها للخطوة التالية.

التشبيه: تخيل أنك تلتقط صورة جماعية. إذا غادر شخص ما الإطار مبكراً، فعادة ما يتعين عليك التقاط صورة جديدة للمجموعة بأكملها بدونه، وهو أمر بطيء.
خدعة AdaPonderLM: إنه يأخذ "لقطة" (يخزن البيانات مؤقتاً) للكلمة في اللحظة التي تتوقف فيها. وفي جميع الخطوات المتبقية، يقوم فقط بإعادة استخدام تلك اللقطة. إنه لا يعيد حساب أي شيء لتلك الكلمة. الأمر يشبه قول: "نحن نعرف ما هي هذه الكلمة؛ لنقم فقط بنسخ ولصق ذاكرتها لبقية العملية".

هذا يوفر قدراً هائلاً من الطاقة (القدرة الحوسبية) لأن الكمبيوتر لا يضطر لإعادة القيام بالعمل للكلمات التي تم حلها بالفعل.

4. النتائج: أذكى، وليس فقط أسرع

اختبر الباحثون النماذج على نطاق يتراوح من النماذج الصغيرة جداً (70 مليون معلمة) إلى النماذج الكبيرة (2.8 مليار معلمة).

التوفير: وجدوا أن AdaPonderLM يمكنه تقليل العمل الحوسبي بنسبة تقارب 10% دون أن يجعل الذكاء الاصطناعي أقل ذكاءً.
السلوك: عندما نظروا داخل النموذج، رأوا أنه يعمل تماماً كما كان مأمولاً:
- الكلمات السهلة (مثل "الـ") توقفت بعد جولة أو جولتين فقط.
- الكلمات الصعبة (مثل المنطق المعقد أو الأسماء النادرة) استمرت لمدة 3 أو 4 جولات.
المقارنة: حاولوا إجبار النموذج على التوقف عشوائياً (مثل قاعدة ثابتة)، لكن "التوقف الذكي المتعلم" كان أفضل بكثير. لقد عرف بالضبط أي الكلمات تحتاج إلى مساعدة.

الملخص

AdaPonderLM هو ذكاء اصطناعي يتعلم كيف يكون فعالاً. فبدلاً من المضي قدماً في معالجة كل كلمة بنفس القدر من التفكير بشكل أعمى، فإنه يتصرف كخبير متمرس: يلقي نظرة سريعة على الأشياء السهلة ويمضي قدماً، لكنه يتوقف ليفكر بعمق في الأشياء الصعبة. وبفضل خدعة "إعادة استخدام الذاكرة" الذكية، يفعل ذلك دون إبطاء الكمبيوتر.

إنه الفرق بين طالب يقرأ كل كلمة في الكتاب المدرسي بنفس السرعة، وبين طالب يقرأ الأجزاء السهلة بسرعة ويتمهل لدراسة الفصول الصعبة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "AdaPonderLM: نماذج لغوية ذات بوابات تأملية مع عمق تكيفي لكل رمز (Token-Wise)".

1. بيان المشكلة

ظهرت البنى المحولة (Transformer) المتكررة والتكرارية (مثل PonderLM وLoop Transformer) كوسيلة لـ توسيع نطاق وقت الاختبار (Test-Time Scaling)، مما يسمح للنماذج بتخصيص المزيد من الحوسبة أثناء الاستدلال لتحسين الأداء. ومع ذلك، تعاني النهج الحالية من عدم كفاءة حرجة: فهي عادةً ما تشغل عدداً ثابتاً من التكرارات لجميع الرموز (Tokens).

عدم الكفاءة: يؤدي هذا إلى هدر الحوسبة على "الرموز السهلة" التي تتطلب تحسيناً طفيفاً، وعدم كفاية الحوسبة لـ "الرموز الصعبة" التي تحتاج إلى تفكير أعمق.
قصور الأعمال السابقة: تعتمد الأساليب التكيفية الحالية غالباً على:
- عمق تكراري ثابت (بدون تكيف).
- إشارات تحت إشراف (تتطلب تسميات خارجية).
- نسب تقليم (Pruning) ثابتة (يتم ضبطها يدوياً لكل رمز أو لكل طبقة).
- عدم الاتساق بين التدريب والاستدلال (مثل إعادة حساب الحالات للرموز التي تم تقليمها).

الهدف هو تطوير آلية تكيفية لكل رمز (Token-wise) ذاتية الإشراف تتعلم كيفية إيقاف الحوسبة ديناميكياً للرموز السهلة مع الاستمرار في صقل الرموز الصعبة، دون ضبط يدوي أو إشراف خارجي.

2. المنهجية: AdaPonderLM

AdaPonderLM هو نموذج لغوي متكرر ذاتي الإشراف مبني على إطار عمل PonderLM. وهو يقدم ثلاثة مكونات أساسية لتحقيق العمق التكيفي:

أ. آلية البوابة الخاصة بكل تكرار (Iteration-Specific Gating Mechanism)

بدلاً من بوابة واحدة مشتركة، يستخدم النموذج شبكات MLP خاصة بكل تكرار لتقرير متى يجب التوقف عن معالجة الرمز.

العملية: في كل تكرار $i$ ، يتم تمرير الحالة المخفية $h^i$ عبر شبكة MLP لإنتاج لوجيتات البوابة (gate logits)، والتي تُحول إلى احتمالات $s^i$ عبر دالة السيجمويد (sigmoid).
قاعدة التقليم: يتم تقليم الرمز (إيقافه) إذا انخفض احتمال البوابة $s^i$ عن عتبة $\tau$ (المحددة بـ $10^{-4}$ ).
القناع الرتيب (Monotonic Mask): يضمن قناع ثنائي مستمر $m^i$ أنه بمجرد تقليم الرمز، يظل مقلماً في جميع التكرارات اللاحقة. هذا يفرض منطق "التوقف لمرة واحدة".

ب. محاذاة ذاكرة التخزين المؤقت لـ KV (الاتساق بين التدريب والاستدلال)

أحد التحديات الرئيسية في النماذج المتكررة هو ضمان تصرف النموذج بنفس الطريقة أثناء التدريب والاستدلال.

الآلية: عندما يتم تقليم رمز في التكرار $i$ ، يقوم النموذج بإعادة استخدام حالات المفتاح (Key - K) والقيمة (Value - V) من التكرار $i-1$ لذلك الرمز في جميع التكرارات المستقبلية.
التنفيذ: يتم تحقيق ذلك عبر عملية استبدال مقنعة: $K^i \leftarrow \text{where}(m^i, K^i, K^{i-1})$ .
الفائدة: يتجنب هذا الحوسبة الزائدة للرموز المتوقفة أثناء الاستدلال ويضمن أن آلية الانتباه ترى نفس تسلسل الحالة تماماً أثناء التدريب كما تراه أثناء الاستدلال، مما يتيح تسريعاً عملياً باستخدام نوى الانتباه القياسية (مثل Flash Attention).

ج. خوارزمية ما قبل التدريب (Pretraining Algorithm)

يتم تدريب النموذج باستخدام استراتيجية من مرحلتين لتثبيت التحسين:

مرحلة الإحماء (Warm-up Stage): تُستخدم خسارة الإنتروبيا المتقاطعة القياسية ( $L_{CE}$ ) بدون تنظيم لتعلم نمذجة اللغة الأساسية.
مرحلة التنظيم (Regularization Stage): تُضاف خسارة التأمل (Ponder Loss) إلى الهدف: $L = L_{CE} + \lambda L_{ponder}$ $L = L_{C E} + λ L_{p o n d er}$ .
- تقوم خسارة التأمل بمعاقبة كسر الـ $K$ الأدنى من قيم البوابة (الرموز الأكثر عرضة للتقليم).
- هذا يشجع النموذج على تقليم الرموز "السهلة" (ذات اليقين المنخفض) مع إبقاء البوابات نشطة للرموز "الصعبة".
- يتم تطبيق جدول إحماء للكسر $k$ لإدخال ضغط التقليم تدريجياً.

3. المساهمات الرئيسية

تدريب ذاتي الإشراف شامل (End-to-End): أول إطار عمل يتعلم بشكل مشترك عمليات الصقل المتكررة وسلوك التوقف لكل رمز عبر الإشراف الذاتي فقط، مما يلغي الحاجة إلى نسب تقليم يدوية أو تسميات خارجية.
تخصيص تلقائي لكل رمز: يخصص النموذج تلقائياً "وقت التفكير" (عمق الحوسبة) بناءً على صعوبة الرمز، بدلاً من استخدام عمق ثابت لكامل التسلسل.
آلية إعادة استخدام KV: مكون معماري مبتكر يضمن الاتساق بين التدريب والاستدلال ويمكّن من التسريع العملي عبر إعادة استخدام الحالات المخزنة للرموز المتوقفة.
تحقق قابل للتوسع: تم تدريب واختبار AdaPonderLM بنجاح على نماذج Pythia الأساسية التي تتراوح أحجامها من 70 مليون إلى 2.8 مليار معلمة (parameter)، مما أظهر قابلية للتوسع.

4. النتائج التجريبية

قيم المؤلفون AdaPonderLM عبر مستويات ومهام متعددة:

كفاءة الاستدلال:
- نماذج 70M/410M: حققت غموضاً (Perplexity - PPL) مماثلاً أو أفضل من PonderLM وLoop Transformer مع تقليل عمليات الحوسبة (FLOPs) أثناء الاستدلال بنسبة ~8–10% (على سبيل المثال، 3.8× مقابل 4× FLOPs).
- نماذج 1.4B/2.8B: أظهر استمرار ما قبل التدريب أن AdaPonderLM يحافظ على أداء نمذجة اللغة لنموذج PonderLM ذي العمق الثابت مع تقليل عبء الاستدلال من 4× إلى 3.7×–3.8× FLOPs.
الأداء في المهام النهائية (Downstream Performance):
- تم التقييم عبر اختبارات تشمل LAMBADA، PIQA، WinoGrande، ARC، HellaSwag، وRACE.
- عند مقياس 2.8B، حقق AdaPonderLM متوسط زيادة في الدقة قدرها 2.2% (صفر محاولة - zero-shot) و 3.5% (خمس محاولات - five-shot) مقارنة بنموذج Pythia الأساسي.
- والأهم من ذلك، أنه طابق أداء PonderLM ذي العمق الثابت مع كونه أسرع بكثير.
الدراسة الاستقصائية والتحليل (Ablation & Analysis):
- استقرار البوابة: تسبب استخدام MLP واحد مشترك للبوابات في عدم استقرار التدريب (الانهيار إلى التوقف الكامل أو عدم التوقف). كانت شبكات MLP الخاصة بكل تكرار ضرورية للاستقرار.
- السلوك التكيفي: كشف تحليل NLL (الاحتمال السالب للوغاريتم) للرموز أن البوابات المتعلمة تعمل كـ مرشح مرحلي:
  - الخطوة 2: تقلم الرموز عالية الثقة (السهلة) ذات أقل NLL.
  - الخطوات 3–4: تحتفظ بالرموز منخفضة الثقة (الصعبة) ذات الـ NLL العالي وتصقلها.
- المقارنة: تفوقت السياسة التكيفية المتعلمة بشكل كبير على استراتيجيات التوزيع الثابتة (المنتظمة أو الهندسية) تحت قيود Iso-FLOP، مما يثبت أن العمق الديناميكي المحدد لكل رمز هو الأفضل من التقليم الثابت.

5. الأهمية

يمثل AdaPonderLM خطوة مهمة للأمام في توسيع نطاق وقت الاختبار بكفاءة.

تحول في النموذج المعرفي: إنه ينتقل من التكرار "الذي يناسب الجميع" إلى الحوسبة التكيفية، محاكياً الكفاءة الإدراكية البشرية حيث تتطلب المهام البسيطة تفكيراً أقل من المهام المعقدة.
الواقعية العملية: من خلال حل مشكلة الاتساق بين التدريب والاستدلال عبر إعادة استخدام KV، فإنه يسد الفجوة بين الحوسبة التكيفية النظرية والتسريع العملي القابل للنشر.
الطبيعة ذاتية الإشراف: القدرة على تعلم هذه السياسات دون إشراف خارجي تجعلها قابلة للتطبيق في أي سيناريو لتدريب النماذج اللغوية الكبيرة.

في الختام، يثبت AdaPonderLM أن النماذج اللغوية الكبيرة يمكنها أن تتعلم كيف "تتأمل" (Ponder) فقط عند الضرورة، محققة توازناً متفوقاً بين جودة النمذجة والتكلفة الحسابية.