🤖 machine learning

The Efficiency Gap in Byte Modeling

تتقصى هذه الورقة التكلفة الحسابية للجمع بين النمذجة على مستوى البايت والانتشار المقنع، كاشفةً أن الأخير يعاني من عقوبة توسع أكثر حدة من النماذج ذات الترتيب الذاتي بسبب هشاشة السياق، مما يشير إلى أن التصاميم المستقبلية غير المرتبطة بنمط معين تتطلب انحيازات هيكلية جديدة لتبقى فعالة.

المؤلفون الأصليون: Celine Lee, Jing Nathan Yan, Chen Liang, Jiaxin Shi, Yin Zhang, Jeremiah Liu, Pengcheng Yin, Fernando Pereira, Ed Chi, Derek Cheng, Alexander M. Rush, Ruoxi Wang

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Celine Lee, Jing Nathan Yan, Chen Liang, Jiaxin Shi, Yin Zhang, Jeremiah Liu, Pengcheng Yin, Fernando Pereira, Ed Chi, Derek Cheng, Alexander M. Rush, Ruoxi Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت القراءة والكتابة. لفترة طويلة، كانت الطريقة القياسية للقيام بذلك هي تزويد الروبوت بقاموس من "الكتل" (مثل كلمات كاملة أو مقاطع لفظية شائعة) وتعليمه القراءة بصرامة من اليسار إلى اليمين، كتلة تلو الأخرى. هذه الطريقة فعالة، لكنها تقيد الروبوت بقدرته على فهم تلك الكتل المحددة فقط.

مؤخراً، جرب الباحثون فكرتين جديدتين أكثر جرأة:

نهج "البايت الخام" (Raw Byte): بدلاً من إعطاء الروبوت قاموساً من الكتل، أعطوه الأبجدية الخام (كل حرف ورمز منفرد). هذا يشبه تعليم الروبوت القراءة عبر إظهار الحروف الفردية للأبجدية له بدلاً من الكلمات الجاهزة. إنها طريقة أكثر شمولية لأن الروبوت يمكنه قراءة أي شيء، لكن الجمل تصبح طويلة للغاية.
نهج "الانتشار" (Diffusion): بدلاً من القراءة من اليسار إلى اليمى، علموا الروبوت تخمين الجملة بأكملة دفعة واحدة، عبر ملء الفراغات بأي ترتيب، تماماً مثل حل لغز "الجيغسو" (الصور المقطعة) حيث يمكنك وضع القطع في أي مكان.

تبحث هذه الورقة البحثية فيما يحدث عندما نجمع بين هاتين الفكرتين الجريئتين: تعليم الروبوت قراءة الحروف الخام باستخدام طريقة لغز الجيغسو.

الاكتشاف الكبير: عدم تطابق الأدوات

وجد الباحثون أنه بينما يمكن للروبوت تعلم قراءة الحروف الخام في النهاية إذا قرأها واحداً تلو الآخر (من اليسار إلى اليمين)، إلا أنه يعاني بشدة عندما يحاول قراءة الحروف الخام كأحجية جيغسو.

إليك التفاصيل باستخدام تشبيهات بسيطة:

1. القارئ "من اليسار إلى اليمين" (التسلسلي - Autoregressive)
تخيل أنك تبني جداراً لبنة تلو الأخرى.

باستخدام الكتل (الأسلوب القياسي): لديك كتل جاهزة من الطوب (كلمات). أنت فقط تقوم برصّها. الأمر سريع.
باستخدام الحروف الخام: عليك رص طوب فردي. يتطلب الأمر وقتاً أطول وجهداً أكبر، ولكن بما أنك تبني في خط مستقيم، يمكنك بسهولة رؤية النمط. بمجرد أن تضع أول بضع لبنات من الكلمة، يصبح بقية الكلمة واضحاً. يتعلم الروبوت "التنبؤ" بالحرف التالي بناءً على الحرف الذي سبقه.
النتيجة: على الرغم من أن البداية بطيئة، إلا أن الروبوت يلحق بالركب في النهاية. إذا أعطيته الوقت واللبنات الكافية، فسوف يتعلم التعرف على أنماط الكلمات من تلقاء نفسه، تماماً كما يتعلم الإنسان القراءة عن طريق تهجئة الحروف.

2. قارئ "لغز الجيغسو" (الانتشار - Diffusion)
تخيل أنك تحاول حل لغز جيغسو، ولكن يمكنك التقاط أي قطعة ومحاولة وضعها في أي مكان على اللوحة في نفس الوقت.

باستخدام الكتل (الأسים القياسي): قطع اللغز كبيرة ومتميزة (مثل صورة عين قطة). من السهل تخمين مكان قطعة "عين القط" لأن لها شكلاً واضحاً.
باستخدام الحروف الخام: قطع اللغز عبارة عن ذرات غبار صغيرة لا معنى لها (حروف فردية). حرف واحد مثل "e" لا يخبرك بالكثير بمفرده.
المشكلة: في لغز الجيغسو، تحتاج إلى سياق لتعرف أين توضع القطعة. إذا نثرت القطع عشوائياً وسألت الروبوت عن مكانها دون ترتيب واضح، فسيضيع. تطلق الورقة على هذا الأمر اسم "هشاشة السياق" (Context Fragility).
- عندما يحاول الروبوت تخمين حرف في منتصف كلمة دون معرفة ما قبله أو ما بعده، فليس لديه أدنى فكرة.
- على عكس القارئ من اليسار إلى اليمين، الذي يبني تاريخاً مستقراً، يقوم قارئ الجيغسو باستمرار بتحطيم السياق. الأمر يشبه محاولة إنهاء جملة بينما يستمر شخص ما في مسح الكلمات التي كتبتها للتو.

"فجوة الكفاءة"

أجرت الورقة تجارب ضخمة لمعرفة مقدار "القدرة الحوسبية" (الطاقة والوقت) التي يستغرقها الروبوت ليصبح جيداً.

الروبوت "من اليسار إلى اليمين": يتطلب الأمر طاقة أكبر قليلاً للتعلم باستخدام الحروف الخام مقارنة بالكتل، لكن الفجوة تتقلص كلما أصبح الروبوت أكثر ذكاءً. في النهاية، يصبح كفؤاً تقريباً مثل قارئ الكتل.
روبوت "الجيغسو": الفجوة ضخمة ولا تغلق أبداً. لجعل روبوت الجيغسو يؤدي بنفس مستوى كفاءة قارئ الكتل، ستحتاج إلى إعطائه ملايين المرات أكثر من القدرة الحوسبية. تشير الورقة إلى أنه بينما قد يلحق الروبوت الذي يقرأ من اليسار إلى اليمين بميزانية قدرها $10^{22}$ عملية، فقد يحتاج روبوت الجيغسو إلى $10^{26}$ عملية ليصل فقط إلى مستوى قريب.

لماذا يحدث هذا؟

قام الباحثون بعمل استقصائي لمعرفة السبب. ووجدوا أن:

الحروف الخام تحتاج إلى "قصة" لتصبح ذات معنى. الحرف الواحد ليس له معنى بدون الحروف المحيطة به.
منهج "من اليسار إلى اليمين" يبني تلك القصة بشكل طبيعي، مما يسمح للروبوت بتعلم أن حرف "q" يتبعه عادةً حرف "u".
منهج "الجيغسو" يدمر تلك القصة. من خلال محاولة تخمين القطع بترتيب عشوائي، فإنه يكسر "الاستمرارية المحلية" (حقيقة أن الحروف تجلس بجانب بعضها البعض في ترتيب محدد). وبدون هذا الترتيب المستقر، لا يمكن للروبوت فهم معنى الحروف الخام، مهما تدرب.

الخلاصة

تخلص الورقة إلى أنه بينما تعد محاولة بناء روبوت "عالمي" يقرأ الحروف الخام فكرة رائعة، فإن الطريقة التي تستخدمها لتعليمه مهمة للغاية.

إذا علمته القراءة بالترتيب (من اليسار إلى اليمين)، فيمكنه التعامل مع الحروف الخام بكفاءة. ولكن إذا حاولت تعليمه القراءة بأسلوب "الجيغسو" العشوائي، فإن الحروف الخام ستكون هشة للغاية ومجزأة لدرجة تمنع الروبوت من فهمها. ولجعل منهج الجيغسو يعمل مع الحروف الخام، سنحتاج إلى ابتكار طرق جديدة تماماً لمساعدة الروبوت على التمسك بـ "قصة" الجملة، وإلا فسيظل غير كفء للغاية.

ملخص تقني: فجوة الكفاءة في نمذجة البايت (Byte Modeling)

بيان المشكلة

اعتمدت النماذج اللغوية الكبيرة (LLMs) حديثًا تاريخيًا على ركيزتين بنيويتين: الترميز تحت الكلمة (subword tokenization) (مثل BPE وWordPiece) والترتيب التراجعي الذاتي (AR ordering). ورغم فعاليتها، تفرض هذه الخيارات قيودًا محددة: يعمل الترميز تحت الكلمة كطبقة ضغط ثابتة قد تعيق التعميم على الوسائط غير المتوافقة مع التوزيع الأصلي، بينما يفرض الترتيب التراجعي الذاتي انحيازًا أحادي الاتجاه يمكن أن يضعف التخطيط الاستباقي (look-ahead planning) للاستنتاج غير المتسلسل.

لقد ظهر نموذجان بديلان لتجاوز هذه القيود:

نمذجة مستوى البايت (Byte-level modeling): تتجاوز المفردات الثابتة المستمدة إحصائيًا عبر العمل مباشرة على بايتات UTF-8 الخام، مما يوفر شمولية عالمية.
نمذجة الانتشار المقنع (Masked Diffusion Modeling - MDM): تقوم بعملية توليد متوازية وغير متسلسلة عبر استدلال مستقل عن الترتيب.

يمثل التقاطع بين هذين النموذجين نموذجًا أوليًا توليديًا كاملًا من البداية إلى النهاية ومستقلاً عن نوع الوسائط. ومع ذلك، فإن إزالة الركائز البنيوية مثل الترميز تحت الكلمة والترتيب السببي (causal ordering) تترتب عليها تكلفة حوسبية كبيرة. المشكلة المركزية التي يتناولها هذا العمل هي قياس هذه التكلفة وفهم كيف يؤثر التفاعل بين تمثيل البيانات (البايت مقابل الترميز تحت الكلمة) وهدف النمذجة (AR مقابل MDM) على كفاءة التوسع (scaling efficiency).

المنهجية

يستخدم المؤلفون دراسة توسع مطابقة للحوسبة (compute-matched scaling study) لعزل التفاعل بين أهداف النمذجة وتمثيلات البيانات. ولضمان مقارنات عادلة قائمة على إجمالي العمليات الحسابية (FLOPs)، استخدموا بنية Transformer قياسية عبر مسح للمعاملات (parameter sweep) من 48 مليون إلى 1.23 مليار معامل غير متعلق بالتمثيل (non-embedding parameters).

البيانات والترميز: تم تدريب النماذج مسبقًا على مجموعة بيانات Slimpajama-627B. تمت مقارنة تمثيلين للمدخلات:
- مستوى البايت (Byte-level): بايتات UTF-8 خام مُسقطة على مفردات بحجم $V=256$ .
- مستوى BPE: ترميز Llama 2 القياسي بحجم $V=32,000$ .
- التطبيع (Normalization): تم تطبيع نوافذ السياق لمعالجة نفس الحجم من البيانات الخام في كل خطوة (8192 بايت لنماذج البايت مقابل 1792 رمزًا لنماذج BPE).
الأهداف:
- التراجعي الذاتي (AR): قناع سببي (causal masking) قياسي.
- الانتشار المقنع (MDM): انتباه ثنائي الاتجاه مع إطار عمل انتشار زمن مستمر منفصل، باستخدام القناع الخطي للتدريب والقناع الجيبي (cosine masking) للاستدلال.
مقياس التقييم: يُستخدم "البايت لكل بايت" (Bits-per-Byte - BPB) كمقياس موحد لتطبيع الأداء التنبؤي مقابل حجم مجموعة البيانات الخام، مما يفصل الأداء عن استراتيجيات التجزئة (discretization).
التحليل الآلي: تتضمن الدراسة تجارب تبديل (permutation) مضبوطة للتحقيق في "هشاشة السياق" (context fragility). تطبق هذه التجارب عمليات تبديل ثابتة على المتواليات (عشوائية عالمية، بين الكتل، وداخل الكتل) لقياس تأثير تدمير الاستمرارية المحلية والترتيب السببي العالمي على أداء النموذج وقابلية ضغط البيانات (باستخدام خوارزميات مثل DEFLATE وغيرها كوكلاء للقياس).

النتائج الرئيسية

1. مسارات التوسع المتباينة

إن عقوبة الأداء الناتجة عن نمذجة البايت ليست موحدة؛ فهي تعتمد بشدة على هدف النمذجة.

نماذج التراجعي الذاتي (AR): تتأخر نماذج البايت في نظام AR عن نظيراتها من نوع BPE في البداية، لكنها تتقارب نحو تكافؤ الأداء مع زيادة الحجم. عند ميزانيات حوسبة عالية ( $F \approx 10^{22}$ FLOPs)، تتقلص الفجوة بشكل كبير، مما يشير إلى أن نماذج AR يمكنها استهلاك تكلفة معالجة البايت الخام من خلال تاريخها السببي المستقر.
نماذج الانتشار المقنع (MDM): في المقابل، تظهر نماذج MDM على مستوى البايت فجوة أداء مستمرة وجوهرية مقارنة بنماذج BPD MDM. حتى مع زيادة السعة والحوسبة، تفشل هذه النماذج في سد الفجوة. تشير استقراءات الـ IsoFLOPs إلى أنه بينما تصل نماذج AR إلى التكافؤ عند $F \approx 1.3 \times 10^{22}$ ، فقد تحتاج نماذج MDM إلى ميزانيات تصل إلى $F \approx 4.2 \times 10^{26}$ لتحقيق تكافؤ مماثل.

2. أداء المهام اللاحقة (Downstream Tasks)

يؤكد التقييم على اختبارات الاستنتاج صفرية المحتوى (ARC-Easy, BoolQ, إلخ) اتجاهات الـ BPB:

تُظهر نماذج البايت في نظام AR أداءً تنافسيًا، حيث تضيق الفجوة مع نماذج BPE الأساسية مع زيادة السعة.
تعاني نماذج البايت في نظام MDM من الركود. رغم تلقيها نفس زيادات السعة التي استفادت منها نماذج AR، إلا أن أداء البايت في MDM يتذبذب ويفشل في إظهار توسع ذي معنى، ويظل باستمرار أقل أداءً من نظائره من نوع BPE.

3. الرؤية الآلية: هشافة السياق

حددت الورقة أن هشافة السياق هي السبب الجذري لهذا التفاوت.

التقسيم الناشئ في AR: يكشف تحليل الإنتروبيا التنبؤية في نماذج البايت بنظام AR أنها تتعلم طبيعيًا محاذاة المناطق ذات الإنتروبيا العالية مع بدايات وحدات "تحت الكلمة" (حدود BPE). يسمح التاريخ السببي المستقر لنماذج AR بحل الانتقالات بين البايتات داخل وحدة الكلمة بمجرد تحديد البايتات الأولية.
الهشاشة في MDM: يدمر هدف MDM الاستمرارية المحلية المطلوبة لحل المعاني من البايتات الخام. بدون تاريخ سببي مضمون أو وحدات دلالية مركبة مسبقًا، يجب على النموذج حل المعاني من مجموعة تركيبية من السياقات المجزأة.
تجارب التبديل: تُظهر التجارض المنضبطة أن نماذج البايت حساسة بشكل فريد لفقدان التكامل التسلسلي. وبينما يساعد الحفاظ على الاستمرارية المحلية (التبديل بين الكتل) في الاستعادة، فإن تدمير الترتيب السببي العالمي (التبديل داخل الكتل) يؤثر بشدة على الأداء، بل ويتفوق في تأثيره السلبي على الترتيب العشوائي العالمي في بعض المقاييس. وهذا يؤكد أن انتشار النص على مستوى البايت يعاني من عدم توافق بنيوي أساسي: فهو يعمل على وحدات حبيبية دون احتواء وحدات "تحت الكلمة" ودون ركائز مستقرة يوفرها التاريخ السببي.

الأهمية والادعاءات

تزعم الورقة أن جدوى تجاوز الترميز تحت الكلمة المسبق للنموذج ليست عالمية بل تعتمد على هدف النمذجة.

الكفاءة المعتمدة على الهدف: عقوبة الحوسبة لنمذجة البايت أسوأ بكثير للأهداف غير المرتبطة بالترتيب (MDM) مقارنة بالأهداف السببية (AR).
عدم التوافق البنيوي: تشير النتائج إلى أن الطبيعة غير المرتبطة بالترتيب للانتشار (diffusion) تتفاعل بشكل سيء مع التمثيلات الحبيبية للبايت. إن غياب الوحدات الدلالية المركبة مسبقًا وغياب التاريخ السببي المستقر يخلق "هشافة سياقية" تمنع التوسع الفعال في نطاق البايت.
الاتجاهات المستقبلية: خلص المؤلفون إلى أن التصميمات المستقبلية المستقلة عن الوسائط والتي تهدف إلى استخدام تمثيلات مستوى البايت مع أهداف الانتشار يجب أن تدمج انحيازات بنيوية بديلة (مثل القناع الهرمي، أو المفردات المثلى، أو الهياكل الهجينة) للحفاظ على مسارات توسع قابلة للتطبيق. هم لا يدعون أن MDM على مستوى البايت مستحيل، بل يتطلب تعديلات هيكلية محددة للتغلب على فجوة الكفاءة المحددة.

يوفر هذا العمل فهمًا تأسيسيًا للمقايضات بين تمثيل البيانات وأهداف النمذجة، مؤكدًا أن مجرد إزالة المرمِّزات ليس كافيًا للإنتاج المتوازي الفعال دون معالجة التبعات البنيوية الأساسية للبيانات.