💬 NLP

Effective Context in Transformers: An Analysis of Fragmentation and Tokenization

تؤسس هذه الورقة إطاراً معلوماتياً ذا سياق محدود يوضح أنه بينما يمكن للتجزئة (باستخدام وحدات أصغر) أن تؤدي جوهرياً إلى تدهور أداء التنبؤ من خلال زيادة الفقد اللوغاريتمي الأمثل، فإن التجزئة الجشعة (باستخدام وحدات أكبر) يمكنها فعلياً تمديد نافذة السياق القابلة للاستخدام للنموذج، مما يفسر فروق الأداء بين نماذج "ترانسفورمر" القائمة على البايت/الحرف وتلك القائمة على الوحدات الفرعية للكلمات.

المؤلفون الأصليون: Amirmehdi Jafari Fesharaki, Mohammadamin Rami, Aslan Tchamkerten

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Amirmehdi Jafari Fesharaki, Mohammadamin Rami, Aslan Tchamkerten

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول التنبؤ بالكلمة التالية في قصة ما. لديك "نافذة ذاكرة" لا يمكنها استيعاب سوى عدد معين من العناصر. يطرح البحث سؤالاً بسيطاً ولكنه عميق: هل يهم كيف نقسم القصة إلى تلك العناصر؟

يستكشف المؤلفون، أمير مهدي ج. فشاركي، ومحمد أمين رامي، وأصلان تشامكيرتن، طريقتين لتقسيم النص: تقطيعه إلى قطع صغيرة جداً (مثل الحروف أو البايتات الفردية) مقابل تجميعه في كتل أكبر (مثل الكلمات أو الرموز الفرعية - sub-word tokens). لقد استخدموا الرياضيات لإثبات أن الطريقة التي تُقطع بها البيانات تغير مدى قدرة الكمبيوتر على التنبؤ بالمستقبل، حتى لو كانت البيانات نفسها متطابقة تماماً.

إليك تفصيل نتائجهم باستخدام تشبيهات بسيطة:

1. مشكلة "التفاصيل الزائدة" (التجزئة)

التشبيه: تخيل أنك تحاول تخمين النقلة التالية في لعبة شطرنج.

السيناريو أ (الرموز الفرعية): تنظر إلى اللوحة وترى القطع بوضوح: "حصان"، "بيدق"، "ملك". يمكنك رؤية النمط بسهولة.
السيناريو ب (التجزئة): الآن، تخيل أن شخصاً ما قام بطلاء اللوحة وكسر كل قطعة شطرنج إلى بكسلات صغيرة ملونة. لكي ترى نفس القدر من التاريخ، عليك النظر إلى مساحة أوسع بكثير من البكسلات.

ادعاء الورقة البحثية:
وجد المؤلفون أنه إذا قمت بتقسيم رمز مصدر (مثل حرف) إلى قطع أصغر (مثل البتات أو البايتات) دون فقدان للمعلومات، فإنك في الواقع تجعل التنبؤ أصعب، حتى لو منحت النموذج نافذة أكبر للنظر إليها.

لماذا؟ إنها مشكلة محاذاة (Alignment).
- إذا نظرت إلى كلمة، فأنت تعرف بالضبط أين تبدأ وأين تنتهي.
- إذا نظرت إلى البتات التي تشكل تلك الكلمة، فقد يقطع "النافذة" الخاصة بك منتصف حرف ما. قد ترى نهاية حرف وبداية آخر، لكنك لا تعرف أي حرف الذي تنظر إليه.
- التشبيه: تخيل أنك تحاول قراءة جملة حيث تم إزاحة المسافات بين الكلمات بشكل عشوائي. حتى لو كان لديك مسطرة طويلة بما يكفي لقياس الجملة بأكملها، فلن تتمكن من معرفة أين تنتهي كلمة واحدة وأين تبدأ الكلمة التالية. هذا الارتباك يخلق "غموض المرحلة" (phase ambiguity). يستهلك النموذج طاقته في تخمين مكان الحدود، مما يؤدي إلى معدل خطأ أعلى لا يمكن إصلاحه بمجرد التدريب لفترة أطول أو إضافة المزيد من القدرة الحوسبية.

2. قوة "التجميع الذكي" (الترميز - Tokenization)

التشبيه: الآن، تخيل أنك تقرأ كتاباً، ولكن بدلاً من القراءة حرفاً بحرف، تقرأ في "كتل" من المعنى.

الإعداد: لديك نافذة ذاكرة محدودة يمكنها استيعاب 10 عناصر فقط.
السيناريو أ (النص الخام): إذا كانت عناصرك هي الحروف، فإن نافذتك ستتسع لـ 10 حروف فقط. هذا بالكاد يكفي لكلمة أو كلمتين. لا يمكنك رؤية الكثير من السياق.
السيناريو ب (الترميز): إذا كانت عناصرك هي "الرموز" (مجموعات من الحروف التي تشكل كلمات شائعة أو أجزاء من كلمات)، فإن نافذتك المكونة من 10 عناصر قد تستوعب 50 حرفاً أو حتى جملة كاملة.

ادعاء الورقة البحثية:
يثبت المؤلفون أن تجميع الرموز في رموز (tokens) أكبر يمكن أن يجعل النافذة القصيرة تتصرف كأنها نافذة أطول بكثير.

الشرط: يعمل هذا فقط إذا كانت "الكتل" موثوقة. إذا كان المُرمز (tokenizer) الخاص بك ذكياً بما يكفي بحيث تغطي 10 رموز دائماً (أو تقريباً دائماً) مسافة طويلة من النص الأصلي، فيمكن للنموذج تعلم أنماط القصة بأكملها باستخدام نافذة صغيرة.
المقياس: قدموا طريقة لقياس هذا تسمى "سياق المصدر الفعال" (Effective Source Context). الأمر لا يتعلق بعدد الرموز التي تملكها؛ بل يتعلق بعدد الحروف الأصلية التي تمثلها تلك الرموز فعلياً. إذا كانت الـ 10 رموز الخاصة بك تغطي 100 حرف، فإن نموذجك لديه "ذاكرة قدرها 100 حرف"، حتى لو كان يرى 10 عناصر فقط.

3. عامل "الارتخاء" (Slack)

تشير الورقة أيضاً إلى أن المرمّزات (tokenizers) في العالم الحقيقي ليست مثالية. أحياناً قد يكون الرمز قصيراً جداً (حرف واحد فقط)، وأحياناً قد يكون طويلاً (كلمة كاملة).

النتيجة: طالما أن الحالات "السيئة" (حيث تكون الرموز قصيرة جداً) نادرة، فإن النموذج سيظل يعمل بشكل جيد تقريباً كما لو كانت الرموز مثالية. توضح الرياضيات بالضبط مقدار "الارتخاء" (الخطأ) الذي يمكنك تحمله قبل أن تختفي الفائدة.

ملخص الجانبين

تضع الورقة ميزانية متوازنة لكيفية تمثيل البيانات للذكاء الاصطناعي:

الذهاب إلى الأصغر (التجزئة): تقسيم البيانات إلى قطع صغيرة جداً (مثل البايتات) يخلق "عدم تطابق في المرحلة". يرتبك النموذج بشأن أين تبدأ الوحدات الأصلية وأين تنتهي، مما يؤدي إلى فقدان دائم للكفاءة لا يمكن إصلاحه بمجرد جعل النموذج أكبر.
الذهاب إلى الأكبر (الترميز): تجميع البيانات في كتل ذكية (مثل BPE أو WordPiece) يعمل كأداة ضغط. فهو يسمح للنموذج برؤية تاريخ أطول بكثير من القصة ضمن نفس حجم النافذة الثابت، بشرط أن تكون الكتل متسقة بما يكفي.

الخلاصة:
"نافذة السياق" ليست مجرد عدد من العناصر؛ بل هي عدد من وحدات المصدر الأصلية. إذا قطعت بياناتك بدقة مفرطة، فستفقد القدرة على رؤية الصورة الكبيرة. وإذا جمعتها بحكمة، يمكنك الرؤية لمسافة أبعد بجهد أقل. توفر الورقة القواعد الرياضية لمعرفة متى يساعد التجميع ومتى يضر التقطيع.

ملخص تقني: السياق الفعال في نماذج المحولات (Transformers)

1. بيان المشكلة

يعتمد نمذجة اللغات الحديثة على بنية "المحولات" (Transformer)، ومع ذلك، يسبق عملية التدريب خيار جوهري: تمثيل تسلسل المدخلات. يمكن تشفير النص نفسه كبايتات (bytes)، أو حروف (characters)، أو وحدات فرعية (subword tokens). وبينما قد تكون هذه الترميزات غير فاقدة للمعلومات (lossless)، فإن نافذة سياق ثابتة في نموذج المحول تغطي كميات مختلفة من تاريخ المصدر الأصلي اعتماداً على التمثيل المستخدم.

يثير هذا سؤالاً نظرياً جوهرياً: كيف يغير اختيار التمثيل ما يمكن للمتنبئ ذي السياق المحدود تحقيقه؟

تلاحظ الأدبيات الحالية فجوة في الأداء: النماذج التي تعمل بدون توكنات (مثل ByT5 وCANINE) والتي تعمل على البايتات أو الحروف، غالباً ما تعاني في التنبؤ بالسياق المحدود مقارنة بالنماذج التي تستخدم الوحدات الفرعية (subword tokens)، حتى عندما يتم توسيع نوافذ السياق الخاصة بها لتغطي نفس التاريخ المصدري الاسمي. وعلى العكس من ذلك، تحقق النماذج التي تستخدم التوكنات (باستخدام BPE أو WordPiece) أداءً عالياً باستخدام نوافذ توكنات أقصر. تسعى هذه الورقة إلى تقديم إطار عمل معلوماتي نظري لتفسير هذه الظواهر، والانتقال من مجرد الملاحظات التجريبية إلى توصيف الحدود الجوهرية للتنبؤ بالسياق المحدود تحت عمليات إعادة ترميز غير فاقدة للمعلومات.

2. المنهجية

يحلل المؤلفون هذه المشكلة باستخدام مصادر ماركوف ثابتة ذات رتبة محدودة (stationary finite-order Markov sources). يسمح هذا الإعداد بتعريف صريح لـ "التاريخ ذي الصلة": بمجرد أن تصل نافذة السياق إلى رتبة ماركوف $k$ ، يصل فقدان السياق المحدود الأمثل إلى معدل الإنتروبيا. ومن خلال عزل طبقة التمثيل، يمكن للمؤلفين تحديد كيفية تأثير إعادة الترميز على المعلومات المتاحة ضمن نافذة ثابتة.

تتقدم الدراسة في اتجاهين متكاملين:

التجزئة (الترقيق - Fragmentation): تحليل تأثير تقسيم رموز المصدر إلى وحدات أصغر (مثل الحروف إلى بتات).
التوكنة (التجميع - Tokenization): تحليل تأثير تجميع رموز المصدر في وحدات أكبر (مثل الحروف إلى وحدات فرعية).

يستخدم التحليل أدوات نظرية المعلومات، وتحديداً الإنتروبيا الشرطية والمعلومات المتبادلة، لتقدير "الفقد الزائد" الناتج عن خيارات التمثيل. وقد تم التحقق من النتائج النظرية من خلال تجارب على مصادر ماركوف اصطناعية ومجموعات بيانات من العالم الحقيقي (WikiText-103) باستخدام بنيات المحولات ونماذج N-gram.

3. المساهمات الرئيسية

أ. تأثير التجزئة (The Fragmentation Effect)

تقدم الورقة مفهوم التجزئة: وهي إعادة ترميز غير فاقدة للمعلومات حيث يتم استبدال كل رمز مصدر بكتلة من $M$ من الرموز الأصغر.

الظاهرة: يثبت المؤلفون أن التجزئة يمكن أن تزيد بشكل صارم من فقد اللوغاريتم الأمثل (optimal finite-context log-loss)، حتى عند توسيع نافذة السياق لتغطي نفس عدد رموز المصدر الاسمي ( $Mw$ من الأجزاء مقابل $w$ من رموز المصدر).
الآلية: ينشأ الفقد الزائد من مصدرين:
1. غموض الطور (Phase Ambiguity): لا يستطيع المتنبئ التمييز بين "طور" الجزء الحالي ضمن رمز المصدر الخاص به (على سبيل المثال، هل هذا هو البت الأول أم الثاني من الحرف؟). تؤدي الأطوار المختلفة إلى توزيعات شرطية مختلفة للجزء التالي، لكن المتنبئ لا يرى سوى سياق الجزء الخام.
2. عجز السياق (Context Deficit): قد تقطع النافذة المجزأة حدود رموز المصدر، مما يؤدي إلى عدم التوافق مع التاريخ المصدري المطلوب للتنبؤ الأمثل.
النتيجة النظرية: تحدد النظرية 3.1 الفجوة بين الفقد الأمثل للمتنبئ المجزأ والمتنبئ على مستوى المصدر. وتظهر النتائج أن هذه الفجوة جوهرية في التمثيل، وليست مجرد مسألة تحسين أو قدرة. يوفر هذا تفسيراً نظرياً لفجوة الأداء الملحوظة في نماذج مستوى البايت/الحرف (ByT5، CANINE) بالنسبة لنماذج الوحدات الفرعية.

ب. مكسب التوكنة (The Tokenization Gain)

تحلل الورقة التوكنة الجشعة (مثل BPE وWordPiece) كآلية لتوسيع السياق الفعال.

الآلية: تقوم التوكنة بتجميع رموز المصدر في وحدات أكبر. نافذة ثابتة من $w$ توكن قد تغطي بشكل كبير أكثر من $w$ من رموز المصدر.
المدى المصدري (Source Span): يعرّف المؤلفون المدى المصدري $S$ لنافذة التوكن كعدد رموز المصدر الأصلية الموجودة داخلها.
الضمان النظري: تثبت النظرية 4.1 والاستنتاج 4.2 أنه إذا كانت كل نافذة مكونة من $w$ توكن تغطي على الأقل $w_s$ من رموز المصدر، فإن المتنبئ على مستوى التوكن يمكنه محاكاة سلوك المتنبئ على مستوى المصدر بسياق $w_s$ دون أي فقد تقاربي.
تحليل المدى النموذجي: إدراكاً بأن الموكنات الحقيقية لها أطوال توكن متغيرة، يقدم المؤلفون تحليلاً احتمالياً (النظرية 4.3). حيث يوضحون أنه إذا كان الموكن $(\epsilon, w, w_s)$ -نموذجياً (بمعنى أن نافذة $w$ توكن تغطي على الأقل $w_s$ من رموز المصدر باحتمالية $1-\epsilon$ )، فإن فقد مستوى التوكن يكون محدوداً بفقد مستوى المصدر عند المدى $w_s$ بالإضافة إلى حد إضافي يتناسب مع $\epsilon$ ومعدل ضغط الموكن.
التشخيص: يوفر هذا الإطار تشخيصاً بسيطاً للموكنات الحقيقية: قياس "الارتخاء" (الاحتمالية التي تفشل فيها نافذة التوكن في تغطية تاريخ مصدري مستهدف) يسمح بمقارنة الموكنات بناءً على السياق المصدري الفعال الذي توفره، بدلاً من مجرد متوسط طول التوكن.

4. النتائج

تجارب التجزئة: في مصادر ماركوف الاصطناعية، استقرت النماذج التي تتنبأ بالتسلسلات المجزأة (البتات/الحروف) عند فقد أعلى بشكل صارم من نماذج مستوى المصدر، حتى عند توسيع نافذة السياق لتغطية نفس التاريخ المصدري. طابقت فجوة الفقد الملحوظة التفكيك النظري لغموض الطور وعجز السياق.
تجارب التوكنة: في مصدر ماركوف ثنائي من الرتبة 12، احتاج نموذج المحول (Transformer) إلى نافذة مكونة من 12 رمز مصدر للوصول إلى معدل الإنتروبيا. بعد التوكنة، وصل نفس الهيكل المعماري إلى معدل الإنتروبيا باستخدام نافذة توكن أصغر بكثير (على سبيل المثال، $w < 12$ )، بشرط أن تغطي التوكنات التاريخ المصدري اللازم.
التحليل في العالم الحقيقي: أظهر تحليل الموكنات على WikiText-103 أنه بالنسبة لنافذة توكن ثابتة (على سبيل المثال، $w=128$ )، فإن المدى المصدري الفعال يكون عادةً من 3 إلى 5 أضعاف طول نافذة التوكن قبل أن يصبح حد "الارتخاء" مؤثراً. وهذا يؤكد أن التوكنة توسع السياق المتاح للنموذج بشكل فعال.

5. الأهمية والادعاءات

تدعي الورقة أنها أرست إطار عمل معلوماتي نظري للسياق المحدود للتفكير في خيارات التمثيل في نماذج المحولات.

التفسير النظري: تقدم الورقة حساباً دقيقاً لسبب مواجهة نماذج مستوى البايت/الحرف لمشكلة تنبؤ أصعب من نماذج الوحدات الفرية، وتعزو الصعوبة إلى خصائص التمثيل الجوهرية (غموض الطور) بدلاً من مجرد القيود الهيكلية.
معيار التصميم: تنقل المقياس لجودة الموكن من متوسط طول التوكن إلى الذيل الأدنى لتوزيع المدى المصدري. يكون الموكن فعالاً ليس فقط لأنه يضغط البيانات، بل لأنه يضمن بشكل موثوق أن نافذة السياق الثابتة تحتوي على قدر كافٍ من التاريخ المصدري.
القيود: يذكر المؤلفون صراحة أن نتائجهم تعزل "أثر الفقد القابل للتحقيق". هم لا يثبتون أن بنية محول معينة يمكنها دائماً تعلم هذه المتنبئات المثلى، كما أنهم لا يتناولون ديناميكيات التحسين بشكل كامل (رغم أن النتائج التجريبية تشير إلى أن التوكنة قد تحسن سرعة التقارب). يصف العمل أفضل أداء ممكن نظراً لتمثيل معين، بدلاً من أداء نموذج مدرب بعينه.

باختصار، تجادل الورقة بأنه بالنسبة للمتنبئات ذات السياق المحدود، فإن "السياق الفعال" يتحدد من خلال التمثيل. يمكن للتجزئة أن تضعف الأداء عن طريق إخفاء الطور والتاريخ، بينما يمكن للتوكنة أن تعزز الأداء من خلال توسيع التاريخ المصدري الذي تغطيه نافذة ثابتة، بشرط أن يكون توزيع المدى الخاص بالموكن ملائماً.