💬 NLP

Are you going to finish that? A Practical Study of the Partial Token Problem

تتقصى هذه الورقة البحثية "مشكلة الرمز الجزئي" (partial token problem)، حيث تُثبت أن المطالبات الواقعية التي تنتهي في منتصف الرمز الرمزي — لا سيما في اللغات التي لا تعتمد على المسافات البيضاء، واللغات التركيبية، والبرمجة — تسبب تشوهات حادة في الاحتمالية في النماذج اللغوية الكبيرة لا تتحسن مع زيادة الحجم، مع التحقق من فعالية الحلول الدقيقة عند الاستدلال.

المؤلفون الأصليون: Hao Xu, Alisa Liu, Jonathan Hayase, Yejin Choi, Noah A. Smith

نُشر 2026-02-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hao Xu, Alisa Liu, Jonathan Hayase, Yejin Choi, Noah A. Smith

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تلعب لعبة "أكمل الجملة" مع روبوت ذكي جداً، ولكنه جامد قليلاً. أنت تكتب جملة، ومن المفترض أن يخمن الروبوت الكلمة التالية مباشرة.

عادةً، يعمل هذا بشكل مثالي. ولكن هذه الورقة البحثية تكتشف خللاً معيناً يجعل الروبوت يشعر بالارتباك، ليس لأنه لا يعرف الكلمات، بل بسبب طريقة عدّه لها.

إليك تفصيل المشكلة، والأدلة، والحل، باستخدام تشبيهات بسيطة.

١. المشكلة الجوهرية: خلل "نصف الطوبة"

تخيل عقل الروبوت كمكتبة حيث كل كتاب مصنوع من طوب (tokens).

رؤية المستخدم: أنت ترى كلمات (مثل "تفاحة" أو "هو").
رؤية الروبوت: هو يرى طوباً. أحياناً، تغطي طوبة واحدة كلمة كاملة. وأحياناً، تغطي طوبة واحدة كلمتين. وأحياناً، تكون الطوبة مقطوعة إلى نصفين.

تحدث مشكلة الرمز الجزئي (Partial Token Problem) عندما تتوقف عن الكتابة في منتصف إحدى هذه الطوبات تماماً.

التشبيه: تخيل أن الروبوت يتوقع أن تكون كلمة "processing" (معالجة) عبارة عن طوبة واحدة صلبة.
الخطأ: أنت تكتب "process" وتتوقف.
الارتباك: يرى الروبوت "process" ويفكر: "مهلاً، أنا أعرف الطوبة 'process'. ولكنني أعرف أيضاً الطوبة 'processing'. إذا أضفت حرف 'ing' بعد ذلك، سأكون قد كسرت قواعدي الخاصة لأن 'processing' من المفترض أن تكون طوبة واحدة غير قابلة للكسر!"

لأن الروبوت تدرب على رؤية الطوبة كاملة فقط، فإنه يصاب بالذعر من إكمال الكلمة بالطريقة التي تتوقعها أنت. يفكر: "إذا توقفت عند 'process'، فمن المحتمل أنك لا تريد 'ing' تالياً؛ بل ربما تريد شيئاً مختلفاً تماماً".

٢. أين يحدث هذا؟ (الفخاخ الثلاثة)

وجدت الورقة البحثية أن هذا ليس مجرد خلل نادر في اللغة الإنجليزية. إنه يحدث كثيراً في ثلاث حالات محددة حيث لا تتطابق "الكلمات" مع "الطوب":

اللغات التي لا تستخدم مسافات (مثل الصينية): في الإنجليزية، تخبر المسافات الروبوت أين تنتهي الكلمة. في الصينية، لا توجد مسافات. يجب على الروبوت تخمين أين تنتهي كلمة واحدة وأين تبدأ التالية.
- مثال: عبارة "is a" قد تكون طوبة واحدة. إذا كتبت "is" وتوقفت، فقد قطعت هذه الطوبة إلى نصفين. الروبوت يصاب بالذعر.
اللغات التي تدمج الكلمات معاً (مثل الألمانية): غالباً ما تدمج الألمانية كلمتين في كلمة واحدة ضخمة (مثل "Eigelb" لتعني صفار البيض).
- مثال: إذا رأى الروبوت "Ei" (بيضة) وتوقفت أنت، ولكن الروبوت يعتقد أن "Eigelb" هي طوبة واحدة، فسيصاب بالارتباك بشأن ما سيأتي بعد ذلك.
أكواد الكمبيوتر: تستخدم الأكواد رموزاً مثل () أو :. غالباً ما يكون جزء كامل من الرموز عبارة عن طوبة واحدة.
- مثال: إذا كتبت def main() وتوقفت، ولكن الروبوت يعتقد أن (): هي طوبة واحدة، فسوف يعلق في محاولة تخمين الرمز التالي.

٣. ما مدى سوء الأمر؟ ("الانهيار الصامت")

اختبر الباحثون هذا مع العديد من الروبوتات (نماذج الذكاء الاصطناي). كانت النتائج صادمة:

هبوط الاحتمالية: عندما يُجبر الروبوت على التخمين بعد "نصف طوبة"، يصبح أقل ثقة بـ 1,000 إلى 10,000 مرة في أنه يجب أن يعطيك الإجابة الصحيحة. إنه مثل طالب يعرف الإجابة، لكنه خائف جداً من قواعد التصحيح الخاصة بالمعلم لدرجة أنه يرفض كتابتها.
هبوط الدقة: يتوقف الروبوت عن إعطاء الإجابة الصحيحة 60% إلى 95% من الوقت. قد يتخطى حرفاً، أو يضيف مسافة غريبة، أو يعطي كلمة خاطئة تماماً.
الأكبر ليس أفضل: قد تعتقد: "إذا جعلنا الروبوت أذكى (نموذج أكبر)، فسيصلح هذا". لا. وجدت الورقة أن الروبوتات الأكبر والأذكى تصبح في الواقع أسوأ في هذا الأمر. فهي مدربة بشدة على قواعد "الطوب" الخاصة بها، مما يجعلها أكثر عناداً في عدم كسرها.

٤. الحلول: كيف يتم إصلاح الخلل

اختبرت الورقة طريقتين لإصلاح هذا أثناء مرحلة "التفكير" (الاستنتاج):

الطريقة (أ): "علاج الرمز" (التراجع):
- كيف تعمل: إذا كتبت "process" وارتبك الروبوت، تخبر هذه الطريقة الروبوت: "حسناً، انسَ الجزء الأخير. تظاهر بأنك رأيت 'pro' فقط".
- النتيجة: تساعد أحياناً، لكنها غير مضمونة. إنها مثل محاولة إصلاح مزهرية مكسورة عن طريق قطع الجزء العلوي منها؛ قد يناسب ذلك، لكنه ليس مثالياً.
الطريقة (ب): "ByteSampler" (الخريطة):
- كيف تعمل: بدلاً من التخمين، ترسم هذه الطريقة خريطة لكل طريقة ممكنة يمكن للروبوت أن يكون قد قرأ بها جملتك. تجد المسار الذي يطابق نصك تماماً ثم تستمر من هناك.
- النتيجة: تعمل بشكل مثالي. في الاختبارات، جعلت هذه الطريقة الروبوت يعطي الإجابة الصحيحة بنسبة 100% من الوقت، حتى عندما تم قطع النص في منتصف طوبة. إنها مثل امتلاك نظام GPS يعيد حساب المسار فوراً عندما تأخذ منعطفاً خاطئاً، مما يضمن لك الوصول إلى الوجهة في النهاية.

الخلاصة

تخلص الورقة البحثية إلى أنه بينما تعد نماذج الذكاء الاصطناعي مذهلة في فهم اللغة، إلا أنها أيضاً "عبيد" للطريقة المحددة التي تعلموا بها عد الكلمات (الترميز/tokenization). إذا توقف المستخدم عن الكتابة بطريقة لا تتوافق مع قواعد العد الداخلية للروبوت، فإن ثقة الروبوت تنهار.

الخبر الجيد؟ نحن لا نحتاج إلى إعادة بناء الروبوتات. نحن فقط بحاجة إلى استخدام "GPS" أكثر ذكاءً (مثل ByteSampler) أثناء تفكيرهم لضمان عدم تعثرهم بقواعد العد الخاصة بهم.

ملخص تقني: "هل ستنهي ذلك؟ دراسة عملية لمشكلة الرمز الجزئي"

تعريف المشكلة
تنشأ مشكلة الرمز الجزئي (Partial Token Problem - PTP) من عدم توافق جوهري بين كيفية تفاعل المستخدمين مع النماذج اللغوية (LMs) وكيفية معالجة هذه النماذج للنصوص. يقدم المستخدمون المطالبات (prompts) كسلاسل من الحروف، بينما تعمل النماذج اللغوية على تسلسلات من الرموز (tokens) التي يولدها المرمز (tokenizer). تحدث مشكلة الـ PTP عندما تنتهي مطالبة المستخدم في منتصف رمز صالح (رمز جزئي). ولأن النماذج اللغوية تدربت حصرياً على تسلسلات رموز صالحة، فإنها تخصص احتمالات منخفضة بشكل غير متوقع للتكملات التي تشكل هذه الرموز الجزئية. وبينما تم توثيق هذه المشكلة في الأدبيات (مثل Lundberg، 2023؛ Ribeiro، 2023)، إلا أن العمل السابق اعتمد إلى حد كبير على بادئات حروف تعسفية لتوضيح الظاهرة. وبناءً على ذلك، ظل انتشار وشدة مشكلة الـ PTP في المطالبات الواقعية التي تحترم حدود الكلمات أو البنى النحوية الطبيعية غير مستكشفة بشكل كافٍ.

المنهجية
يستقصي المؤلفون مشكلة الـ PTP بشكل منهجي في سيناريوهات واقعية من خلال تحديد المجالات التي لا تتوافق فيها حدود الرموز بشكل متكرر مع الحدود الدلالية أو النحوية:

الأنظمة اللوغوغرافية (الصينية): لا تُحدد الكلمات بمسافات بيضاء، مما يتسبب في دمج المرمزات للكلمات عبر حدود الكلمات.
اللغات ذات التركيب العالي (الألمانية): غالباً ما يتم تقسيم الكلمات المركبة بواسطة المرمزات بطرق تتجاهل الحدود الصرفية.
البرمجة (Code): غالباً ما يتم دمج المعرفات (identifiers) وعلامات الترقيم المتتالية في رموز واحدة.

ولقياس هذه المشكلة، صمم المؤلفون مهمة "كرر ورائي" (repeat-after-me)، حيث قاموا بتقسيم الجمل الطبيعية إلى بادئات وتكملات بحيث:

تنتهي البادئة عند حد كلمة كاملة (طبيعي دلالياً).
تنتهي البادئة عند حد رمز جزئي بالنسبة للمرمز (مما ينتهك الشرط الذي ينص على أن encode(prompt) + encode(continuation) == encode(prompt + continuation)).
تكون التكملة غير غامضة (يجب على النموذج تكرار النص المقدم بدقة).

قيمت الدراسة مجموعة متنوعة من النماذج الرائدة (بما في ذلك QWEN3، وHUNYUAN، وLLAMA، وOLMO، وGEMMA، وMISTRAL) عبر هذه المجالات. وتم قياس الأداء باستخدام مقييزين:

$\Delta$ Logprob: الفرق في الاحتمالية اللوغاريتمية المخصصة للرمز التالي الصحيح بين المطالبة المتوافقة مع الكلمة (الرمز الجزئي) والمطالبة المتوافقة مع الرمز (المتراجعة).
$\Delta$ Acc: الفرق في الدقة عند استخدام فك التشفير الجشع (greedy decoding) للتكملة الصحيحة.

النتائج الرئيسية

انتشار عالٍ لعدم التوافق: تظهر المرمزات الجاهزة معدلات عدم توافق كبيرة. في اللغة الصينية، لا تتوافق 14%–25% من حدود الكلمات مع حدود الرموز. وفي البرمجة، تقع حدود علامات الترق Trement داخل الرموز بمعدلات تتجاوز 50% لمعظم النماذج.
تشويه شديد في الاحتمالية: عند مواجهة مشكلة PTP، تخصص النماذج احتمالات أقل بكثير للتكملة الصحيحة. في اللغة الصينية، تنخفض الاحتمالية بما يصل إلى أربعة أوامر مقدارية (four orders of magnitude) مقارنة بالمطالبات المتوافقة مع الرموز.
انهيار الدقة: تتنبأ النماذج بالتكملة الصحيحة بنسبة أقل بـ 60%–95% عندما تنتهي المطالبة برمز جزئي. على سبيل المثال، انخفضت دقة QWEN3-32B في اللغة الصينية من 93.92% (متوافقة مع الرمز) إلى 15.36% (متوافقة مع الكلمة).
التوسع لا يساعد: لا يتلاشى هذا التدهور مع زيادة حجم النموذج؛ بل في كثير من الحالات، تعاني النماذج الأكبر من انخفاضات مماثلة أو أكبر في الأداء. يفترض المؤلفون أن النماذج الأكبر أصبحت أكثر ملاءمة لمرمزاتها الخاصة، مما يجعلها أكثر ثقة في أن تسلسل الرموز (مثل process + in) لا يمكن أن يتبعه حرف (مثل g) يشكل رمزاً واحداً (processing).
التخفيف أثناء الاستدلال:
- علاج الرمز (Token Healing): نهج استدلالي يقوم بإزالة الرمز (أو الرموز) الأخير من المطالبة ويقيد التوليد ليتطابق مع النص المزال. أظهر هذا النهج نتائج مختلطة، حيث حسن الدقة في بعض الحالات لكنه فشل في حالات أخرى (مثل الألمانية).
- مُنقي البايت (ByteSampler): حل دقيق (Hayase et al., 2025) يبني شجرة لجميع تسلسلات الرموز الصالحة التي تغطي بادئة المطالبة ويقوم بأخذ عينة من مسار منها. حققت هذه الطريقة دقة بنسبة 100% عبر جميع المجالات الثلاثة (الصينية، الألمانية، والبرمجة) مع تكلفة حوسبية منخفضة (0.12–1.17 تمريرة أمامية إضافية).

الأهمية والمساهمات
تثبت الورقة أن مشكلة الرمز الجزئي ليست مجرد نتاج لقطع النص التعسفي، بل هي نمط فشل خطير في حالات الاستخدام الواقعية والدلالية الطبيعية. ويدعي المؤلفون ما يلي:

التأثير في العالم الحقيقي: المشكلة منتشرة في اللغات غير الإنجليزية وفي البرمجة، وهي تؤثر حتى على المطالبات التي تنتهي بكلمات كاملة.
محدودية التوسع: زيادة حجم النموذج لا تحل المشكلة، حيث تصبح النماذج مقيدة بشكل أكثر صلابة بمخططات الترميز التي تدربت عليها.
التوصيات العملية: تثبت الدراسة فعالية حلول الاستدلال الدقيقة مثل ByteSampler، والتي يمكنها معالجة المشكلة بالكامل دون الحاجة إلى إعادة تدريب النموذج.

يؤكد هذا العمل أن النماذج اللغوية لا تنمذج اللغة فحسب، بل تنمذج أيضاً المرمز المحدد الذي تدربت عليه، وأن هذا التفاعل يخلق انحيازات يمكن التنبؤ بها عندما لا تتوافق حدود المطالبة مع حدود الرموز. يقدم المؤلفون توصيات عملية لمزودي الاستدلال لتبني الحلول الدقيقة لضمان الموثوقية في السياقات اللغوية والبرمجية المتنوعة.