💬 NLP

How Tokenization Limits Phonological Knowledge Representation in Language Models and How to Improve Them

تُثبت هذه الورقة أن التجزئة القياسية للكلمات الفرعية تضعف بشكل منهجي تمثيل المعرفة الفونولوجية في النماذج اللغوية، وتقترح طريقة ضبط دقيق خفيفة الوزن تعتمد على الأبجدية الصوتية الدولية (IPA) تعمل على تحسين الأداء الفونولوجي بشكل كبير مع الحفاظ إلى حد كبير على قدرات الاستنتاج العامة.

المؤلفون الأصليون: Disen Liao, Freda Shi

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Disen Liao, Freda Shi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب عبقري (نموذج لغوي كبير، أو LLM) كيف يفهم موسيقى اللغة — كيف تتناغم الكلمات، وكيف تُقسم إلى نبضات (مقاطع لفظية)، وكيف تبدو عند نطقها.

المشكلة هي أن هذا الطالب لم يسمع كلمة منطوقة واحدة قط. لقد قرأ النصوص فقط، والطريقة التي نقدم بها النصوص للقراءة هي أصل ارتباكه.

إليك قصة الورقة البحثية، مقسمة إلى مفاهيم وتشبيهات بسيطة.

1. المشكلة: خطأ "قطع الليغو"

تخيل أنك تحاول تعليم شخص ما كيفية بناء منزل من خلال إظامه مخططاً هندسياً. ولكن، بدلاً من إعطائه قطع ليغو كاملة، تمنحه كومة من قطع الليغو المقطعة عشوائياً.

الواقع: عندما نغذي النماذج الذكية بالنصوص، فنحن لا نعطيها كلمات كاملة مثل "musical" أو "nation". بل نقطعها إلى "كلمات فرعية" (مثل mus و ical أو na و tion) بناءً على عدد مرات ظهور تلك الأجزاء في بيانات التدريب. وهذا ما يسمى التقطيع (Tokenization).
المشكلة: هذه "قطع الليغو" (الرموز/Tokens) تُقطع بناءً على تكرار التهجئة، وليس الصوت.
- مشكلة القافية: كلمتا "nation" و "station" تتناغمان تماماً. لكن إذا رأى الذكاء الاصطناعي كل منهما كـ na + tion و sta + tion ، فقد يفقد الرابط بينهما لأن الأجزاء الأولى (na مقابل sta) تبدو مختلفة تماماً. الأمر يشبه محاولة مطابقة قطعتي أحجية (Puzzle) حيث لا تتطابق الحواف تماماً.
- مشكلة المقاطع اللفظية: كلمة "musical" لها ثلاث نبضات (مقاطع لفظية): mu-si-cal. لكن الذكاء الاصطناعي قد يراها كجزأين فقط: mus-ical. الأمر يشبه محاولة عدّ النبضات في أغنية، بينما مشغل الموسيقى يتخطى كل نبضة أخرى.

تجادل الورقة بأنه نظرًا لأن الذكاء الاصطناعي مُجبر على قراءة هذه "القطع المقطعة"، فإنه يواجه صعوبة في تعلم الإيقاع الطبيعي وصوت الكلمات، رغم أنه ذكي للغاية في أمور أخرى مثل الرياضيات أو كتابة المقالات.

2. التحقيق: اختبار "الأشعة السينية"

لإثبات ذلك، تصرف الباحثون كأطباء يجرون أشعة سينية للذكاء الاصطناعي. لم يكتفوا بسؤال الذكاء الاصطناعي: "هل تتناغم هاتان الكلمتان؟" (وهو اختبار أداء). بل نظروا داخل "دماغ" الذكاء الاصطناعي (طبقاته الخفية) ليروا ما إذا كان مفهوم القافية مخزناً هناك بالفعل.

النتائج: وجدوا أن الذكاء الاصطناعي يعرف بالفعل عن الأصوات، لكنها مدفونة في الداخل.
المقياس (STAD): اخترعوا مسطرة تسمى STAD (مسافة المحاذاة بين التقطيع والمقاطع اللفظية). فكر فيها كـ "درجة عدم المحاذاة".
- إذا كانت "القطع" الخاصة بالذكاء الاصطناعي تتطابق تماماً مع المقاطع اللفظية الطبيعية للكلمة، فإن الدرجة تكون 0 (محاذاة مثالية).
- إذا كانت القطع تُقص في أماكن غريبة (مثل قص "musical" بين s و i)، فإن الدرجة ترتفع.
- النتيجة: كلما زادت درجة عدم المحاذاة، ساءت قدرة الذكاء الاصطناعي على فهم الأصوات. الأمر يشبه محاولة الجري أثناء ارتداء حذاء أكبر من مقاسك بمقاسين؛ يمكنك الجري، لكنك ستتعثر بقدميك.

3. المتسبب: "الاستعارات الأجنبية"

لماذا يتم تقطيع بعض الكلمات بهذا السوء؟ وجد الباحثون أن الكلمات التي لها الكثير من التاريخ هي المسببة للمشاكل.

التشبيه: فكر في كلمة مثل "Musical". لقد سافرت عبر الفرنسية، والألمانية، والإسبانية، ولغات أخرى كثيرة. في كل لغة، تُكتب بشكل مختلف قليلاً (musikal, müzikal, musical).
لأن الذكاء الاصطناعي قد رأى العديد من التهجئات المختلفة لهذه الكلمة في بيانات التدريب الخاصة به، فإنه يرتبك بشأن مكان القص. فهو ينشئ "رمزاً" (Token) لا يتوافق مع الصوت. الأمر يشبه أمين مكتبة رأى نفس الكتاب بـ 10 لغات مختلفة ولا يعرف في أي رف يضعه.

4. الحل: "معلم الصوت"

سأل الباحثون: هل يمكننا إصلاح هذا دون إعادة بناء الذكاء الاصطناعي بالكامل؟ (تغيير نظام التقطيع يشبه إعادة بناء المكتبة من الصفر؛ وهو أمر صعب ومكلف).

إصلاحهم: قدموا للذكاء الاصطناعي "معلم صوت" من خلال طريقة تدريب خاصة.

الطريقة: أخذوا معرفة الذكاء الاصطناعي الحالية وغذوها بنظام جديد من الأسئلة. ولكن هذه المرة، أضافوا وسوم IPA (الأبجدية الصوتية الدولية).
- الطريقة القديمة: "هل كلمة 'cat' تتناغم مع 'hat'؟"
- الطريقة الجديدة: "هل cat تتناغم مع hat؟ (تلميح: كلاهما ينتهي بـ /æt/)."
النتيجة: تعلم الذكاء الاصطناعي الانتباه لوسوم الصوت، على الرغم من أنه كان لا يزال يقرأ النص.
- أصبح أفضل بكثير في القافية، وعدّ المقاطع اللفظية، وترجمة التهجئة إلى صوت.
- المقايضة: أصبح أسوأ قليلاً في الرياضيات والمعلومات العامة (انخفاض بنسبة 1% تقريباً)، لكنه احتفظ بمعظم ذكائه العام. الأمر يشبه طالباً يقضي وقتاً إضافياً في دراسة نظرية الموسيقى؛ قد يكون أبطأ قليلاً في حل مسائل الرياضيات لمدة أسبوع، لكنه يستطيع الآن كتابة قصيدة جميلة.

الملخص: الخلاصة الكبرى

تخبرنا هذه الورقة أن طريقة تقطيعنا للكلمات تهم أكثر مما كنا نعتقد.

إذا كنت تريد من الذكاء الاصطناعي أن يفهم موسيقى اللغة، فلا يمكنك مجرد تغذيته بقطع الليغو المقطعة. عليك إما:

تقطيع القطع بشكل أفضل (تصميم أنظمة تقطيع جديدة تحترم المقاطع اللفظية).
تعليم الذكاء الاصطناه تجاهل التقطيع السيئ (استخدام طريقة "معلم الصوت" لمساعدته على التركيز على الأصوات المخفية داخل النص).

لقد أظهر الباحثون أنه مع القليل من "تدريب الصوت"، يمكن حتى للذكاء الاصطناعي الذي يعتمد على النصوص فقط أن يتعلم إيقاع الكلمات، مما يفتح الباب أمام مولدات شعر أفضل، وتطبيقات تعلم اللغة، ومساعدين أكثر شبهاً بالبشر.

إليك ملخص تقني مفصل لورقة البحث بعنوان "كيف يحد التجزئة (Tokenization) من تمثيل المعرفة الفونولوجية في النماذج اللغوية وكيفية تحسينها" للباحثين ديسن لياو وفريدا شي.

1. بيان المشكلة

على الرغم من النجاح الملحوظ الذي حققته النماذج اللغوية الكبيرة (LLMs) في المهام القائمة على النصوص، إلا أنها غالباً ما تعاني في الاستدلال الفونولوجي (مثل القافية، عد المقاطع اللفظية، وتحويل الرسم الكتابي إلى صوتي - G2P). وهذا أمر محير لأن النماذج اللغوية التي تعتمد على النص فقط لم تتدرب أبداً على بيانات صوتية؛ بل يجب عليها استنتاج البنى الصوتية من الرسم الإملائي (Orthography) فقط.

يفترض المؤلفون أن السبب الجذري لهذه الإخفاقات يكمن في التجزئة (Tokenization). فأساليب تجزئة الكلمات الفرعية القياسية (مثل BPE أو SentencePiece) تعطي الأولوية للتكرار الإحصائي على حساب البنية اللغوية. ونتيجة لذلك:

التحبب الخشن (Coarse Granularity): قد تكون الرموز (Tokens) كبيرة جداً بحيث لا تستطيع التقاط السمات الفونولوجية المحلية (مثل نهايات القوافي).
عدم المحاذاة (Misalignment): غالباً لا تتوافق حدود الرموز مع حدود المقاطع اللفظية الطبيعية، مما يعطل قدرة النموذج على تعلم البنى العروضية (الإيقاع والنبر).

2. المنهجية

استخدم المؤلفون نهجاً تجريبياً ثلاثي المحاور:

أ. التجربة 1: سبر المعرفة الفونولوجية (تحليل التمثيل)

الهدف: تحديد ما إذا كانت النماذج اللغوية تشفر المعلومات الفونولوجية في حالاتها الخفية رغم ضعف أدائها في المهام السطحية.
الطريقة: استخدموا السبر الخطي (Linear Probing) (تدريب مصنفات/منظمات خفيفة الوزن فوق الحالات الخفية للنماذج المجمدة) عبر طبقات مختلفة.
المهام:
1. الوعي بالقافية: تصنيف ثنائي (هل الكلمتان تتفقان في القافية؟).
2. الرسم الكتابي إلى صوتي (G2P): انحدار للتنبؤ بمؤشرات فونيمات نظام ARPAbet.
3. عد المقاطع اللفظية: انحدار للتنبؤ بعدد المقاطع اللفظية.
النماذج المختبرة: BERT، GPT-2، GPT-Neo، Mistral-7B، Llama-3/3.1-8B.

ب. التجربة 2: قياس تأثير التجزئة

الهدف: عزل تأثير التجزئة على الأداء الفونولوجي.
السمات المحلية (القافية): قارنوا بين التجزئة القياسية وبين التجزئة على مستوى الحروف (إدراج فواصل مثل / بين الحروف، مثل b/o/y). هذا يجبر النموذج على معالجة وحدات أكثر دقة.
السمات العالمية (العروض): قدموا مقياساً جديداً وهو مسافة محاذاة التجزئة مع المقاطع اللفظية (STAD).
- التعريف: يقيس STAD مسافة هامينج المعيارية بين مواضع تقسيم الرموز وحدود المقاطع اللفظية الطبيعية.
- الفرضية: الارتباط بين STAM المنخفض (المحاذاة الأفضل) والأداء الفونولوجي الأفضل.
تحليل الكلمات المتشابهة (Cognate Analysis): بحثوا في سبب حدوث عدم المحاذاة، باستخدام قاعدة بيانات CogNet لتحليل الكلمات المستعارة والكلمات ذات الأصل المشترك.

ج. التجربة 3: التخفيف عبر الضبط الدقيق

الهدف: تحسين الاستدلال الفونولوجي دون إعادة تدريب المجزئ أو النموذج بالكامل من الصفر.
الطريقة: نهج ضبط دقيق للتعليمات (Instruction Tuning) خفيف الوزن باستخدام وسوم الأبجدية الدولية للصوتيات (IPA).
- قاموا بتعزيز بيانات الأسئلة والأجوبة العامة (OpenHermes2.5) عن طريق إدراج وسوم <IPA> حول الكلمات وتوفير النسخ الصوتي بنظام IPA في الإجابات.
- أنشأوا مجموعات بيانات محددة للقافية، وG2P، وعد المقاطع اللفظية حيث يتم تعليم النموذج صراحةً كيفية الاستدلال باستخدام IPA.
- النموذج: تم ضبط نموذج Llama-3.1-8B-Instruct باستخدام تقنية LoRA (التكيف منخفض الرتبة).

3. المساهمات الرئيسية

تشخيص انحياز التجزئة: تقدم الورقة دليلاً تجريبياً على أن تجزئة الكلمات الفرعية تضعف التمثيلات الفونولوجية بشكل منهجي. وتظهر أنه بينما تشفر النماذج اللغوية بالفعل المعرفة الفونولوجية في حالاتها الخفية، فإن التجزئة القياسية تحجب هذه المعلومات.
تقديم مقياس STAD: اقترح المؤلفون مسافة محاذاة التجزئة مع المقاطع اللفظية (STAD) كأداة تشخيصية كمية. وقد أثبتوا وجود ارتباط سلبي قوي بين ارتفاع STAD وضعف الأداء الفونولوجي، مما يوفر مقياساً ملموساً لتقييم جودة المجزئ فيما يتعلق بالفونولوجيا.
المصدر المعجمي للخطأ: حددوا أن الكلمات ذات التباين العالي عبر اللغات (الكلمات المتشابهة والكلمات المستعارة) هي الأكثر عرضة للتجزئة بطرق لا تتوافق مع المقاطع اللفظية، مما يفسر لماذا يصعب على النماذج معالجة كلمات معينة فونولوجياً.
استراتيجية تخفيف عملية: اقترحوا طريقة الضبط الدقيق المعزز بـ IPA. نجح هذا النهج في حقن الوعي الفونولوجي في النماذج الحالية دون تعديل المفردات أو المجزئ، مما يعمل كـ "رقعة" عملية للنماذج الحالية.

4. النتائج الرئيسية

نتائج السبر: تشفر جميع النماذج المختبرة السمات الفونولوجية في حالاتها الخفية (تتفوق المسابير بشكل كبير على خطوط الأساس العشوائية)، مع ظهور أقوى الإشارات في الطبقات الوسطى (20%–60% من العمق). ومع ذلك، فإن الأداء ليس مثالياً.
تحبب التجزئة: أدى إدراج الفواصل (التجزئة بالشرطة المائلة) إلى تحسين دقة الوعي بالقافية عبر جميع النماذج (على سبيل المثال، تحسن Llama-3.1 من ~72% إلى ~85% في الطبقات الوسطى)، مما يثبت أن الرموز الخشنة تعيق استخراج السمات المحلية.
ارتباط STAD: حققت الكلمات ذات STAD المنخفض (الرموز/المقاطع المتوافقة) أداءً أفضل بكثير في مهام G2P وعد المقاطع اللفظية مقارنة بالكلمات ذات STAD المرتفع. على سبيل المثال، في مهمة عد المقاطع، حققت الكلمات المتوافقة $R^2 \approx 0.98$ بينما انخفضت في الكلمات غير المتوافقة إلى $R^2 \approx 0.85$ .
نجاح الضبط الدقيق: أظهر نموذج Llama-3.1-8B-IPA المعزز بـ IPA تحسناً مستمراً في المهام الفونولوجية الثلاث:
- القافية: تحسن الدقة.
- G2P: تقليل معدل خطأ الفونيم (PER).
- عد المقاطع اللفظية: تحسن الدقة.
مقايضة الاستدلال العام: احتفظ النموذج الذي تم ضبطه بدقة بمعظم قدراته العامة، مع انخفاض طفيف فقط في المعايير القياسية: -1.1% في GSM8K (الرياضيات) و -0.9% في MMLU (المعرفة العامة)، مما يشير إلى عدم حدوث نسيان كارثي.

5. الأهمية والتوجهات المستقبلية

الرؤية النظرية: تتحدى الورقة فكرة أن النماذج اللغوية التي تعتمد على النص فقط تفتقر إلى الفهم الفونولوجي. بدلاً من ذلك، تجادل بأن الواجهة بين التجزئة والفونولوجيا هي عنق الزجاجة.
أداة تشخيصية: يوفر STAD مقياساً بسيطاً وغير مرتبط بلغة معينة لمطوري المجزئات لتقييم مدى احترام مخططات التقسيم لديهم للحدود الفونولوجية.
التطبيق العملي: يقدم نهج الضبط الدقيق المقترح حلاً منخفض التكلفة وعالي التأثير لتحسين المهام الفونولوجية (مثل توليد الشعر، مساعدي تعلم اللغة، وتحويل النص إلى كلام) دون التكلفة الحسابية لإعادة تدريب النماذج التأسيسية أو إعادة تصميم المجزئات.
العمل المستقبلي: يقترح المؤلفون أن تصميمات المجزئات المستقبلية يجب أن تدمج صراحةً القيود الفونولوجية (مثل التجزئة المدركة للمقاطع اللفظية)، وأن هذه النتائج يجب أن توجه تصميم نماذج الصوت والنص المشتركة.

باخت-صار، يجسد هذا العمل الجسر بين النظرية اللغوية وهندسة التعلم العميق، موضحاً أن طريقة تقسيمنا للنصوص إلى رموز تحد بشكل أساسي مما يمكن للنماذج اللغية "سماعه" و"قوله"، ويقدم خارطة طريق لإصلاح ذلك.