💬 NLP

Stochasticity in Tokenisation Improves Robustness

تُثبت هذه الورقة أن تدريب النماذج اللغوية الكبيرة باستخدام ترميزات عشوائية ذات عينات منتظمة يعزز بشكل كبير من متانتها ضد الاضطرابات العدائية والعشوائية مع الحفاظ على الدقة وكفاءة الاستدلال.

المؤلفون الأصليون: Sophie Steger, Rui Li, Sofiane Ennadir, Anya Sims, Arno Solin, Franz Pernkopf, Martin Trapp

نُشر 2026-04-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sophie Steger, Rui Li, Sofiane Ennadir, Anya Sims, Arno Solin, Franz Pernkopf, Martin Trapp

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة ذكيًا ومطلعًا جدًا (نموذج الذكاء الاصطناعي) يجيب على أسئلتك. لكن هناك عقبة: أمين المكتبة هذا لا يفهم الكلمات إلا إذا كُتبت بطريقة محددة وصارمة للغاية.

في عالم النماذج اللغوية الكبيرة (LLMs)، تسمى "أسلوب الكتابة" هذا الترميز (Tokenization). والترميز هو عملية تقطيع الجملة إلى قطع صغيرة (رموز/tokens) يمكن للكمبيوتر قراءتها. عادةً، يتم ذلك بطريقة واحدة محددة (deterministic). على سبيل المثال، قد يتم تقسيم كلمة "revolution" دائمًا إلى قطعة واحدة: revolution.

المشكلة: أمين المكتبة "الهش"

تجادل الورقة البحثية بأنه إذا دربت أمين المكتبة ليرى كلمة "revolution" دائمًا كقطعة واحدة فقط، فسيصبح هشًا (brittle).

إذا تسلل شخص ما إلى المكتبة وغير طريقة تقطيع الكلمة—على سبيل المثال، تقسيمها إلى re و vol و ution—فإن أمين المكتبة يصاب بالذعر. قد يعتقد أنها كلمة مختلفة تمامًا أو يصاب بالارتباك، مما يؤدي إلى إجابة خاطئة. تسمي الورقة البحثية هذا "ترميزًا غير معياري" (non-canonical tokenization). الأمر يشبه لو قلت لأمين المكتبة: "أنا أسأل عن 'rev-ol-u-tion' اليوم"، فنسي فجأة كيف يقرأ كلمة "revolution".

وجد الباحثون أن هذه النماذج هشة بشكل مدهش. تغيير بسيط وغير ضار في كيفية تقسيم الكلمة يمكن أن يتسبب في فشل الذكاء الاصطناعي تمامًا، حتى لو لم يتغير معنى الجملة على الإطلاق.

الحل: أمين المكتبة "المرن"

تقترح الورقة البحثية حلاً بسيطًا ولكنه قوي: الترميز العشوائي (Stochastic Tokenization).

بدلاً من تدريب أمين المكتبة ليرى "revolution" كـ revolution فقط، أنت تدربه ليرى "revolution" بطرق عديدة ومختلفة عشوائيًا. أحيانًا تكون revolution ، وأحيانًا re-vol-ution ، وأحيانًا rev-o-lution.

فكر في الأمر مثل تعليم طفل التعرف على الكلب.

الطريقة القديمة (المحددة): تعرض للطفل كلبًا من نوع "جولدن ريتريفر" فقط. إذا رأى كلب "بودل"، فلن يتعرف عليه.
الطريقة الجديدة (العشوائية): تعرض للطفل "جولدن ريتريفر"، و"بودل"، و"تشيواوا"، و"جريت دان". أنت تعلمه أن كلمة "كلب" يمكن أن تبدو بأشكال عديدة.

من خلال تدريب الذكاء الاصطناعي بهذه "العشوائية" (stochasticity)، يتعلم النموذج جوهر الكلمة بدلاً من مجرد الطريقة المحددة التي تم تقطيعها بها. وهذا يجعله قويًا (robust).

التجارب: ماذا حدث؟

اختبر الباحثون هذه الفكرة في ثلاثة "معسكرات تدريب":

ما قبل التدريب (الأساس): قاموا بتدريب نموذج صغير من الصفر باستخدام التقطيع العشوائي.
- النتيجة: أصبح النموذج أفضل في فهم التفاصيل الدقيقة للكلمات، لكنه لم يكن علاجًا معجزًا بمفرده.
الضبط الدقيق (التخصص): أخذوا نموذجًا كبيرًا وقويًا (مثل Llama) وأعطوه "معسكر تدريب" حيث كان عليه حل الألغاز باستخدام كلمات مقطعة عشوائيًا.
- النتيجة: نجاح هائل! أصبح النموذج صلبًا للغاية. عندما حاولوا خداعه بكلمات مقطعة بشكل غريب لاحقًا، لم يرف له جفن. حافظ على دقة عالية، حتى عندما كانت المدخلات غير منظمة.
التعلم داخل السياق (الدرس السريع): حاولوا تعليم النموذج أثناء العمل من خلال عرض أمثلة في نص المحادثة (prompt).
- النتيجة: ساعد ذلك قليلاً، ولكن ليس بقدر ما يفعله التدريب الفعلي للنموذج.

السر الخفي: الانتظام (Uniformity)

اكتشفت الورقة البحثية أيضًا أن ليست كل أنواع "العشوائية" متساوية.

الطريقة المعيبة (STOCHASTOK): كانت الطريقة السابقة للتقطيع العشوائي منحازة. كان الأمر يشبه رمي نرد مرجح؛ بعض التقسيمات كانت تحدث بشكل متكرر أكثر بكثير من غيرها.
الطريقة الأفضل (أخذ العينات الموحد - Uniform Sampling): ابتكر الباحثون طرقًا جديدة لضمان أن لكل طريقة من طرق تقطيع الكلمة فرصة متساوية في الظهور.
- تشبيه: تخيل اليانصيب. الطريقة القديمة كانت تسحب بعض الأرقام بشكل متكرر أكثر بكثير من غيرها. الطा الطريقة الجديدة تضمن أن لكل رقم فرصة متساوية. هذا "الإنصاف" جعل النموذج أقوى حتى ضد الهجمات العدائية (adversarial attacks) المصممة لخداعه.

الخلاصة الكبرى

تخلص الورقة البحثية إلى أن العشوائية هي قوة خارقة لسلامة الذكاء الاصطناعي.

من خلال تدريب نماذج الذكاء الاصطناعي عمدًا على التعامل مع الطرق الفوضوية وغير المتسقة والعشوائية لتفكيك الكلمات، نحن نجعلها:

أقوى: لا تنكسر عندما يحاول شخص ما خداعها بتنسيقات غريبة.
أذكى: تفهم المعنى الفعلي للكلمات، وليس فقط الكود المحدد الذي أُعطيت إياه.
أرخص: لا تحتاج إلى المزيد من قدرة الكمبيوتر لتشغيلها؛ أنت فقط بحاجة لتغيير طريقة تدريبها.

باخت-القول: إذا كنت تريد ذكاءً اصطناعيًا لا يمكن خداعه بسهولة بواسطة خطأ مطبعي بسيط أو خط غريب، فتوقف عن تعليمه أن يكون جامدًا. علمه أن يكون مرنًا، وعشوائيًا، وقابلًا للتكيف. هذا هو المفتاح لذكاء اصطناعي قوي.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Stochasticity in Tokenisation Improves Robustness" (العشوائية في تقسيم الرموز تحسن المتانة).

1. بيان المشكلة

تعتمد النماذج اللغوية الكبيرة (LLMs) على عملية تقسيم الرموز الفرعية الحتمية (مثل Byte Pair Encoding) لتحويل النصوص إلى سلاسل من الرموز (Tokens). هذه العملية تكون عادةً معيارية (canonical)، مما يعني أن نصاً معيناً يرتبط دائماً بتسلسل رموز ثابت.

الثغرة: تشير الدراسات الحديثة إلى أن النماذج اللغوية الكبيرة هشة تجاه التقسيمات غير المعيارية (non-canonical tokenizations). فحتى لو ظل النص الأساسي دون تغيير، فإن الاختلافات الطفيفة في كيفية تقسيم النص إلى رموز (على سبيل المثال، revolution مقابل re-vol-ution) يمكن أن تسبب انخفاضاً كبيراً في الأداء أو تسمح بهجمات عدائية تتجاوز ضوابط السلامة دون تغيير المحتوى الدلالي.
الفجوة: بينما قدمت الأعمال السابقة (مثل STOCHASTOK) تقسيم الرموز العشوائي لتحسين فهم الرموز الفرعية، لا يزال من غير الواضح ما إذا كان التدريب باستخدام التقسيم العشوائي يحسن فعلياً المتانة ضد الاضطرابات العشوائية وهجمات الحالة الأسوأ (worst-case attacks). علاوة على على ذلك، تعاني الطرق العشوائية الموجودة غالباً من انحياز المعاينة (sampling bias) والدعم غير المكتمل (incomplete support) (الفشل في تغطية جميع التقسيمات الصالحة للرموز).

2. المنهجية

يستقصي المؤلفون بشكل منهجي تأثير التقسيم العشوائي للرموز عبر ثلاثة أنظمة تعلم: التدريب المسبق (Pre-training)، الضبط الدقيق الخاضع للإشراف (SFT)، والتعلم داخل السياق (ICL).

أ. مخططات تقسيم الرموز (Tokenization Schemes)

تقارن الورقة بين عدة استراتيجيات لتقسيم الرموز:

CANON: التقسيم المعياري الحتمي القياسي.
STOCHASTOK: طريقة تقسم الرموز عشوائياً إلى رموز فرعية بناءً على قواعد الدمج. يحدد المؤلفون أن هذه الطريقة تسبب توزيعاً منحازاً (تفضل التقسيمات ذات البدائل الأقل) ولديها دعم غير مكتمل (لا يمكنها توليد جميع التقسيمات غير المعيارية الصالحة).
STOCHASTOK-UNI (المقترح): طريقة تتكون من مرحلتين؛ الأولى تعاير عدد التقسيمات لكل رمز (باتباع توزيع STOCHASTOK)، ثم تقوم بـ المعايرة المنتظمة (uniform sampling) للتقسيمات المحددة لكل رمز. هذا يزيل الانحياز مع الحفاظ على توزيع عدد التقسيمات.
UNIFORM-K (المقترح): تعاير تقسيمات الرموز بانتظام من مجموعة جميع التقسيمات غير المعيارية الصالحة عند مسافة تعديل محددة $k$ (إجمالي عدد التقسيمات) عبر التسلسل بأكل. تستخدم هذه الطريقة مخطط القرار متعدد القيم (MDD) للتعامل مع مساحة البحث الأسية بكفاءة.
UNIFORM: معايرة منتظمة كاملة فوق جميع تقسيمات الرموز الصالحة الممكنة (مكلفة حاسوبياً).

ب. الإعداد التجريبي

النماذج: Tiny-LLM (بـ 50 مليون معلمة، مدرب من الصفر)، Llama-1b، Llama-8b، GPT2-xl، Qwen-0.6b، وGemma-1b.
مجموعات البيانات:
- ألعاب اللغة وCUTE: مهام تتطلب فهماً دقيقاً للرموز الفرعية (مثل عد الحروف، واكتشاف السلاسل الفرعية).
- الاختبارات العامة: ARC-E، COPA، CSQA، HellaSwag، PIQA، SocialIQA.
مقاييس التقييم:
- المتانة تجاه الاضطرابات العشوائية: الاختبار على تقسيمات غير معيارية مع مستويات متفاوتة من "التقسيمات" (مسافة التعديل).
- المتانة العدائية: استخدام خوارزمية البحث الجشع (Geh et al., 2025) لإيجيز تقسيمات الرموز التي تزيد من هامش الخطأ (تجبر النموذج على التنبؤ بالإجابة الخاطئة).
التحليل النظري: اشتق المؤلفون حداً أعلى للمخاطر العدائية ( $\gamma$ ) لمصنف ما، موضحين أن التقسيم العشوائي للرموز يقلل من ثابت ليبشيتز (Lipschitz constant) لمساحة التضمين، مما يؤدي إلى تنعيم حدود القرار.

3. المساهمات الرئيسية

الدليل التجريبي على المتانة: إثبات أن التدريب باستخدام التقسيم العشوائي للرموز يحسن بشكل كبير المتانة ضد الهجمات العشوائية والعدائية لتقسيم الرموز عبر مراحل التدريب المسبق، الضبط الدقيق، والتعلم داخل السياق.
تحديد انحياز المعاينة: إظهار أن طريقة STOCHASTOK الأصلية منحازة ولديها دعم غير مكتمل، مما يجعلها عرضة للهجمات العدائية مقارنة بطرق المعايرة المنتظمة.
خوارزميات معاينة مبتكرة: تقديم STOCHASTOK-UNI وUNIFORM-K، اللتين توفران توزيعات معايرة منتظمة ودعماً كاملاً للتقسيمات غير المعيارية، مما يؤدي إلى متانة فائقة.
التبرير النظري: تقديم حد نظري يثبت أن التقسيم العشوائي للرموز يقلل من حساسية النموذج تجاه اضطرابات المدخلات عن طريق تنعيم مساحة التضمين.
دليل عملي: تحديد أن الضبط الدقيق باستخدام التقسيم العشوائي للرموز هو استراتيجية منخفضة التكلفة وعالية العائد لتقوية النماذج اللغوية الكبيرة ضد الهجمات القائمة على تقسيم الرموز دون زيادة تكاليف الاستدلال.

4. النتائج الرئيسية

أ. المتانة تجاه الاضطرابات العشوائية

الضبط الدقيق: يؤدي الضبط الدقيق لنموذج Llama-1b (المدرب مسبقاً بشكل معياري) باستخدام UNIFORM-K أو STOCHASTOK-UNI إلى تقليل فقدان الدقة بشكل جذري عند اختباره على مدخلات غير معيارية.
- الضبط الدقيق المعياري: تنخفض الدقة بنسبة 29.8% عند التقييم على تقسيمات غير معيارية تم اختيارها بانتظام.
- الضبط الدقيق العشوائي (UNIFORM-K): تنخفض الدقة بنسبة 0.6% فقط (أو تتحسن قليلاً) تحت نفس الظروف.
التدريب المسبق: يحسن التدريب المسبق باستخدام التقسم العشوائي للرموز الأداء في مهام الرموز الفرعية ويوفر متانة طفيفة، ولكن الضبط الدقيق هو الخطوة الحاسمة لتعظيم المتانة.

ب. المتانة العدائية

الفشل الكارثي للنماذج المعيارية: عند مهاجمة نموذج Llama-1b الذي تم ضبطه بدقة معيارية باستخدام تقسيمات عدائية، انهارت دقته من 94.0% إلى 6.1%.
صمود النماذج العشوائية: حافظت النماذج التي تم ضبطها بدقة باستخدام UNIFORM-K على دقة قدرها 69.6% تحت نفس الظروف العدائية.
أهمية الانتظام: تفوقت الطرق ذات المعايرة المنتظمة (UNIFORM-K، STOCHASTOK-UNI) باستمرار على طريقة STOCHASTOK المنحازة في البيئات العدائية.

ج. التعلم داخل السياق (ICL)

استخدام التقسيم العشوائي للرموز في السياق القليل (few-shot context) يحسن المتانة تجاه الاستعلامات العشوائية، وإن كانت المكاسب أصغر من الضبط الدقيق الكامل بسبب عدد الأمثلة المحدود ( $K=10$ ) مقارنة بآلاف عينات التدريب المستخدمة في SFT.

د. النتائج النظرية

يشير الحد المشتق $\gamma \propto \sqrt{k}$ (حيث $k$ هي ميزانية الاضطراب) إلى أن التقسيم العشوائي للرموز يقلل فعلياً من ثابت ليبشيتز المحلي للنموذج.
أكدت القياسات التجريبية لمسافات الحالة المخفية أن التدريب العشوائي يؤدي إلى مسافات أصغر بين تضمينات التقسيمات المعيارية وغير المعيارية، مما يشير إلى مساحة تضمين أكثر نعومة.

5. الأهمية والآثار المترتبة

الأمن: تسلط الورقة الضوء على ثغرة حرجة في النماذج اللغوية الكبيرة الحالية: من السهل "كسر حماية" (jailbreak) هذه النماذج أو تضليلها من خلال التلاعب بحدود الرموز بدلاً من المحتوى. يوفر التقسيم العشوائي آلية دفاع قوية.
تحول في نموذج التدريب: يجادل المؤلفون بأنه يجب إجراء الضبط الدقيق عموماً باستخدام التقسيم العشوائي للرموز بدلاً من التقسيم المعياري. هذا يحسن المتانة دون زيادة تكاليف الاستدلال (حيث يمكن أن يظل الاستدلال حتمياً أو يستخدم المسار المعياري إذا لزم الأمر، رغم أن الورقة تقترح أن اختبار المتانة مع الاضطرابات مفيد).
فهم الرموز الفرعية: تجبر هذه الطقة النماذج على تعلم البنية الداخلية للكلمات (التركيب على مستوى الحروف) بشكل أكثر فعالية، مما يؤدي إلى أداء أفضل في المهام التي تتطلب استدلالاً لغوياً دقيقاً.
الاتجاهات المستقبلية: يشير العمل إلى أن مخططات تقسيم الرموز المستقبلية يجب أن تعطي الأولوية للمعايرة المنتظمة والدعم الكامل لتعظيم متانة النماذج، والابتعاد عن النهج المعياري الحتمي القياسي.

في الختام، تثبت الورقة أن العشوائية في تقسيم الرموز ليست مجرد تقنية تنظيم (regularization) لفهم الرموز الفرعية، بل هي آلية دفاع جوهرية تعزز بشكل كبير متانة النماذج اللغوية الكبيرة ضد الهجمات العدائية والاضطرابات في المدخلات.