💬 NLP

When Informal Text Breaks NLI: Tokenization Failure, Distribution Shift, and Targeted Mitigations

تُثبت هذه الورقة أن النصوص غير الرسمية تُضعف أداء الاستدلال اللغوي الطبيعي (NLI) من خلال آليتين متمايزتين — فشل التجزئة (tokenization failure) الناتج عن الرموز التعبيرية، والانزياح في التوزيع (distribution shift) الناتج عن رموز الضجيج — وهو ما يمكن التخفيف من حدته بفعالية عبر الجمع بين تطبيع المعالجة المسبقة والتعزيز التدريبي المستهدف لتجاوز أداء نموذج GPT-4o-mini في وضع الصفر (zero-shot).

المؤلفون الأصليون: Avinash Goutham Aluguvelly

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Avinash Goutham Aluguvelly

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً ذكياً جداً قضى سنوات في الدراسة للامتحان النهائي باستخدام الكتب المدرسية فقط. هو بارع في قراءة الجمل الرسمية مثل: "الرجل يمشي إلى المتجر".

الآن، تخيل أنك أعطيته اختباراً من العالم الحقيقي حيث يرسل الناس رسائل نصية لبعضهم البعض. ستبدو الجمل هكذا:
"The homie is walking to the store 🏪 no cap."

لقد رسب الطالب. ليس لأنه لم يفهم المعنى، بل لأنه لم يرَ هذه الكلمات أو الرموز "غير الرسمية" من قبل.

هذه الورقة البحثية تتحدث عن لماذا تفشل نماذج الذكاء الاصطناعي (مثل هذا الطالب) عندما يستخدم الناس العامية، أو الإيموجي، أو كلمات الحشو الخاصة بجيل زد (Gen-Z)، وكيف يمكننا إصلاح ذلك.

الفخاخ الثلاثة للذكاء الاصطناعي

اختبر الباحثون ثلاث طرق يكتب بها البشر الحقيقيون والتي تربك الذكاء الاصطناعي:

العامية (فخ الـ "Homie"):
- ماذا يحدث: استبدال كلمة "صديق" بكلمة "homie" أو "going to" بكلمة "gonna".
- النتيجة: الذكاء الاصطناعي بالكاد يلاحظ ذلك. الأمر يشبه استبدال قميص أحمر بقميص أزرق؛ لا يزال الذكاء الاصطناعي يعرف أنه قميص. قاموس الذكاء الاصطناعي (المجزئ - tokenizer) يعرف هذه الكلمات بالفعل، لذا يتعامل معها بشكل جيد. تظل الدقة عالية.
الإيموجي (فخ "الصندوق الأسود"):
- ماذا يحدث: استبدال كلمة "رجل" بإيموجي 👨.
- النتيجة: كارثة حقيقية. قاموس الذكاء الاصطناعي لا يحتوي على الإيموجي. عندما يرى الإيموجي، فإنه لا يرى صورة؛ بل يرى علامة استفهام ضخمة (تسمى [UNK] أو "غير معروف").
- التشبيه: تخيل أنك تحاول قراءة كتاب قام أحدهم فيه بإزالة جميع الأسماء واستبدالها بمربعات فارغة. الذكاء الاصطناعي هنا أعمى. لا يمكنه تخمين معنى الجملة لأن الأجز الأهم مفقودة.
الضجيج/كلمات الحشو (فخ "التشتيت"):
- ماذا يحدث: إضافة كلمات مثل "no cap" أو "deadass" أو "tbh" في نهاية الجملة.
- النتيجة: يصاب الذكاء الاصطناعي بالارتباك. هو يعرف معنى "deadass"، لكنه لم يسبق له رؤيتها مستخدمة في لغز منطقي من قبل. يعتقد الذكاء الاصطناعي: "لا بد أن هذه الكلمة مهمة لأنها موجودة!" ويحاول استخدامها لحل اللغز، مما يؤدي إلى إجابات خاطئة.
- التشبيه: الأمر يشبه طالباً يجري اختبار رياضيات وفجأة يرى كلمة "موز" مكتوبة في الزاوية. يصاب الطالب بالذعر ويحاول معرفة كيف تغير كلمة "موز" الإجابة لعملية $2+2$ ، رغم أنها مجرد كلمة عشوائية.

الإصلاحان المختلفان

اكتشف البحث أنه لا يمكنك إصلاح هاتين المشكلتين بنفس الأداة. أنت بحاجة إلى استراتيجيتين مختلفتين:

الإصلاح رقم 1: المترجم (المعالجة المسبقة - Preprocessing)

بالنسبة للإيموجي: بما أن الذكاء الاصطناعي لا يستطيع قراءة الإيموجي، فنحن بحاجة إلى مترجم يحولها إلى كلمات مرة أخرى قبل أن يراها الذكاء الاصطناي.
كيف يعمل: قبل أن يقرأ الذكاء الاصطناعي النص، يقوم برنامج حاسوبي باستبدال 👨 بكلمة "man". الآن يمكن للذكاء الاصطناعي قراءتها بشكل طبيعي.
لماذا يفشل بالنسبة للضجيج: إذا قمت فقط بحذف "no cap"، فقد تفقد كلمات عامية جديدة لم تكن تعرفها.

الإصلاح رقم 2: زميل الدراسة (التعزيز - Augmentation)

بالنسب بالنسبة للضجيج: لا يمكننا ترجمة كل كلمة عامية ممكنة، لذا بدلاً من ذلك، نعلم الذكاء الاصطناعي ما يجب فعله بها.
كيف يعمل: نأخذ بيانات التدريب ونضيف "no cap" و "deadass" إلى آلاف الجمل خلال مرحلة الدراسة. نخبر الذكاء الاصطناي: "مهلاً، تجاهل هذه الكلمات؛ فهي لا تغير المعنى".
لماذا يفشل بالنسبة للإيموجي: إذا رأى الذكاء الاصطناعي إيموجي أثناء الدراسة، فسيتحول لاحقاً إلى علامة استفهام [UNK]. لا يمكن للذكاء الاصطناعي أن يتعلم تجاهل علامة الاستفهام إذا لم يكن يعرف ما هي الكلمة الأصلية.

الحل الهجين الخارق

أفضل ما وجده البحث هو أنه إذا جمعت بين كلا الإصلاحين، سيصبح الذكاء الاصطناعي بطلاً خارقاً.

ترجم الإيموجي إلى كلمات (حتى لا يكون الذكاء الاصطناعي أعمى).
ادرس باستخدام جمل مليئة بالضجيج (حتى يتعلم الذكاء الاصطناعي تجاهل كلمات الحشو).

النتيجة:

نموذج ذكاء اصطناعي صغير (14 مليون معلمة) كان يفشل بشدة في النصوص غير الرسمية، أصبح فجأة أفضل من نموذج ضخم ومشهور (GPT-4o-mini) في فهم هذه النصوص الواقعية الفوضوية.
الأمر يشبه أخذ طالب صغير، وإعطائه قاموساً للإيموجي، وتركه يتدرب على العامية، وفجأة يتفوق على عبقري لم يدرس سوى الكتب المدرسية.

الدرس الكبير

تخلص الورقة البحثية إلى أن الذكاء الاصطناعي ليس "غبياً" عندما يفشل في فهم العامية؛ هو فقط غير مستعد.

إذا كانت المدخلات معطلة (إيموجي)، يحتاج الذكاء الاصطناي إلى مترجم.
إذا كانت المدخلات مليئة بالضجيج (عامية)، يحتاج الذكاء الاصطناي إلى ممارسة.

من خلال إصلاح المدخلات وتدريب النموذج على فوضى الحياة الواقعية، يمكننا صنع ذكاء اصطناعي يفهم حقاً كيف يتحدث البشر، وليس فقط كيف يكتبون في الكتب المدرسية.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "عندما تكسر النصوص غير الرسمية نماذج الاستدلال اللغوي الطبيعي (NLI): فشل التجزئة، انزياح التوزيع، والتدخلات المستهدفة."

1. بيان المشكلة

تحقق نماذج الاستدلال اللغوي الطبيعي (NLI) المدربة على معايير قياسية مثل SNLI وMultiNLI دقة عالية (أعلى من 89%) على النصوص الرسمية والمحررة. ومع ذلك، غالبًا ما تفشل هذه النماذج عند تعرضها لـ الأشكال السطحية غير الرسمية الشائعة في المحتوى الذي ينشئه المستخدمون في الواقع (مثل وسائل التواصل الاجتماعي، والدردشة).

تستقصي الورقة كيف تؤدي ثلاثة أنواع محددة من التحويلات غير الرسمية إلى تدهور أداء الـ NLI:

استبدال العامية (Slang Substitution): استبدال الكلمات الرسمية بمرادفات غير رسمية (مثل: going to $\leftarrow$ gonna، friend $\leftarrow$ homie).
استبدال الإيموجي (Emoji Replacement): استبدال كلمات المحتوى (الأسماء/الأفعال) برموز إيموجي من نظام يونيكود (Unicode).
ضجيج جيل زد (Gen-Z Noise Tokens): إضافة رموز توكيدية أو حشوية لا تحمل محتوى تقريريًا (مثل: no cap، deadass، tbh).

الفرضية الأساسية هي أن انخفاض الدقة في هذه السيناريوهات يكشف عن اعتماد النموذج على أنماط سطحية محددة بدلاً من الفهم الدلالي المتين.

2. المنهجية

مجموعات البيانات والنماذج

مجموعات البيانات: SNLI (550 ألف تدريب) وMultiNLI (393 ألف تدريب).
النماذج:
- ELECTRA-small: 14 مليون معلمة، مع مُجزئ (tokenizer) من نوع WordPiece (قاموس 30 ألف كلمة).
- RoBERTa-large: 355 مليون معلمة، مع مُجزئ BPE يعتمد على البايت (قاموس 50 ألف كلمة).
الخط المرجعي (Baseline): نماذج GPT-4o-mini وGPT-3.5-turbo بنمط Zero-shot.

التحويلات (Transforms)

طُبقت التحويلات فقط على مجموعات التقييم لقياس المتانة.

العامية (Slang): استبدال باحتمالية 100%.
الإيموجي (Emoji): رسم خرائط لكلمات المحتوى إلى إيموجي ذات صلة دلاليًا (رسم خرائط من كثير إلى واحد).
الضجيج (Noise): إضافة رمز ضجيج واحد إلى "الفرضية" (hypothesis).
المزيج (Combined): تطبيق الثلاثة معًا في آن واحد.

استراتيجيات التخفيف (Mitigation Strategies)

اختبر المؤلفون ثلاثة نهج لاستعادة الدقة:

التعزيز (Augmentation): التدريب على بيانات حيث يتم تحويل الأمثلة عشوائيًا (احتمالية 50%) لتعليم النموذج الثبات تجاه الأشكال السطحية.
المعالجة المسبقة (Inference-time Preprocessing): تطبيع النص قبل عملية التجزئة:
- توسيع العامية إلى مرادفاتها الرسمية.
- تحويل الإيموجي إلى تسميات نصية (وهو أمر غير مثالي بسبب رسم الخرائط من كثير إلى واحد).
- تصفية رموز الضجيج.
النهج الهجين (Hybrid): الجمع بين كل من التعزيز (التدريب) والمعالجة المسبقة.

التقييم

تم إنشاء مجموعات تقييم ثابتة مسبقًا لضمان صحة الاختبارات الإحصائية المقترنة (اختبار McNemar مع تصحيح Bonferroni).
المقارنة ضد نماذج LLM بنمط Zero-shot.

3. النتيات والنتائج الرئيسية

أنماط الفشل التفاضلية

تحدد الورقة أن الإيموجي والضجيج يسببان حالات الفشل عبر آليات مختلفة جذريًا، بينما تأثير العامية ضئيل.

التحويل	آلية الفشل	تأثير التجزئة (Tokenization)	انخفاض الدقة (ELECTRA/SNLI)
العامية	ضئيل. المفردات موجودة غالباً ضمن النطاق.	0% رموز `[UNK]`.	~1.1 نقطة مئوية (ضئيل)
الإيموجي	فشل التجزئة. الإيموجي يُرسم كـ `[UNK]` في WordPiece، مما يدمر إشارة المدخلات قبل وصولها للمشفر.	93.6% من الأمثلة تحتوي على `[UNK]`.	8.1 نقطة مئوية
الضجيج	انزياح التوزيع. الرموز موجودة في القاموس لكنها غائبة عن بيانات تدريب NLI. ينسب النموذج وزنًا استدلاليًا لها بشكل خاطئ.	0% رموز `[UNK]`.	9.0 نقطة مئوية

بصمات الخطأ:
- أخطاء الإيموجي تؤدي لانهيار التوقعات نحو المحايد (Neutral) (فقدان الإشارة).
- أخطاء الضجيج تدفع التوقعات نحو التناقض (Contradiction) (ارتباط زائف).

فعالية استراتيجيات التخفيف

نجاح استراتيجية التخفيف يعتمد كليًا على نمط الفشل:

المعالجة المسبقة هي الأفضل لـ الإيموجي لأنها تستعيد الإشارة النصية قبل التجزئة. التعزيز لا يمكنه إصلاح البيانات المفقودة بسبب [UNK].
التعزيز هو الأفضل لـ الضجيج لأنه يعلم النموذج تجاهل الرموز التي لم يسبق له رؤيتها في سياق NLI. فلاتر المعالجة المسبقة لا يمكنها التعميم على رموز ضجيج جديدة.
النهج الهجين: الجمع بينهما يعطي أفضل النتائج عبر جميع الظروف.
- ELECTRA-small على SNLI: النهج الهجين يستعيد الدقة من 75.88% (الأساس) إلى 88.93% في حالة المزيج.
- النص النظيف: لا يوجد انخفاض ذو دلالة إحصائية في الدقة على النص الأصلي.

تأثير حجم النموذج

RoBERTa-large أكثر متانة تجاه الضجيج (انخفاض 3.4 نقطة مقابل 9.0 لـ ELECTRA) ويرجع ذلك غالبًا للتعرض للنصوص غير الرسمية في مجموعة بيانات التدريب المسبق الأكبر.
RoBERTA-large ليس أكثر متانة تجاه الإيموجي (انخفاض 8.0 نقطة مقابل 8.1 لـ ELECTRA). حتى النموذج الأكبر بـ 25 ضعفًا لا يمكنه التغلب على فشل التجزئة إذا كان المُجزئ يحول المدخلات إلى [UNK] أو يفتت الإشارة بشكل مفرط.
استقرار التدريب: النماذج الكبيرة (RoBERTa) التي تدربت بالتعزيز تطلبت جدول إحماء (warmup schedule) لمنع انهيار التدريب (التخمين العشوائي)، بينما لم تتطلب النماذج الأصغر (ELECTRA) ذلك.

المقارنة مع نماذج LLM

غير المخفف: نموذج ELECTRA الذي تم ضبطه دقيقًا (fine-tuned) أسوأ بكثير من GPT-4o-mini على المتغيرات المحولة ( $p < 0.0001$ )، رغم تفوقه على النص النظيف.
المخفف (الهجين): نموذج ELECTRA الهجين (14 مليون معلمة) يتفوق على GPT-4o-mini في جميع متغيرات SNLI ويصل إلى التكافؤ الإحصائي في MultiNLI. هذا يثبت أن المتانة هي وظيفة استراتيجية التدريب، وليست مجرد قدرة النموذج.

4. المساهمات الرئيسية

التشخيص الآلي: تميز الورقة بين فشل التجزئة (الإيموجي $\leftarrow$ [UNK]) وانزياح التوزيع (الضجيج $\leftarrow$ استدلال زائف)، موضحة أن لكل منهما علاجًا مختلفًا.
إطار عمل التخفيف المستهدف: تثبت أن نهج "المقاس الواحد للجميع" يفشل؛ فالاستراتيجية المثلى هي هجين من المعالجة المسبقة وقت الاستنتاج (لمشاكل التجزئة) والتعزيز وقت التدريب (لانزياحات التوزيع).
الكفاءة مقابل القدرة: تثبت أن نموذجًا صغيرًا (14 مليون) مع استراتيجية تدريب متينة يمكن أن يتفوق على نموذج LLM رائد (GPT-4o-mini) في النصوص غير الرسمية، مما يتحدى الافتراض بأن النماذج الأكبر هي بطبيعتها أكثر متانة تجاه التباينات السطحية.
إرشادات عملية:
- استخدم المعالجة المسبقة لمشاكل الإيموجي/اليونيكود.
- استخدم التعزيز لمشاكل العامية/الضجيج.
- استخدم الإحماء (Warmup) عند تطبيق التعزيز على النماذج الكبيرة لضمان استقرار التدريب.

5. الأهمية

يسلط هذا العمل الضوء على أن "فوضوية" النصوص في العالم الحقيقي ليست مجرد مشكلة جودة بيانات، بل هي فشل هيكلي في خط المعالجة (pipeline). من خلال تحديد أن الإيموجي يكسر المُجزئ وأن الضجيج يكسر الأولوية الدلالية، يقدم المؤلفون مخططًا لنشر أنظمة NLI في بيئات الإنتاج (مثل مراقبة وسائل التواصل الاجتماعي، أو دردشة دعم العملاء) حيث تكون اللغة غير الرسمية هي السائدة. تشير النتائج إلى أن المتانة هي خيار تدريبي، يمكن تحقيقها من خلال تدخلات مستهدفة بدلاً من الحاجة إلى توسيع هائل أو إعادة تدريب من الصفر.