💬 NLP

The Last Fingerprint: How Markdown Training Shapes LLM Prose

تجادل هذه الورقة بأن الإفراط المميز في استخدام الشرطات الطويلة (em dashes) في النصوص المولدة بواسطة الذكاء الاصطناعي هو نتاج بنيوي لبيانات التدريب المشبعة بتنسيقات "مارك داون" (markdown)، وهو أمر يستمر حتى عندما تُوجه النماذج لتجنب التنسيق، مما يجعله بمثابة توقيع تشخيصي لمنهجيات ضبط دقيق محددة بدلاً من كونه مجرد عيب أسلوبي.

المؤلفون الأصليون: E. M. Freeburg

نُشر 2026-03-31

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: E. M. Freeburg

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول خبز كعكة، لكن العجينة التي أُعطيت إياها تم خلطها في مطبخ محدد للغاية وصارم. في هذا المطبخ، تُكتب كل الوصفات على سبورة بيضاء باستخدام نقاط تعداد، وعناوين عريضة، وأقسام واضحة. الخبازون (نماذج الذكاء الاصطناعي) قضوا حياتهم بأكملها وهم ينظرون إلى هذه السبورات.

الآن، تطلب من أحد هؤلاء الخبازين كتابة قصة لك. تقول له: "يرجى كتابة هذه القصة بأسلوب انسيابي وطبيعي. لا تستخدم نقاط التعداد، ولا العناوين، فقط نثراً خالصاً".

في معظم الأوقات، يستمع الخباز. يتوقف عن استخدام نقاط التعداد والعناوين. لكن هناك عادة صغيرة واحدة لا يستطيع كسرها: إنه يستمر في استخدام الشرطة الطويلة (—).

هذه الورقة، "البصمة الأخيرة"، تشرح بالضبط سبب حدوث ذلك. إنها تربط بين شيئين يشتكي منهما الناس عبر الإنترنت:

"الذكاء الاصطناعي يكتب الكثير من الشرطات الطويلة!" (شكوى الكاتب).
"الذكاء الاصطناعي يفكر في شكل نقاط التعداد!" (شكوى المطور).

إليك الشرح البسيط لما يحدث، باستخدام بعض التشبيهات.

1. "السبورة البيضاء" التدريبية (السبب الجذري)

تخيل أن الذكاء الاصطناعي قد تم تدريبه على مكتبة ضخمة حيث كُتبت معظم الكتب والمقالات والملاحظات بلغة Markdown. لغة Markdown هي طريقة بسيطة للكتابة تستخدم رموزاً لإنشاء هيكل (مثل # للعنوان أو - للقائمة).

ولأن الذكاء الاصطناعي قرأ الكثير من هذا النص "الهيكلي"، فإنه لم يتعلم الكلمات فحسب؛ بل تعلم عقلية. لقد تعلم أن العالم منظم في صناديق، وقوائم، وفواصل واضحة. في هذه العقلية، تعتبر الشرطة أداة تُستخدم للقول: "توقف هنا، هذا قسم جديد".

2. "التسرب" (لماذا تنجو الشرطة؟)

عندما تخبر الذكاء الاصطناعي: "توقف عن استخدام Markdown! اكتب كبشر"، فإنه يطيع. يقوم بإزالة الأدوات الكبيرة والواضحة:

يتوقف عن صنع العناوين (مثل ## العنوان).
يتوقف عن صنع نقاط التعداد (-).
يتوقف عن صنع النصوص العريضة (**النص**).

لكن الشرطة الطويلة (—) هي ناجٍ متسلل. لماذا؟

العميل المزدوج: في عقل الذكاء الاصطناعي "الهيكلي"، تعتبر الشرطة أداة هيكلية (مثل جدار يفصل بين الغرف). ولكن في اللغة الإنجليزية العادية، تعتبر الشرطة أيضاً مجرد علامة ترقيم (مثل الفاصلة أو النقطة).
الثغرة: عندما تطلب من الذكاء الاصطناعي "لا تستخدم التنسيق!"، فإنه يبحث عن أدوات التنسيق الكبيرة (العناوين، القوائم) ويحذفها. لكنه لا يحذف الشرطة الطويلة لأنه، من الناحية التقنية، يُسمح باستخدام الشرطة في النثر العادي. الأمر يشبه إخبار حارس أمن: "ممنوع حمل الأسلحة!"، فيمنعك الحارس من إدخال مسدس، لكنه يسمح لك بالمرور بـ "سكين سويسري" لأنه يبدو كأداة وليس كسلاح.

الشرطة الطويلة هي البصمة الأخيرة لتدريب الذكاء الاصطناعي الهيكلي. إنها أصغر قطعة من "تفكير السبورة البيضاء" التي تتسلل عبر الشقوق إلى قصتك.

3. "مفتاح التحكم في الصوت" (لماذا يفعل بعض الذكاء الاصطناعي ذلك أكثر من غيره)

قد تلاحظ أن بعض نماذج الذكاء الاصطناعي (مثل الإصدارات القديمة من GPT) تستخدم الشرطات باستمرار، بينما تستخدم أخرى (مثل Llama من Meta) القليل منها تقريباً.

تشرح الورقة أن بيانات تدريب الذكاء الاصطناعي أعطته الرغبة في استخدام الشرطات، لكن الضبط الدقيق (اللمسة النهائية التي يضعها البشر للذكاء الاصطناعي) يعمل مثل مفتاح التحكم في الصوت.

نماذج "الصوت المرتفع": وجدت بعض الشركات (مثل OpenAI أو Anthropic) أن البشر أحبوا الكتابة التي تبدو ذكية ودقيقة ومنظمة. لذا، قاموا برفع مستوى الشرطة الطويلة. لقد كافأوا الذكاء الاصطناعي على استخدامها.
نماذج "الصوت الصفر": قررت شركات أخرى (مثل Meta) أن النثر الطبيعي لا ينبغي أن يحتوي على الكثير من الشرطات. فقاموا بخفض مستوى الصوت إلى الصفر.
النماذج "الأحدث": حتى داخل نفس الشركة، تتعلم النماذج الأحدث كيفية خفض مستوى الصوت لأن الناس بدأوا يشتكون من "رائحة الذكاء الاصطناعي" المتمثلة في كثرة الشرطات.

4. التجربة (إثبات النظرية)

اختبر الباحثون هذا من خلال إعطاء 12 نموذجاً مختلفاً من الذكاء الاصطناعي أمراً صارماً: "اكتب قصة. بدون تنسيق. وبشكل محدد، لا تستخدم الشرطات الطويلة."

النتيجة: نجح الذكاء الاصطناعي في التوقف عن استخدام العناوين ونقاط التعداد.
المفاجأة: نماذج "الصوت المرتفع" (مثل GPT-4.1) استمرت في استخدام الشرطات، حتى عندما طُلب منها صراحةً عدم فعل ذلك. لم تستطع منع نفسها؛ فقد كان الطبع متجذراً جداً.
نماذج "الصفر": النماذج التي تم ضبطها لقمع هذه العادة (مثل Llama) اتبعت القاعدة بدقة واستخدمت صفراً من الشرطات.

الخلاصة الكبرى

الشرطة الطويلة ليست مجرد خطأ عشوائي. إنها أداة تشخيصية.

إذا رأيت نصاً مليئاً بالشرطات الطويلة، فإنه ليس مجرد "كتابة سيئة". إنه توقيع. إنه يخبرك:

هذا النص كتبه ذكاء اصطناعي تم تدريبه على بيانات هيكلية.
الشركة المحددة التي بنت هذا الذكاء الاصطناعي قررت تضخيم تلك العادة الهيكلية لأنها اعتقدت أنها تجعل الكتابة تبدو أكثر ذكاءً.

باختة القول: الشرطة الطويلة هي طريقة الذكاء الاصطناعي في محاولة تنظيم القصة، حتى عندما تطلب منه فقط أن "يروي قصة". إنها شبح السبورة البيضاء الذي يطارد النثر.

إليك ملخص تقني مفصل لورقة البحث بعنوان "البصمة الأخيرة: كيف يشكل التدريب على لغة ماركداون (Markdown) نثريات النماذج اللغوية الكبيرة" للكاتب إي. إم. فريبرج.

1. بيان المشكلة

تتناول الورقة ملاحظتين متوازيتين وغير مرتبطتين في مجتمع الذكاء الاصطناعي فيما يتعلق بمخرجات النماذج اللغوية الكبيرة (LLM):

ظاهرة "الشرطة الطويلة" (Em Dash): تلاحظ مجتمعات الكتابة على نطاق واسع أن النماذج اللغوية تفرط في استخدام الشرطة الطويلة (—)، وتعتبرها علامة مميزة أساسية للنصوص المولدة بواسطة الذكاء الاصطناعي. ومع ذلك، لا يوجد تفسير ميكانيكي لسبب استمرار هذه العلامة الترقيمية تحديداً.
ظاهرة "التفكير بأسلوب ماركداون": يلاحظ مجتمع المطورين أن النماذج اللغوية تميل افتراضياً إلى إنتاج مخرجات مهيكلة بتنسيق ماركداون (عناوين، نقاط، نص عريض) حتى عندما لا يُطلب منها ذلك، ويعزون ذلك إلى انتشار لغة ماركداون في بيانات التدريب.

الفجوة: لم يتم الربط بين هذين الخطابين. تفترض الورقة أن الشرطة الطويلة ليست مجرد سمة أسلوبية عشوائية، بل هي "البصمة الأخيرة" للتوجه الهيكلي للماركداون التي تتسرب إلى النثر الطبيعي. وتكمن المشكلة الجوهرية في تفسير سبب بقاء الشرطات الطويلة رغم قيود "النثر فقط"، بينما يتم بنجاح كبح ميزات الماركداو الأخرى (العناوين، القوائم).

2. المنهجية

أجرى المؤلفون سلسلة من الدراسات التجريبية عبر 12 نموذجاً لغوياً كبيراً مضبوطاً للتعليمات (Instruction-tuned) من خمس شركات كبرى (Anthropic، OpenAI، Meta، Google، DeepSeek)، أنتجت حوالي 240,000 كلمة.

الدراسة 1: تجربة الكبح بشرطين
- الحالة (أ) (غير مقيدة): طُلب من النماذج كتابة مقالات مكونة من 1,000 كلمة حول 10 مواضيع.
- الحالة (ب) (مقيدة بالنثر): طُلب من النماذج كتابة نفس المقالات ولكن مع منعها صراحةً من استخدام تنسيق ماركداون (لا عناوين، لا نقاط، لا نص عريض، ولا قوائم).
- المقياس: تكرار الشرطة الطويلة (U+2014) وميزات ماركداون الصريحة لكل 1,000 كلمة.
الدراسة 2: تدرج الكبح بثلاث حالات
- أضيفت الحالة (ج): حظر صريح للشرطات الطويلة ("لا تستخدم الشرطات الطويلة") بالإضافة إلى كبح الماركداون.
- تم الاختبار على النماذج ذات الاستخدام العالي للشرطات الطويلة (GPT-4.1، DeepSeek V3، Claude Opus 4.6، GPT-5.4) لاختبار فرضية "السجل المزدوج".
الدراسة 3: مقارنة بين النموذج الأساسي والنموذج المضبوط للتعليمات
- قارنت بين نموذج Llama 3.1 8B في حالته الأساسية (ما قبل RLHF) وحالته المضبوطة للتعليمات (ما بعد RLHF) لعزل تأثير التعلم التعزيزي من التغذية الراجعة البشرية (RLHF).
الخط المرجعي: تم وضع خط مرجعي بشري باستخدام 57,232 كلمة من مقالات منشورة عبر أنواع أدبية مختلفة.

3. المساهمات الرئيسية والإطار النظري

تقترح الورقة سلالة من خمس خطوات تشرح إنتاج الشرطة الطويلة:

تشبع بيانات التدريب: تُدرب النماذج اللغوية على مجموعات بيانات مشبعة بالماركداون (GitHub، Stack Overflow، الوثائق التقنية)، حيث تعمل الشرطات كحدود هيكلية (بنية) وليس فقط كعلامات ترقيم.
الاستيعاب الهيكلي: تستوعب النماذج "التوجه الهيكلي" للماركداون، وتتعلم استخدام الشرطات للإشارة إلى الانتقالات والحدود.
وضع السجل المزدوج: تحتل الشرطة الطويلة موقعاً فريداً: فهي علامة ترقيم صالحة في النثر الطبيعي، وعلامة هيكلية في الماركداون في آن واحد.
آلية "البصمة الأخيرة": عندما تُؤمر النماذج بـ "كتابة نثر، وليس ماركداون"، تنجح في كبح التنسيقات الصريحة (العناوين، القوائم). ومع ذلك، تنجو الشرطة الطويلة لأن التعليمات لا تعتبرها "تنسيقاً" — فهي تُصنف بالفعل كـ "نثر قانوني". إنها أصغر وحدة من التفكير الهيكلي التي تتسلل عبر الفلتر.
تضخيم RLHF: يفضل المقيمون البشريون في مسار RLHF (الذين غالباً ما يكونون تقنيين/متعلمين) النثر الدقيق والمهيكل. هذه الحلقة الارتدادية تضخم الميل الكامن لاستخدام الشرطات الطويلة في بعض النماذج (OpenAI، DeepSeek) بينما تكبحه في نماذج أخرى (Meta).

الأطروحة المركزية: الشرطة الطوية ليست عيباً أسلوبياً عالمياً، بل هي بصمة لمنهجية الضبط الدقيق (fine-tuning) المحددة المطبقة.

4. النتائج الرئيسية

كبح الماركداون العالمي: نجحت التعليمات الصريحة لتجنب الماركداون في القضاء على العناوين، والنقاط، والنص العريض عبر جميع النماذج (مما قللها إلى ما يقارب الصفر).
التباين في استمرار الشرطة الطويلة:
- مقاومة عالية: انخفض GPT-4.1 قليلاً فقط (من 10.62 إلى 9.10 لكل 1,000 كلمة) تحت قيود النثر. وانخفض DeepSeek V3 من 6.95 إلى 5.41.
- امتثال عالٍ: انخفضت نماذج Anthropic (مثل Claude Opus 4.6) من 9.09 إلى 0.19. وانخفضت Gemini 2.5 Pro من Google إلى 0.00.
- إنتاج صفري: أنتجت نماذج Meta (مثل Llama) صفراً من الشرطات الطويلة في كلتا الحالتين.
تدرج الكبح (الدراسة 2): حتى عند إخبار النماذج صراحة "لا تستخدم الشرطات الطويلة"، احتفظت النماذج ذات المقاومة العالية (GPT-4.1، DeepSeek) باستخدام ملحوظ (3.86 و 1.57 لكل 1,000 كلمة على التوالي)، مما يثبت أن الدافع الهيكلي يتجاوز القيود السلبية الصريحة.
الأساسي مقابل المضبوط (الدراسة 3): أظهر نموذج Llama 3.1 8B الأساسي ميلاً كامناً (0.49 شرطة طويلة/1,000 كلمة و28 ميزة ماركداون). أما النسخة المضبوطة للتعليمات فقد قللت ذلك إلى الصفر. وهذا يؤكد أن الميل الكامن موجود قبل مرحلة RLHF، لكن اتجاه وحجم المخرج النهائي يتم تحديدهما بواسطة مزود عملية الضبط الدقيق.
التحول الجيلي: أظهر نموذج OpenAI الأحدث (GPT-5.4) استخداماً منخفضاً بشكل كبير للشرطات الطويلة (1.43 $\to$ 0.29) مقارنة بـ GPT-4.1، مما يشير إلى أن الآلية تخضع لعملية ضبط نشطة.

5. الأهمية والآثار المترتبة

إعادة صياغة "العلامة المميزة": الشرطة الطويلة ليست مجرد عيب أسلوبي، بل هي بصمة تشخيصية لمنهجية الضبط الدقيق. فهي تكشف كيف يتفاعل مسار RLHF الخاص بالمزود مع التحيزات الهيكلية لبيانات التدريب.
نسب النموذج (Model Attribution): يمكن أن يعمل تكرار الشرطة الطويلة و"مقاومة الكبح" كبصمة لتحديد المزود أو إجراء الضبط الدقيق الذي أنتج نصاً ما، حتى لو كان النص غير قابل للتمييز عن الكتابة البشرية.
محدودية الكشف: تركز أدوات كشف الذكاء الاصطناعي الحالية على توزيع الرموز (tokens) أو العلامات المائية. تقترح هذه الورقة أن علامات السجل الهيكلي (مثل الشرطة الطويلة) قوية ضد تعليمات "التنقية" لأن النموذج لا يتعرف عليها كتنسيق.
تكامل التفسيرات: تحل الورقة الجدل بين "الذكاء الاصطناعي يفكر بالماركداون" و"RLHF يختار الأسلوب" من خلال إظهار أنهما متكاملان: بيانات التدريب تزرع الإمكانية لاستخدام الشرطات الهيكلية، وRLHF يحدد سعة (amplitude) استخدامها.

في الختام، تجادل الورقة بأن الشرطة الطويلة هي "الوحدة الأخيرة الناجية" من التفكير الهيكلي للماركداون، حيث تستمر في النثر لأنها تنجح في التنكر كعلامة ترقيم صالحة، ويعد تكرارها مقياساً مباشراً لمعايرة ما بعد التدريب للنموذج.