The Announcement Carries the Cue: Markup, Boundaries, and the Notation of Pre-Training Corpora

الخريطة غير المرئية والقارئ الآلي

تخيل أنك تعلم روبوتًا القراءة. أنت لا تكتفي بإعطائه كتابًا؛ بل تغذيه بتدفق هائل ولا نهائي من النصوص، مقطعة إلى أجزاء صغيرة، لكي يتعلم الروبوت كيف تترابط الكلمات مع بعضها البعض. هذه هي الطريقة التي يتم بها تدريب نماذج الذكاء الاصطناعي الحديثة. ولكن هناك مشكلة خفية: الطريقة التي نجهز بها ذلك النص تهم أكثر مما كنا نعتقد.

فكر في الكتاب كأنه مدينة. الكلمات هي المباني، لكن عناوين الفصول، وأرقام الصفحات، وعبارات مثل "الفصل الأول" هي لافتات الشوارع وعلامات الخريطة. هي تخبرك أين أنت ومتى انتقلت إلى حي جديد. لفترة طويلة، افترض العلماء أنه إذا قاموا فقط بتنظيف النص — أي إزالة التنسيقات الفوضوية لجعل النص تدفقًا سلسًا وبسيطًا من الكلمات — فإن الروبوت سيتعلم بشكل جيد تمامًا. ظنوا أن "اللافتات" ليست سوى زينة. ولكن ماذا لو كانت تلك اللافتات هي الجزء الأهم في الدرس؟ ماذا لو كان الروبوت لا يتعلم القصة، بل يحفظ فقط اللافتات ليخمن ما سيأتي بعد ذلك؟ يبحث هذا البحث فيما إذا كنا قد علمنا روبوتاتنا عن غير قصد تجاهل بنية القصة عبر تجريدها من خريطتها.

---

خطأ "التنظيف" العظيم

قرر مؤلف هذا البحث، إي. إم. فريبرغ (E. M. Freeberg)، التحقيق في فجوة غريبة في كيفية تدريب الذكاء الاصطناعي. لاحظ أنه بينما نعرف أي الأدوات نستخدمها لتحويل الكتب إلى نصوص، فإننا لا نقيس أبدًا ما الذي تتركه تلك الأدوات خلفها. الأمر يشبه طباخًا يعرف بالضبط أي سكين استخدم لتقطيع الخضروات، لكنه لا يتحقق أبدًا مما إذا كانت الخضروات لا تزال كاملة أم أنها تحولت إلى عجينة.

لفهم المشكلة، نظر المؤلف إلى كتاب كلاسيكي، "موبي ديك" (Moby-Dick). في شكله الأصلي، يحتوي الكتاب على 143 سطرًا من "الأثاث" — أرقام الفصول، والعناوين، والترويسات. إذا حذفت كل ذلك، فسيتبقى لديك تدفق مستمر وسلس من 283,267 كلمة. بالنسبة للقارئ البشري، يبدو هذا جيدًا؛ لا يزال بإمكانك متابعة القصة. ولكن بالنسبة للروبوت، هذا كابوس. الروبوت معتاد على رؤية علامة تقول "فصل جديد هنا!" كل بضعة آلاف من الكلمات. عندما تختفي تلك العلامة، يتعين على الروبوت تخمين مكان تغير القصة بمجرد النظر إلى الكلمات. الأمر يشبه محاولة القيادة في مدينة تم طلاء جميع لافتات شوارعها لإخفائها.

يقدم البحث طريقة جديدة للقياس تسمى "بقاء النافذة النظيفة" (Clean-Window Survival). تخيل نافذة بعرض 8,192 كلمة. إذا قمت بتحريك هذه النافذة عبر نص ما، فإن "البقاء" هو النسبة المئوية للمرات التي تنزلق فيها النافذة فوق قسم من النص لا يحتوي على أي علامات هيكلية (مثل الترويسات أو النقاط) بداخله.

• في مجموعة بيانات C4 الشهيرة (مجموعة ضخمة من نصوص الويب)، تبلغ معدل البقاء 0.889. وهذا يعني أن الروبوت يرى مساحات طويلة من النص دون علامات إرشادية.
• في مجموعة بيانات أحدث مكونة من ملفات PDF تم تحويلها بواسطة نماذج الرؤية (Dolma 3)، ينخفض معدل البقاء إلى 0.153. هنا، يتعرض الروبوت باستمرار لفيض من العلامات، والترويسات، والتنسيقات.

وجد المؤلف أن "المورد الشحيح" ليس النص الخالي من العلامات، بل هو النص الطويل الخالي من العلامات. معظم نصوص الويب قصيرة وفوضوية. لكن الكتب طويلة ومتماسكة. المشكلة هي أن تدريب الذكاء الاصطناعي الحديث يفقد الوصول إلى تلك المساحات الطويلة من النصوص الخالية من العلامات، مستبدلة إياها بنصوص تصرخ باستمرار "انظر إلي!" عبر التنسيقات.

الاكتشاف الكبير: إنها العلامة، وليست الرمز

أجرى المؤلف سلسلة من التجارب الذكية لمعرفة ما يهتم به الروبوت حقًا. لقد اختبر ثلاث نسخ مختلفة من نفس النص:

1. الموسومة (Marked): النص مع التنسيق الكامل (على سبيل المثال: ## الفصل 1).
2. المسطحة (Flat): النص مع إزالة رموز التنسيق، مع الإبقاء على الكلمات (على سبيل المثال: مجرد كلمات "الفصل 1" في سطر مستقل).
3. الصامتة (Silent): النص مع حذف سطر "الفصل 1" تمامًا، تاركًا مساحة فارغة.

إليك النتيجة المفاجئة: الروبوت لم يهتم بالرموز.
عندما استبدلوا الرموز المزخرفة ## بسطر نصي عادي، لم يتغير أداء الروبوت على الإطلاق. لم يهم إذا كانت العلامة عبارة عن "هاشتاج" أو مجرد جملة عادية. كان الروبوت سعيدًا في كلتا الحالتين.

ومع ذلك، عندما حذفوا السطر تمامًا (نسخة "الصامتة")، ارتبك الروبوت. أصبح التنبؤ بالكلمات التالية أصعب بشكل ملموس. احتاج الروبوت إلى ذلك السطر "الإعلاني" الصغير ليعرف أن قسمًا جديدًا قد بدأ.

أدى هذا إلى إدراك رئيسي: الروبوت لا يتعلم من نمط العلامة (رموز Markdown)؛ بل يتعلم من وجود الإعلان نفسه. تعمل العلامة كإشارة تقول: "توقف عما تفعله؛ هناك حدود جديدة هنا". إذا أزلت العلامة، سيتعين على الروبوت بذل جهد أكبر بكثير لتحديد الهيكل بنفسه.

حل "الإطار النقي" (Pure Frame)

يقترح المؤلف طريقة جديدة لتجهيز البيانات تسمى "الإطار النقي" (Pure Frame).
تخيل أن لديك كتابًا. تحتفظ بجميع الفقرات بالترتيب الصحيح. لكنك تحذف كل عنوان فصل، وكل ترويسة، وكل ملصق "الجزء الأول". تستبدلها بلا شيء — مجرد سطر فارغ.

• لماذا نفعل ذلك؟ لإجبار الروبوت على استنتاج الهيكل من القصة فعليًا، بدلًا من مجرد قراءة لافتة الطريق.
• هل هذا آمن؟ نعم. أنشأ المؤلف ملفًا "جانبيًا" يحفظ كل سطر تم حذفه. هذا يعني أنه يمكنك إعادة بناء الكتاب الأصلي بدقة لاحقًا. العملية قابلة للعكس.

اختبروا ذلك على 27 كتابًا من الملكية العامة. احتوت نسخة "الإطار النقي" على أقل بنسبة 0.713% من "التوكنز" (Tokens) مقارنة بالأصل لأنهم حذفوا الترويسات. ولكن الأهم من ذلك، أن معدل "بقاء النافذة النظيفة" قفز إلى 1.000. هذا يعني أن الروبوت مجبر الآن على التنقل عبر تدفق طويل وغير منقطع من الأفكار، وهو بالضبط ما يعتقد المؤلف أن الروبوت يحتاجه ليتعلم بشكل أفضل.

ما لا يفعله الروبوت

تحقق البحث أيضًا مما إذا كانت الروبوتات ستعمل على "إصلاح" النص بنفسها. إذا أعطيت روبوتًا قصة بدون عناوين فصول، فهل سيبدأ في كتابتها مرة أخرى؟

• الإجابة: لا.
  عندما طلب الباحثون من النماذج الأساسية (الروبوتات الخام غير الضبطية) إكمال الكتابة بعد حذف عنوان الفصل، لم يضعوا العنوان مرة أخرى. لم يحاولوا حتى إعادة إنشاء الهيكل. استمروا في الكتابة فحسب. يشير هذا إلى أن عادة رؤية الترويسات هي شيء نعطيهم إياه أثناء التدريب، وليس شيئًا يخترعونه بشكل طبيعي.

الحكم النهائي: اختر ما تريد تعليمه

يختتم البحث باقتراح جريء لمستقبل تدريب الذكاء الاصطناعي. حاليًا، يختار علماء البيانات الأدوات بناءً على الدقة (Fidelity) — أي مدى مثالية الأداة في الحفاظ على المظهر الأصلي للمستند. يجادل المؤلف بأنه يجب علينا اختيار الأدوات بناءً على القدرة (Capability) — أي المهارة المحددة التي نريد من الروبوت تعلمها.

إذا أردنا روبوتات يمكنها فهم القصص الطويلة والمعقدة، فيجب أن نتوقف عن إطعامها نصوصًا تصرخ باستمرار "قسم جديد!" عبر التنسيقات. بدلاً من ذلك، يجب أن نغذيها بـ "الإطار النقي" — نص نظيف وغير منقطع يجبرهم على القيام بالعمل الشاق المتمثل في اكتشاف هيكل القصة بأنفسهم.

يعترف المؤلف بأن هذه فرضية تحتاج إلى اختبار أخير ومكلف: تدريب روبوت على هذا التنسيق الجديد لمعرفة ما إذا كان سيصبح أكثر ذكاءً بالفعل. لكن الأدلة حتى الآن تشير إلى أن "اللافتات" التي كنا نضيفها قد تضر أكثر مما تنفع، حيث تعمل كعكاز يمنع الروبوت من تعلم المشي بمفرده.

باختصار: يجادل البحث بأنه من خلال تجريد الكتب من العلامات البصرية لهيكلها، قد نكون في الواقع نعلم الذكاء الاصطناعي فهم القصة بشكل أفضل، بدلاً من مجرد حفظ جدول المحتويات.