← أحدث الأبحاث
🤖 AI

You Can Learn Tokenization End-to-End with Reinforcement Learning

تقترح هذه الورقة تعلم التجزئة (tokenization) من البداية إلى النهاية باستخدام التعلم التعزيزي مع تقديرات دالة الدرجة (score function) وخصم الوقت لتقليل التباين، مما يثبت أن هذا النهج يتفوق على طرق التمرير المباشر (straight-through methods) السابقة عند مقياس 100 مليون معلمة.

المؤلفون الأصليون: Sam Dauncey, Roger Wattenhofer

نُشر 2026-08-26
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Sam Dauncey, Roger Wattenhofer

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

لا تفهم الحواسيب الحديثة اللغة البشرية بشكل طبيعي؛ فهي لا تفهم سوى الأرقام. ولجسر هذه الفجوة، يجب على أنظمة الذكاء الاصطناعي التي تعالج النصوص أولاً ترجمة الكلمات والجمل إلى تدفق من الأرقام التي يمكنها استيعابها. ولسنوات طويلة، كانت الطريقة القياسية للقيام بذلك هي خطوة جامدة ومبرمجة مسبقاً تسمى "التقطيع" (tokenization). فكر في هذه العملية مثل أمين مكتبة، قبل أن يتمكن جهاز ما من قراءة كتاب، يجب عليه تقطيع الصفحات إلى أجزاء محددة ومحددة مسبقاً بناءً على كتاب قواعد ثابت. يقرر كتاب القواعد هذا أين تنتهي كلمة ويبدأ الأخرى، وغالباً ما يجمع تركيبات الحروف الشائعة معاً. وبينما يعمل هذا بشكل جيد، إلا أنه خطوة يدوية وثابتة تقع خارج "عقل" الذكاء الاصطناعي، ومنفصلة عن عملية التعلم نفسها. ومع ازدياد حجم هذه العقول الرقمية وقدراتها، بدأ العلماء يتساءلون عما إذا كان هذا النهج الجامد والمقطع مسبقاً يعيق تقدمها، وما إذا كان بإمكان الآلة أن تتعلم تقطيع النص بنفسها بطريقة تجعل أكثر منطقية لمنطقها الداخلي.

لقد اتخذ فريق من الباحثين في المعهد الفيدرالي السويسري للتكنولوجيا في زيورخ (ETH Zurich) خطوة كبيرة نحو الإجابة على ذلك السؤال من خلال تعليم ذكاء اصطناعي كيفية تعلم تقطيع نصوصه الخاصة من الصفر، دون أي قواعد مكتوبة مسبقاً. وفي عملهم الجديد، أثبتوا أن نموذج الكمبيوتر يمكن تدريبه على تحديد مكان وضع الحدود بين قطع النصوص بدقة، ببساطة من خلال محاولة تقليل أخطائه أثناء التعلم. وبدلاً من اتباع دليل ثابت أو استخدام تخمين ذكي يعتمد على المسافات وعلامات الترقيم، يستخدم النموذج نهج التجربة والخطأ، وهو مشابه لكيفية تعلم حيوان التنقل في متاهة. يقوم النموذج بتخمين مكاني (بشكل عشوائي/ستوكاستي) أين يجب أن يكون القطع، ثم يرى مدى جودة تنبؤه بالجزء التالي من النص، وبعد ذلك يعدل استراتيجيته. إذا أدى التخمين إلى تنبؤ أفضل، فإن النموذج يعزز هذا القرار؛ وإذا أدى إلى ارتباك، فإنه يجرب شيئاً آخر. ومع مرور الوقت، يكتشف النموذج طريقته المثلى لتقسيم اللغة، مما يعلمه فعلياً قواعد التقطيع أثناء تعلمه للغة.

وجد الباحثون أنه عندما تركوا النموذج يتعلم بهذه الطريقة، بدأ بشكل طبيعي في وضع قطعه في نفس الأماكن التي يفعل فيها البشر ذلك، مثل المسافات بين الكلمات أو في نهاية الجمل، على الرغم من عدم إخباره بذلك. حدث هذا دون أن يتم إعطاء النموذج أي تعليمات محددة حول القواعد أو بنية اللغة. وفي الاختبارات التي أجريت باستخدام مجموعة بيانات تزيد عن مائة مليون معلمة (parameter)، أثبت هذا النهج ذاتي التعلم أنه أكثر فعالية من الطرق السابقة التي حاولت تعلم الحدود باستخدام تقنية رياضية مختلفة وأقل مباشرة. لم ينتج الأسلوب الجديد نتائج أفضل فحسب، بل طابق أيضاً أداء الأنظمة التي تعتمد على كتب القواعد التقليدية المصنوعة يدوياً، رغم عدم امتلاكه أي معرفة مسبقة بتلك القواعد.

أحد أكثر الجوانب إثارة للإعجاب في هذا الاكتشاف هو أن النموذج تعلم كيف يكون فعالاً. فقد اكتشف كيفية تجميع بايتات البيانات في قطع منطقية لمهمته المحددة، سواء كان ذلك في قراءة نص عام أو فهم لغة برمجة. وعندما اختبر الباحثون النموذج على لغة "بايثون" (Python)، تعلم البدء في قطع جديدة عند بداية أسماء الدوال والحفاظ على بعض العبارات الشائعة معاً، مما أظهر فهماً حدسياً لبنية الكود الذي يقرأه. وهذا يشير إلى أن النموذج لا يقوم بمجرد حفظ الأنماط، بل يطور بنشاط استراتيجية تتماشى مع معنى النص الذي يعالجه.

كما تناولت الدراسة عقبة رئيسية جعلت هذا النوع من التعلم صعباً في السابق: وهي "الضجيج" في إشارة التعلم. ولأن قرار قطع النص هو خيار ثنائي — إما أن تقطع هنا أو لا تفعل — فمن الصعب رياضياً إخبار النموذج بكيفية التحسن بدقة. وقد حل الباحثون هذه المشكلة من خلال استعارة تقنيات من "التعلم المعزز" (reinforcement learning)، وهو مجال يتعلم فيه الوكلاء من خلال المكافآت والعقوبات. لقد قدموا طريقة تعمل على تنعيم الضجيج، مما يسمح للنموذج برؤية القرارات المحددة المسؤولة عن نجاحاته أو إخفاقاته عبر امتداد أطول من النص. سمح هذا للنموذج بالتعلم بفعالية دون الحاجة إلى قدرة حوسبية هائلة.

بينما أجريت التجارب الحالية على نماذج ذات حجم محدد، فإن النتائج تقدم رؤية مقنعة لمستقبل الذكاء الاصطناعي. فمن خلال إزالة الحاجة إلى خطوة منفصلة ومبرمجة مسبقاً لإعداد النصوص، أظهر الباحثون أن معالجة اللغة يمكن أن تصبح عملية تعلم متكاملة وشاملة (end-to-end). فالنموذج لا يتعلم التحدث فحسب، بل يتعلم كيف يستمع وكيف يحلل العالم من حوله بأكثر الطرق كفاءة ممكنة. يمكن أن يؤدي هذا النهج في النهاية إلى أنظمة تتعامل مع لغات وأنواع من البيانات لا يوجد لها كتاب قواعد صممه البشر، مما يجعل الذكاء الاصطناعي أكثر قدرة على التكيف والشمول. ويشير العمل إلى أن التصميم اليدوي الجامد لكيفية تغذية الآلات بالبيانات قد يُستبدل قريباً بمنهج أكثر مرونة واكتشافاً ذاتياً، حيث تتعلم الآلة أفضل طريقة لقراءة العالم وفقاً لشروطها الخاصة.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 🤖 cs.AI →