The Annotation Bottleneck in Persian Text NLP: Persian as an Annotation-Scarce Language
تجادل هذه الورقة بأن اللغة الفارسية يجب تصنيفها كلغة "شحيحة التعليق" بدلاً من كونها لغة منخفضة الموارد عالمياً، مما يكشف أن تحديات معالجة اللغات الطبيعية الخاصة بها تنبع من عدم توازن تغطية المهام، وعدم توافق المخططات، وعوائق الوصول، بدلاً من مجرد نقص في حجم البيانات المصنفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الحواسيب التي تفهم اللغة البشرية، يسود اعتقاد مستمر بأن بعض اللغات أصعب في التعليم من غيرها. وغالبًا ما يُعزى هذا الصعوبة إلى نقص النصوص الرقمية، كما لو أن اللغة تحتاج إلى مكتبة ضخمة من الكتب غير المصنفة لكي تعمل. ومع ذلك، فإن التحدي الحقيقي للذكاء الاصطناائي لا يكمثل فقط في امتلاك الكلمات، بل في امتلاك تلك الكلمات موسومة بعناية بالتعليمات. تخيل مكتبة حيث كُتب كل كتاب فيها بلغة أجنبية؛ إذا أردت أن يتعلم منها الحاسوب، فلا يمكنك مجرد إعطائه النص الخام. يجب عليك توفير دليل يشرح معنى كل جملة، ومن المتحدث، وما هي المشاعر. تسمى عملية إضافة هذه التعليمات بـ "التوسيم" (Annotation). وبالنسبة للعديد من اللغات، يوجد هذا الدليل بوفرة، أما بالنسبة لغيرها، فهو مفقود، مما يجعل من المستحيل تقريبًا تدريب أنظمة موثوقة حتى لو كان النص الخام وفيرًا.
هذا هو اللغز المحدد الذي يبحث فيه الباحثون في طهران فيما يتعلق باللغة الفارسية، المعروفة أيضًا باسم الفارسية. لسنوات، كان الوصف القياسي للغة الفارسية في مجال علوم الحاسوب هو أنها لغة "منخفضة الموارد"، وهو وصف يوحي بأنها تعاني أساسًا من نقص في البيانات. لكن تحليلًا جديدًا يشير إلى أن هذا الملصق هو أداة شديدة التبسيط. يجادل الباحثون بأن الفارسية لا تفتقر إلى المواد الخام؛ بل في الواقع، لها بصمة رقمية هائلة، حيث تظهر في ما يقرب من واحد بالمائة من المواقع الإلكترونية المعروفة في العالم وفي مجموعات هائلة من الأخبار والمدونات والأدب. المشكلة الحقيقية، كما وجدوا، ليست في نقص الكلمات، بل في نقص الأدلة القابلة للاستخدام. فالتعليمات المتاحة مشتتة، أو غير متسقة، أو مفقودة تمامًا لمهام محددة، مما يخلق عنق زجاجة حيث يعرف الحاسوب اللغة ولكنه لا يستطيع فهم الفروق الدقيقة في تقرير طبي، أو محادثة عابرة، أو حجة منطقية معقدة بشكل موثوق.
وللوصول إلى هذا الاستنتاج، لم يكتف الفريق في جامعة طهران بمجرد عد مجموعات البيانات. بدلاً من ذلك، قاموا ببناء خريطة مفصلة للمشهد الرقمي الفارسي، حيث صنفوا أربعة وثلاثين موردًا نصيًا متميزًا متاحًا حتى منتصف عام 2026. لقد نظروا في كل شيء، من مجموعات الشعر القديم إلى خلاصات وسائل التواصل الاجتماعي الحديثة، ومن أرشيفات الأخبار إلى تسجيلات الكلام. كما خرجوا من الفقاعة الأكاديمية لقياس مدى وجود اللغة الفارسية فعليًا على الإنترنت المفتوح، باستخدام أدوات مستقلة لمسح ملايين الصفحات. كان هدفهم هو معرفة ما إذا كان مقدار البيانات الموسومة يتطابق مع الحجم الهائل للنص المتاح. ووجدوا أن العلاقة ليست متساوية على الإطلاق. ففي بعض المجالات، مثل تحديد الأسماء في المقالات الإخبارية أو تحليل قواعد الجمل القياسية، يكون مقدار البيانات الموسومة مرتفعًا بشكل مفاجئ، حتى عند مقارنته باللغة الإنجليزية. في هذه "الجزر" المحددة، تحظى الفارسية بخدمة جيدة.
ومع ذلك، تتغير الصورة بشكل كبير عندما فحص الباحثون مهام أخرى. فعندما فحصوا الموارد الخاصة بفهم الحجج المنطقية أو استنتاج المعنى من السياق، انخفض مقدار البيانات الموسومة بشكل كبير، ليدخل تحت ما هو متوقع بالنظر إلى حضور اللغة على الويب. كما سلطت الدراسة الضوء على أن البيانات الموجودة غالبًا ما تعاني من "الاحتكاك". إذ تستخدم المشاريع المختلفة قواعد مختلفة لتوسيم النصوص، مما يجعل من الصعب دمجها. بعض الموارد محجوزة خلف تراخيص غير واضحة، بينما يفتقر البعض الآخر إلى التوثيق اللازم لاستخدامها بشكل صحيح. وهذا يعني أنه حتى عندما توجد مجموعة بيانات، فقد تكون غير قابلة للاستخدام لباحث جديد يحاول بناء نظام لغرض مختلف، مثل تحليل العقود القانونية أو فهم اللهجات الإقليمية.
ووسع الباحثون تحقيقاتهم لتشمل اللغة المنطوقة ليروا ما إذا كان هذا النمط ينطبق على الصوت أيضًا. ووجدوا قصة مشابهة: فبينما تتوفر الآن آلاف الساعات من الكلام الفارسي المسجل، فإن عمق التعليمات المرفقة بها يتفاوت بشكل هائل. بعض التسجيلات تحتوي على تحليلات صوتية مفصلة، بينما تحتوي أخرى على نصوص مكتوبة بسيطة فقط. وهذا يؤكد أن المشكلة ليست في الغياب التام للبيانات، بل في التوزيع غير المتكافئ للإشراف المحدد وعالي الجودة المطلوب لمهام مختلفة. ترفض الدراسة صراحةً فكرة أن الفارسية تعاني من نقص عالمي في حجم البيانات الموسومة. وبدلاً من ذلك، تقترح تشخيصًا أكثر دقة: الفارسية لغة "شحيحة التوسيم" (annotation-scarce). يصف هذا المصطلح حالة لا يكمن فيها النقص في العدد الإجمالي للكلمات، بل في توافر التعليمات المتسقة والمتاحة والموثقة جيدًا عبر النطاق الكامل للمهام التي قد يحتاجها الحاسوب للقيام بها.
إن تداعيات هذا الاكتشاف كبيرة لكيفية تحرك المجال إلى الأمام. فإذا كانت المشكلة تكمن ببساطة في نقص النص، فإن الحل سيكون في جمع المزيد من المواقع الإلكترونية. ولكن بما أن المشكلة هي نقص الأدلة القابلة للاستخدام، فإن الحل يتطلب تحولًا في الاستراتيجية. يقترح الباحثون أن المجتمع بحاجة إلى التوقف عن معاملة كل مجموعة بيانات جديدة كفوز مستقل، والبدء في التركيز على جعل الموارد الموجودة أسهل في العثور عليها، ودمجها، والثقة بها. إنهم يدعون إلى إنشاء سجل عام يتتبع ليس فقط حجم مجموعة البيانات، بل أيضًا ترخيصها، وقواعدها المحددة، وكيفية تداخلها مع الموارد الأخرى. كما يؤكدون على الحاجة إلى توثيق أفضل وحماية الأشخاص الذين يبتكرون هذه التوسيمات، لضمان أن تعكس البيانات تنوع اللغة بدلاً من مجرد لهجة قياسية واحدة.
في نهاية المطاف، تعمل هذه الورقة كـ "تصحيح" لافتراض ساد لفترة طويلة. فهي توضح أن الفارسية ليست لغة تكافح لإيجاد صوتها في العصر الرقمي؛ بل هي لغة ذات حضور عالٍ ومرئي، لكنها تعوقها حاليًا بنية تحتية مجزأة من التعليمات. إن الطريق إلى الأمام ليس مجرد جمع المزيد من البيانات الخام، بل تنظيم البيانات الموجودة بالفعل، وملء الفجوات المحددة حيث تفتقر التعليمات، وضمان أن تكون الأدلة التي نبنيها قوية بما يكفي للتعامل مع تعقيد التواصل البشري. ومن خلال تحويل التركيز من الكمية إلى الجودة والقابلية للاستخدام، يمكن للمجال أن يتجاوز عنق الزجاجة ويبني أنظمة تفهم حقًا ثراء اللغة الفارسية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.