SuTRA : Structurally-Unified Tokenization with Root Awareness
تقدم الورقة البحثية SuTRA، وهي خوارزمية تقسيم رموز مدركة للمورفولوجيا مصممة للغات الهندية تحافظ على هياكل الجذر واللواحق وعدم قابلية تقسيم الـ "أكشارا" للتغلب على "التفتت المورفولوجي" للطرق الحالية، مما يؤدي إلى تحسينات كبيرة في المحاذاة المورفولوجية، والقدرة على استعادة المعنى، وأداء الترجمة الآلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لا تقرأ الحواسيب الحديثة التي تفهم اللغة البشرية الكلمات بالطريقة التي نقرأ بها؛ فهي لا ترى الجملة كتدفق مستمر من المعنى، بل تراها كقائمة طويلة من القطع الصغيرة المنفصلة. ولجعل هذا الأمر يعمل، يجب على المهندسين أولاً تفكيك كل جملة إلى هذه الأجزاء الضئيلة، وهي عملية تسمى "التقطيع" (tokenization). لعقود من الزمن، كانت الطريقة القياسية للقيام بذلك إحصائية بحتة؛ حيث ينظر الحاسوب إلى مكتبة ضخمة من النصوص ويعد عدد المرات التي تظهر فيها مجموعات معينة من الحروف معاً. فإذا ظهر حرفان أو مجموعتان صغيرتان من الحروف معاً بشكل متكرر جداً، يقرر الحاسوب لصقهما في وحدة واحدة. هذا النهج ممتاز في ضغط البيانات، مما يسمح للحاسوب بمعالجة كميات هائلة من النصوص بسرعة، ومع ذلك، فإنه يعامل اللغة كحقيبة من الحروف العشوائية بدلاً من كونها نظاماً ذا بنية ومعنى. إنه يتجاهل القواعد العميقة لكيفية بناء الكلمات، مثل كيفية تغير الكلمة الأصل (root) عند إضافة سابقة (prefix) أو لاحقة (suffix). وتصبح هذه الفجوة مشكلة رئيسية في اللغات الغنية بهذه القواعد الهيكلية، لا سيما العديد من لغات الهند، حيث تُبنى الكلمات عن طريق دمج مقاطع لفظية وعلامات قواعدية معقدة بطرق غال Fruit often تفشل الطرق الحاسوبية القياسية في احترامها.
قام باحثون في "موتيلال أوسوال للخدمات المالية" و"المعهد الهندي للتكنولوجيا في بومباي" بتطوير نهج جديد لمعالجة هذه المشكلة، أطلقوا عليه اسم "SuTRA". لقد لاحظوا أن الطريقة الإحصائية القياسية غالباً ما تفكك الكلمات بطرق تدمر معناها، وأطلقوا على هذه الظاهرة التدميرية اسم "التفتت الصرفي" (morphological shattering). تخيل كلمة تتكون من معنى جوهري ونهاية قواعدية؛ قد يقوم حاسوب قياسي بتقسيم الكلمة في منتصف النواة تماماً، مما يفصل المعنى الأساسي عن بدايتها أو نهايتها، أو قد يدمج سابقة مع الجذر بطريقة تحجب أدوارهم المتميزة. وهذا أمر ضار بشكل خاص باللغات الهندية، التي تستخدم أبجديات حيث يشكل الحرف الساكن والحرف المتحرك التابع له وحدة بصرية واحدة غير قابلة للتجزئة تسمى "أكشارا" (akshara). وكثيراً ما تقوم أدوات التقطيع القياسية بتفكيك هذه الوحدات، فتفصل الحرف المتحرك عن الحرف الساكن الذي ينتمي إليه، وغالباً ما تتجاهل الحدود بين جذر الكلمة والملحقات القواعدية لها. والنتيجة هي تمثيل مجزأ حيث يكافح الحاسوب لفهم النواة الدلالية الحقيقية للكلمة، مما يجعل من الصعب على الآلة التعلم أو الترجمة بفعالية.
ولحل هذه المشكلة، أنشأ الفريق خوارزمية جديدة تحترم البنية الطبيعية لهذه اللغات. فبدلاً من ترك الحاسوب يقرر كيفية تقسيم الكلمات بناءً فقط على مدى تكرار ظهور الحروف معاً، علموا النظام التعرف على اللبنات الأساسية للغة أولاً. بدأوا بإنشاء مجموعة بيانات جديدة ومحققة للغات الهندية والماراثية والغوجاراتية. لم تكن هذه مجرد قائمة كلمات، بل كانت خريطة تفصيلية توضح بالضبط أين تبدأ جذور الكلمات وأين تنتهي، وأين تلتصق العلامات القواعدية. ولأن الموارد الموجودة كانت غير مكتملة أو تعتمد على قواعد غير دقيقة، استخدم الباحثون نموذج لغة كبير للتحقق من عمليات التقسيم وتصحيحها، مما يضمن تفكيك كل كلمة في مجموعة البيانات الخاصة بهم وفقاً لجذورها اللغوية الحقيقية. أصبحت مجموعة البيانات الذهبية هذه هي الأساس لتدريب أداة التقطيع الجديدة الخاصة بهم.
يعمل الأسلوب الجديد، SuTRA، على مرحلتين. أولاً، ينظر إلى النص ويجمع الحروف في وحدات المقطع اللفظي الطبيعية وغير القابلة للتجزئة، مما يضمن عدم انفصال حرف متحرك عن الحرف الساكن الذي يعدله. كما يحدد الحدود حيث ينتهي جذر الكلمة ويبدأ اللاحقة القواعدية، بناءً على مجموعة البيانات المتحقق منها. وفي المرحلة الثانية، يبني مفرداته عن طريق دمج هذه الوحدات معاً، ولكن مع اختلاف جوهري: يُمنع النظام من الدمج عبر الحدود التي حددها للتو. إذا حاول الحاسوب لصق سابقة بجذر بطريقة تنتهك البنية اللغوية، فإن النظام يعاقب تلك الخطوة. إنه يجبر الحاسوب على تعلم الجذور الصالحة أولاً، ومعاملتها ككتل صلبة وغير قابلة للكسر، قبل أن يُسمح له بدمجها مع أجزاء أخرى. وهذا يضمن أن القطع النهائية التي يستخدمها الحاسوب لفهم اللغة تحتوي دائماً على جذر كامل وذي معنى.
كانت نتائج هذا النهج الهيكلي كبيرة. فعند اختباره مقابل الطرق القياسية، أظهرت أداة التقطيع الجديدة قدرة أفضل بكثير على الحفاظ على الكلمات سليمة. ففي اللغة الهندية، حسنت المحاذاة بين قطع الكلمات التي يستخدمها الحاسوب والجذور اللغوية الفعلية بنسبة تقارب خمسة عشر بالمائة. وفي اللغة الماراثية، كان التحسن أكثر وضوحاً، حيث وصل إلى أكثر من أربعة وثلاثين بالمائة من حيث قدرة الحاسوب على استعادة المعنى الأصلي للكلمة من شظاياها. ترجم هذا الوضوح الهيكلي مباشرة إلى أداء أفضل في المهام الواقعية. فعندما استخدم الباحثون أداة التقطيع الجديدة لتدريب نظام ترجمة آلية للترجمة بين الهندية والماراثية، تحسنت جودة الترجمة بشكل ملحوظ؛ حيث أنتج النظام أخطاءً أقل والتقط الفروق الدقيقة في اللغة بدقة أكبر مما فعلت الأنظمة التي تستخدم الطرق الإحصائية القديمة. علاوة على ذلك، أثبتت أداة التقطيع الجديدة أنها أكثر متانة؛ فعندما يحتوي النص المدخل على أخطاء مطبعية صغيرة أو اختلافات طفيفة في الإملاء، حافظ النظام الجديد على سلامة جذر الكلمة، بينما انهارت الأنظمة القديمة غالباً، وتعاملت مع الخطأ المطبعي كإشارة لإعادة تقسيم الكلمة بالكامل.
أظهر الباحثون أيضاً أن هذا النهج لم يأتِ على حساب الكفاءة. فبينما أنشأت الطريقة الجديدة قطعاً أكثر قليلاً لبعض الكلمات لضمان صحتها لغوياً، إلا أنها لم تنشئ عدداً مفرطاً من الشظايا التي قد تبطئ عمل الحاسوب. فقد نجح النظام في الحفاظ على حجم مفردات يمكن التحكم فيه مع تحقيق فهم أعمق لبنية اللغة. ومن خلال إعطاء الأولوية للحدود الطبيعية للغة على حساب مجرد حسابات التكرار، أظهر الفريق أنه من الممكن توجيه الذكاء الاصطناعي لاحترام منطق الكلام البشري. يشير هذا العمل إلى أنه بالنسبة للغات ذات الهياكل المعقدة، فإن الطريق نحو ذكاء اصطناعي أفضل لا يكمن فقط في تغذية الحاسوب بمزيد من البيانات، بل في تعليمه رؤية اللغة كما يراها المتحدثون بها: كنظام متماسك من الجذور والملحقات، وليس كتدفق فوضوي من الحروف. وتقدم هذه النتائج مخططاً عملياً لتحسين كيفية تعامل الآلات مع اللغات الأكثر تنوعاً لغوياً في العالم، مما يضمن أن التكنولوجيا تخدم بنية اللغة بدلاً من تفكيكها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.