STR-DC: Spatio-Temporal Reliability Learning for Robust Deep Clustering of Japanese Handwritten Characters
تقترح الورقة البحثية إطار STR-DC، وهو إطار تجميع عميق يعزز المتانة في التعرف على الحروف اليابانية المكتوبة بخط اليد من خلال دمج الثقة الدلالية المعايرة مع استقرار السمات الزمنية عبر العصور لتصفية الملصقات الوهمية غير الموثوقة، محققاً أداءً هو الأفضل في فئته على العديد من المعايير المرجعية.
تخيل مكتبة جُمعت فيها ملايين الملاحظات المكتوبة بخط اليد، لكن لا أحد يعرف ما الذي تقوله. تختلف الكتابة اليدوية بشكل هائل من شخص لآخر؛ فبعض الكتاب دقيقون، والبعض الآخر فوضوي، وبعض الخطوط باهتة للغاية لدرجة أنها تكاد لا تُرى. ولجعل هذه المجموعة مفيدة، يجب على شخص ما فرز هذه الملاحظات إلى مجموعات بناءً على الرمز الذي تمثله. القيام بذلك يدوياً هو مهمة شاقة، تتطلب من الخبراء النظر في كل صورة وتحديد المجموعة التي تنتمي إليها. وفي عالم علوم الحاسوب، طور الباحثون طرقاً لتسمح للآلات بالقيام بهذا الفرز تلقائياً، وهي عملية تُعرف باسم "التجميع" (clustering). تتعلم هذه الآلات التعرف على الأنماط وتجميع الصور المتشابهة معاً دون أن تُخبر بالإجابات الصحيحة مسبقاً. ومع ذلك، فإن هذا عمل شاق؛ فعندما تخمن الآلة المجموعة لصور صعبة أو ضبابية، قد تكون واثقة جداً في إجابتها الخاطئة. وإذا استخدمت الآلة بعد ذلك تخمينها الخاطئ لتعليم نفسها، فإنها تعزز خطأها، مما يخلق حلقة من الخطأ تجعل المجموعات النهائية غير دقيقة.
يصبح التحدي أكثر تعقيداً مع الحروف اليابانية المكتوبة بخط اليد. فالعديد من هذه الحروف تشترك في أشكال متشابهة أو أنماط ضربات محلية، ويمكن لحرف واحد أن يبدو مختلفاً تماماً اعتماداً على من كتبه. فقد يجعل خط باهت أو ضربة مفقودة حرفين مختلفين يبدوان متطابقين بالنسبة للحاسوب. حاولت المنهجيات الحديثة حل هذه المشكلة عبر تعليم الآلة أن تكون أكثر حذراً بشأن مدى ثقتها في تخميناتها الخاصة، وهو مفهوم يُسمى "معايرة الثقة" (confidence calibration). يساعد هذا الآلة على إدراك متى تكون غير متأكدة، لكنه ليس حلاً مثالياً. فلا تزال الآلة قادرة على أن تكون واثقة في خطئها بشأن حرف يشبه حرفاً آخر، أو قد تستقر على مجموعة خاطئة وتظل عندها لأن الصورة مستقرة بما يكما يجعلها تبدو متسقة، حتى لو كان المعنى خاطئاً.
ولمعالجة هذه المشكلات المستمرة، طور الباحثان يانغ ليو وزيانغ لي نظاماً جديداً يسمى STR-DC. فبدلاً من الاعتماد على لحظة حكم واحدة، ينظر هذا النظام إلى تاريخ عملية تعلم الآلة. أدرك الباحثان أن الإجابة الموثوقة لا ينبغي أن تبدو صحيحة الآن فحسب، بل يجب أيضاً أن تظل ثابتة مع استمرار تعلم الآلة بمرور الوقت. لقد بنيا إطار عمل يتحقق من شيئين لكل صورة تحاول الآلة فرزها. أولاً، يسأل: هل لدى الآلة دليل قوي على أن هذه الصورة تنتمي لمجموعة حرف معين؟ هذا هو "الفحص الدلالي" (semantic check). ثانياً، يسأل: هل ظل فهم الآلة لهذه الصورة ثابتاً أثناء تدريبها؟ هذا هو "الفحص الزمني" (temporal check). ومن خلال اشتراط اجتياز الصورة لكلا الاختبارين، يقوم النظام بتصفية الحالات الصعبة التي قد تخدع طريقة أبسط.
اختبر الباحثون هذا النهج على ثلاث مجموعات كبيرة من الحروف اليابانية المكتوبة بخط اليد، والمعروفة باسم K49 وETL8-Hira75 وETL9-Hira71. تحتوي هذه المجموعات على آلاف الصور ذات مستويات متفاوتة من الصعوبة، بما في ذلك الضربات غير المكتملة وأساليب الكتابة المختلفة. وعندما شغّلوا نظامهم الجديد مقابل المنهجيات الحالية، كانت النتائج واضحة. ففي مجموعة K49، التي تحتوي على 49 فئة من الحروف، حققت طريقتهم دقة بلغت 57.68 بالمئة. وكان هذا تحسناً كبيراً عن أفضل طريقة سابقة، والتي سجلت 52.16 بالمئة. وكان التحسن أكثر لفتاً للنظر في مجموعة ETL8-Hira75، حيث وصلت دقة نظامهم إلى 78.46 بالمئة مقارنة بـ 68.96 بالمئة لأفضل نهج تالٍ. وفي المجموعة الثالثة، ETL9-Hira71، حققوا دقة بلغت 82.11 بالمئة. وتشير هذه الأرقام إلى أن النظام الجديد أفضل في تجميع الأشكال المكتوبة بخط اليد بشكل صحيح، حتى عندما تكون الاختلافات البصرية دقيقة.
لفهم سبب نجاح ذلك، نظر الباحثون بدقة فيما كان النظام يرفضه. ووجدوا أن الصور ذات الاستقرار المنخفض — تلك التي يتغير فيها التمثيل الداخلي للآلة بشكل كبير من خطوة تدريب إلى أخرى — كانت غالباً هي التي يتم فرزها بشكل غير صحيح. كانت هذه الصور غير المستقرة تميل إلى أن تكون ضبابية أو باهتة أو غامضة، وهي التي سببت الارتباك. ومن خلال إزالة هذه المرشحات غير المستقرة واستخدام المرشحات الواثقة والمستقرة فقط لتعليم الآلة، تجنب النظام فخ التعلم من أخطائه. كما تحقق الباحثون مما إذا كانت هذه الفكرة تعمل على الصور العامة، وليس فقط خط اليد. فقد اختبروا النظام على مجموعات صور قياسية تحتوي على أشياء وحيوانات يومية، وقد أدى أداءً أفضل من المنهجيات الرائدة الأخرى هناك أيضاً، مما يشير إلى أن منطق التحقق من كل من الثقة والاستقرار مفيد للعديد من أنواع البيانات المرئية.
تشير الدراسة إلى أنه لكي تتعلم الآلات بفعالية من البيانات غير المصنفة، فإنها تحتاج إلى وسيلة للتحقق من موثوقيتها بمرور الوقت، وليس فقط في لقطة واحدة. لا يدعي النهج الجديد حل كل مشكلة في التعرف على خط اليد، ويشير الباحثون إلى أنه لا يزال يتطلب بعض الضبط اليدوي ويضيف بعض العمل الإضافي إلى عملية التدريب. ومع ذلك، من خلال الجمع بين فحص مدى تأكد الآلة وفحص مدى ثبات فهمها، فقد خلقوا طريقة أكثر قوة لتنظيم هذه المجموعات الصعبة. يقدم هذا النهج مساراً أوضح لفرز الأرشيفات الضخمة من الوثائق المكتوبة بخط اليد، محولاً كومة فوضوية من الصور إلى مورد منظم يمكن دراسته وفهمه.
ملخص تقني: STR-DC للتجميع العميق القوي للرموز اليابانية المكتوبة بخط اليد
بيان المشكلة تتناول الورقة البحثية تحدي التجميع العميق غير الخاضع للإشراف للرموز اليابانية المكتوبة بخط اليد. وبينما يمكن للتجميع تنظيم المجموعات غير المصنفة لعمليات التصنيف والاسترجاع اللاحقة، إلا أن الكتابة اليدوية اليابانية تفرض صعوبات محددة: فئات متشابهة بصريًا، وأنماط كتابة متنوعة، وضربات قلم غير مكتملة، وجودة صور متدهورة. في مسارات التجميع العميق القياسية، غالبًا ما يؤدي الارتباك المبكر بين أشكال الرموز المتشابهة إلى تسميات مستعارة (pseudo-labels) غير صحيحة. وتتعزز هذه الأخطاء أثناء التدريب الذاتي، مما يؤدي إلى انحياز تأكيدي وحدود عنقودية خاطئة. وتعمل الطرق الموجودة، مثل التجميع العميق المعاير (CDC)، على التخفيف من حدة الثقة المفرطة عبر إدخال معايرة الثقة؛ ومع ذلك، فهي تعتمد فقط على اللقطة الحالية للتنبؤ. وبناءً على ذلك، فإن العينات ذات الضربات غير المكتملة أو الهياكل المحلية المشتركة قد لا تزال تتلقى احتمالات عالية مضللة، مما يؤدي إلى تعيينات واثقة ولكنها خاطئة. ومن ناحية أخرى، فإن الطرق التي تعتمد فقط على الاستقرار الزمني (مثل LFSS) قد تحتفظ بالعينات التي تكون مستقرة عبر العصور (epochs) ولكنها ضعيفة دلاليًا أو تم تعيينها بشكل خاطئ إلى عنقود ثابت خاطئ.
المنهجية: إطار عمل STR-DC يقترح المؤلفون STR-DC (التجميع العميق الموجه بالموثوقية المكانية والزمانية)، وهو إطار عمل مصمم لاختيار تسميات مستعارة موثوقة من خلال الجمع بين الثقة الدلالية المعايرة (الموثوقية المكانية) واستقرار الميزات عبر العصور (الموثوقية الزمانية). يعمل الإطار من خلال الآليات التالية:
البنية: يستخدم STR-DC بنية ذات رأس مزدوج تتكون من رأس تجميع ورأس معايرة، مبنيين على مستخرج ميزات مشترك. ويستخدم تعزيزات بيانات ضعيفة (W) وقوية (A). تُستخدم الرؤية الضعيفة لتقدير الموثوقية وتوليد التسميات المستعارة، بينما تُستخدم الرؤية القوية لتحسين رأس التجميع.
الموثوقية الدلالية المكانية (الثقة المعايرة):
يقوم رأس المعايرة بتقدير درجات ثقة أكثر موثوقية للرؤية المعززة ضعيفًا.
يتم تطبيق استراتيجية اختيار معايرة لكل عنقود متوقع: حيث يتم ترتيب العينات لكل عنقود متوقع حسب احتمالاتها المعايرة، ويتم اختيار عدد ديناميكي من العينات الأعلى لتشكيل مجموعة من المرشحين ذوي الثقة الدلالية العالية (Ssem).
تضمن هذه الخطوة أن العينات المختارة لديها أدلة قوية على عنقود الرمز المتوقع ضمن فضاء التنبؤ الحالي.
الموثوقية الزمانية (استقرار الميزات):
للتحقق من اتساق هؤلاء المرشحين، يقيس STR-DC استقرار تمثيلات الميزات عبر عصور التدريب.
لكل عينة، يتم حساب تشابه جيب التمام (cosine similarity) بين تمثيل ميزاتها الحالي في الرؤية الضعيفة (ziw,(t)) وتمثيل ميزاتها السابق من العصر السابق (ziw,(t−1)).
تُستخدم عتبة قائمة على المئويات (percentile-based threshold) تكيفية لتصفية العينات ذات الاستقرار الزمني المنخفض (الانجراف العالي في الميزات)، مما يولد قناع استقرار (mistab).
دمج الموثوقية المكانية والزمانية:
الابتكار الجوهري هو قاعدة الدمج الضمني الصارمة: يتم الاحتفاظ بالعينة للتدريب الذاتي فقط إذا استوفت كلاً من معيار الثقة الدلالية المعايرة ومعيار الاستقرار الزمني (mirel=misem∧mistab).
يضمن هذا التقاطع أن النموذج يتعلم من العينات التي ليست فقط منطقية دلاليًا، بل ومستقرة ديناميكيًا أيضًا، مما يؤدي فعليًا إلى تصفية النتائج الإيجابية الكاذبة ذات الثقة العالية والعينات المستقرة ولكن الضعيفة دلاليًا.
التحسين: يتم تحسين رأس التجميع باستخدام فقدان تجميع موثوق (Lrel) يُحسب فقط على المجموعة الموثوقة النهائية (Srel)، بينما يتم تدريب رأس المعايرة باستخدام هدف معايرة (Lcali) للحفاظ على تقدير دقيق للثقة.
المساهمات الرئيسية
إطار عمل مبتكر: تقديم STR-DC، الذي يعالج صراحةً قيود استخدام الثقة المعايرة فقط أو استقرار الميزات فقط لاختيار التسميات المستعارة في تجميع الرموز اليابانية المكتوبة بخط اليد.
إشارات موثوقية متكاملة: توضح الورقة أن الثقة الدلالية المعايرة واستقرار الميزات عبر العصور يوفران أدلة متكاملة. فالأولى تحدد الأدلة على مستوى الفئة، بينما يتحقق الثاني من اتساق التمثيل.
آلية دمج صارمة: اقتراح قاعدة دمج "و" (AND) صارمة تحتفظ فقط بالعينات التي تستوفي كلا المعيارين، مما يقلل من تأثير التعيينات الغامضة للرموز أثناء التدريب الذاتي.
التعميم: أظهرت الطريقة قدرتها على التعميم لما وراء الرموز اليابانية إلى معايير تجميع الصور العامة، مما يشير إلى أن آلية الموثوقية قوية عبر المجالات البصرية المختلفة.
النتائج التجريبية قيم المؤلفون STR-DC على ثلاثة مجموعات بيانات للرموز اليابانية المكتوبة بخط اليد (K49، ETL8-Hira75، ETL9-Hira71) وأربعة معايير عامة للصور (CIFAR-10، CIFAR-20، ImageNet-10، ImageNet-Dogs).
الرموز اليابانية المكتوبة بخط اليد: حقق STR-DC أداءً رائدًا (state-of-the-art) عبر جميع المقاييس (ACC، NMI، ARI).
في K49، حقق 57.68% ACC، متفوقًا على خط الأساس المعاير للثقة (CDC) بنسبة 5.52%.
في ETL8-Hira75، حقق 78.46% ACC، بتحسن قدره 9.50% عن CDC.
في ETL9-Hira71، حقق 82.11% ACC، متجاوزًا CDC بنسبة 1.83%.
معايير الصور العامة: تفوق STR-DC باستمرار على الطرق الرائدة (بما في ذلك ProPos، CoNR، DMICC، BYOL، MoCo-v2) في مجموعات CIFAR وImageNet، مع مكاسب ملحوظة بشكل خاص في مجموعات البيانات دقيقة التفاصيل مثل ImageNet-10 (97.2% ACC).
دراسات الاستئصال (Ablation Studies): أكدت النتائج أن أي مكون بمفرده ليس كافيًا. فقد أدى متغير "الثقة المعايرة فقط" إلى أداء جيد ولكنه كان أقل من النموذج الكامل، بينما كان متغير "استقرار الميزات فقط" أسوأ بكثير، خاصة في ETL8-Hira75 (31.00% ACC مقابل 78.46% للنموذج الكامل)، مما يؤكد ضرورة الأولوية الدلالية.
التصور: أظهرت تحليلات t-SNE والتوزيع أن العينات المجمعة بشكل صحيح تظهر عمومًا استقرارًا أعلى في الميزات عبر العصور، بينما تظهر العينات ذات الاستقرار المنخفض غالبًا بالقرب من حدود العناقيد أو في المناطق المتفرقة.
الأهمية والادعاءات تدعي الورقة أن STR-DC يوفر نهجًا أكثر قوة للتجميع غير الخاضع للإشراف للرموز اليابانية المكتوبة بخط اليد من خلال التخفيف من مخاطر الانحياز التأكيدي المتأصل في التدريب الذاتي. ومن خلال اشتراط الأدلة الدلالية والاتساق الزمني، ينظم الأسلوب مجموعات الرموز غير المصنفة بشكل أكثر فعالية، مما يسهل عمليات الفحص والتصنيف اللاحقة. ويشير المؤلفون بتواضع إلى أنه بينما تعد الطريقة فعالة، إلا أنها تعتمد على استقرار الميزات قصير المدى بين العصور المتجاورة وتتطلب اختيارًا تجريبيًا لعتبات الاستقرار. ويقترحون أن العمل المستقبلي يمكن أن يستكشف نمذجة زمنية أكثر تكيفًا وتحديثات ذاكرة فعالة لمجموعات البيانات واسعة النطاق. ويتم وضع هذا العمل كخطوة نحو تنظيم مجموعات الرموز اليابانية المكتوبة بخط اليد غير المصنفة، وليس كحل كامل لجميع مهام التعرف على الكتابة اليدوية.