Digital Twin Driven Textile Classification and Foreign Object Recognition in Automated Sorting Systems

إليك ملخص تقني مفصل للورقة البحثية بعنوان "التصنيف المعتمد على التوأم الرقمي للمنسوجات والتعرف على الأجسام الغريبة في أنظمة الفرز الآلي."

1. بيان المشكلة

تتناول الورقة التحديات الحرجة في إعادة تدوير المنسوجات المستدامة، وتحديداً أتمتة فرز الملابس القابلة للتشوه (الملابس) من التجمعات غير المنظمة والمزدحمة. وتشمل الصعوبات الرئيسية ما يلي:

• القابلية للتشوه: تتميز الملابس بتباين عالٍ داخل الفئة الواحدة، والانسداد الذاتي، والديناميكيات غير الصلبة، مما يجعل من الصصعب على الروبوتات الإمساك بها ومعالجتها.
• الازدحام والأجسام الغريبة: غالباً ما تحتوي تدفقات إعادة التدوير على أكوام مختلطة من الأجسام الغريبة (البلاستيك، المعادن، التغليف) التي يجب اكتشافها وفصلها.
• الضغوط التنظيمية: يتطلب "جواز سفر المنتج الرقمي" (DPP) المرتقب من الاتحاد الأوروبي تعزيز التتبع وشفافية المواد، مما يستلب وجود أنظمة إدراك قوية للمنسوجات القديمة وغير المسجلة.
• قصور الأعمال السابقة: تعتمد الحلول الحالية غالباً على الشبكات العصبية التلافيفية (CNNs) سابقة التدريب ذات فئات ثابتة، أو تعمل في بيئات مختبرية محكومة تفتقر إلى القابلية للتوسع، والمتانة تجاه الملابس الكبيرة، وقدرات اكتشاف الأجسام الغريبة.

2. المنهجية

يقترح المؤلفون خلية روبوتية ثنائية الأذرع متكاملة مع توأم رقمي (Digital Twin) ونماذج لغوية بصرية (VLMs) لإنشاء نظام فرز قوي متعدد المراحل.

أ. الأجهزة الروبوتية والإعداد

• الروبوتات: ذراعان روبوتيان من نوع UR7e (يُطلق عليهما "أليس" و"بوب") مجهزان بقابضات Robotiq 2F-140.
• الاستشعار:
  • الرؤية: كاميرات Intel RealSense (RGB-D) مزدوجة لاكتشاف الإمساك وتصنيف الأشياء.
  • اللمس: مستشعرات أصابع سعوية من نوع CapTac على الروبوت "أليس" لاكتشاف نجاح الإمساك، والقوى العمودية/القصية، ومنع الإغلاق الزائد للقابض.
• سير العمل:
  1. الالتقاط (Pick): يقوم الروبوت "أليس" بالإمساك بعنصر من سلة مزدحمة (المنطقة A).
  2. النقل والمد (Transfer & Spread): ينقل "أليس" العنصر إلى طاولة الفحص (المنطقة B)، حيث يقوم بحركة "هز" لتخفيف الملابس وسحبها فوق الحافة لإحداث مد سلبي لتحسين الرؤية.
  3. التصنيف (Classify): يقوم نموذج لغوي بصري (VLM) بتحليل صورة RGB للملابس في المنطقة B.
  4. الفرز (Sort): بناءً على التصنيف، ينقل "أليس" العنصر إلى المنطقة C (حاويات مخصصة أو تسليم للروبوت "بوب").

ب. التوأم الرقمي وتخطيط الحركة

• البيئة: يتم الحفاظ على نسخة افتراضية للخلية الروبوتية باستخدام MoveIt ضمن بيئة RViz.
• تجنب الاصطدام: يدمج النظام سحابة النقاط ثلاثية الأبعاد (3D point clouds) المقطعة للمنسوجات المفحوصة في التوأم الرقمي. وهذا يسمح بتخطيط مسار مدرك للاصطدام، مما يضمن تجنب الروبوت للعوائق (بما في ذلك الملابس نفسها) أثناء المعالجة.
• تدفق البيانات: يدير ROS 2 (Jazzy) الاتصال بين الروبوتات، المستشعرات، والتوأم الرقمي. يمكن تقسيم سحب النقاط وتصديرها كملفات .stl للمحاكاة أو لمزيد من التدريب.

ج. محرك التصنيف (VLMs)

بدلاً من الشبكات العصبية التلافيفية التقليدية، يستخدم النظام النماذج اللغوية البصرية (VLMs) للتصنيف الدلالي بنظام "التعلم الصفري" (zero-shot).

• الفئات: سراويل، قميص، ملابس داخلية، جوارب، أخرى (أجسام غريبة/غير قابلة للتعريف)، وفارغ.
• التنفيذ: تعمل النماذج عبر واجهة برمجة تطبيقات Ollama بلغة Python. يستخدم النظام استراتيجية هندسة الأوامر (prompt engineering) لإجبار النماذج على إخراج كلمة واحدة فقط لضمان موثوقية التحليل.
• الاختبار المرجعي: تم اختبار تسعة نماذج VLMs من خمس عائلات:
  • Qwen (Qwen3-VL, Qwen3.5)
  • Llama (Llama 3.2, Llama 4)
  • Gemma (Gemma 3)
  • LLaVA
  • MiniCPM

3. المساهمات الرئيسية

1. نظام روبوتي متكامل: بنية مبتكرة تجمع بين الاستدلال الدلالي القائم على VLM مع اكتشاف الإمساك التقليدي والتغذية الراجعة اللمسية في بيئة صناعية ثنائية الروبوت.
2. التوأم الرقمي للمناولة: دمج سحب النقاط ثلاثية الأبعاد المقطعة للأجسام القابلة للتشوه في التوأم الرقمي من أجل تخطيط مسار مدرك للاصطدام، مما يحسن بشكل كبير من موثوقية المناولة في البيئات المزدحمة.
3. اختبار مرجعي شامل للنماذج اللغوية البصرية (VLM): تقييم صارم لتسعة نماذج VLs متطورة على مجموعة بيانات مكونة من 223 سيناريو فحص، مع تقييم محدد لـ:
   • دقة كل فئة لأنواع معينة من الملابس.
   • قدرات اكتشاف الأجسام الغريبة.
   • سلوك الهلوسة (مثل اكتشاف الأجسام عندما تكون الطاولة فارغة).
   • الأداء الحسابي تحت قيود الأجهزة.
4. البيانات المفتوحة: يلتزم المؤلفون بإصدار الصور الخام والتسميات لجميع الأشياء التي تمت معالجتها لأبحاث المستقبل.

4. النتائج التجريبية

تم اختبار النظام باستخدام 219 عنصراً (ملابس + أجسام غريبة) بالإضافة إلى 4 سيناريوهات فارغة.

• الدقة:
  • حققت عائلة نماذج Qwen أعلى دقة إجمالية. حيث وصلت دقة Qwen3-VL:235b و Qwen3.5:35b إلى ~87.9% إجمالاً.
  • أظهرت نماذج Qwen أداءً فائقاً في اكتشاف "أخرى" (الأجسام الغريبة) وفئات محددة مثل الجوارب (دقة 100% لنموذج Qwen3-VL:235b).
  • قدمت نماذج Gemma3:12b مقايضة تنافسية بين السرعة والدقة (76.23% إجمالاً) مناسبة للنشر عند الحافة (edge deployment)، لكنها عانت مع الملابس الكبيرة بسبب مشاكل الوضعية.
  • أظهرت نماذج Llama معدلات هلوسة أعلى، حيث فشلت غالباً في اكتشاف الطاولات الفارغة أو أخطأت في تصنيف العناصر بعد حالات مشابهة متعددة.
• الهلوسة والمتانة:
  • كان Gemma3:12b النموذج الوحيد الذي حدد بدقة 100% من سيناريوهات الطاولة الفارغة.
  • كثيراً ما انتهكت نماذج LLaVA قيود المخرجات عبر تقديم جمل كاملة بدلاً من فئات الكلمة الواحدة.
• الأداء الحسابي:
  • النماذج خفيفة الوزن (Gemma3, MiniCPM): استدلال سريع (~0.4 ثانية – 0.6 ثانية)، مناسب للنشر السريع عند الحافة.
  • النماذج الكبيرة (Qwen3-VL:235b, Llama4): استدلال أبطأ (يصل إلى 20 ثانية لـ Qwen3.5:122b على H200) ولكن بدقة أعلى.
  • الأجهزة: بينما تتطلب النماذج الكبيرة وحدات معالجة رسومية عالية الأداء (مثل Nvidia H200 بذاكرة 144 جيجابايت)، أظهر نموذج Qwen3.5:35b أن الدقة العالية يمكن تحقيقها أيضاً على وحدات معالجة الرسوميات الاستهلاكية المتطورة.

5. الأهمية والآفاق المستقبلية

• الجدوى الصناعية: تثبت هذه الدراسة أن الجمع بين الاستدلال الدلالي لـ VLM والميكانيكا الروبوتية التقليدية (تخطيط الإمساك، التوائم الرقمية) هو أمر ممكن لفرز المنسوجات المستقل والآلي في بيئات صناعية حقيقية ومزدحمة.
• الامتثال التنظيمي: يعالج النظام مباشرة احتياجات جواز سفر المنتج الرقمي للاتحاد الأوروبي من خلال تمكين تصنيف المنسوجات القديمة والأجسام الغريبة دون الحاجة للتدريب المسبق على فئات محددة.
• العمل المستقبلي: يخطط المؤلفون لتنفيذ عمليات التسليم من روبوت لآخر، واستخدام المد المتعدد للأذرع لتحسين فرد الملابس (لتحسين دقة التصنيف للأشياء الكبيرة)، واستكشاف طرق التجميع (Ensemble methods) (الجمع بين Qwen و Gemma) لتحقيق التوازن بين السرعة والدقة وتقليل الهلوسة.

في الختام، تمثل هذه العمل خطوة مهمة نحو مناولة الأجسام القابلة للتشوه، بالانتقال من المختبرات الجامدة إلى نظام قوي مدفوع بالإدراك قادر على التعامل مع تعقيدات إعادة تدوير المنسوجات في العالم الحقيقي.