AI-based worker guidance in assembly and disassembly operations using multimodal ego/exo-centric data capture and structured task knowledge
تقدم هذه الورقة نهجاً متمحوراً حول البيانات يستفيد من مقاطع الفيديو متعددة الأنماط (من منظور الشخص الأول ومن منظور خارجي) والسرد الصوتي لاستخراج معرفة هيكلية بالمهام من عروض الخبراء، مما يتيح توثيقاً إجرائياً فعالاً وتوجيهاً مدركاً للسياق لعمليات التجميع والتفكيك.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في همهمة هادئة داخل أرضية مصنع، يعمل فني ماهر على آلة معقدة. هو يعرف بالضبط أي مسمار يجب فكه أولاً، وكيفية توجيه كابل متشابك دون إتلافه، وماذا يفعل عندما يكون جزء ما مفقوداً أو متآكلاً. هذه المعرفة تعيش في يديه وعقله، وقد تراكمت عبر سنوات من الممارسة. لعقود من الزمن، حاول المهندسون تعليم الروبوتات القيام بهذا العمل، لكن الآلات تعاني أمام الواقع الفوضوي وغير المتوقع لعمليات التفكيك. وخلافاً لبناء منتج من الصفر، حيث تتناسب كل قطعة مع خطة مثالية، فإن تفكيك جهاز قديم غالباً ما يعني التعامل مع الصدأ، والمشابك المكسورة، والأجزاء التي تغيرت مواضعها بمرور الوقت. الأتمتة التقليدية، التي تعتمد على حركات جامدة ومبرمجة مسبقاً، غالباً ما تفشل عندما لا يتبع العالم السيناريو الموضوع لها. ولحل هذه المشكلة، يتجه الباحثون إلى نوع مختلف من الذكاء: أنظمة يمكنها التعلم من خلال مراقبة والاستماع إلى الخبراء البشر، واستيعاب ليس فقط ما يفعلونه، بل والسبب وراء أفعالهم.
قام فريق من الباحثين في معهد فراونهوفر والجامعة التقنية في برلين بتطوير طريقة جديدة لالتقاط هذه المعرفة الخبيرة وتحويلها إلى دليل للعمال. يركز نهجهم على المهمة الصعبة المتمثلة في تفكيك معدات الكهرباء والإلكترونيات والنفايات، مثل أجهزة الكمبيوتر القديمة. وبدلاً من محاولة إجبار الروبوت على اكتشاف كل خطوة بمفرده، يقوم النظام بتسجيل خبير بشري وهو يؤدي المهمة أثناء ارتداء نظارات ذكية والتحدث بصوت عالٍ عما يدور في ذهنه. يستخدم الإعداد كاميرتين: إحداهما مثبتة على نظارات الخبير لترى بالضبط ما يراه، وكاميرا ثابتة في الغرفة لتظهر مساحة العمل بأكملها. وبينما يعمل الخبير، يقوم بوصف أفعاله، ويشرح منطقه، ويشير إلى الأخطاء المحتملة. وهذا يخلق سجلاً غنياً يجمع بين ما تراه العين وما يشرحه الصوت.
بعد ذلك، يستخدم الباحثون برامج حاسوبية متقدمة لتحويل هذا التسجيل إلى خريطة مهيكلة للمهمة. أولاً، يقوم النظام بتحويل الكلمات المنطوقة إلى نص، وربط كل جملة باللحظة الدقيقة التي قيلت فيها. ثم يقرأ نموذج لغوي قوي هذا النص لفهم منطق العمل؛ حيث يستنتج أي الخطوات يجب أن تحدث قبل غيرها، وأي الخطوات يمكن القيام بها بأي ترتيب، وأي الأجزاء مستقلة. والنتيجة هي مخطط انسيابي مرئي، أو "رسم بياني للتتابع"، يوضح التسلسل الصحيح للإجراءات. هذه الخريطة ليست مجرد قائمة تعليمات؛ بل تفهم العلاقات بين الخطوات. على سبيل المثال، تعرف أن الغطاء يجب إزالته قبل الوصول إلى مسمار معين، ولكن يمكن إخراج مكونين داخليين مختلفين بأي ترتيب.
بمجرد إنشاء هذه الخريطة والتحقق منها من قبل إنسان لضمان صحتها، يتعلم النظام التعرف على الأفعال في الفيديو. فهو يقسم التسجيل إلى مقاطع صغيرة، كل منها مصنف بالخطوة المحددة التي يتم تنفيذها. وهذا يسمح للحاسوب بفهم التفاصيل المرئية للعمل، مثل كيفية إمساك اليد للأداة أو كيفية سحب مكون ما. يصبح النظام بعد ذلك جاهزاً لمساعدة العامل في الوقت الفعلي. فبينما يؤدي العامل المهمة، يراقب النظام بث الفيديو الخاص به، ويتعرف على ما يفعله، ويتحقق من تقدمه مقابل الخريطة. إذا كان العامل على المسار الصحيح، يظل النظام صامتاً. أما إذا تردد أو ارتكب خطأً، فيمكن للنظام اقتراح الخطوة التالية الصالحة أو عرض مقطع فيديو قصير للخبير وهو يؤدي ذلك الإجراء بدقة.
اختبر الفريق هذه الطريقة على تفكيك جهاز كمبيوتر مكتبي، وهي مهمة تتضمن العديد من الأجزاء والأدوات المتفاعلة. ووجدوا أن النظام استطاع بنجاح استخراج الهيكل المنطقي للوظيفة من عرض توضيحي واحد فقط لخبير. وعندما استخدموا تسجيلات من أربعة خبراء مختلفين، أصبح النظام أكثر موثوقية، وأفضل في التعرف على الأفعال واقتراح الخطوات التالية الصحيحة. وفي اختباراتهم، حدد النظام تسلسل الخطوات والارتباطات بينها بدقة عالية. كما تمكن من توجيه عامل خلال العملية، وتقديم نصائح تناسب الوضع الحالي. وأظهرت النتائج أنه حتى مع مثال واحد، يمكن للنظام إنشاء دليل مفيد، وأن إضافة المزيد من الأمثلة جعلته قوياً بما يكفي للتعامل مع الاختلافات في كيفية أداء الأشخاص المختلفين للمهمة.
يشير هذا العمل إلى مسار مستقبلي للصناعات التي تحتاج إلى إصلاح أو إعادة تدوير أو تفكيك المنتجات المعقدة. ومن خلال التقاط المعرفة الضمنية للعمال المهرة وتحويلها إلى دليل رقمي، يمكن للمصانع دعم العمال الأقل خبرة دون الحاجة إلى برمجة كل حركة لروبوت. النظام لا يستبدل الإنسان؛ بل يعمل كشريك معرفي يراقب، ويفهم، ويقدم المساعدة عند الحاجة. ويعتقد الباحثون أنه يمكن توسيع هذا النهج لمساعدة الروبوتات نفسها على تعلم هذه المهام، مما يسمح للآلات بالتخطيط لتسلسلات طويلة من الأفعال بناءً على العروض البشرية. وفي الوقت الحالي، يظل التركيز منصباً على مساعدة العمال البشر في التنقل عبر تعقيدات التصنيع الحديث، لضمان عدم ضياع المهارات القيمة، بل مشاركتها والحفاظ عليها للمستقبل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.