ProcAgent: An Agentic Framework for Procedural Task Guidance on Edge with Human-in-the-Loop
تقدم الورقة البحثية ProcAgent، وهو إطار عمل وكيل كامل يعمل على الأجهزة (on-device) ويعمل على أجهزة NVIDIA Jetson، يجمع بين الإدراك المستمر والاستدلال البصري عند الطلب والتفاعل مع العنصر البشري لتوفير توجيه فوري يحافظ على الخصوصية للمهام الإجرائية المعقدة مثل تجميع الأثاث.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول بناء قطعة أثاث معقدة، مثل رف كتب، لكن التعليمات عبارة عن فوضى مربكة من الرسوم التخطيطية الصغيرة. أنت بحاجة إلى شخص يراقب يديك، ويخبرك إذا كنت تمسك مسمارًا بطريقة خاطئة، ويذكرك أنه لا يمكنك وضع الرف العلوي قبل تثبيت الأرجل. في عالم العلوم، يسمى هذا "التوجيه الإجرائي" (procedural guidance). لسنوات، أصبحت الحواسيب أفضل في هذا المجال، لكنها عادة ما تعتمد على "عقل" في السحابة — خادم ضخم بعيد يقوم بمعالجة الفيديو ويرسل الإجابات مرة أخرى. هذا يشبه امتلاك مساعد شخصي يعيش في بلد آخر؛ إنه يعمل، لكنه بطيء، وعليك إرسال فيديو لغرفتك الفوضوية، مما يشبه قليلاً انتهاك الخصوصية.
السؤال الكبير الذي يطرحه الباحثون هو: هل يمكننا بناء مساعد ذكي يعيش بالكامل على جهاز صغير بجانبك، مثل مكبر صوت ذكي؟ يحتاج هذا الجهاز إلى أن يكون سريعًا بما يكفي لالتقاط أخطائك في الوقت الفعلي، وذكيًا بما يكفي لفهم ما تفعله، وخاصًا بما يكفي لعدم إرسال الفيديو الخاص بك إلى الإنترنت. التحدي هو أن هذه الحواسيب "الذكية" تحتاج عادةً إلى طاقة وذاكرة هائلين، مما يجعلها ساخنة جدًا وبطيئة جدًا لتكون مجرد صندوق صغير على طاولة. يستكشف هذا البحث كيفية بناء "عقل محلي" يمكنه توجيهك خلال مهمة ما دون الحاجة إلى السحابة، مع موازنة السرعة، والذكاء، والخصوصية.
تعرف على ProcAgent: رفيق بناء الأثاث المحلي فقط
تعرف على ProcAgent، وهو نوع جديد من المساعدات الرقمية المصممة لمساعدتك في بناء أشياء مثل أثاث ايكيا (IKEA). تخيل خادمًا آليًا يعيش بالكامل داخل صندوق كمبيوتر صغير (تحديدًا NVIDIA Jetson AGX Orin) موضوع على أرضيتك. على عكس المساعدين الآخرين الذين يبثون الفيديو الخاص بك إلى خادم ضخم في السماء، يحتفظ ProcAgent بكل شيء هناك في غرفة معيشتك. إنه يراقبك، ويفكر فيما تفعله، ويتحدث إليك، كل ذلك دون الاتصال بالإنترنت أبدًا.
بنى المؤلفون هذا النظام لأنهم أدركوا أن محاولة تجميع الأثاث هي ماراثون ذهني. عليك قراءة التعليمات، وتذكر أين وصلت، والنظر في القطع، وإصلاح الأخطاء، كل ذلك أثناء حمل قطع خشب ثقيلة. الكتيبات التقليدية لا يمكنها المساعدة إذا علقت، وتراكبات الفيديو لا يمكنها إخبارك إذا ارتكبت خطأً. تم تصميم ProcAgent ليكون مدربًا "في الوقت المناسب تمامًا" (just-in-time coach) لا يتحدث إلا عندما تكون هناك حاجة فعلية لذلك.
رقصة "الاقتراح والتحقق"
السر وراء ProcAgent هو رقصة ذكية من خطوتين تسمى "الاقتراح والتحقق" (propose-and-verify). تخيل أنك تلعب لعبة فيديو حيث شخصية سريعة ورخيصة (المُقترح - Proposer) تتحرك حول الشاشة لتخمن ما تفعله. هذه الشخصية سريعة وغير مكلفة للتشغيل، لذا يمكنها مراقبة كل حركة تقوم بها. قد تقول: "مهلًا، أعتقد أنك التقطت رجلًا للطاولة للتو!"
لكن المُقترح ليس مثاليًا؛ قد يرتبك بسبب الظلال أو حجب يدك للمشهد. لذا، فهو لا يصرخ بتخمينه للعالم أجمع. بدلاً من ذلك، يهمس لشخصية أخرى ذكية جدًا ولكنها أبطأ (المُحقق البصري - Visual Verifier). المُحقق يشبه حكمًا صارمًا. هو لا يستيقظ إلا عندما يقول المُقترح: "أعتقد أن تغييرًا كبيرًا قد حدث!" حينها يأخذ المُحقق نظرة فاحصة للتأكد: "نعم، لقد التقطت الرجل حقًا"، أو "لا، كنت تلوح بيدك فقط".
هذا أمر بالغ الأهمية لأنه يعني أن النظام ليس مضطرًا لتشغيل "الحكم" المكلف والبطيء على كل إطار فيديو. هذا يوفر البطارية، ويمنع الكمبيوتر من السخونة، ويجعل النظام سريعًا بما يكفي للتحدث معك في الوقت الفعلي.
"كتاب القواعد" و"الحلقة البشرية"
يحمل ProcAgent أيضًا "كتاب قواعد" رقميًا (نموذج مهام الحالة المحدودة - Finite State Task Model). هذا ليس مجرد قائمة خطوات؛ إنه خريطة لما هو مسموح به بعد ذلك. إذا حاولت وضع الرف العلوي قبل تثبيت الأرجل، سيقول كتاب القواعد: "مهلًا، هذا غير قانوني!"
ولكن الجزء الأكثر إنسانية هنا: عندما يرتبك الكمبيوتر أو يعتقد أنك ارتكبت خطأً، فإنه لا يجبرك على التوقف فحًا. بل يسألك! وهذا ما يسمى "الإنسان في الحلقة" (Human-in-the-Loop). إذا اعتقد النظام أنك تخطيت خطوة، فقد يقول: "مهلًا، هل تذكرت قلب الطاولة؟" إذا قلت: "لا، لم أفعل"، فإنه يساعدك على إصلاح الأمر. وإذا قلت: "نعم، فعلت ذلك، أنت مخطئ"، فإنه يثق بك ويستمر في العمل. هذا يجعل النظام يبدو كشريك متعاون وليس كآلة متسلطة.
ماذا وجدوا؟
اختبر الباحثون ProcAgent من خلال جعل 10 أشخاص يبنون طاولات قهوة من ايكيا بينما كان النظام يراقبهم. إليكم ما حدث:
- إنه سريع بما يكفي: على الرغم من قيامه بتفكير معقد على جهاز صغير، فقد أجاب على الأسئلة النصية البسيطة في حوالي ثانيتين. وعندما احتاج للنظر إلى الطاولة للإجابة على سؤال (مثل "هل هذا الرجل مستوٍ؟")، استغرق الأمر حوالي 8 ثوانٍ. هذا سريع بما يكفي للحفاظ على تدفق المحادثة.
- إنه خاص: نظرًا لأنه يعمل بالكامل على الجهاز، لم يرسل إطارًا واحدًا من الفيديو إلى السحابة. في دراسة المستخدمين، شعر الناس براحة أكبر وثقة في النظام لأنهم عرفوا أن خصوصيتهم آمنة.
- يعمل بشكل أفضل من مجرد "النظر": عندما قارنوا ProcAgent بنظام يكتفي بمجرد النظر إلى الفيديو والتخمين (بدون كتاب القواعد أو رقصة "الاقتراح والتحقق")، كان ProcAgent أفضل بكثير في تقديم نصائح صحيحة ومفيدة. كان "كتاب القواعد" و"الحلقة البشرية" هما المفتاح لضبط التسلسل الصحيح.
- المقايضة: يصبح النظام دافئًا قليلاً (حوالي 55.5 درجة مئوية) ويستهلك قدرًا كبيرًا من الطاقة، لكنه يبقى ضمن الحدود الآمنة ولا يتوقف عن العمل.
الخلاصة
يشير البحث إلى أنك لست بحاجة إلى خادم سحابي ضخم ليكون لديك مساعد ذكي ومفيد للمهام الفيزيائية. من خلال استخدام استراتيجية ذكية حيث يقوم "مخمن سريع" بالتحقق مع "حكم بطيء" عند الضرورة فقط، والسماح للإنسان بأن يكون له الكلمة الأخيرة عندما تصبح الأمور مربكة، يمكنك بناء نظام خاص، وسريع، ومفيد حقًا.
وجد المؤلفون أن هذا النهج يعمل جيدًا لتجميع الأثاث، لكنهم يعترفون بأنه لا يزال عملاً قيد التطوير. هم لا يدعون أنه مثالي لكل مهمة في العالم بعد، لكنهم أظهروا أنه من الممكن الحصول على مساعد ذكي ووكيل (agentic) يعيش بالكامل على جهازك الطرفي، ويحافظ على سلامة بياناتك واستقامة أثاثك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.