M2HRI: An LLM-Driven Multimodal Multi-Agent Framework for Personalized Human-Robot Interaction

إليك ملخص تقني مفصل لورقة البحث بعنوان: "M2HRI: إطار عمل متعدد الوكلاء ومتعدد الوسائط مدفوع بالنماذج اللغوية الكبيرة للتفاعل بين الإنسان والروبوت بشكل مخصص."

1. بيان المشكلة

بينما تقدم التفاعل بين الإنسان والروبوت (HRI) بشكل كبير في سيناريوهات الوكيل الواحد، لا يزال التفاعل متعدد الوكلاء غير متطور بما يكفي. تتعامل الأنظمة الروبوتية المتعددة الحالية عادةً مع الروبوتات كـ وحدات متطابقة وظيفيًا وقابلة للتبادل. هذا النهج يتجاهل عاملين حاسمين في البيئات الاجتماعية:

1. فردية الوكيل: في المساحات المشتركة، تحتاج الروبوتات إلى هويات متميزة (شخصية وذاكرة) لتشكيل إدراك المستخدم وتفاعله. بدون الفردية، يبدو النظام الروبوتي المتعدد كأنه مجموعة من الآلات المتطابقة بدلاً من فريق من الوكلاء الاجتماعيين المتميزين.
2. تعقيد التنسيق: تؤدي إدخال الفردية إلى تعقيد التنسيق. قواعد تبادل الأدوار البسيطة لا تكفي عندما تمتلك الروبوتات شخصيات وتواريخ مختلفة. يجب على النظام تحديد أي روبوت يجب أن يستجيب بناءً على الهوية، والسياق، والملاءمة الاجتماعية لتجنب التداخلات الفوضوية وضمان سلوك جماعي متماسك.

تعالج الورقة الفجوة في نمذجة فردية الوكيل (الشخصية والذاكرة طويلة المدى) جنباً إلى جنب مع التنسيق المهيكل في بيئة متعددة الوسائط ومتعددة الوكلاء.

2. المنهجية: إطار عمل M2HRI

يقترح المؤلفون M2HRI، وهو إطار عمل مبني على النماذج اللغوية الكبيرة (LLMs) ونماذج الرؤية واللغة (VLMs) الذي يدمج الإدراك، والذاكرة، والشخصية، والتنسيق المركزي.

أ. بنية الوكيل

يتم نمذجة كل وكيل روبوت ($a_i$) كمزيج من ملف تعريف الهوية ($\phi_i$) و حلقة معرفية ($\Lambda_i$):

• ملف تعريف الهوية ($\phi_i$):
  • الذاكرة ($M_i$): مقسمة إلى ذاكرة عاملة (سياق قصير المدى)، وذاكرة دلالية (معرفة واقعية)، وذاكرة عرضية (تفضيلات المستخدم والتفاعلات السابقة). يحتفظ كل وكيل بمخزن خاص طويل المدى.
  • الشخصية ($B_i$): يتم نمذجتها باستخدام نموذج العوامل الخمسة الكبرى (الانفتاح، اليقظة، الانبساط، المقبولية، العصابية). يتم تقسيم السمات إلى درجات (1–5) وربطها بأوصاف لغوية طبيعية لتهيئة استدلال النموذج اللغوي الكبير وتوليد الاستجابة.
  • القدرة على العمل ($\Gamma_i$): مجموعة من العمليات الأولية القابلة للتنفيذ (الكلام، الإيماءات، الحركة).
• الحلقة المعرفية ($\Lambda_i$):
  • الإدراك: يستخدم نموذج رؤية ولغة (VLM) لمعالجة المدخلات متعددة الوسائط (نسخ الكلام + الإطارات المرئية) إلى ملاحظة دلالية موحدة.
  • التخطيط: يقوم مخطط يعتمد على النماذج اللغوية الكبيرة بتوليد سياسة تفاعل مجسدة (قائمة مرتبة من الإجراءات) بناءً على الملاحظة، والذاكرة، والشخصية.
  • التنفيذ: يربط السياسة بالسلوكيات الفيزيائية للروبوت (مثل روبوتات NAO).

ب. آلية التنسيق المركزي

لإدارة التفاعل بين الوكلاء المتعددين، يستخدم M2HRI منسقاً مركزياً:

• المدخلات: يجمع الملاحظات المحلية، وسياق التفاعل، وناقلات الشخصية من جميع الوكلاء.
• العملية: يقوم نموذج لغوي كبير بتقييم "درجة احتمالية الاستجابة" ($r_{i,t}$) لكل وكيل بناءً على من هو الأكثر ملاءمة اجتماعياً وسياقياً للتحدث.
• المخرجات: يختار الوكلاء الذين يتجاوزون عتبة معينة للاستجابة بالتتابع، مما يمنع التداخل ويضمن تبادل أدوار متماسكاً.

ج. تنفيذ النظام

• الأجهزة: روبوتان بشريان من نوع NAO مجهزان بكاميرات وميكروفونات.
• البرمجيات: يتم نقل المعالجة المعرفية إلى محطة عمل خارجية.
  • VLM: لربط المشهد وتوليد الملاحظات.
  • الذاكرة: تم تنفيذها عبر ChromaDB (دلالية/عرضية) باستخدام تضمينات نصية، تدار بواسطة وكيل LangGraph.
  • التخطيط/التنسيق: مدعوم بـ GPT-4o-mini (عبر AutoGen) ومنسق يعتمد على النماذج اللغوية الكبيرة.
  • التواصل: استدعاءات أدوات بصيغة JSON مهيكلة ومسلسلة عبر ZMQ إلى وسائط NaoQi.

3. المساهمات الرئيسية

1. تصميم إطار العمل: تقديم M2HRI، وهو أول إطار عمل يجمع بين الهويات المتميزة للوكلاء (الشخصية + الذاكرة طويلة المدى) و التنسيق المركزي في بيئة روبوتية متعددة ومتعددة الوسائط.
2. الرؤية النظرية: يثبت أن معاملة الروبوتات كأدوات قابلة للتبادل هو قصور؛ فالهويات المتميزة ضرورية لكي يدرك المستخدمون الروبوتات كشركاء اجتماعيين فريدين.
3. التحقق التجريبي: إجراء دراسة مستخدمة مضبوطة ($n=105$) لتقييم تأثير الشخصية، والذاكرة، والتنسيق على جودة التفاعل بصرامة.

4. النتائج التجريبية

قيمت الدراسة ثلاثة أسئلة بحثية (RQs) باستخدام نهج المراقب القائم على الفيديو مع 105 مشاركاً عبر سبعة ظروف.

RQ1: تأثير الشخصية (التمييز والارتباط)

• التمييز: استطاع المستخدمون التمييز ببراعة بين الروبوتات ذات الشخصيات المختلفة. كانت سمات مثل الانفتاح و العصابية متميزة للغاية (المتوسط $\approx$ 4.8/5)، بينما كانت اليقظة أقل بروزاً في التفاعلات القصيرة.
• الاتساق: حافظت الروبوتات على شخصيات ثابتة طوال التفاعلات (جميع القيم $p < .001$).
• الارتباط: عززت سمات التعبير العالية (الانفتاح، العصابية) الارتباط بشكل كبير. أما السمات الأقل تعبيراً (اليقظة، المقبولية) فقد كان تأثيرها أضعف على الارتباط.
• التعرف: حدد المشاركون السمات المقصودة بمعدلات أعلى بكثير من الصدفة (تصل إلى 93.3% للانفتاح/الانبساط).

RQ2: تأثير الذاكرة طويلة المدى

• التخصيص: تفوق شرط "مع الذاكرة" بشكل كبير على شرط "بدون ذاكرة" في دقة الاستدعاء ($p < .001$) و الوعي بالتفضيلات ($p < .001$).
• الطبيعية: حسنت الذاكرة من طبيعية التفاعل، رغم أن التأثير كان أصغر من تأثير التخصيص. يشير هذا إلى أنه بينما تحافظ الذاكرة العاملة (قصيرة المدى) على التدفق الأساسي، فإن الذاكرة طويلة المدى حاسمة للاستمرارية المخصصة.

RQ3: تأثير التنسيق

• التماسك: حسن التنسيق المركزي بشكل كبير من تدفق المحادثة و ملاءمة الاستجابة.
• تجنب التداخل: كان التأثير الأكثر أهمية هو منع المقاطعات. عانى شرط "بدون تنسيق" من تداخلات متكررة، بينما حافظ الشرط المنسق على تبادل أدوار صارم.
• الاستنتاج: التنسيق ضروري لمنع "الفوضى" الناتجة عن الاستجابات المتزامنة ولضمان أن يكون التفاعل منظماً اجتماعياً.

5. الأهمية والخاتمة

تؤسس هذه الورقة لمبدأ أن التفاعل الفعال بين الإنسان والروبوت متعدد الوكلاء يتطلب نهجاً مزدوجاً:

1. الفردية: يجب أن تمتلك الروبوتات شخصيات وذاكرات متميزة لتُدرك كوكلاء اجتماعيين فريدين، مما يعزز ارتباط المستخدم وتخصيص التجربة.
2. التنسيق: لا بد من وجود آلية تنسيق مهيكلة لإدارة هؤلاء الوكلاء الأفراد، لضمان أن تكون تفاعلاتهم متماسكة، وغير متداخلة، ومناسبة اجتماعياً.

الآثار المترتبة:

• التصميم: يجب ألا تكون فرق الروبوتات الاجتماعية المستقبلية متجانسة؛ بل يجب تصميمها بشخصيات متميزة وبنيات ذاكرة مشتركة.
• البنية: التنسيق المركزي يتفوق على اتخاذ القرار اللامركزي المعتمد على السياق المحلي فقط للحفاظ على الأعراف الاجتماعية في الحوار الروبوتي المتعدد.
• العمل المستقبلي: يخطط المؤلفون لاستكشاف نمذجة الشخصية التكيفية والنشر طويل المدى في العالم الحقيقي لزيادة صقل هذه الديناميكيات.

باخت-صار، يثبت M2HRI أن الجمع بين الفردية المدفوعة بالنماذج اللغوية الكبيرة و التنسيق المهيكل يخلق تجربة تفاعل متعددة الروبوتات أكثر تماسكاً، وتخصيصاً، وقبولاً اجتماعياً.