💬 NLP

Multimodal Rapport Estimation in Real-World HRI

تُظهر هذه الدراسة أن الدمج متعدد الوسائط لنماذج اللغات الكبيرة ذات التعلم الصفري (وتحديداً Gemini 2.5 Flash) مع نماذج صوتية وبصرية مدربة مسبقاً (Hubert و V-JEPA) يُقدر بفعالية مستوى الألفة المقيم من قبل طرف ثالث في بيئات التفاعل بين الإنسان والروبوت الواقعية، متفوقاً بذلك على النماذج الفردية ومسلطاً الضوء على ضرورة مراعاة التباين السياقي مثل مدة التفاعل وحجم المجموعة.

المؤلفون الأصليون: Akihiro Sakuramoto, Takato Hayashi, Ryo Miyoshi, Yuki Okafuji, Shogo Okada

نُشر 2026-08-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Akihiro Sakuramoto, Takato Hayashi, Ryo Miyoshi, Yuki Okafuji, Shogo Okada

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالم التفاعل بين الإنسان والروبوت الصاخب، سعى الباحثون منذ فترة طويلة لإيجاد وسيلة لقياس الخيط غير المرئي الذي يربط الشخص بالآلة. هذا الاتصال، الذي يُطلق عليه غالبًا "الألفة" (rapport)، ليس سمة شخصية ثابتة بل هو شعور ديناميكي ينشأ عندما يولي الطرفان اهتمامًا لبعضهما البعض، وينسقان أفعالهما، ويتشاركان شعورًا بالود. وبينما نجح العلماء في دراسة هذه الرابطة في مختبرات هادئة ومنضبطة حيث يتم التحكم في كل متغير، فإن العالم الحقيقي أكثر فوضوية بكثير. ففي متجر مزدحم أو ساحة عامة، يتنقل الناس في المحادثات وفقًا لسرعتهم الخاصة، وقد تتجمع مجموعات من الأصدقاء حول روبوت في آن واحد، ولا يُجبر أحد على البقاء. والسؤال المركزي للروبوتات الحديثة هو ما إذا كانت الأدوات المستخدمة لقياس الاتصال في المختبر لا تزال صالحة للعمل عندما تكون البيئة غير خاضعة للسيطرة ويكون المشاركون أحرارًا في المغادرة متى شاؤوا.

وللإجابة على ذلك، قام فريق من الباحثين بوضع روبوت اجتماعي في صيدلية يابانية، وهو إعداد حيث يمكن للزبائن الاقتراب بحرية دون أي تعليمات مسبقة. وعلى مدار ستة أيام، انخرط الروبوت، وهو مجسم صغير موضوع على طاولة يدعى "سوتا"، في محادثات عابرة مع الزوار بينما كان مشغل بشري يوجه كلامه وإيماءاته من مسافة بعيدة. سجل الفريق 62 من هذه التفاعلات، حيث وثقوا الفيديو والصوت لأشخاص تراوحت حالاتهم بين المتسوقين المنفردين ومجموعات صغيرة من الأصدقاء. ثم طلبوا من ثلاثة حكام بشريين مستقلين مشاهدة التسجيلات وتقييم جودة العلاقة بين كل شخص والروبوت باستخدام مقياس معياري. قاس هذا المقياس مدى الانتباه والتنسيق في التفاعل، مما وفر درجة موثوقة للألفة التي تحققت في كل لحظة.

ومع امتلاك هذه البيانات من العالم الحقيقي، اختبر الباحثون ما إذا كانت الحواسيب يمكنها تعلم التنبؤ بتقييمات البشر هذه تلقائيًا. وقارنوا بين نهجين مختلفين. استخدم النهج الأول نماذج حاسوبية متخصصة تم تدريبها على كميات هائلة من البيانات النصية والصوتية والمرئية لاستخراج سمات محددة من التسجيلات. أما النهج الثاني فقد استعان بأنظمة ذكاء اصطناعي قوية وعامة الأغراض تُعرف بنماذج اللغات الكبيرة. أُعطيت هذه الأنظمة نصوص المحادثات، وفي بعض الحالات ملفات الصوت والفيديو، وطُلب منها أن تعمل كحكم طرف ثالث لتقييم الألفة نفسها، تمامًا كما فعل الخبراء البشر.

وكشفت النتائج عن قوة مفاجئة للذكاء الاصطناعي عام الأغراض. فعند تزويدها بنص المحادثة فقط، أدى أحد هذه النماذج الكبيرة أداءً استثنائيًا، حيث التقط الفروق الدقيقة في التفاعل بشكل أفضل من النماذج المتخصصة التي اعتمدت على البيانات الصوتية أو المرئية وحدها. كان بإمكان النسخة التي تعتمد على النص فقط من هذا النموذج التنبؤ بدرجات الألفة بدقة عالية، مما يشير إلى أن الكلمات التي يستخدمها الناس وتدفق محادثتهم يحملان أهم القرائن حول اتصالهم بالروبوت. ومع ذلك، لم تكن النماذج المتخصصة عديمة الفائدة؛ فقد وجد الباحثون أنه بينما كان النموذج القائم على النص قويًا، إلا أنه أغفل بعض التفاصيل التي استطاعت النماذج الصوتية والمرئية رصدها. وعندما دمج الباحثون تنبؤات النموذج القائم على النص مع تنبؤات النماذج الصوتية والمرئية، كانت النتيجة هي النظام الأكثر دقة على الإطلاق. لقد تفوق هذا النهج المدمج على أي طريقة منفردة، مما يشير إلى أن أنواع البيانات المختلفة تقدم رؤى تكاملية بدلاً من كونها رؤى متنافسة.

كما سلطت الدراسة الضوء على كيفية تأثير طول التفاعل وعدد الأشخاص المشاركين على القدرة على قياس الألفة. ففي البيئة المنضبطة للمختبر، غالبًا ما تكون التفاعلات طويلة وتضم شخصين فقط. أما في الصيدلية، فقد كانت التفاعلات قصيرة، بمتوسط قدره 51 ثانية تقريبًا، وغالبًا ما تضمنت انضمام عدة أشخاص. ووجد الباحثون أن النماذج المتخصصة واجهت صعوبة أكبر مع زيادة عدد المشاركين، ويرجع ذلك على الأرجح إلى أن ديناميكيات المحادثة الجماعية جعلت من الصعب عزل الإشارات الفردية. في المقابل، ظل نموذج الذكاء الاصطناعي عام الأغراض قويًا، محافظًا على دقته العالية حتى عندما كان ثلاثة أشخاص يتحدثون إلى الروبوت في وقت واحد. وهذا يشير إلى أن هذه الأنظمة المتقدمة مجهزة بشكل أفضل للتعامل مع الطبيعة الفوضوية ومتعددة الأشخاص للقاءات الواقعية مقارنة بالطرق التقليدية المطورة للمختبر.

في نهاية المطاف، يوضح هذا العمل أن تقدير جودة العلاقات بين الإنسان والروبوت في العالم الحقيقي أمر ممكن، ولكنه يتطلب استراتيجية مختلفة عما تم استخدامه في الماضي. وتشير النتائج إلى أن الاعتماد فقط على النماذج المتخصصة المدربة لمهام محددة قد لا يكون كافيًا عندما يكون المستخدمون أحرارًا في الانخراط والانسحاب كما يشاءون. وبدلاً من ذلك، فإن النهج الهجين الذي يستفيد من الفهم الواسع للذكاء الاصطناعي العام مع تعزيزه بإشارات صوتية ومرئية محددة يقدم المسار الأكثر موثوقية للمضي قدمًا. وتعد هذه الرؤية حاسمة لمستقبل الروبوتات الاجتماعية، حيث تشير إلى أنظمة يمكنها حقًا التكيف مع الطبيعة غير المتوقعة والمتنوعة للحياة البشرية في الأماكن العامة.

أبحاث مشابهة