A Framework for Low-Latency, LLM-driven Multimodal Interaction on the Pepper Robot

تخيل أن لديك صديقاً آلياً يدعى "بيبر" (Pepper). في الوقت الحالي، التحدث مع "بيبر" يشبه إلى حد كبير محاولة إجراء محادثة مع شخص عبر جهاز لاسلكي (walkie-talkie) بطيء ومعطل. أنت تتحدث، فيضطر الروبوت لكتابة ما قلته، ثم يرسله إلى عقل كمبيوتر فائق الذكاء (ذكاء اصطناعي) ليفكر في رد، ثم يكتب هذا الرد، ثم يقرأه بصوت عالٍ لك. وبحلول الوقت الذي يرد فيه الروبوت، تكون قد نسيت بالفعل موضوع حديثك، ويبدو الروبوت وكأنه يقرأ نصاً مكتوباً وليس كصديق يدردش معك.

تقدم هذه الورقة البحثية "ترقية جديدة للعقل" لـ "بيبر" تعالج هذه المشكلات. فكر في الأمر كأنك تستبدل ذلك الجهاز اللاسلكي المعطل باتصال مباشر وعالي السرعة بين العقول.

إليك كيف يعمل النظام الجديد، مشروحاً ببعض التشبيهات من الحياة اليومية:

1. "المترجم الفوري" (زمن استجابة منخفض وتحويل الكلام إلى كلام)

الطريقة القديمة: تخيل سباق تتابع حيث يكون صوتك هو "العصا" التي يتناقلها المتسابقون. أنت تركض إلى الشخص الأول (الذي يحول صوتك إلى نص)، ثم يركض هو إلى الشخص الثاني (الذكاء الاصطناعي الذي يفكر في الرد)، ثم يركض الأخير إلى الشخص الثالث (الذي يحول النص مرة أخرى إلى صوت). وبحلول الوقت الذي تعود فيه العصا إليك، يكون السباق قد انتهى.

الطريقة الجديدة: قام الباحثون بتثبيت محرك (Speech-to-Speech - S2S). الآن، يسمع الروبوت صوتك ويسمع صوته فوراً، متجاوزاً خطوة "الكتابة" تماماً.

• السحر: الأمر يشبه التحدث مع إنسان لا يفهم فقط ماذا تقول، بل كيف تقوله. إذا كنت تبدو متحمساً، سيبدو صوت الروبوت متحمساً. وإذا كنت تبدو حزيناً، سيبدو الروبوت متعاطفاً. إنه يحافظ على "موسيقى" صوتك (نبرتك وعاطفتك) بدلاً من مجرد الكلمات.
• النتيجة: تتدفق المحادثة فوراً، تماماً مثل دردشة حقيقية بين الأصدقاء، دون توقفات محرجة لمدة 5 ثوانٍ.

2. "المدير الموجه نحو الفعل" (استدعاء الوظائف)

الطريقة القديمة: في السابق، كان الروبوت مجرد "رأس متكلم". كان بإمكانه الدردشة، ولكن إذا طلبت منه "انظر إلى السقف"، فقد يكتفي بالقول: "حسناً، أنا أرى السقف"، دون أن يحرك عينيه فعلياً. كان الأمر يشبه مرشداً سياحياً يصف المتحف لكنه لا يسمح لك أبداً برؤية المعروضات.

الطريقة الجديدة: أصبح الذكاء الاصطناعي الآن "مخططاً وكيلاً" (Agentic Planner). فكر فيه كمساعد شخصي لا يكتفي بالتحدث إليك فحسب، بل يفعل الأشياء لأجلك.

• السحر: عندما تسأل: "ماذا يوجد على السقف؟"، فإن الروبوت لا يخمن فقط. بل لديه "حقيبة أدوات" من الأفعال. فهو يقوم تلقائياً بـ:
  1. تحريك عينيه للنظر للأعلى.
  2. التقاط صورة بكاميرته.
  3. عرض الصورة على العقل الاصطناعي.
  4. إخبارك بالضبط بما يراه.
• النتيجة: يمكن للروبوت التنقل في الغرف، ولعب الألعاب، وإلقاء النكات، والتفاعل معك عند لمس يده، كل ذلك بينما يتحدث إليك.

3. "المحول العالمي" (يعمل على أي جهاز)

المشكلة: روبوتات "بيبر" قديمة، والشركة التي صنعتها ستتوقف عن دعمها. ومن الصعب إنشاء تطبيقات جديدة لها لأنها متطلبة وصعبة الاختبار.

الحل: بنى الباحثون هذا النظام مثل "تطبيق عالمي" (مثل لعبة فيديو تعمل على كل من بلاي ستيشن وجهاز كمبيوتر).

• السحر: يمكنك كتابة الكود البرمجي على هاتفك الأندرويد العادي أو جهازك اللوحي. إذا قمت بتوصيله بروبوت "بيبر"، فسيستخدم كاميرات الروبوت ومحركاته. وإذا قمت بتشغيله على هاتفك، فسيستخدم كاميرا هاتفك وسيتظاهر فقط بأنه يتحرك.
• النتيجة: لا يحتاج الباحثون لشراء روبوت بقيمة 20,000 دولار لاختبار أفكارهم. يمكنهم بناء "عقل" الروبوت خلال استراحة الغداء باستخدام جهاز لوحي رخيص، ولا يقومون بتوصيله بالروبوت الحقيقي إلا عندما يكونون مستعدين لإظهار مهاراته.

لماذا يهم هذا الأمر؟

هذا الإطار العملي يشبه منح الروبوت "قوة خارقة".

• قبل: كان الروبوت دمية بطيئة ومبرمجة لا تفعل سوى ما أُمرت به.
• بعد: أصبح الروبوت شريكاً مرناً ومستجيباً يمكنه سماع عواطفك، والنظر إلى ما تنظر إليه، واتخاذ إجراءات في العالم الحقيقي، كل ذلك في الوقت الفعلي.

لقما جعل المؤلفون هذا "العقل" مفتوح المصدر (Open-source)، مما يعني أنهم يقدمون المخططات للعالم أجمع مجاناً. وهذا يسمح للعلماء والمطورين الآخرين بتجاوز العمل الشاق لبناء الأساس والبدء في ابتكار طرق مذهلة جديدة لربط البشر بالروبوتات.

باخت اختصار: لقد أخذوا روبوتاً كان يشبه مودم الاتصال الهاتفي القديم (Dial-up)، وقاموا بترقيته إلى اتصال 5G، مما منحه القدرة ليس فقط على الكلام، بل على الفعل والشعور في اللحظة الراهنة.