Face-to-Face: A Video Dataset for Multi-Person Interaction Modeling
تقدم هذه الورقة Face-to-Face with Jimmy Fallon (F2F-JF)، وهي مجموعة بيانات مدتها 70 ساعة من التفاعلات الثنائية في البرامج الحوارية المصممة لنمذجة المحادثة البشرية التفاعلية، وتثبت فائدتها من خلال تحسين أداء الشخصيات الرقمية المدفوعة بالصوت عبر التكييف البصري عبر الأشخاص.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيفية إجراء محادثة طبيعية. إذا عرضت على الروبوت فقط مقاطع فيديو لأشخاص يلقون خطابات في غرفة فارغة (مثل مذيع أخبار أو محاضر)، فسوف يتعلم الروبوت كيف يتحدث، لكنه لن يتعلم أبداً كيف يستمع ويتفاعل. لن يعرف أنه عندما يومئ شخص آخر برأسه، يجب عليك أن تومئ أنت أيضاً، أو عندما يبدو شخص ما مرتبكاً، يجب عليك التوقف لتوضيح الأمر.
تقدم هذه الورقة البحثية حلاً لهذه المشكلة، وهو مكتبة فيديو ضخمة وجديدة تسمى Face-to-Face with Jimmy Fallon (F2F-JF).
إليك تفصيل لما قاموا به، باستخدام بعض التشبيهات من الحياة اليومية:
١. المشكلة: فخ "المونولوج"
معظم مجموعات بيانات الفيديو المستخدمة لتدريب الذكاء الاصطناعي تشبه مكتبة من أغاني الكاريوكي المنفردة. فهي تحتوي على صوت وصورة رائعين لشخص واحد يغني، ولكن لا يوجد أحد غيره في الغرفة. إذا حاولت تعليم روبوت كيف يكون محاوراً باستخدام هذه المقاطع فقط، فسيكون مستمعاً سيئاً للغاية؛ فلن يفهم إيقاع "النداء والاستجابة" الموجود في الدردشة الحقيقية.
٢. الحل: كنز "البرامج الحوارية"
ذهب المؤلفون إلى الإنترنت وحملوا 400 ساعة من برنامج The Tonight Show Starring Jimmy Fallon. لماذا؟ لأن البرامج الحوارية هي الوصفة المثالية للمحادثة:
- المضيف (جيمي): هو نفس الشخص في كل مقطع. إنه المرتكز الثابت.
- الضيف: يتغير الضيف في كل مرة. وهذا يمنح الذكاء الاصطناعي تنوعاً هائلاً من الوجوه والأصوات وردود الأفعال ليتعلم منها.
- التفاعل: ينظران إلى بعضهما البعض، ويضحكان، ويومئان برأسيهما، ويتفاعلان في الوقت الفعلي.
٣. "المقصات السحرية" (خط الإنتاج)
لا يمكنك مجرد صب 400 ساعة من التلفزيون في جهاز كمبيوتر؛ فالأمر فوضوي للغاية. قام الفريق ببناء "خادم آلي" شبه تلقائي لتنظيف البيانات. فكر في الأمر كأنه محرر أفلام عالي التقنية:
- الخطوة ١: الحارس الشخصي (التتبع): يقوم الروبوت بمسح الفيديو ليحدد بالضبط أين يقف الشخصان. ثم يقوم بقص كل شيء آخر (الجمهور، الفرقة الموسيقية، المسرح) بحيث لا يرى سوى الوجهين فقط.
- الخطوة ٢: الأذن (تحديد المتحدث): يستمع الروبوت إلى الصوت ليعرف من يتحدث الآن. هو يعرف: "حسناً، جيمي يتحدث الآن"، و"الآن، هذا هو الضيف".
- الخطوة ٣: التعرف على الوجه (التحقق): يقوم بعض البشر بالتحقق من العمل للتأكد من أن الروبوت لم يختلط عليه الأمر. وبمجرد أن يتعرف الروبوت على شكل جيمي، يمكنه العثور عليه في آلاف المقاطع تلقائياً.
- النتيجة: لقد حولوا 400 ساعة من التلفزيون الخام إلى 70 ساعة من المقاطع المثالية والمتزامنة حيث يتحدث المضيف والضيف مباشرة مع بعضهما البعض.
٤. تجربة القيادة: "الأفاتار الرقمي"
لإثبات فائدة مجموعة البيانات هذه، قاموا ببناء نوع جديد من الأفاتار الرقمي.
- الطريقة القديمة: تعطي الذكاء الاصطناي صوتاً، فيجعل الوجه يتحرك ليتناسب مع الكلمات. الأمر يشبه دمية "المنوم المغناطيسي" (Ventriloquist).
- الطريقة الجديدة (باستخدام F2F-JF): تعطي الذكاء الاصطناعي فيديو الضيف أولاً. يشاهد الذكاء الاصطناعي الضيف وهو يومئ برأسه، أو يبتسم، أو يبدو متفاجئاً. ثم يقوم بتوليد رد فعل المضيف.
- تشبيه: تخيل شريك رقص. إذا قلت للشريك فقط "حرك قدميك"، فقد يحركها بشكل عشوائي. ولكن إذا تركته يشاهد رقصك أولاً، فيمكنه محاكاة حركاتك والرقص معك في تزامن تام.
٥. ماذا وجدوا؟
قاموا باختبار هذا الأفاتار "التفاعلي" الجديد مقابل الأفاتار "المنفرد" القديم.
- الأخبار الجيدة: كان الأفاتار الجديد أفضل قليلاً في مطابقة العواطف ولغة الجسد في المحادثة. لقد بدا أكثر طبيعية لأنه كان "يشاهد" الشخص الآخر بالفعل.
- العقبة: التحسن كان طفيفاً. الأمر يشبه الترقية من روبوت بسيط إلى روبوت أكثر شبهاً بالبشر قليلاً. إنها بداية رائعة، ولكن لا يزال هناك الكثير من العمل للقيام به للوصول إلى الكمال.
لماذا يهم هذا الأمر؟
هذه الورقة البحثية ليست عن جيمي فالون فحسب؛ بل هي عن المخططات الأساسية.
- مجموعة البيانات: إنها توفر للباحثين ساحة لعب نظيفة ومنظمة لدراسة كيفية تفاعل شخصين.
- المنهجية: لقد أظهروا كيفية تحويل البرامج التلفزيونية الفوضوية إلى بيانات نظيفة للذكاء الاصطناعي.
- المستقبل: هذه هي الخطوة الأولى نحو إنشاء أفاتارات رقمية لا تتحدث فحسب، بل تتحاور حقاً. تخيل مساعداً افتراضياً لا يجيب على أسئلتك فحسب، بل يفهم نبرتك، ويتوقف عندما تفكر، ويبتسم عندما تكون سعيداً. هذه مجموعة البيانات هي أرض التدريب لهذا المستقبل.
باخت مختص، لقد بنوا مكتبة ضخمة من المحادثات الحقيقية واستخدموها لتعليم الذكاء الاصطناعي كيف يكون مستمعاً أفضل، مما يقربنا خطوة أخرى من الأصدقاء الرقميين الذين يشعرون بأنهم بشر حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.