Cocktail-Talker: Multi-Speaker Dialog Modeling in Noisy Social Environments with Turn Action GRPO
تقدم الورقة البحثية Cocktail-Talker، وهو إطار عمل لنماذج اللغة الكبيرة الصوتية تم تدريبه عبر الضبط الدقيق الخاضع للإشراف والتعلم التعزيزي لتمكين المساعدين من اتخاذ قرار انتقائي بشأن التحدث أو البقاء صامتين في البيئات الاجتماعية الصاخبة ومتعددة المتحدثين، مدعوماً بمسار بيانات اصطناعي يسمى Cocktail-DialogGen.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك في حفلة صاخبة. الموسيقى تضرب بقوة، والناس يضحكون، وثلاث محادثات مختلفة تدور في آن واحد. في هذا المزيج الفوضوي، يقوم دماغك بشيء سحري: يقرر فوراً من يتحدث إليك، ومن يتحدث إلى صديقه، وما هو مجرد ضجيج في الخلفية. قد تجيب على سؤال، أو تهز رأسك موافقاً على قصة ما، أو تتجاهل أغنية تُعزف في المدى البعيد. هذه القدرة على تصفية العالم واختيار متى تتحدث هي أمر طبيعي لدى البشر، لكنها كابوس بالنسبة للحواسيب.
معظم المساعدات الصوتية الحاسوبية اليوم تشبه الضيوف الخجولين الذين لا يتحدثون إلا إذا همس أحدهم بأسمائهم في غرفة هادئة. لقد صُممت لدردشات ثنائية حيث يتحدث المستخدم ويرد الروبوت. لكن الحياة الواقعية ليست غرفة هادئة؛ إنها حفلة كوكتيل صاخبة. إذا حاول الحاسوب التحدث في مكان مزدحم، فغالباً ما يصاب بالارتباك، فيصرخ فوق أشخاص لا يتحدثون إليه، أو يظل صامتاً عندما ينبغي له التدخل. لطالما عرف العلماء أن تعليم الآلات كيفية التعامل مع "مشكلة حفلة الكوكتيل" هذه — أي معرفة من يتحدث، ومن يستمع، وماذا يجب أن يفعل حيال ذلك — يعد أحد أكبر العقبات في جعل الذكاء الاصطناي يشعر بأنه بشري حقاً.
هنا يأتي دور Cocktail-Talker، وهو مشروع جديد من قبل باحثين في جامعة كولومبيا وزملائهم، يحاول تعليم مساعد الذكاء الاصطناعي كيفية التنقل في هذه الفوضى الاجتماعية. بدلاً من مجرد انتظار أمر ما، يتعلم هذا الذكاء الاصطناعي كيف يتصرف كضيف ذكي في حفلة. فهو يستخدم مجموعة خاصة من "رموز الأفعال" (action tokens) — تخيلها كإشارات يد سرية — ليقرر خطوته التالية: <|respond|> (تحدث)، <|listen|> (ابقَ هادئاً ولكن انتبه)، أو <|ignore|> (تجاهل تماماً).
لتعليم الذكاء الاصطصناعي هذه المهارات، لم يستطع الباحثون مجرد تسجيل حفلات حقيقية، لأنه من الصعب معرفة من يتحدث إلى من بالضبط في تسجيل فوضوي. لذا، بنوا ملعباً رقمياً يسمى Cocktail-DialogGen. هذا النظام هو عبارة عن مسار محاكاة يستخدم نماذج ذكاء اصطناعي أخرى لابتكار آلاف المحادثات الوهمية في بيئات مختلفة، مثل محطة مترو، أو غرفة معيشة، أو منتزه. لقد برمجوا هذه المحادثات الوهمية بقواعد محددة: أحياناً يوجه أحد الشخصيات سؤالاً للذكاء الاصطناعي، وأحياناً يتحدثون مع بعضهم البعض، وأحياناً تكون هناك مجرد موسيقى صاخبة في الخلفية. حتى أنهم أضافوا مستويات مختلفة من الضجيج، من النقاء الشديد إلى الضجيج العالي جداً، للتأكد من أن الذكاء الاصطناعي تعلم كيفية التعامل مع أسوأ الظروف.
تم بناء الذكاء الاصطناعي فوق نموذج صوتي قوي يسمى Qwen2.5-Omni، ثم تم تدريبه باستخدام طريقتين رئيسيتين. أولاً، درس هذه المحادثات المحاكات لتعلم الأساسيات (الضبط الدقيق تحت الإشراف - Supervised Finetuning). بعد ذلك، لعب لعبة تعتمد على التجربة والخطأ تسمى GRPO (تحسين السياسة النسبي للمجموعات - Group Relative Policy Optimization). في هذه اللعبة، يُعطى الذكاء الاصطناعي سيناريو ويُطلب منه توليد ردود فعل متعددة محتملة. يتم مكافأته لاختيار الفعل الصحيح (مثل تجاهل الموسيقى في الخلفية) ومعاقبته على الأفعال الخاطئة (مثل الصراخ على شخص لا يتحدث إليه).
كانت النتائج مبهرة. في عمليات المحاكاة الخاصة بهم، أصبح الذكاء الاصطناعي المدرب أفضل بكثير في معرفة متى يتحدث ومتى يظل صامتاً. بينما فشلت النماذج القديمة غالباً في التمييز بين سؤال موجه إليه وبين محادثة بين شخصين آخرين، تعلم Cocktail-Talker التمييز بينهما. لقد نجح في تحديد متى يستجيب، ومتى يستمع، ومتى يتجاهل، حتى في البيئات الصاخبة التي يتحدث فيها ما يصل إلى أربعة أشخاص في وقت واحد. تشير الورقة البحثية إلى أن هذا النهج يساعد الذكاء الاصطناعي على التعميم بشكل جيد، مما يعني أنه كان يؤدي تقريباً بنفس الكفاءة في البيئات الجديدة غير المرئية (مثل عبّارة أو حديقة حيوان) كما فعل في البيئات التي تدرب عليها.
ومع ذلك، يوضح الباحثون بحذر أن هذا يمثل خطوة للأمام، وليس الوجهة النهائية. يعمل النظام حالياً مع مقاطع صوتية مسجلة مسبقاً بدلاً من محادثة حقيقية مباشرة (streaming)، ويعتمد كلياً على الصوت دون استخدام الإشارات البصرية مثل رؤية من ينظر إلى من. ولكن من خلال تعليم الذكاء الاصطناعي كيفية اتخاذ الخيارات الاجتماعية الصحيحة في عالم صاخب، يخطو Cocktail-Talker خطوة كبيرة نحو بناء مساعدات يمكنها أخيراً الانضمام إلينا في ضجيج الحياة الواقعية، الفوضوي والرائع.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.