LLM-Based Selection of Incongruent Verbal and Nonverbal Behavior for Virtual Humans
تقترح هذه الورقة تصنيفاً للتناقضات بين السلوك اللفظي وغير اللفظي بناءً على إطار إكمان، وتستقصي استخدام النماذج اللغوية الكبيرة لاختيار سلوكيات غير متوافقة ملائمة سياقياً للبشر الافتراضيين، وتتحقق من فعاليتها في إنتاج تأثيرات الملاحظ المقصودة من خلال دراسة على مشاركين بشريين.
في المساحات الهادئة بين الكلمات المنطوقة، غالبًا ما يقوم التواصل البشري بأكثر أعماله تعقيدًا. فعندما نتحدث، نحن لا ننقل المعلومات فحسب؛ بل نسقط مشاعرنا، ومكانتنا الاجتماعية، ونوايانا الخفية من خلال وجوهنا، وأعيننا، ووضعيات أجسادنا. هذه الإشارات الصامتة، المعروفة بالسلوكيات غير اللفظية، يمكن أن تعزز ما نقوله، ولكن يمكنها أيضًا أن تناقضه. قد يقول الشخص "أنا بخير" بينما يشتد وجهه قلقًا، أو يقدم إطراءً بنبرة توحي بالسخرية. هذه القدرة على جعل الجسد يخون الفم، أو إخفاء المشاعر الحقيقية خلف ابتسامة مهذبة، هي جزء أساسي من كيفية إدارة البشر للعلاقات، وإدارة الصراعات، وإظهار الثقة. لعقود من الزمن، حاول الباحثون تعليم الحواسيب محاكاة هذا التعقيد، عبر بناء وكلاء افتراضيين يمكنهم التحرك والإيماء مثل البشر. ومع ذلك، ظل معظم هذه الشخصيات الرقمية مقيدين بقاعدة بسيطة: إذا كانت الكلمات سعيدة، فيجب أن يكون الوجه سعيدًا. إنهم يكافحون لفهم أن أكثر الأشياء صدقًا يمكن للإنسان القيام به أحيانًا هو أن يقول شيئًا بينما يقول جسده شيئًا آخر.
سعى فريق من الباحثين في جامعة نورث إيسترن لتغيير هذا القصور. أرادوا معرفة ما إذا كان بإمكانهم تعليم إنسان افتراضي توليد هذه السلوكيات المتناقضة واللطيفة تلقائيًا، باستخدام نوع من الذكاء الاصطناعي يُعرف بالنموذج اللغوي الكبير. هذه النماذج هي أنظمة قوية مدربة على كميات هائلة من النصوص، وقادرة على فهم السياق والفروق الدقيقة. طرح الباحثون سؤالًا محددًا: إذا أعطوا الكمبيوتر محادثة ووصفًا للموقف، فهل يمكنه معرفة متى يجب على المتحدث أن يبدو غير سعيد أثناء قول شيء لطيف، أو يبدو ودودًا أثناء تقديم أخبار سيئة؟ لم يريدوا من الكمبيوتر أن يخمن فحسب؛ بل أرادوا رؤية ما إذا كان بإمكان الكمبيوتر اتخاذ هذه الخيارات بطريقة تبدو واقعية للمراقبين البشر.
ولاختبار ذلك، قام الفريق أولاً بإنشاء خريطة للطرق المختلفة التي يخلط بها الناس بين كلماتهم وأفعالهم. لقد حددوا أربعة أسباب رئيسية قد تدفع الشخص للقيام بذلك. أحيانًا تكون السخرية، حيث يستخدم المتحدث الثناء للإساءة إلى شخص ما أو النقد لإظهار المودة. وفي أحيان أخرى، يتعلق الأمر بحفظ الوجه، حيث يخفف الشخص من نقد قاسٍ بابتسامة دافئة لتجنب جرح المشاعر، أو يفرض ابتسامة مهذبة لإخفاء غضبه. هناك أيضًا الخداع، حيث يحاول الشخص إخفاء شعور سري، والتنظيم العاطفي، حيث يحاول شخص ما كبح شعور يتدفق بداخله. وباستخدام هذه الفئات، صمم الباحثون ثمانية سيناريوهات محددة، مثل موظف مبتدئ يتحدث إلى مدير زاد من عبء عمله، أو أم تقدم ملاحظات لابنها المراهق.
ثم اختبر الباحثون ثلاث طرق مختلفة لطلب توليد السلوك من الكمبيوتر. في الطريقة الأولى، أعطوا الكمبيوتر الجملة المنطوقة فقط. وفي الثانية، أضافوا تاريخ المحادثة المؤدي إلى تلك الجمة. وفي الثالثة والأكثر تفصيلًا، قدموا تاريخ المحادثة بالإضافة إلى وصف مكتوب للعلاقة بين المتحدثين والسياق الاجتماعي. طُلب من الكمبيوتر، المدعوم بنموذج يسمى "كلود" (Claude)، أن يقرر ما يجب أن يفعله وجه الشخص وعيناه لكل جملة. كانت النتائج واضحة: عندما كان الكمبيوتر يحصل على الكلمات فقط، كان في الغالب يجعل الشخصية تبدو سعيدة عندما تكون الكلمات سعيدة وحزينة عندما تكون الكلمات حزينة. ولكن عندما زودهم الباحثون بالسياق الكامل — ديناميكيات القوة، والتاريخ، والضغط الاجتماعي — بدأ الكمبيوتر في اختيار سلوكيات تناقض الكلمات. في السيناريو الذي كان يتعين فيه على موظف مبتدئ الموافقة على مزيد من العمل من مدير متطلب، اختار الكمبيوتر ابتسامة صغيرة ومتحفظة، مصحوبة بنظرة خاطفة بعيدًا وتشنج في الشفاه. لقد فهم أن الموظف يقول "نعم" بينما يشعر بـ "لا".
ولرؤية ما إذا كانت هذه الخيارات التي ولدها الكمبيوتر تعمل بالفعل، حول الباحثون التعليمات الرقمية إلى مقاطع فيديو لإنسان افتراضي وعرضوها على الناس. في الدراسة الأولى، طلبوا من المشاركين مشاهدة أزواج من الفيديوهات وتحديد أي المتحدثين كان لديه موقف أكثر إيجابية. عندما قال الإنسان الافتراضي شيئًا إيجابيًا ولكنه بدا سلبيًا، صنف الناس الموقف على أنه أقل إيجابية مما لو كان الإنسان يبدو سعيدًا. وعندما قال الإنسان شيئًا سلبيًا ولكنه ابتسم بدفء، صنف الناس الموقف على أنه أكثر إيجابية مما لو كان الإنسان يبدو غاضبًا. بحثت الدراسة الثانية بشكل أعمق، حيث سألوا الناس عن تقييم المشاعر المحددة التي رأوها. أظهرت النتائج أن الإشارات غير اللفظية التي اختارها الكمبيوتر كانت قوية بما يكفي لتغيير شعور الناس تجاه عواطف المتحدث. إذا اختار الكمبيوتر عبوسًا ليتماشى مع جملة سعيدة، فقد أفاد الناس بأنهم شعروا في الواقع أن المتحدث غاضب أو ساخر. وإذا اختار الكمبيوتر ابتسامة دافئة لتتماشى مع جملة حزينة، فقد أفاد الناس بشعورهم بالتعاطف بدلاً من الغضب.
تؤكد الدراسة أن تزويد الذكاء الاصطناعي بالسياق الاجتماعي الكامل للمحادثة يسمح له بتوليد سلوكيات غير لفظية أكثر شبهاً بالبشر مما لو استندت إلى الكلمات وحدها. لم يكتفِ الكمبيوتر بتكرار عاطفة الجملة؛ بل فسر الموقف وقرر أن التناقض هو الاستجابة الأكثر صدقًا. وبينما أشار الباحثون إلى أن نظامهم لا يزال بحاجة إلى عمل للتعامل مع الإيماءات ونبرة الصوت، وأن الفيديوهات كانت قصيرة، فإن النتيجة الجوهرية مهمة. إنها تشير إلى أنه لكي يكون البشر الافتراضيون مقنعين حقًا، خاصة في أدوار مثل تدريب المعالجين أو التفاوض، يجب أن يكونوا قادرين على جعل أجسادهم تروي قصة مختلفة عن أفواههم. لقد تعلم الكمبيوتر أن الحقيقة أحيانًا لا تكمكمن في الكلمات، بل في الصمت الذي بينها.
ملخص تقني: استخدام النماذج اللغوية الكبيرة (LLM) لاختيار السلوكيات اللفظية وغير اللفظية غير المتطابقة للبشر الافتراضيين
بيان المشكلة
تعتمد أنظمة توليد السلوك غير اللفظي الحالية للوكلاء الافتراضيين بشكل أساسي على المنطوق اللفظي كمدخل وحيد، مما يولد سلوكيات توضح أو تكرر أو تؤكد المحتوى المنطوق. وبينما ينتج عن ذلك تفاعلات متماسكة، إلا أنها تفشل في التقاط تعقيد التواصل البشري، حيث غالبًا ما تتعارض القنوات غير اللفظية مع الكلام، أو توضح، أو تسرب حالات داخلية مخفية خلف الكلام. وفي السياقات التي تتطلب تفسيرًا اجتماعيًا دقيقًا — مثل التدريب السريري للمعالجين، أو محاكاة المفاوضات، أو كشف الخداع — فإن الوكلاء الافتراضيين الذين يكتفون بمجرد عكس كلماتهم يفتقرون إلى الواقعية اللازمة للتدريب الفعال. وتتمثل المشكلة الجوهرية التي يتناولها البحث في كيفية أتمتة اختيار السلوكيات غير المتطابقة (المتناقضة) بين اللفظي وغير اللفظي والتي تعكس السياق الاجتماعي، والعلاقات بين الأشخاص، والحالات المعرفية/العاطفية، بدلاً من مجرد المحتوى الدلالي للكلام.
المنهجية
1. الإطار النظري والتصنيف
يؤصل المؤلفون عملهم في إطار "إيكمان" للعلاقات اللفظية-غير اللفظية، مع التركيز تحديدًا على علاقة "التناقض". وهم يقترحون تصنيفًا لفئات عدم التطابق بناءً على الوظيفة الاجتماعية:
التلقين 3 (الحوار + السياق): يتلقى النموذج سجل الحوار بالإضافة إلى وصف صريح للسياق الموقفي والعلاقات بين المتحدثين.
كان الهدف هو السماح للنموذج اللغوي بتقرير ما إذا كان عدم التطابق مناسبًا بشكل مستقل بناءً على السياق، بدلاً من فرض عدم التطابق خارجيًا.
3. توليد السيناريوهات
تم تصميم ثمانية سيناريوهات متميزة لتتوافق مع التصنيف (مثل "التهكم اللاذع" بين الزملاء، و"النقد المخفف" بين الأم وابنها). وفي كل سيناريو، كُلف النموذج اللغوي باختيار وحدات الحركة (AUs)، وحركة العين (Gaze)، وحركات الرأس، إلى جانب تحليل العلاقة بين اللفظي وغير اللفظي.
4. التقييم البشري
أُجريت دراستان لتقييم السلوكيات التي اختارها النموذج اللغوي عند تنفيذها في إطار عمل بشري افتراضي:
الدراسة 1 (إدراك الموقف/الاتجاه): مقارنة داخل الموضوع حيث شاهد المشاركون فيديوهات جنبًا إلى جنب لنفس المنطوق اللفظي مقترنًا بسلوكيات غير لفظية متطابقة (تكرار) أو غير متطابقة (تناقض). واختار المشاركون أي متحدث كان لديه موقف أكثر إيجابية.
الدراسة 2 (إدراك العاطفة): قام المشاركون بتقييم أربع حالات (إيجابي-إيجابي، إيجابي-سلبي، سلبي-سلبي، سلبي-إيجابي) بشكل مستقل على مقياس ليكرت خماسي النقاط فيما يتعلق بدرجة العواطف الإيجابية والسلبية المنقولة، باستخدام عجلة جنيف للعواطف.
المساهمات الرئيسية
تطوير التصنيف: يقدم البحث تصنيفًا مهيكلًا لحالات عدم التطابق بين اللفظي وغير اللفظي مصنفة حسب الوظيفة الاجتماعية (التهكم، الحفاظ على الوجه، الخداع، تنظيم العواطف).
تقييم التلقين: يبحث في كيفية تأثير مستويات المعلومات المتفاوتة المقدمة للنموذج اللغي (المنطوق فقط مقابل السياق + الحوار) على قدرة النموذج على اختيار سلوكيات غير متطابقة مناسبة سياقيًا.
التحقق التجريبي: من خلال الدراسات البشرية، يثبت البحث أن السلوكيات غير اللفظية المختارة بواسطة النموذج اللغي والموجهة بالسياق تنجح في تغيير تصورات المراقب لموقف الإنسان الافتراضي وحالته العاطفية، حتى عندما يظل المحتوى اللفظي والنبرة ثابتين.
النتائج
تحليل مخرجات النموذج اللغوي (LLM)
ثراء السياق: أدى زيادة المعلومات المقدمة للنموذج (من المنطوق فقط إلى السياق + التاريخ) إلى زيادة كبيرة في ثراء السلوكيات المولدة (المزيد من وحدات الحركة وتحولات النظر).
كشف عدم التطابق: نتج عن تلقين "السياق + التاريخ" أعلى معدل للتباين بين اللفظي وغير اللفظي (7/8 سيناريوهات)، بينما نادراً ما أنتج تلقين "المنط فقط" عدم تطابق (2/8).
تحديد السلوك: نجح النموذج اللغي في توليد سلوكيات محددة ودقيقة (مثل الابتسامات المقيدة غير "داتشن" [non-Duchenne]، وتحويل النظر القصير، وتوتر الحاجبين) التي أشارت إلى تحفظات كامنة أو عواطف مخفية، بما يتوافق مع السياق الاجتماعي المقدم.
نتائج الدراسة البشرية
الدراسة 1 (الموقف/الاتجاه): أدرك المشاركون موقِف المتحدث بشكل موثوق على أنه متوافق مع القناة غير اللفظية بدلاً من القناة اللفظية.
في حالة الإيجابي-السلبي (كلمات إيجابية/غير لفظي سلبي)، اختار 87.8% من المشاركين الفيديو الإيجابي-الإيجابي (Pos-Pos) على أنه يمتلك موقفًا أكثر إيجابية (مما يعني أن الفيديو الإيجابي-السلبي تم إدراكه على أنه يمتلك موقفًا أكثر سلبية).
في حالة السلبي-الإيجابي (كلمات سلبية/غير لفظي إيجابي)، اختار 93.9% من المشاركين الفيديو السلبي-الإيجابي (Neg-Pos) على أنه يمتلك موقفًا أكثر إيجابية مقارنة بحالة السلبي-السلبي.
الدراسة 2 (العاطفة):
العاطفة الإيجابية: أدت حالة الإيجابي-الإيجابي إلى تقييمات عاطفة إيجابية أعلى بكثير من حالة الإيجابي-السلبي. كما أدت حالة السلبي-الإيجابي إلى تقييمات عاطفة إيجابية أعلى بكثير من حالة السلبي-السلبي.
العاطفة السلبية: أدت حالة الإيجابي-السلبي إلى تقييمات عاطفة سلبية أعلى بكثير من حالة الإيجابي-الإيجابي. كما أدت حالة السلبي-السلبي إلى تقييمات عاطفة سلبية أعلى بكثير من حالة السلبي-الإيجابي.
تكافؤ اللفظي وغير اللفظي: أثر تكافؤ (Valence) السلوك غير اللفظي بشكل كبير على إدراك التكافؤ اللفظي. فعلى سبيل المثال، أدت السلوكيات غير اللفظية الإيجابية في حالة السلبي-الإيجابي إلى تقييمات أعلى للإيجابية اللفظية مقارنة بحالة السلبي-السلبي، رغم تطابق الكلمات المنطوقة.
الأهمية والادعاءات
يزعم البحث أن هذا العمل يمثل خطوة نحو سلوك أكثر تجسيدًا للوكلاء من خلال تجاوز مجرد توضيح الكلام. ويؤكد المؤلفون أن:
السياق أمر حاسم: لتوليد سلوكيات غير لفظية غنية ودقيقة (خاصة حالات عدم التطابق)، يجب أن تنقل الواجهة بين الطبقات المعرفية/الحوارية للإنسان الافتراضي وطبقة التوليد غير اللفظي أكثر من مجرد المنطوق؛ بل يجب أن تشمل السياق الموقفي والديناميكيات العلاقاتية.
جدوى النماذج اللغوية الكبيرة (LLM): يمكن للنماذج اللغوية الكبيرة أتمتة عملية اتخاذ القرار لاختيار السلوكيات غير المتطابقة بفعالية، بشرط تزويدها بسياق كافٍ لاستنتاج القصد الاجتماعي.
القيمة التربوية: إن القدرة على توليد حالات عدم التطابق هذه تعد أمرًا بالغ الأهمية لتطبيقات التدريب (مثل محاكاة الاستشارات) حيث يتعين على المتدربين تعلم استنتاج الحالات العاطفية غير المنظمة من الإشارات غير اللفظية وحدها.
يبقى المؤلفون متواضعين فيما يتعلق بنطاق الدراسة، مشيرين إلى أنها دراسة استكشافية، وأن مجموعة المحفزات كانت صغيرة، وأن هناك حاجة لعمل مستقبلي لدمج الإيماءات، وتغيرات الوضعية، ونبرة الصوت، بالإضافة إلى معالجة قيود التنفيذ في الوقت الفعلي.