TIDES: A Longitudinal Bilingual Dataset for Modeling Multi-Party Social Dynamics
تقدم هذه الورقة TIDES، وهي مجموعة بيانات ثنائية اللغة طولية عالية الدقة لـ 12 فريقاً جامعياً على مدار فصل دراسي، والتي تُظهر أنه في حين أن الضبط الدقيق بناءً على تعليقاتها الاجتماعية-البنيوية يحسن بشكل كبير التنبؤ بالمتحدث التالي، إلا أنه لا يعزز بالضرورة طبيعية أو تماسك المحادثات متعددة الأطراف المولدة.
المؤلفون الأصليون:Heechan Lee, Jeonggyu Kang, Junho Myung, Jaywoong Jeong, Juho Kim, Joseph Seering
تخيل أنك تدخل مقهى صاخبًا. تسمع مجموعة من الأصدقاء يضحكون، ويتجادلون، ويخططون لرحلة برية. لست بحاجة لمعرفة أسمائهم لتخمن من سيتحدث تاليًا؛ أنت فقط تستمع إلى الإيقاع. شخص ما ينهي جملة، يصمت، فيقفز آخر بفكاهة. هذا الإيقاع يسمى تبادل الأدوار، وهو الغراء الخفي الذي يربط أي محادثة معًا. لفترة طويلة، كانت برامج الكمبيوتر (التي تسمى النماذج اللغوية الكبيرة، أو LLMs) بارعة في الدردشة الفردية، مثل رسالة نصية بين شخصين. ولكن عندما تضع مجموعة كاملة في المزيج، يرتبك هذا الكمبيوتر. إنهم يكافحون لفهم الرقصة الفوضوية والمتغيرة لمجموعة حقيقية، حيث تتغير الأدوار، وتنشأ النكات الداخلية، وتتدفق المحادثة بشكل مختلف في كل مرة. يريد العلماء بناء ذكاء اصطناعي يمكنه الانضمام إلى هذه المجموعات بشكل طبيعي، ولكن للقيام بذلك، يحتاجون إلى دراسة كيفية تصرف البشر الحقيقيين فعليًا بمرور الوقت، وليس فقط من خلال تجارب قصيرة ومزيفة.
هنا يأتي دور دراسة جديدة تسمى TIDES. قرر الباحثون، وهم فريق من جامعة KAIST، التوقف عن التخمين والبدء في المراقبة. لقد تتبعوا 12 فريقًا من طلاب الجامعات الحقيقيين على مدار فصل دراسي كامل أثناء عملهم على مشاريعهم. وبدلاً من إعطائهم نصًا زائفًا لاتباعه، تركوا الطلاب يفعلون ما بوسعهم، وسجلوا أكثر من 75,000 جملة منطوقة من 88 اجتماعًا مختلفًا. لم يستمعوا فقط إلى ماذا قيل؛ بل تتبعوا أيضًا من كان يفعل ماذا، ملاحظين متى أصبح الطالب هو "القائد"، أو "الناقد"، أو "حلال المشكلات" مع مرور الأسابيع. الأمر يشبه تصوير موسم كامل من برنامج واقع، ولكن بدلاً من الدراما، يتعلق الأمر بكيفية حل الفرق للمشكلات معًا.
قام الفريق بعد ذلك بتعليم نموذج كمبيوتر مشاهدة هذه التسجيلات والتنبؤ بمن سيتحدث تاليًا. كانت النتائج جيدة بشكل مدهش. عندما تعلم النموذج من هذه البيانات الواقعية، أصبح أفضل بكثير في تخمين المتحدث التالي — حيث قفز من نسبة تخمين 50% إلى معدل نجاح قدره 64.5%. حتى أنه تفوق على بعض أكثر نماذج الذكاء الاصطติعي قوة وتكلفة المتاحة اليوم، وفعل ذلك باستخدام أقل من نصف كمية بيانات التدريب. تعلم النموذج أنه في الأيام الأولى للفريق (عندما يكون الجميع في حالة ارتباك ويستكشفون الأمور)، تكون المحادثة فوضوية ويصعب التنبؤ بها. ولكن مع نضوج الفريق وإيجاده لإيقاعه الخاص، يصبح النمط واضحًا، ويمكن للذكاء الاصطناعي رؤية المتحدث التالي من مسافة ميل.
ومع ذلك، هناك تحول في القصة. طرح الباحثون سؤالًا حاسمًا: مجرد قدرة الذكاء الاصطناعي على تخمين من سيتحدث تاليًا، هل يعني ذلك أنه يمكنه كتابة ما سيقوله ذلك الشخص بطريقة تبدو طبيعية؟ لقد اختبروا ذلك بجعل الذكاء الاصطناعي يولد جملًا جديدة للمحادثة. وهنا، كانت النتائج مخيبة للآمال نوعًا ما. على الرغم من أن الذكاء الاصطناعي كان بارعًا في التنبؤ بـ بنية المحادثة، إلا أن الجمل التي كتبها بالفعل بدت جامدة وآلية للمستمعين البشر. فضل الناس نماذج الذكاء الاصطناعي "العادية" (غير المعدلة)، والتي بدت أكثر طبيعية، حتى لو كانت أسوأ في تخمين من سيتحدث تاليًا.
يشير هذا إلى عدم تطابق مضحك: لقد تعلم الذكما الاصطناعي خطوات الرقص (من يتحرك متى) بشكل مثالي، لكنه لم يتعلم تمامًا الموسيقى (كيفية قول الأشياء بطريقة تبدو بشرية). تشير الدراسة إلى أن فهم البنية الاجتماعية للمجموعة هو خطوة كبيرة للأمام، لكنه لا يجعل الذكاء الاصطناعي بالضرورة محاورًا أفضل. الأمر يشبه تعليم روبوت قواعد كرة القدم بدقة شديدة بحيث يعرف تمامًا متى يمرر الكرة، ولكن عندما يركل الكرة بالفعل، فإنه لا يزال يتعثر في قدميه. خلص الباحثون إلى أنه بينما نصبح أفضل في نمذجة تدفق الحديث الجماعي، لا يزال أمامنا طريق طويل قبل أن يتمكن الذكاء الاصطناعي من الانضمام حقًا إلى فريق بشري والدردشة معهم كواحد من المجموعة.
ملخص تقني: TIDES – مجموعة بيانات ثنائية اللغة طولية لنمذجة الديناميكيات الاجتماعية متعددة الأطراف
بيان المشكلة
أظهرت النماذج اللغوية الكبيرة (LLMs) تقدماً ملحوظاً في التفاعلات الثنائية (طرفين)، لكنها لا تزال تعاني من تعقيدات المحادثات الجماعية متعددة الأطراف. يتطلب التعاون الجماعي الناجح فهم الديناميكيات الاجتماعية الكامنة، وإدارة تبادل الأدوار بين المتحدثين المتعددين، والتكيف مع التبعيات الشخصية المتطورة باستمرار. وتعتبر مجموعات البيانات الحالية متعددة الأطراف غير كافية لالتقاط هذه الديناميكيات لأنها تقتصر على:
بيئات مختبرية قصيرة المدى: تفشل في التقاط التطور طويل المدى للعلاقات بين أعضاء الفريق.
مهام مصطنعة أو مكتوبة: تفتقر إلى المخاطر الحقيقية، والتاريخ المشترك، والأدوار الناشئة الموجودة في العمل الجماعي الأصيل.
أدوار محددة مسبقاً: تغفل الأدوار الوظيفية الناشئة التي تنشأ طبيعياً من التفاعل المستمر ومتطلبات المهام المتغيرة.
وبناءً على ذلك، هناك نقص في الموارد عالية الجودة والطولية التي تلتقط الديناميكيات الاجتماعية الأصيلة كما تتكشف بشكل طبيعي، مما يعيق تطوير وكلاء مدركين اجتماعياً للمحادثات الجماعية.
المنهجية
جمع البيانات (مجموعة بيانات TIDES)
يقدم المؤلفون TIDES (تفاعل الفريق والأدوار الاجتماعية الناشئة الديناميكية)، وهي مجموعة بيانات ثنائية اللغة وطولية تتبع 12 فريق مشاريع جامعياً طوال فصل دراسي كامل (خريف 2025).
المشاركون: 50 طالباً في 12 فريقاً (من 3 إلى 5 أعضاء لكل فريق) عبر تخصصات متنوعة (التصميم، علوم الحاسب، الهندسة الصناعية).
السياق: تشكلت الفرق عضوياً، وتعاونت في مشاريع ذات إدارة ذاتية ذات رهانات أكاديمية حقيقية (درجات)، واجتمعت بشكل متكرر على مدار 6 إلى 12 أسبوعاً.
النطاق: 88 اجتماعاً مؤرخاً، 104 ملفات نصوص (transcripts)، و75,971 عبارة (حوالي 110 ساعات). تتضمن مجموعة البيانات كلاً من الإنجليزية والكورية (7 فرق كورية، 5 إنجليزية).
الخصوصية: تمت إزالة جميع معلومات الهوية الشخصية (PII) باستخدام Microsoft Presidio (للإنجليزية) ونموذج محلي Qwen3-30B-A3B (للكورية)، مع توحيد المتحدثين عبر الجلسات باستخدام تضمينات WeSpeaker وخوارزمية هانغاريان (Hungarian algorithm).
طبقات التوسيم (Annotation Layers)
لالتقاط الديناميكيات الاجتماعية بما يتجاوز النصوص الخام، تتضمن TIDES ثلاث طبقات من التوسيمات البنيوية-الاجتماعية:
أنواع التفاعل على مستوى العبارة: بناءً على تصنيف معدل من act4teams-SHORT (15 فئة)، بما في ذلك "تقديم المعلومات"، "الاستماع النشط"، و"الجانب الاجتماعي السلبي". تم توليد الملصقات عبر بيانات ذهبية موسومة بشرياً (5,705 عبارة) واستخدام نموذج Gemma-3-12B الذي تم ضبطه بدقة للعبارات الـ 70,000+ المتبقية.
الأدوار الناشئة: مستمدة من استطلاعات رأي الأقران بعد الاجتماع باستخدام نموذج TRIAD (الهيمنة، الاجتماعية، التوجه نحو المهام). قام المشاركون بتقييم زملائهم في الفريق بناءً على 9 عناصر بمقياس ليكرت، والتي تم تطبيعها (normalized) وربطها بـ 13 دوراً ناشئاً (مثل: حل المشكلات، المنسق، الناقد) بناءً على المسافة الإقليدية من النماذج الأولية.
مراحل تطور الفريق: تم تصنيف الاجتماعات بأثر رجعي وفقاً لمراحل "تاكمان" (التشكيل، العصف، وضع المعايير، الأداء، الانحلال) عبر إجماع الفريق في نهاية الفصل الدراسي.
الإعداد التجريبي
قيم المؤلفون TIDES من خلال تجربتين أساسيتين باستخدام Gemma-3-12B-IT (الذي تم ضبطه بدقة باستخدام LoRA) و Llama-3.1-8B-Instruct، مع المقارنة بنماذج مملوكة (Proprietary) تعمل بنظام Zero-shot (مثل GPT-5.4، Opus 4.6، إلخ).
مهام التنبؤ:
التنبؤ بالمتحدث التالي: تم التقييم تحت ثلاثة ظروف سياقية: المتحدث + العبارة (SU)، المتحدث + الدور + المرحلة (SRU)، و الهيكل فقط (S+R، مع إزالة نص العبارة).
التنبؤ بالنية التالية: التنبؤ بنوع التفاعل في الدور التالي.
كفاءة البيانات: تحليل مكاسب الأداء مع تدريب النماذج بشكل تراكمي على المزيد من الاجتماعات من فرق مفردة.
التحقق الخارجي: الاختبار على مجموعة بيانات AMI Meeting Corpus لتقي-م مدى تعميم المجموعة عبر المجموعات المختلفة.
مهام التوليد:
مقارنة FT-Plain (التوليد المباشر بعد الضبط الدقيق)، و FT-Reason (التوليد بعد الضبط الدقيق مع التفكير الصريح في الدور/النية)، ونماذج Vanilla (بدون ضبط دقيق).
التقييم عبر مقاييس تلقائية (دقة المتحدث، التشابه الدلالي) والتقييم البشري عبر Prolific (الطبيعية، التماسك، اتساق المتحدث).
النتائج الرئيسية
أداء التنبؤ
التنبؤ بالمتحدث التالي: حقق الضبط الدقيق على TIDES دقة بلغت 64.53% (Gemma FT-SU)، وهو تحسن قدره 13.8 نقطة مئوية عن خط الأساس ثنائي الكلمات (bigram baseline) الذي بلغ (50.75%)، وتفوق على النماذج القوية المملوكة التي تعمل بنظام Zero-shot (مثل Opus 4.6 بنسبة 63.25%).
الكفاية الهيكلية: بشكل لافت، حقق استخدام الهيكل فقط (S+R، مع إزالة نص العبارة) دقة بلغت 65.74%، مما يشير إلى أن الميزات الهيكلية (ترتيب المتحدثين، الأدوار، المراحل) كافية للتنبؤ بأنماط تبادل الأدوار، بينما قد تسبب النصوص أنماطاً معجمية غير قابلة للنقل.
التنبؤ بالنية: كانت هذه المهمة أصعب، حيث حقق أفضل نموذج (FT-SU) دقة بلغت 32.96%، متفوقاً بفارق ضئيل على خط الأساس للأغلبية (30.05%). كان النص ضرورياً لهذه المهمة، حيث انخفضت دقة النماذج التي تعتمد على الهيكل فقط إلى 31.17%.
كفاءة البيانات: تحسن الأداء بشكل سريع؛ حيث حدثت معظم التحسينات خلال أول 3-4 اجتماعات لفريق محدد، مما يشير إلى أن النماذج يمكنها التكيف بسرعة مع ديناميكيات الفريق الخاصة.
التحقق الخارجي: على مجموعة بيانات AMI Meeting Corpus، حقق المزيج المتوازن من TIDES+AMI (الذي يجمع 62 ألف عينة من TIDES مع 62 ألف عينة من AMI بإجمالي 124 ألف عينة) دقة بلغت 45.79%. هذه النتيجة تقع ضمن نطاق 2.06 نقطة مئوية من الحالة الراهنة (SOTA) (Hilgert & Niehues, 2025) مع استخدام أقل بنسبة ~42% من بيانات التدريب مقارنة بخط الأساس SOTA داخل النطاق.
التوليد والتقييم البشري
التماسك الهيكلي: حسنت النماذج التي تم ضبطها بدقة التماسك الهيكلي بشكل كبير، حيث ولدت عدداً أقل بكثير من المتحدثين غير الصالحين (152–178 عند 10 أدوار) مقارنة بنماذج Vanilla (786 متحدثاً غير صالح).
عدم التطابق في الطبيعية: رغم التفوق في التنبؤ الهيكلي، فضل المقيمون البشريون نماذج Vanilla بشكل كبير على النماذج التي تم ضبطها بدقة من حيث الطبيعية، والتماسك، واتساق المتحدث.
فاز نموذج Vanilla في 21.1% من الأحكام مقابل 9.3% لنموذج FT-Plain (p < .001).
استمرت فجوة التفضيل هذه حتى بعد معالجة مخرجات النماذج التي تم ضبطها بدقة لتصحيح حالة الأحرف وعلامات الترقيم.
الاستنتاج: تشير النتائج إلى وجود عدم تطابق محتمل: فالتحسين من أجل الهيكل الحواري (التنبؤ بـ من يتحدث) لا يؤدي بالضرورة إلى محتوى يراه البشر طبيعياً أو متماسكاً.
الأهمية والادعاءات
يزعم البحث أن TIDES توفر مورداً أساسياً لنمذجة الديناميكيات الاجتماعية الطولية متعددة الأطراف، مما يعالج فجوة حرجة في مجموعات البيانات الحالية التي تعتمد على التفاعلات قصيرة المدى أو المكتوبة.
نمذجة التطور: تتيح مجموعة البيانات دراسة كيفية تطور الأدوار الاجتماعية، وأنماط التفاعل، وتطور الفريق بمرور الوقت، متجاوزة اللقطات الساكنة للتفاعل الجماعي.
الهيكل مقابل المحتوى: المساهمة الرئيسية هي النتيجة التجريبية التي تفيد بأنه بينما يحسن الفهم الهيكلي (الأدوار، المراحل) التنبؤ بتبادل الأدوار بشكل كبير، فإنه لا يترجم تلقائياً إلى توليد محتوى أكثر طبيعية. وهذا يتحدى الافتراض بأن التفكير الغني في هيكل المجموعة يؤدي بطبيعته إلى مساهمات أكثر طبيعية.
كفاءة البيانات: يوضح العمل أن كمية صغيرة نسبياً من بيانات الاجتماعات الطولية المنظمة جيداً كافية لالتقاط ديناميكيات الفريق والانتقال بفعالية إلى مجموعات أخرى (AMI). وتحديداً، تم تدريب النموذج العام على 32,243 عينة مستمدة من تسعة فرق (الفرق 1، 2، 3، 5، 8، 9، 10، 11، و12)، مع استبعاد فريق التحقق (الفريق 4) وفرق الاختبار (الفرق 6 و7). حققت تجربة النقل عبر المجموعات نتائج قوية باستخدام مزيج متوازن بلغ إجماليه 124 ألف عينة، متفوقة على النهجيات واسعة النطاق التي تعمل بنظام Zero-shot في مهام هيكلية محددة.
يخلص المؤلفون إلى أنه بينما تدعم TIDES بنجاح التنبؤ بالهيكل الحواري، فإن الانفصال بين الدقة الهيكلية والتفضيل البشري للطبيعية يسلط الضوء على اتجاه مفتوح للبحوث المستقبلية: فهم كيف يمكن لوكلاء LLM توليد عبارات طبيعية تتماشى مع الحقائق الهيكلية للديناميكيات الجماعية.