Don't Just Listen, Try Planning: Graph-based Retrieval-Generation Agent for Long-form Audio Meeting Understanding

تخيل أنك تجلس في اجتماع طويل ومزدحم حيث تتداخل الأصوات، ويقاطع بعضكم بعضاً، وتتحول المحادثة من مناقشة حول الميزانية إلى نوبة مفاجئة من الإحباط. إذا طُلب منك لاحقاً توضيح سبب رفع شخص معين لصوته عند الدقيقة التاسعة عشرة بالضبط، أو تتبع كيف أثر قرار اتُّخذ في بداية الساعة على شكوى قُدمت بعد عشرين دقيقة، فإنك لن تعتمد على الكلمات المنطوقة فحسب؛ بل ستتذكر النبرة، وحجم الصوت، والوقفات، والطريقة التي تدفقت بها المحادثة من شخص لآخر. لعقود من الزمن، كافحت الحواسيب للقيام بالمثل. وبينما أصبحت الآلات ممتازة في تحويل الكلام إلى نص، إلا أنها غالباً ما تفشل في فهم السياق الكامل للمحادثات الطويلة والمعقدة؛ فهي تميل إلى معاملة الاجتماع كقائمة مسطحة من الجمل، مما يفقدها التفاصيل الحاسمة حول من قال ماذا، ومتى قاله، وكيف قاله. ويصبح هذا القصور عقبة رئيسية عند محاولة الإجابة عن أسئلة تتعلق بتسجيلات تمتد لساعات، حيث قد تكون الإجابة على سؤال بسيط مخبأة في أعماق شبكة من التفاعلات التي تمتد عبر المدة بأكملها.

لقد طور باحثون في جامعة سووتشو في الصين نهجاً جديداً لحل هذه المشكلة، حيث ابتكروا نظاماً لا يكتفي بالاستماع إلى الصوت فحسب، بل يخطط بنشاط لكيفية إيجاد الإجابة. بدأوا بالإقرار بأن نماذج الذكاء الاصطناعي الحالية، المصممة لمعالجة الكلام، غالباً ما تتجاهل المعلومات الصوتية القيمة مثل حجم الصوت والعاطفة لصالح النص الخام. علاوة على ذلك، تواجه هذه النماذج صعوبة في تذكر التفاصيل من بداية تسجيل طويل عندما تحاول الإجابة عن سؤال يتعلق بنهاية التسجيل. ولمعالجة ذلك، قام الفريق أولاً ببناء مجموعة بيانات جديدة تسمى LongAudioQA، تحتوي على مئات الأسئلة حول اجتماعات من العالم الحقيقي، تتراوح من الاستفسارات الواقعية البسيطة إلى الأسئلة المعقدة التي تتطلب فهم الحالة العاطفية للمتحدث أو الربط المنطقي بين جزأين متباعدين من المحادثة.

يكمن جوهر حلهم في نظام يسمونه "الوكيل القائم على الرسم البياني للاسترجاع والتوليد" (graph-based retrieval-generation agent). فبدلاً من تغذية الملف الصوتي بأكمله في نموذج واحد دفعة واحدة، قام الباحثون أولاً بتفكيك الاجتماع إلى خريطة مهيكلة. وفي هذه الخريطة، تصبح كل جملة منطوقة "عقدة"، وتُرسم الروابط بينها بناءً على من يتحدث، ومتى يتحدث، وعما يتحدث. هذا الهيكل يسمح للحاسوب برؤية الاجتماع ليس كمجرى من الكلمات، بل كشبكة من العلاقات. وعندما يطرح المستخدم سؤالاً، لا يبحث النظام ببساطة عن الكلمات المتطابقة، بل يعمل كخبير بشري يخطط لعملية بحثه؛ حيث يقوم بتفكيك السؤال، ويقرر أي أجزاء من الخريطة سيستكشفها، ثم يتحرك خطوة بخطوة عبر الروابط لجمع الأدلة.

إذا لم يوفر البحث الأولي معلومات كافية، فإن لدى النظام القدرة على التأمل في تقدمه؛ إذ يمكنه إدراك أنه يفتقد قطعة من اللغز، مثل نبرة صوت معينة أو سياق تصريح سابق، ومن ثم يعيد التخطيط لبحثه للبحث عن تلك القطعة المفقودة. وتستمر هذه الدورة من البحث والجمع والتأمل حتى يشعر النظام بالثقة في أنه وجد الإجابة الصحيحة. وتسمح هذه الطريقة للنظام بالتعامل مع الأسئلة التي تتطلب ربط النقاط عبر الزمن، مثل تحديد سبب شعور المتحدث بالغضب في لحظة معينة من خلال ربط تلك اللحظة بوعد سابق تم إخلافه.

تظهر نتائج اختباراتهم أن هذا النهج القائم على التخطيط يتفوق بشكل كبير على النماذج الحالية المتطورة التي تعتمد على البحث النصي البسيط أو المعالجة الصوتية المباشرة. ففي الاختبارات التي شملت اجتماعات استمرت لأكثر من ثلاثين دقيقة، تمكن النظام الجديد من الإجابة على أسئلة معقدة بدقة أعلى بكثير، لا سيما عندما تتطلب الأسئلة فهم النبرة العاطفية للمتحدثين أو تتبع تدفق المحادثة على مدى فترة طويلة. ووجد الباحثون أنه من خلال نمذجة العلاقات بين المتحدثين والزمن بشكل صريح، ومن خلال السماح للنظام بتخطيط استراتيجية البحث الخاصة به، استطاعوا التغلب على المشكلة الشائعة المتمثلة في "تجزئة السياق"، حيث تُفقد التفاصيل المهمة لأنها متباعدة جداً في التسجيل.

يشير هذا العمل إلى أنه لكي تفهم الحواسيب المحادثات البشرية طويلة المدى حقاً، فإنها تحتاج إلى أكثر من مجرد معالجات قوية؛ إنها بحاجة إلى طريقة لتنظيم المعلومات تحاكي كيفية تنقل البشر طبيعياً في التفاعلات الاجتماعية المعقدة. ومن خلال معاملة الاجتماع كخريطة مهيكلة ومنح الحاسوب القدرة على التفكير في عملية البحث الخاصة به، نجح الباحثون في إنشاء نظام يمكنه الاستماع إلى الاجتماع، وفهم العلاقات داخله، وتقديم إجابات تستند إلى الأدلة الفعلية للتسجيل. وبينما لا يزال النظام يواجه تحديات مع التسجيلات شديدة الضجيج، فإن قدرته على التخطيط والتأمل تمثل خطوة كبيرة للأمام في جعل الذكاء الاصطناعي قادراً على فهم العمق الكامل للحوار البشري.