Human-Centric Image Retrieval Using Scene Graphs with Person Layout and Nonverbal Social Cues
تقترح هذه الورقة طريقة لاسترجاع الصور المتمحورة حول الإنسان تستفيد من الرسوم البيانية للمشهد لترميز تخطيطات الأشخاص ثنائية ونصف الأبعاد (2.5D) والإشارات الاجتماعية غير اللفظية —مثل نظرة العين، والاتجاه، والإيماءات— مما يتيح المقارنة الهيكلية للتفاعلات بين الأشخاص بما يتجاوز أوجه التشابه البصري العالمي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المكتبات الرقمية الشاسعة في عصرنا هذا، غالبًا ما يبدو العثور على صورة محددة وكأنه بحث عن إبرة في كومة من البكسلات. لقد أصبحت الأنظمة الحاسوبية التقليدية جيدة تمامًا في التعرف على الأشياء الموجودة في الصورة؛ إذ يمكنها إخبارك أن الصورة تحتوي على كلب، أو شجرة، أو مجموعة من الناس. كما يمكنها مطابقة الصور بناءً على اللون، أو الإضاءة، أو الحالة المزاجية العامة للمشهد. ومع ذلك، غالبًا ما تعاني هذه الأنظمة في فهم القصة التي تدور بين الأشخاص في الصورة. فقد يرى الحاسوب صورتين تحتويان على نفس العدد من الأشخاص وخلفيات متشابهة ويفترض أنهما متطابقتان، حتى لو كان الأشخاص في إحدى الصورتين يوليان ظهورهم لبعضهما البعض في صمت، بينما في الأخرى، يميلان نحو بعضهما، ويتواصلان بصريًا، ويتشاركان حديثًا. إن معنى المشهد البشري لا يكمن فقط فيمن هو موجود، بل في كيفية ترتيبهم، وكيف ينظرون إلى بعضهم البعض، وخطوط الانتباه غير المرئية التي تربط بينهم.
لقد طور باحثون في جامعة إينهوا في كوريا الجنوبية طريقة جديدة لتعليم الحواسيب رؤية هذه الروابط الاجتماعية الدقيقة. فبدلاً من مجرد النظر إلى الصورة الإجمالية، تقوم طريقتهم ببناء خريطة هيكلية للأشخاص داخل المشهد. إنهم يعاملون كل شخص كنقطة على الخريطة ويرسمون خطوطًا بين بعضهم البعض لتمثيل كيفية تفاعلهم. هذه الخطوط ليست عشوائية؛ بل تستند إلى أدلة بصرية حقيقية مثل اتجاه نظر الشخص، واتجاه جسده، ووضعية ذراعيه، ومدى قربه من الآخرين. ومن خلال دمج هذه التفاصيل مع الإحساس بالعمق — أي تحديد من يقف أمام من — ينشئ النظام مخططًا تفصيليًا للموقف الاجتماعي. وهذا يسمح للحاسوب بالبحث عن الصور ليس فقط بناءً على مظهرها، ولكن بناءً على كيفية ارتباط الأشخاص داخلها ببعضهم البعض.
يبدأ نهج الفريق بأخذ صورة وتحديد كل شخص فيها. ولكل شخص، يحدد النظام موقعه ويقدر شكل جسده باستخدام نقاط رئيسية مثل الكتفين والمرفقين والركبتين. والأهم من ذلك، أن النظام لا يتوقف عند رؤية مسطحة ثنائية الأبعاد؛ بل يستخدم تقنية لتقدير مدى بعد كل شخص عن الكاميرا، مما يخلق إحساسًا بالعمق يساعد في التمييز بين من يقف في المقدمة ومن يقف في الخلف. هذه المعلومات المتعلقة بالعمق حيوية لأن شخصين قد يبدوان قريبين من بعضهما على الشاشة، لكنهما في الواقع يقفان بعيدين عن بعضهما في الواقع، أو العكس. وبمجرد رسم المواقع، يحلل النظام المساحة بين كل زوج من الأشخاص لتحديد طبيعة اتصالهم. فهو يتحقق مما إذا كانت رؤوسهم متجهة نحو بعضهم البعض، أو إذا كانت أجسادهم متماشية بطريقة توحي بإجراء محادثة، أو إذا كانت إيماءاتهم تشير إلى أنهم يتواصلون مع بعضهم البعض.
يتم نسج كل هذه المعلومات معًا في وصف واحد مدمج للمشهد. يلتقط هذا الوصف عدد الأشخاص، وتخطيطهم في الفضاء، وقوة الروابط الاجتماعية بينهم. وعندما يريد مستخدم العثور على صورة مشابهة، يقارن النظام هذا الوصف بقاعدة بيانات ضخمة تضم ملايين الصور. فهو لا يبحث ببساطة عن صور لها نفس الألوان أو الخلفيات، بل يبحث عن مشاهد يكون فيها الأشخاص مرتبين بطريقة مماثلة وحيث تتطابق خطوط التفاعل غير المرئية مع الاستعلام. فعلى سبيل المثال، إذا بحث مستخدم عن صورة لشخصين في محادثة جادة، فسيمنح النظام الأولوية للصور التي يواجه فيها شخصان بعضهما البعض بتركيز تام، حتى لو كانت الخلفية مختلفة تمامًا عن صورة البحث. وسيتجاهل الصور التي يقف فيها الأشخاص بالقرب من بعضهم البعض ولكنهم ينظرون في اتجاهات متعاكسة، حتى لو كانت الإضاءة والألوان متطابقة.
اختبر الفريق طريقتهم على قاعدة بيانات تحتوي على 560,000 صورة ووجدوا أن هذا النهج الهيكلي حسن جودة نتائج البحث بشكل كبير. وفي كثير من الحالات، نجح النظام في استرجاع صور تبدو مختلفة بصريًا ولكنها تشترك في نفس الديناميكية الاجتماعية. وعندما أزالوا جزء تحليل الاتصال الاجتماعي، انخفضت قدرة النظام على التمييز بين أنواع التفاعلات المختلفة بشكل حاد. فعلى سبيل المثال، في اختبار تضمن 26 صورة بحث، أدى إزالة الإشارات الاجتماعية إلى تغيير النتيجة الأولى في 18 حالة. وهذا يثبت أن النظام كان يعتمد على التفاصيل الدقيقة للتفاعل البشري — مثل نظرة العين واتجاه الجسم — لاتخاذ قراراته، بدلاً من مجرد مطابقة المظهر العام للصورة. كما أظهرت الطريقة إمكانات واعدة في تحليل الفيديو، حيث يمكنها تحديد اللحظات التي يتغير فيها ديناميك الجماعة، مثل عندما يعيد حشد تنظيم نفسه فجأة أو عندما تبدأ محادثة، مما يميز هذه التغييرات الاجتماعية عن التحولات البصرية البسيطة مثل تغير الإضاءة أو زاوية الكاميرا.
وعلى الرغم من قوة هذا النظام، إلا أن الباحثين يشيرون بحذر إلى حدوده. فهو يعتمد على قدرة الحاسوب على اكتشاف الأشخاص وتقدير وضعيات أجسامهم، وهو أمر قد يكون صعبًا في المشاهد المزدحمة، أو في الإضاءة المنخفضة، أو عندما يكون الأشخاص مختبئين جزئيًا. النظام لا يعرف ما يقوله الناس أو بماذا يفكرون؛ إنه يفسر فقط الإشارات الجسدية المرئية في الصورة. فهو يرى جسدًا ملتفًا نحو شخص آخر ويستنتج وجود اتصال، لكنه لا يستطيع تأكيد القصد وراء تلك الإيماءة. وبالرغم من هذه القيود، يمثل هذا العمل خطوة كبيرة للأمام في كيفية فهم الآلات للمشاهد التي تتمحور حول الإنسان. فمن خلال الانتقال من مجرد التعرف على الأشياء إلى رسم خريطة للشبكة المعقدة للتواصل غير اللفظي، منح الباحثون الحواسيب طريقة جديدة لرؤية العالم: ليس كمجرد مجموعة من الأشياء، بل كسلسلة من العلاقات. وهذا يسمح بتجربة بحث أكثر حدسية ومعنى، حيث يتم العثور على الإجابة على الاستعلام في القصة التي يرويها الأشخاص، وليس فقط في الألوان التي يرتدونها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.