A Dynamic-Semantics Framework for Grounding Human Referring Expressions in Visual Perceptual Data

لعبة "عن ماذا نتحدث؟" الكبرى

تخيل أنك وصديق لك تلعبان لعبة حيث يمتلك كل منكما مجموعة من الأشكال التجريدية الغريبة المصنوعة من قطع الأحجية. لا يمكنك رؤية شاشات بعضكما البعض، ولكن عليكما اختيار نفس الشكل تماماً. أنت تصف شكلك ("الذي يشبه قطة راقصة")، وعلى صديقك أن يخمن أي واحد تقصد. الجزء الصعب؟ هذه الأشكال ليس لها أسماء حقيقية مثل "قطة" أو "كلب". إنها مجرد ظلال غريبة.

في عالم العلوم، يُسمى هذا لعبة مرجعية (reference game). وهي طريقة يستخدمها الباحثون لدراسة كيفية بناء البشر لـ أرضية مشتركة (common ground)—وهي قاموس ذهني مشترك لا يفهمه سوى أنتما الاثنان. عندما تلعب هذه اللعبة مراراً وتكراراً، تبدآن في تطوير مواثيق مفاهيمية (conceptual pacts). وهذا مجرد تعبير معقد يعني أنك أنت وصديقك تتفقان على أنه: "حسناً، من الآن فصاعداً، عندما أقول 'السيدة المدببة'، فنحن كلينا نعرف أن هذا يعني تلك القطعة المحددة من الأحجية". تسمى هذه العملية الاستيعاب المعجمي (lexical entrainment). وهي الطريقة التي تجعلنا نتوقف عن قول "ذلك الشيء ذو الأجزاء المدببة" ونبدأ في قول "السيدة المدببة" دون ارتباك.

لماذا نهتم بهذا؟ لأننا نحاول تعليم الحواسيب القيام بالشيء نفسه. نريد للذكاء الاصطناعي أن يكون زميلاً جيداً، وليس مجرد روبوت يخمن عشوائياً. ولكن إليكم المشكلة: نماذج الذكاء الاصطنا الحالي سيئة جداً في هذا؛ فهي تنسى ما اتفقتما عليه قبل خمس دقائق، ولا تختصر أوصافها، وتصاب بالارتباك عندما تحاول استخدام لقب لم تشارك هي في ابتكاره. تسأل هذه الورقة سؤالاً بسيطاً: هل يمكننا بناء كمبيوتر يحتفظ بمذكرة منظمة وواضحة لهذه الاتفاقات، حتى لا يضيع في وسط المحادثة؟

---

الفكرة الكبرى للورقة: كمبيوتر بـ "مذكرة"

قام مؤلف هذه الورقة ببناء نوع خاص من اللاعبين الحاسوبيين لهذه اللعبة اللغز. يسمونه "المؤدي المشترك الآلي" (Machine Co-Performer - MCP). وبدلاً من محاولة جعل الذكاء الاصطناعي "يفكر" مثل الإنسان بعقل ضخم وفوضوي، أعطوه أداة محددة ومنظمة للغاية: مذكرة رمزية.

تخيل أن عقل الذكاء الاصطناعي يحتوي على ثلاث مجلدات متميزة:

1. مجلد "الأمر المؤكد" (Γ): يحتوي على الاتفاقات التي يثق بها الذكاء الاصطناعي بنسبة 100%. "لقد اتفقنا أن 'السيدة المدببة' تعني المثلث الأحمر".
2. مجلد "ربما" (Ξ): يحتوي على التخمينات التي لا يزال الذكاء الاصطناعي يعمل عليها. "هممم، 'السيدة المدببة' قد تكون المثلث الأحمر، أو ربما الأزرق. لنضع كليهما في الاعتبار".
3. مجلد "مستحيل" (Ω): هو سلة المهملات للأفكار التي ثبت خطؤها. "حسناً، 'السيدة المدببة' ليست بالتأكيد الدائرة الخضراء".

في كل مرة يقول فيها اللاعب البشري شيئاً جديداً، يستخدم الذكاء الاصطناعي مجموعة من القواعد المنطقية لنقل العناصر بين هذه المجلدات. إذا قال الإنسان: "إنها تلك ذات الأقدام المدببة"، ورأى الذكاء الاصطناعي أن المثلث الأحمر وحده هو الذي يناسب هذا الوصف، فإنه ينقل هذه الفكرة من مجلد "ربما" إلى مجلد "الأمر المؤكد". هذه هي طبقة الدلالات الديناميكية (dynamic-semantics layer). إنها تشبه أمينة مكتبة صارمة جداً لا تفقد أبداً مسار الكتب المستعارة، أو الكتب الموجودة على الرف، أو الكتب المحظورة.

كيف "يرى" الذكاء الاصطناعي العالم

لكن المذكرة ستكون بلا فائدة إذا لم يكن الذكاء الاصطناعي يعرف كيف تبدو قطع الأحجية. قد يقول اللاعب البشري "متزلجة على الجليد"، لكن الذكاء الاصطناعي ليس لديه أعين. لذا، منح المؤلف الذكاء الاصطناعي قوة خارقة: صور جوجل (عبر Bing).

عندما يقول الإنسان "متزلجة على الجليد"، يخرج الذكاء الاصطناعي ويجلب أفضل 7 صور لمتزلجات من الإنترنت. ثم يحاول "تضييق عينيه" للنظر في تلك الصور ليرى ما إذا كانت تشبه أي قطعة من قطع الأحجية الاثنتي عشرة الموجودة على الطاولة. وللقيام بذلك، يستخدم حيلة ذكية تسمى محاذاة SIFT (والتي تطابق أشكال الصور مع قطع الأحجية) وفحص جودة يسمى UQI (والذي يقيس مدى تشابه الأشكال).

الأمر يشبه قيام الذكاء الاصطناعي بالإمساك بصورة لمتزلجة حقيقية بجانب قطعة أحجية سوداء، وتدوير الصورة، وقلبها رأساً على عقب، وتحويلها إلى الأبيض والأسود، فقط ليرى: "مهلاً، هل هذا الشكل يشبه ذلك الشكل؟". إذا تطابقت الأشكال بشكل كافٍ، يضع الذكاء الاصطناعي قطعة الأحجية هذه في مجلد "ربما" الخاص به.

النتائج: جيدة، ولكن ليست مثالية

اختبر الفريق هذا النظام باستخدام مجموعة ضخمة تضم أكثر من 15,000 لعبة سابقة لعبها البشر. أرادوا معرفة ما إذا كان ذكاء الاصطناعي "حافظ المذكرات" يمكنه تخمين قطعة الأحجية الصحيحة بمجرد سماع وصف الإنسان الأول.

إليكم ما وجدوه:

• قائمة "ربما": عندما نظر الذكاء الاصطناعي في أفضل 5 تخمينات له، كانت قطعة الأحجية الصحيحة موجودة في القائمة بنسبة 83.56%. هذا جيد جداً!
• قائمة "الأمر المؤكد": عندما كان على الذكاء الاصطناعي اختيار إجابة واحدة فقط (أفضل تخمين واحد)، كان محقاً بنسبة 41.66%.
• المقارنة مع البشر: البشر الحقيقيون الذين يلعبون نفس اللعبة يحصلون على الإجابة الصحيحة من المحاولة الأولى بنسبة تتراوح بين 77-80% تقريباً.

لذا، فإن الذكاء الاصطناعي بالتأكيد أفضل من التخمين العشوائي (الذي سيكون صحيحاً بنسبة 8.33% فقط)، ولكنه لا يهزم البشر بعد. فهو لا يزال يعاني في اختيار الإجابة الأفضل بدقة.

مشكلة "التسرب": سر قذر

كان المؤلف صريحاً جداً بشأن خلل في تجربته. فقد أدرك أنه في بعض الأحيان، عندما بحث الذكاء الاصطناعي عن "متزلجة على الجليد" على الإنترنت، وجد بالصدفة صورة لنفس قطعة الأحجية التي يحاول تحديدها بالضبط. الأمر يشبه لو كنت تلعب لعبة "خمن البطاقة"، والشخص الذي يعطيك التلميح قدم لك البطاقة نفسها بالخطأ.

إذا رأى الذكاء الاصطناعي قطعة الأحجية في نتائج البحث، فإنه سيخمن بشكل صحيح ليس لأنه فهم اللغة، بل لأنه تعرف على الصورة. وهذا ما يسمى تسرب الاسترجاع (retrieval leakage).

ولإصلاح ذلك، أعاد المؤلف الاختبار، ولكن هذه المرة قام بتصفية أي نتائج بحث تشبه قطع الأحجية كثيراً. وعندما أجرى هذا الاختبار "المتحفظ"، انخفض أداء الذكاء الاصطناعي:

• أفضل 5 تخمينات: انخفضت إلى 67.8%.
• أفضل تخمين واحد: انخفضت إلى 29.2%.

هذا يخبرنا أنه بينما يمتلك الذكاء الاصطناضي بعض القدرة على فهم اللغة ومطابقتها مع الأشكال (أي أن "الإشارة" حقيقية)، إلا أن جزءاً كبيراً من نجاحه السابق كان مجرد حظ ناتج عن العثود على الإجابة في نتائج البحث الخاصة به. وحتى مع هذا الفلتر، لا يزال الذكاء الاصطناعي بعيداً جداً عن المستوى البشري البالغ 77-80%.

ما تفعله هذه الورقة (وما لا تفعله)

أهم شيء يجب فهمه هو ما لا تفعله هذه الورقة:

• هي ليست روبوتاً تفاعلياً بالكامل. الذكاء الاصطناعي في هذه الدراسة لم يتحدث أبداً. لم يقل أبداً: "هل تقصد الأحمر أم الأزرق؟". إنه يستمع ويخمن فقط.
• هي ليست حلاً سحرياً يعلم الذكاء الاصطناعي كيف يتعلم مثل البشر. يعترف المؤلف بأن "الاستيعاب" الحقيقي (التعلم المشترك) يتطلب محادثة ثنائية الاتجاه، وهو ما لا يمتلكه هذا النظام.
• هي ليست منتجاً نهائياً. يذكر المؤلف صراحة أن نظامهم هو "مكون" (component)—أداة محددة لتتبع الاتفاقات—يمكن دمجها في روبوت أكبر وأكثر ذكاءً لاحقاً.

الخلاصة

هذه الورقة هي خطوة للأمام، وليست خط النهاية. لقد نجح المؤلف في بناء نظام يحتفظ بسجل واضح وقابل للمراجعة لما يعتقد أنه يعرفه، وهو أمر تفشل فيه العديد من أنظمة الذكاء الاصطناعي الحديثة. لقد أثبتوا أنه يمكنك الجمع بين "مذكرة" منطقية ومحرك بحث مرئي لجعل الكمبيوتر يفهم الأوصاف البشرية بشكل أفضل من التخمين العشوائي.

ومع ذلك، لا يزال الكمبيوتر متعثراً. فهو يرتبك بسهولة، ولا يمكنه طلب المساعدة، وأحياناً يعتمد على العث find الإجابة في نتائج البحث الخاصة به. يخلص المؤلف إلى أن الخطوة الكبيرة التالية هي بناء روبوت يمكنه التحدث فعلياً، وطرح أسئلة توضيحية، والتعلم من أخطائه في الوقت الفعلي. وحتى ذلك الحين، تظل هذه "المذكرة" أداة رائعة لفهم كيف ينبغي أن تسير العملية، حتى لو لم يكن الروبوت مستعداً بعد للعب اللعبة بمفرده.