🤖 AI

Emergent Communication between Heterogeneous Visual Agents through Decentralized Learning

تُثبت هذه الورقة أن الوكلاء البصريين غير المتجانسين يمكنهم تطوير رموز تواصل مشتركة ومعلوماتية من خلال التعلم اللامركزي والتقييم الإدراكي المحلي وحدهما، حيث يتم تشكيل خصوصية اللغة وتماثلها بشكل مباشر عبر مدى تشابه تمثيلاتها البصرية الأساسية.

المؤلفون الأصليون: Mikako Ochiai, Masatoshi Nagano, Tadahiro Taniguchi

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mikako Ochiai, Masatoshi Nagano, Tadahiro Taniguchi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل شخصين يحاولان وصف صورة لبعضهما البعض، لكنهما يرتديان نوعين مختلفين من "النظارات السحرية".

الشخص (أ) يرتدي نظارات ترى العالم بتفاصيل حادة وعالية الدقة.
الشخص (ب) يرتدي نظارات ترى العالم بأسلوب ضبابي قليلاً ومنخفض الدقة.

لا يمكن لأي منهما رؤية ما يراه الآخر من خلال نظاراته. إنهما يريان الصورة فقط من خلال عدساتهما الخاصة. هدفهما هو الاتفاق على رمز سري (قائمة من الأرقام) يصف الصورة، بحيث إذا قال الشخص (أ) الرمز، يعرف الشخص (ب) بالضبط أي صورة ينظر إليها الشخص (أ)، والعكس صحيح.

هذا هو جوهر التجربة في الورقة البحثية: هل يمكن لوكيلين يمتلكان "رؤى" مختلفة أن يتعلما التحدث بلغة واحدة دون وجود معلم يخبرهما إذا كانا على صواب أم لا؟

اللعبة: "التخمين أو الرفض"

بدلاً من وجود معلم يقيم أداءهما، يلعب الوكيلان لعبة تسمى لعبة ميتروبوليس-هستينغز للوصف (MHCG). وإليك كيف تعمل:

المتحدث: ينظر الوكيل (أ) إلى صورة من خلال نظاراته ويأتي برمز سري (سلسلة من الأرقام) يعتقد أنه يصفها.
المستمع: ينظر الوكيل (ب) إلى نفس الصورة من خلال نظاراته المختلفة. كما يقوم هو أيضاً بتوليد رمزه الخاص.
القرار: يتعين على الوكيل (ب) أن يقرر: "هل الرمز الذي قدمه الوكيل (أ) هو وصف جيد لرؤيتي لهذه الصورة؟"
- إذا اعتقد الوكيل (ب): "نعم، هذا الرمز يناسب صورتي جيداً"، فإنه يقبل الرمز.
- إذا اعتقد الوكيل (ب): "لا، هذا الرمز لا يناسب صورتي"، فإنه يرفضه ويحتفظ برمزه الخاص.
التعلم: عبر آلاف الجولات، يتبادلان الأدوار. وهما لا يطوران "عقلهما" (مولد النصوص لديهما) إلا بناءً على الرموز التي تم قبولها. إنهما يتعلمان التحدث بلغة تعمل لتناسب كلا النوعين من النظارات، وذلك ببساطة من خلال التحقق مما إذا كان تخمين الطرف الآخر منطقياً بالنسبة لهما.

ما وجداه

اختبر الباحثون هذا في ثلاثة سيناريوهات:

1. التوائم (نفس النظارات)
عندما ارتدى كلا الوكيلين نفس نوع النظارات تماماً، تعلما بسرعة لغة غنية ومفصلة. استطاعا وصف أشياء كثيرة ومختلفة، وفهما بعضهما البعض بشكل مثالي.

2. عدم التطابق المتوسط (نظارات مختلفة قليلاً)
عندما امتلك أحد الوكيلين نظارات عالية الدقة والآخر نظارات أقل دقة قليلاً، استمروا في تعلم التواصل.

النتيجة: طوروا مفردات أصغر. لم يتفقا على رموز كثيرة كما فعل التوائم.
التحول المفاجئ: ومع ذلك، كانت الرموز التي اتفقوا عليها دقيقة للغاية. لقد احتفظوا فقط بالأوصاف التي كانت واضة جداً بحيث يمكن لكلا النوعين من النظارات رؤيتها. كان الأمر كما لو أنهم اتفقوا على التحدث فقط عن "الأشياء الكبيرة والواضحة" (مثل "كلب" أو "سيارة") وتجاهل التفاصيل الصغيرة التي لا يمكن إلا لزوج واحد من النظارات رؤيتها.

3. عدم التطابق الكبير (نظارات مختلفة جداً)
عندما كانت النظارات التي يمتلكها الوكيلان مختلفة جداً (أحدهما عالية الدقة، والآخر ذات بنية مختلفة تماماً)، أصبح التواصل أصعب بكثير.

النتيجة: تعلموا عدداً قليلاً جداً من الرموز. وكانت الرموز التي تعلموها "خشنة" (غامضة).
الانحياز: أصبحت اللغة غير متوازنة. بدأت تشبه لغة الوكيل الذي يمتلك النظارات "الأقوى". اضطر الوكيل ذو النظارات الأضعف للتكيف أكثر مع طريقة رؤية الوكيل الأقوى للعالم. لم تكن اللغة مزيجاً عادلاً؛ بل مالت بشدة نحو جانب واحد.

السر وراء النجاح: "اختبار الحدس للمستمع"

وجدت الورقة البحثية أن الجزء الأكثر أهمية في هذه اللعبة كان قدرة المستمع على قول "لا".

إذا أجبر الباحثون المستمع على قبول كل رمز يقدمه المتحدث، فسيبدأ الوكيلان في تكرار نفس الرمز الممل مراراً وتكراراً (مثل قول "1-1-1-1-1" لكل صورة). كانت خطوة "الرفض" ضرورية لإجبارهما على إيجاد رموز تحمل بالفعل معلومات بصرية مفيدة. كان "اختبار الحدس" الداخلي للمستمع (تقييم الرمز مقابل بياناته البصرية الخاصة) هو الشيء الوحيد الذي منع اللغة من الانهيار وتحولها إلى عبث.

الخلاصة الكبرى

تثبت الورقة البحثية أن الرموز المشتركة يمكن أن تنبثق من تجارب خاصة ومختلفة. لست بحاجة إلى معلم مشترك أو هدف مشترك لخلق لغة مشتركة. أنت فقط بحاجة إلى وكيلين يتحققان باستمرار مما إذا كان التخمين منطقياً بالنسبة لرؤيتهما الخاصة للعالم.

ومع ذلك، كلما اختلفت رؤاهما، أصبحت لغتهما أبسط وأكثر انحيازاً لجانب واحد. يمكنهما التحدث، لكن عليهما المساومة بشأن التفاصيل، واللغة الناتجة غالباً ما تعكس منظور الرائي "الأقوى" أكثر من منظور الرائي الأضعف.

ملخص تقني: التواصل الناشئ بين الوكلاء البصريين غير المتجانسين عبر التعلم اللامركزي

1. بيان المشكلة

تتناول الورقة سؤالاً جوهرياً في مجال التواصل الناشئ (Emergent Communication - EC): ما هي المعلومات البصرية التي يمكن أن تصبح قابلة للمشاركة عندما يمتلك الوكلاء تمثيلات بصرية خاصة ومختلفة؟

تعتمد نماذج التواصل الناشئ القياسية عادةً على إشارة مهمة خارجية مشتركة (مثل لعبة مرجعية حيث يجب على المستمع تحديد صورة مستهدفة بناءً على رسالة المتحدث). هذه الإشارة المشتركة تربط الوكلاء من خلال هدف مشترك، مما قد يسمح للرموز الناشئة بالتحسين من أجل المهمة بدلاً من أن تكون متجذرة في الأدلة الإدراكية الخاصة بكل وكيل. يجادل المؤلفون بأنه لفهم كيفية نشوء الرموز من الإدراك البصري الخاص وحده، يلزم وجود إطار لامركزي حيث يرتبط الوكلاء فقط من خلال الرسائل المتبادلة ويقومون بتحديث نماذجهم باستخدام الأدلة الإدصرية المحلية، دون مكافآت مشتركة، أو تدرجات عبر الوكلاء، أو مشاركة في المعلمات.

التحدي الأساسي هو تحديد ما إذا كان يمكن ظهور رموز مشتركة دون وصول إدراكي مشترك، وكيف يحد التشابه (أو عدم التطابق) بين الفضاءات البصرية الخاصة بالوكلاء من محتوى وتماثل اللغة الناتجة.

2. المنهجية

2.1 لعبة وصف "متروبوليس-هستينغز" (MHCG)

قام المؤلفون بتطبيق إطارهم اللامركزي باستخدام لعبة وصف متروبوليس-هستينغز (MHCG)، والمكيفة لنماذج الرؤية واللغة (VLMs).

الوكلاء: وكيلان (الوكيل A والوكيل B) يلاحظان رؤى مستقلة ومعززة لنفس الصورة.
البنية: يتكون كل وكيل من:
- مشفر بصري مجمد (مبني على ViT مدرب مسبقاً، مثل DINOv2 أو MAE).
- وحدة نصية عشوائية التهيئ (بإعدادات BERT-Tiny) تعمل كمشفر وفك تشفير في آن واحد.
- مهايئ ProbVLM يقوم بخرائط الميزات النوعية لكل وسيط إلى فضاء كامن احتمالي مشترك، حيث يتم نمذجة التوزيعات كمعاملات غاوسية قطرية (diagonal generalized Gaussians).
بروتوكول التفاعل:
1. المتحدث: يقوم بتشفير ملاحظته البصرية ويختار تسلسلاً مرشحاً من الرموز (وصف/caption) $c^*$ .
2. المستمع: يولد وصفه الخاص $c$ لنفس الصورة.
3. قرار القبول: يقيم المستمع الاقتراح $c^*$ المقدم من المتحدث مقابل وصفه $c$ باستخدام معيار قبول متروبوليس-هستينغز (MH). يعتمد القرار على نسبة الاحتمالية المستمدة من الميزات البصرية للمستمع ومعاملات كثافة الجانب النصي للأوصاف.
4. التحديث: إذا تم القبول، يصبح $c^*$ هو الهدف التدريبي للمستمع؛ وإلا يتم الاحتفاظ بـ $c$ . تتبادل الأدوار في الجولة التالية.
5. التعلم: يقوم الوكلاء بتحديث وحداتهم النصية فقط (المشفر، فك التشفير، طبقات الإسقاط، ورأس ITM) باستخدام الأوصاف المقبولة كأهداف ثابتة، مع تقليل خسائر نمط BLIP (التباين بين الصورة والنص، مطابقة الصورة والنص، ونمذجة اللغة). تظل المشفرات البصرية مجمدة.

2.2 الإعداد التجريبي

مجموعة البيانات: MS-COCO (استخدام train2017 للتدريب، و val2017 للتقييم).
حالات المشفر البصري: تم اختبار ثلاث مجموعات من المشفرات المجمدة:
1. HOMO (متجانس): مشفرات متطابقة (DINOv2 ViT-B/14 لكلا الوكيلين).
2. HETERO1 (عدم تجانس متوسط): DINOv2 ViT-B/14 مقابل DINOv2 ViT-S/14.
3. HETERO2 (عدم تجانس قوي): DINOv2 ViT-B/14 مقابل MAE ViT-B/16.
عناصر التحكم:
- NoCom (لا تواصل): لا يوجد تواصل (خط الأساس).
- AllAccept (قبول الكل): قبول جميع الاقتراحات ( $r \equiv 1$ ).
- Random Accept (قبول عشوائي): يطابق معدل قبول MH ولكن يقبل بشكل عشوائي موحد.
- ITM-based (مبني على ITM): يستخدم درجة مطابقة الصورة والنص التمييزية للمستمع بدلاً من نسبة احتمالية MH.

2.3 مقاييس التقييم

المحاذاة بين الوكلاء: استرجاع متعدد الوسائط (الصورة إلى النص والنص إلى الصورة) من النوع Top-1، وتحليل تشابه التمثيل (RSA) للنصوص بين الوكلاء.
نقل المعلومات البصرية: $\Delta R^2$ (التنبؤ الخطي المصحح بالتبديل للميزات البصرية من الرموز) و Vision-Text RSA.
الخصوصية البصرية: نصف قطر الرؤية العالمي المعيّل لتسلسلات الرموز المشتركة في مساحات CLS الثابتة.
التحيز التمثيلي: تحيز Partial-RSA ( $\Delta X$ ) لقياس ما إذا كانت الرموز الناشئة تتوافق بقوة أكبر مع الهندسة البصرية لأحد الوكلاء.

3. المساهمات الرئيسية

لعبة لغة VLM لامركزية: تقديم إطار عمل حيث يتعلم الوكلاء ذوو المشفرات البصرية غير المتجانسة رموزاً مشتركة دون الحاجة إلى مكافآت مهمة مشتركة، أو تدرجات عبر الوكلاء، أو مشاركة في المعلمات.
فعالية MHCG: إثبات أن MHCG تنتج تسلسلات رمزية مشتركة تحافظ على المعلومات البصرية عبر الوكلاء، متفوقة بشكل كبير على خط الأساس (NoCom) في مهام المحاذاة، التنبؤ، والاسترجاع.
توصيف عدم التجانس:
- عدم تطابق المشفر: تنخفض جميع مقاييس التفاعل بين الوكلاء مع زيادة عدم تطابق المشفرات.
- عدم التجانس المتوسط: يقلل من عدد التسلسلات المشتركة ولكنه يحافظ على الخصوصية البصرية للتسلسلات الفردية.
- عدم التجانس القوي: ينتج تسلسلات أقل وأكثر خشونة (coarser) مع وجود تحيز اتجاهي نحو البنية التمثيلية لأحد الوكلاء.
الدور الحاسم لفلترة MH: إظهار أن فلترة نسبة احتمالية MH من جانب المستمع ضرورية لمنع تشكل الرموز المتدهورة (الانهيار/collapse) وتمكين النقل الفعال للمعلومات البصرية، متفوقة على التحكم في المطابقة التمييزية أو القبول العشوائي.

4. النتائج

الأداء مقابل خط الأساس: في جميع حالات المشفر، تفوقت MHCG بشكل كبير على خط الأساس NoCom عبر جميع المقاييس (على سبيل المثال، في حالة HOMO، كان الاسترجاع بين الوكلاء حوالي 92% مقابل 23% لـ NoCom).
تأثير عدم التطابق:
- HOMO: أعلى أداء، ومحاذاة متماثلة.
- HETERO1: انخفض الأداء ولكنه ظل قوياً. أنتج النظام 39% أقل من التسلسلات المشتركة مقارنة بـ HOMO، لكن الخصوصية البصرية لكل تسلسل (المقاسة بنصف القطر البصري) ظلت قابلة للمقارنة.
- HETERO2: انخفاض كبير في الأداء. كانت التسلسلات المشتركة أقل، وتغطي مجموعات صور أكثر اتساعاً وتنوعاً (مفاهيم أكثر خشونة).
التحيز التمثيلي: في حالة HETERO2، ظهر تحيز اتجاهي واضح ( $\Delta A > 0, \Delta B < 0$ )، حيث كانت اللغة المشتركة تتوافق بقوة أكبر مع الهندسة البصرية للوكيل A (DINOv2 ViT-B). نتج عن ذلك استرجاع غير متماثل (الرموز الخاصة بالوكيل B انتقلت بشكل أفضل إلى مساحة الوكيل A والعكس صحيح).
دراسات الاستبعاد (Ablation Studies):
- AllAccept: أنتجت محاذاة عالية بين النصوص ولكن مع تسلسلات متدهورة ومنخفضة التنوع وضعيفة في الاسترجاع.
- Random Accept: فشلت في نقل المعلومات البصرية، وكان أداؤها قريباً من الصدفة.
- ITM-based: كانت أفضل من العشوائي ولكنها ظلت أدنى من MHCG، مما يشير إلى أن فلتر MH الاحتمالي يتفوق على المطابقة التمييزية البسيطة في هذا الإعداد اللامركزي.

5. الأهمية والادعاءات

تدعي الورقة أن الرموز المشتركة يمكن أن تنشأ من التقييم الإدراكي المحلي وحده، دون الحاجة إلى هدف تواصلي خارجي مشترك. توضح الدراسة أن:

تشابه التمثيل البصري هو عامل رئيسي يشكل اللغة الناتجة: فهو يحدد كلاً من المحتوى (الخصوصية مقابل الخشونة) والتماثل (التحيز) للرموز الناشئة.
الاستدلال اللامركزي عبر أخذ عينات MH يسمح للوكلاء بالتفاوض على فضاء كامن مشترك رغم امتلاكهم خلفيات بصرية ثابتة ومختلفة.
عدم التجانس المتوسط يعمل كعنق زجاجة للاختيار، حيث يقوم بفلترة المفاهيم التي لا تظل ثابتة عبر التمثيلات البصرية المختلفة، مما ينتج مفردات أصغر ولكنها أكثر قوة للمفاهيم المشتركة.
عد عدم التجانس القوي يؤدي إلى انهيار في التماثل، حيث تميل اللغة المشتركة إلى منح الأولوية للبنية التمثيلية للوكيل الذي يمتلك المشفر البصري الأكثر هيمنة أو توافقاً.

يضع المؤلفون هذا العمل كحجر أساس لفهم كيفية تطور الأنظمة الرمزية والمساحات الإدراكية الخاصة معاً من خلال التفاعل، ويقدمون إطار عمل لدراسة تجذر اللغة في الأنظمة متعددة الوكلاء الموزعة وغير المتجانسة. كما يشيرون صراحة إلى القيود، بما في ذلك استخدام المشفرات المجمدة (مما يمنع تكيف الإدراك)، واستخدام مجموعة بيانات واحدة، ومفردات صغيرة، مما يوحي بأن العمل المستقبلي يجب أن يستكشف ما إذا كانت الرموز المشترعة يمكن أن تعيد تشكيل المساحات الإدراكية الخاصة وكيف يمكن لهذه الديناميكيات أن تتوسع مع مجموعات سكانية أكبر وأنماط متعددة.