Debate to Align: Reliable Entity Alignment through Two-Stage Multi-Agent Debate
تقترح الورقة البحثية AgentEA، وهو إطار عمل موثوق لمحاذاة الكيانات يعزز اتخاذ القرار من خلال تحسين تفضيل تمثيل الكيان وآلية مناظرة متعددة الوكلاء جديدة مكونة من مرحلتين، مما يظهر أداءً فائقاً عبر إعدادات متنوعة للرسوم البيانية للمعرفة.
المؤلفون الأصليون:Cunda Wang, Ziying Ma, Po Hu, Weihua Wang, Feilong Bao
تخيل أنك تحاول مطابقة مكتبتين ضخمتين وفوضويتين. إحدى المكتبتين مكتوبة باللغة الإنجليزية، والأخرى باللغة الفرنسية. كلتاهما تحتويان على ملايين الكتب حول نفس الأشياء في العالم الحقيقي (أشخاص، أماكن، أفلام)، ولكن يتم تنظيمهما بشكل مختلف، ولديهما أغلفة مختلفة، وأحياناً عناوين مختلفة لنفس القصة.
هدفك هو محاذاة الكيانات (Entity Alignment): وهي العثور على نفس الكتاب تماماً في كلتا المكتبتين والقول: "هذان في الواقع الشيء نفسه".
المشكلة: التخمين "الجيد بما يكفي"
تقليدياً، حاولت الحواسيب حل هذه المشكلة من خلال النظر إلى "شكل" الكتب (بنيتها) و"ملصقات أعمدتها" (أسماءها). كانت تقوم بحساب درجة التشابه.
المشكلة: أحياناً، يبدو كتابان مختلفان متشابهين جداً. كتاب عن "Apple" (الفاكهة) وكتاب عن "Apple" (شركة التقنية) قد يكون لهما بنية متشابهة جداً. قد يخمن الكمبيوتر: "يبدو أنهما متشابهان بنسبة 90%، إذاً لا بد أنهما الشيء نفسه!" ويرتكب خطأً.
الحل عبر النماذج اللغوية الكبيرة (LLM): مؤخراً، بدأنا باستخدام "القراء الخارقين" (النماذج اللغوية الكبيرة أو LLMs) لقراءة الأوصاف واتخاذ القرار. ولكن حتى القراء الخارقين يرتكبون الأخطاء. إذا طُلب منهم اتخاذ القرار بمفردهم، فقد يصبحون واثقين من أنفسهم لكنهم مخطئون، أو قد يعلقون أمام زوج من الكتب المربكة.
الحل: AgentEA (نهج "نادي المناظرة")
يقترح مؤلفو هذه الورقة البحثية نظام AgentEA. فبدلاً من سؤال "قارئ خارق" واحد لاتخاذ القرار النهائي، قاموا بإنشاء "نادي مناظرة" يتبع عملية محددة للغاية تتكون من مرحلتين.
فكر في الأمر كتوظيف فريق من المحققين لحل لغز، بدلاً من سؤال محقق واحد للقيام بكل شيء.
المرحلة الأولى: "الفلترة السريعة" (مناظرة خفيفة)
قبل استدعاء "اللاعبين الثقال"، يقوم النظام بإجراء فحص سريع ومنخفض التكلفة.
الإعداد: يتم تعيين ثلاثة وكلاء (Agents) لزوج من الكتب المربكة.
المؤيد (The Proponent): "أعتقد أنهما الشيء نفسه! وإليك السبب..."
المعارض (The Opponent): "أنا لا أتفق! انظر إلى هذا الاختلاف..."
الحكم (The Referee): "حسناً، دعونا نزن الأدلة. سأعطي درجة تقييمية."
النتيجة: إذا اتفق المؤيد والمعارض بسرعة، أو إذا رأى الحكم فجوة كبيرة في الأدلة، تُغلق القضية. أما إذا استمروا في الجدال، فتُنقل القضية إلى المرحلة التالية. هذا يوفر الوقت عبر عدم إضاعة الموارد العميقة في الحالات السهلة.
المرحلة الثانية: "الغوص العميق" (مناظرة عميقة)
بالنسبة للحالات الأكثر إرباكاً (حيث تبدو الكتب متطابقة تقريباً)، يستدعي النظام فريقاً أكبر وأكثر تخصصاً لمناظرة متعددة الجولات.
المتخصصون: بدلاً من العاميين، يستدعون خبراء:
خبير الأسماء: يتحقق مما إذا كانت العناوين مجرد ترجمات أو أسماء مستعارة.
خبير النوع: يتحقق مما إذا كان أحدهما "شخصاً" والآخر "مدينة".
خبير السمات: يتحقق من تواريخ الميلاد، المواقع، والتفاصيل المحددة.
خبير الجوار: يتحقق من "أصدقائهم" (هل يعرفون نفس الأشخاص؟).
المهاجم (The Attacker): "محامي الشيطان" الذي مهمته الوحيدة هي إيجاد ثغرات في حجج الخبراء الآخرين. "مهلاً، لقد قلت إنهما الشيء نفسه، ولكن أحدهما ولد في عام 1990 والآخر في عام 1995!"
القاضي: وكيل نهائي يستمع إلى جميع الحجج، والهجمات، والدفاعات، ثم يصدر الحكم النهائي.
السر الكامن: تدريب "القراء الخارقين"
قبل أن تبدأ المناظرة حتى، تذكر الورقة البحثية خدعة تدريب ذكية.
المشكلة: كان "القراء الخارقون" (LLMs) يُدربون أحياناً على أمثلة سهلة. لم يكونوا يعرفون كيفية التعامل مع الحالات "الأصعب" (مثل شخصين لهما نفس الاسم ولكن بوظائف مختلفة).
الحل: علم المؤلفون النماذج اللغية الكبيرة باستخدام تحسين التفضيل المباشر (DPO). تخيل معلماً يظهر لطالب إجابتين: "هذه الإجابة صحيحة، لكن هذه الأخرى تبدو صحيحة ولكنها في الواقع خاطئة". يجبر المعلم الطالب على تعلم الفرق بين "الشيء المزيف المخادع" و"الشيء الحقيقي". هذا يجعل عملية "مطابقة الشكل" الأولية أكثر دقة، بحيث تصل كتب أقل إلى نادي المناظرة، والكتب التي تصل تكون أصعب في الخداع.
لماذا هذا أفضل؟
لا توجد نقطة فشل واحدة: إذا ارتبك أحد الوكلاء، فإن الآخرين سيكتشفون الخطأ.
التصحيح الذاتي: وكيل "المهاجم" يجبر الفريق على مراجعة عملهم، مما يمنع الثقة المفرطة.
الكفاءة: لا تحتاج كل حالة إلى مناظرة كاملة. "الفلترة السريعة" تتعامل مع الأشياء السهلة، مما يوفر المال والوقت.
ملخص التشبيه
الطريقة القديمة: سؤال شخص ذكي عما إذا كان غريبان توأمان. قد يصيب، ولكنه قد يُخدع أيضاً بشبه في تسريحة الشعر.
طريقة AgentEA:
التدريب: أنت تدرب شخصاً ذكياً على رصد الفروق الدقيقة بين التوائم والمتشابهين.
الفحص السريع: تطلب من ثلاثة أشخاص إلقاء نظرة سريعة. إذا بدا أنهما مختلفان تماماً، تتوقف.
المناظرة العميقة: إذا بدوا متشابهين، تستدعي لجنة: خبير بصمات، ومؤرخ عائلي، وشخص مشكك يحاول إثبات أنهم ليسوا توأمين.
الحكم: يستمع القاضي إلى الغرفة بأكملها ويصدر القرار النهائي.
النتيجة: هذه الطريقة أكثر موثوقية، وتكشف المزيد من الأخطاء، وهي فعالة بشكل مدهش، مما يجعلها المعيار الذهبي الجديد لمطابقة البيانات عبر أنظمة المعرفة المختلفة.
إليك ملخص تقني مفصل لورقة البحث بعنوان "النقاش من أجل المواءمة: مواءمة الكيانات الموثوقة عبر نقاش متعدد الوكلاء ثنائي المراحل" (AgentEA).
1. بيان المشكلة
تهدف مواءمة الكيانات (Entity Alignment - EA) إلى تحديد الكيانات عبر مختلف الرسوم البيانية للمعرفة (Knowledge Graphs - KGs) التي تشير إلى نفس الكائن في العالم الحقيقي. وبينما حسّنت النماذج اللغوية الكبيرة (LLMs) من عملية مواءمة الكيانات من خلال الاستفادة من الفهم الدلالي، تواجه الأساليب الحالية القائمة على النماذج اللغوية الكبيرة قيدين حرجين:
استرجاع غير موثوق للمرشحين: تعتمد الطرق الحالية على تشابه التضمين (embedding similarity) لاختيار مجموعة كيانات مرشحة (Candidate Entity Set - CES). وغالبًا ما تخطئ العتبات الاستدلالية (Heuristic thresholds) في توصيف غموض المواءمة، مما يؤدي إما إلى استبعاد الكيانات الغامضة حقًا أو تضمين مرشحين غير صحيحين لا يمكن استردادهم عبر الاستنتاج.
مسار استنتاج أحادي: تستخدم الأساليب الحالية عادةً نموذجًا لغويًا كبيرًا واحدًا لاتخاذ قرارات المواءمة في تمريرة واحدة. وهذا يفتقر إلى التحقق الصريح، مما يجعل النظام عرضة للهلوسة، والتحيز، والأخطاء المنهجية عندما تكون الأدلة غير كاملة أو مضللة. إن الأداء مقيد بطبيعته بجودة استرجاع المرشحين الأولي (حيث يكون Hit@1 محدودًا بـ Hit@20 لمرحلة الاسترجاع).
2. المنهجية: AgentEA
يقترح المؤلفون AgentEA، وهو إطار عمل يجمع بين تحسين تفضيلات تمثيل الكيان وآلية النقاش متعدد الوكلاء ثنائي المراحل.
أ. تحسين تفضيلات تمثيل الكيان
لتحسين جودة استرجاع المرشحين الأولي، قام المؤلفون بضبط نموذج ترميز (encoder) يعتمد على LLaMA باستخدام تحسين التفضيل المباشر (Direct Preference Optimization - DPO) بدلاً من الضبط الدقيق الخاضع للإشراف القياسي.
بناء بيانات التدريب: تتضمن مجموعة البيانات أزواج بذور إيجابية ونوعين من العينات "السلبية الصعبة":
السوالب القائمة على تشابه الأسماء: كيانات ذات أسماء متشابهة جدًا ولكنها تختلف في الحقائق الأرضية (لمنع الارتباك القائم على الاسم).
الهدف: إنتاج تضمينات (embeddings) تكون فيها الكيانات المتوافقة أقرب، والكيانات غير المتوافقة (خاصة السوالب الصعبة) أبعد، مما يضمن تضمين المطابقة الحقيقية في مجموعة المرشحين.
ب. آلية النقاش متعدد الأدوار ثنائي المراحل
بدلاً من تمريرة واحدة للنموذج اللغوي الكبير، يستخدم AgentEA هيكل نقاش تدريجي لتصفية والتحقق من المرشحين.
المرحلة الأولى: التحقق من النقاش خفيف الوزن (LDV)
الغرض: تصفية مجموعة الكيانات غير المؤكدة (Eu) بكفاءة لتقليل التكلفة الحسابية.
الآلية: نقاش من جولة واحدة يتضمن ثلاثة وكلاء:
المؤيد (Ap): يحاجج لصالح المواءمة (إيجاد الأدلة الداعمة).
المعارض (Ao): يحاجج ضد المواءمة (إيجاد الأدلة المتعارضة).
الحكم (Ar): يدمج كلا الرأيين لإعادة ترتيب المرشحين.
النتيجة: يتم تمرير الأزواج ذات الثقة المنخفضة أو المتنازع عليها إلى المرحلة الثانية؛ بينما تُحل المطابقات الواضحة هنا.
الوكلاء المتخصصون: يحللون جوانب محددة (الاسم المستعار، النوع، السمة، الجوار).
وكيل الهجوم (Aattack): يحدد نقاط الضعف، والمخاطر، والتناقضات في أحكام الوكلاء الآخرين.
وكيل القاضي (Ajudge): يجمع الدرجات، ويقرر بشأن توسيع مجموعة المرشحين (توسع تدريجي من 5 إلى 20 مرشحًا)، ويطلق التوقف المبكر أو الإنهاء القسري.
الاستراتيجية: يستخدم استراتيجية تصحيح الخطأ التفاعلية حيث يصل الوكلاء إلى جولات النقاش السابقة لصقل حججهم.
3. المساهمات الرئيسية
أول إطار عمل للنقاش متعدد الوكلاء لمواءمة الكيانات: يعد AgentEA أول إطار عمل يستخدم النقاش متعدد الوكلاء لتحسين موثوقية مواءمة الكيانات بشكل منهجي.
تحسين التضمين القائم على DPO: يقدم استراتيجية مبتكرة باستخدام DPO مع أخذ عينات سالبة صعبة (قائمة على الاسم والدرجة) لتعزيز القدرة التمييزية لتضمينات الكيانات بشكل كبير.
بنية النقاش ثنائية المراحل: يصمم إطار عمل هجين يوازن بين الكفاءة (LDV) والمتانة (DDA)، مستفيدًا من تباين الأدوار (المؤيد، المعارض، الحكم، الهجوم، القاضي) للتخفيف من تحيز النموذج الواحد.
تقييم شامل: أظهر أداءً متفوقًا في جميع الإعدادات عبر اللغات، والبيانات المتفرقة، والواسعة النطاق، وغير المتجانسة.
4. النتائج التجريبية
قام المؤلفون بتقييم AgentEA على 11 مجموعة بيانات مرجعية (بما في ذلك DBP15K، ICEWS، DWY، و SRPRS) مقابل نماذج أساسية تعتمد على KRL ونماذج تعتمد على LLM.
الأداء: يتفوق AgentEA باستمرار على جميع النماذج الأساسية.
في DBP15K (FR-EN)، حقق 0.996 Hit@1 و 0.998 MRR، متفوقًا على أفضل نتيجة سابقة (ChatEA: 0.990 Hit@1).
في DWY (DBP-WIKI) و SRPRS (DBP-YAGO)، حقق درجات مثالية (1.00) في مقاييس متعددة.
دراسات الاستئصال (Ablation Studies):
أدى إزالة الضبط الدقيق لـ DPO إلى انخفاض كبير في الأداء، مما يؤكد ضرورة تحسين التفضيل.
أدت إزالة آلية النقاش (العودة إلى استنتاج LLM واحد) إلى خفض Hit@1 من 0.996 إلى 0.976، مما يثبت قيمة التحقق متعدد الوكلاء.
أدت إزالة أي من مرحلتي LDV أو DDA إلى تدهور الأداء، مما يظهر أن الكفاءة والعمق كلاهما أمران حاسمان.
الكفاءة: يعمل التصميم ثنائي المراحل على تصفية الحالات السهلة في LDV بفعالية، مما يقلل من استهلاك الرموز (tokens) ووقت الاستنتاج مقارنة بتشغيل النقاشات العميقة على جميع المرشحين، مع الحفاظ على دقة عالية.
المتانة: يظهر النموذج استقرارًا عبر مختلف النماذج اللغوية الكبيرة الأساسية (GPT-3.5، Qwen، LLaMA)، مما يشير إلى أن المكاسب تأتي من آلية النقاش وليس من القوة الخام لنموذج معين.
5. الأهمية
الموثوقية فوق القوة الخام: تثبت الورقة أنه في مهام الاستنتاج المعقدة مثل مواءمة الكيانات، فإن التفاعل المنظم متعدد الوكلاء (النقاش) أكثر فعالية من مجرد زيادة حجم عمق استنتاج نموذج واحد.
سد الفجوة بين الاسترجاع والاستنتاج: من خلال تحسين فضاء التضمين خصيصًا لمهمة النقاش اللاحقة، يعالج AgentEA مشكلة "المدخلات السيئة تؤدي لمخرجات سيئة" حيث يحد استرجاع المرشحين الضعيف من استنتاج LLM.
القابلية للتوسع: توفر آليات التوسع التدريجي للمرشحين والتوقف المبكر مسارًا عمليًا لنشر وكلاء الاستنتاج المعقدين على الرسوم البيانية للمعرفة واسعة النطاق دون تكاليف حسابية باهظة.
التوجه المستقبلي: يضع هذا العمل نموذجًا جديدًا لمواءمة الكيانات، مشيرًا إلى أن "النقاش كخدمة" (Debate-as-a-Service) يمكن أن يكون مكونًا قياسيًا لمهام استنتاج KG الأخرى التي تتطلب دقة عالية ومعدلات هلوسة منخفضة.