Contextual Value Alignment via Multilayer Combinatorial Fusion
تقترح هذه الورقة إطار عمل MCF-CVA، الذي يوظف عملية دمج توافقي متعددة الطبقات تتضمن وكلاء أخلاقيين متعددين وخوارزمية توسيع-تقليص عبر فضاءات الدرجات والترتيب لتحقيق محاذاة قيم سياقية قوية في النماذج اللغوية الكبيرة من خلال التقاط التعددية الأخلاقية والاستدلال الأخلاقي متعدد الوكلاء بشكل أفضل.
المؤلفون الأصليون:Yuanhong Wu, Djallel Bouneffouf, D. Frank Hsu
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يكون شخصاً صالحاً. لا يقتصر الأمر هنا على جعله يتبع قواعد مثل "لا تسرق" أو "لا تكذب"، بل يتعلق بتعليمه عالم القيم البشرية الفوضوي، والمعقد، والمتناقض أحياناً. فأحياناً، تعني "العدالة" كسر وعدٍ ما، وأحياناً تعني "الولاء" إخفاء حقيقة ما. هذا هو تحدي محاذاة القيم (Value Alignment): جعل الذكاء الاصطناعي يفهم أن الأخلاق البشرية ليست كتيب تعليمات واحداً ثابتاً، بل هي مشهد متغير يتغير حسب الموقف.
لحل هذه المعضلة، يحاول العلماء غالباً بناء "نظام مكافأة"، يشبه نقاط تسجيل الأهداف في ألعاب الفيديو، حيث يحصل الذكاء الاصطناعي على نقاط مقابل القيام بما يحبه البشر. ولكن تكمن المشكلة هنا في أن البشر لا يتفقون جميعاً على شكل "الخير". فقد يقدر شخص ما الرعاية (أن يكون لطيفاً)، بينما يقدر آخر السلطة (اتباع القواعد). إذا دربت روبوتاً واحداً للاهتمام باللطف فقط، فقد يتجاهل القواعد الهامة. وإذا دربت روبوتاً لاتباع القواعد فقط، فقد يكون بارداً وغير لطيف. السؤال الكبير هو: كيف تبني ذكاءً اصطناعياً يمكنه الموازنة بين كل وجهات النظر الأخلاقية المختلفة والمتصادمة أحياناً في آن واحد دون أن يصاب بالارتباك؟
هنا يأتي دور دراسة جديدة تقترح طريقة ذكية تسمح للذكاء الاصطناعي بـ "مناظرة" نفسه باستخدام تقنية تسمى الدمج التوليفي متعدد الطبقات (Multilayer Combinatorial Fusion). لا تفكر في الأمر كتدريب روبوت واحد مثالي، بل كإنشاء فريق من خمسة روبوتات خبراء مختلفين، لكل منهم شخصية متميزة بناءً على قيمة أخلاقية جوهرية: أحدهم يركز تماماً على الرعاية، وآخر على العدالة، وثالث على الولاء، ورابع على السلطة، والخامس على القدسية (احترام ما هو مقدس أو نقي).
بدلاً من إجبار هذه الروبوتات الخمسة على الاتفاق فوراً، يتركهم الباحثون يولدون إجاباتهم الخاصة على سؤال أخلاقي. ثم يستخدمون "وعاء خلط" رياضياً خاصاً لدمج إجاباتهم. لكنهم لا يخلطونها معاً بشكل عشوائي، بل يستخدمون عملية تسمى التوسع والتقليص (Expansion and Reduction - EAR). تخيل أن الروبوتات الخمسة تقوم أولاً بتفكيك إجاباتها إلى وحدات بناء صغيرة تسمى "الوحدات الأخلاقية" – مثل جمل أو عبارات فردية. ثم يقوم النظام بإنشاء آلاف التوليفات الجديدة عبر ربط هذه الكتل مع بعضها البعض بكل الطرق الممكنة، وتقييمها لمعرفة أي الأزواج يعمل بشكل أفضل معاً.
والجزء السحري هو أن النظام لا يتوقف عند هذا الحد؛ بل يأخذ أفضل التوليفات، ويخلطها مرة أخرى، ويكرر العملية مراراً وتكراراً، طبقة تلو الأخرى. مع كل طبقة، يتم تصفية "الضجيج" والأفكار المتضاربة، بينما يتم تعزيز الرؤى الأكثر تنوعاً وفائدة. الأمر يشبه مجموعة من الأصدقاء يحاولون تقرير فيلم يشاهدونه. في الجولة الأولى، يصرخ الجميع بفيلمهم المفضل. في الجولة الثانية، يربطون أفكارهم ببعضها ("ماذا لو شاهدنا فيلماً كوميدياً وفيلم حركة في نفس الوقت؟"). في الجولة الثالثة، يقومون بتنقية هذه الأزواج. وبحلول النهاية، لم يختاروا فقط الفيلم الأكثر شعبية، بل وجدوا مزيجاً فريداً يرضي جميع الأذواق المختلفة بشكل أفضل مما قد يفعله أي شخص بمفرده.
وجد الباحثون أن هذا النهج متعدد الطبقات يعمل بشكل ممتاز. فعندما اختبروا نظامهم على آلاف الأسئلة، أنتج "فريق" الروبوتات الأخلاقية الخمسة، بعد المرور بعدة طبقات من الخلط والتنقية، إجابات كانت أفضل بكثير مما يمكن لأي روبوت منفرد القيام به بمفرده. في الواقع، كانت النتيجة النهائية أفضل حتى من الطرق السابقة التي حاولت دمج عدة روبوتات في خطوة واحدة. تشير الدراسة إلى أنه من خلال احتضان تنوع وجهات النظر الأخلاقية المختلفة وتركها تتفاعل من خلال طبقات الدمج هذه، يمكننا إنشاء ذكاء اصطناعي ليس ذكياً فحسب، بل حكيماً وقادراً على التكيف مع العالم المعقد والمتعدد القيم الذي نعيش فيه. إنها خطوة نحو ذكاء اصطناعي لا يكتفي باتباع نص مكتوب، بل يفهم جوهر التجربة الإنسانية.
بيان المشكلة تظل محاذاة النماذج اللغوية الكبيرة (LLMs) مع القيم البشرية تحديًا حاسمًا لضمان موثوقية الذكاء الاصطناي. تعتمد الأساليب الحالية، مثل التعلم المعزز من التغذية الراجعة البشرية (RLHF) والذكاء الاصطناوي الدستوري (CAI)، عادةً على أطر عمل أحادية الوكيل وأنظمة مكافأة موحدة. وتواجه هذه الأساليب صعوبة في استيعاب التعددية الأخلاقية، أو التكيف مع السياقات الأخلاقية المتنوعة، أو نمذجة ديناميكيات الاستدلال الأخلاقي متعدد الوكلاء. إن الأخلاق البشرية بطبيعتها تعددية، وسياقية، وديناميكية؛ حيث لا يمكن لنموذج معياري واحد أن يمثل بشكل كافٍ تنوع الاستدلال الأخلاقي عبر الأفراد والثقافات والمواقف. وبينما قدمت الأعمال السابقة (مثل VAS-CFA) محاذاة متعددة الوكلاء أحادية الطبقة، إلا أنها افتقرت إلى العمق اللازم لتنقيح هذه المنظورات المتنوعة بشكل تكراري.
المنهجية: إطار عمل MCF-CVA يقترح المؤلفون الاندماج التوليفي متعدد الطبقات للمحاذاة السياقية للقيم (MCF-CVA)، وهو إطار عمل يستفيد من التنوع المعرفي بين وكلاء أخلاقيين متعددين من خلال الاندماج والتنقيح التكراري. يتكون سير العمل من أربع خطوات رئيسية:
تجسيد الوكيل (الخطوة أ): يتم ضبط خمسة وكلاء أخلاقيين مستقلين من نموذج أساسي (OpenAssistant/oasost-sft-4-pythia-12b-epoch-3.5) باستخدام تحسين التفضيل المباشر (DPO) مع تقنية QLoRA. يتم محاذاة كل وكيل مع أحد الركائز الخمس لنظرية الأسس الأخلاقية (MFT): الرعاية (Care)، والعدالة (Fairness)، والولاء (Loyalty)، والسلطة (Authority)، والقدسية (Sanctity). وتستخدم عملية التدريب "مدونة النزاهة الأخلاقية" (MIC).
تفكيك الاستجابة والتقييم (الخطوة ب): بدلاً من تجميع الاستجابات الكاملة، يقوم إطار العمل بتفكيك مخرجات كل وكيل إلى "وحدات أخلاقية" (عبارات أو جمل قصيرة تعبر عن ادعاء أخلاقي واحد) باستخدام GPT-4.1-nano. يتم إقران هذه الوحدات، ويقوم "مصنف أخلاقي" (انحدار لوجستي على تضمينات SentenceTransformer) بتقييم كل زوج من الوحدات مقابل القيم الأخلاقية الخمس، مما يولد خمسة أنظمة تقييم متميزة (واحد لكل أساس أخلاقي).
الاندماج التوليفي متعدد الطبقات (الخطوة ج): يطبق جوهر إطار العمل الاندماج التوليفي متعدد الطبقات (MCF) باستخدام خوارزمية التوسع والتقليص (EAR).
الفضاء المزدوج: تعمل العملية في بنية مزدوجة من فضاء درجات التقييم الإقليدي وفضاء رتب كيميني (Kemeny rank space).
التوسع: يتم توسيع الأنظمة الخمسة للتقييم إلى 104 نماذج مدمجة باستخدام أربعة مخططات دمج: دمج متوسط الدرجات (ASC)، ودمج الدرجات الموزونة حسب قوة التنوع (WSCDS)، ودمج متوسط الرتب (ARC)، ودمج الرتب الموزونة حسب قوة التنوع (WRCDS).
التقليص: تختار قاعدة انزلاقية أفضل خمسة نماذج بناءً على التنوع المعرفي (CD)، وهو مقياس يحدد مدى عدم التشابه بين وظائف الرتب والدرجات.
التكرار: تتكرر دورة التوسع والتقليص هذه عبر طبقات متعددة حتى يتم استيفاء معيار التوقف (أقصى قوة تنوع < 0.05 أو الوصول إلى الطبقة السادسة).
تجميع الوحدات (الخطوة د): يقوم النموذج المدمج النهائي باختيار أزواج الوحدات الأعلى ترتيبًا، والتي يتم تجميعها بواسطة GPT-4.1-nano لتشكيل الاستجابة النهائية. ويحدد عدد الأزواج طول الاستجابة.
المساهمات الرئيسية
إطار عمل مبتكر: تقديم MCF-CVA، الذي يدمج عدة وكلاء أخلاقيين عبر طبقات استدلال تكرارية من خلال بناء أنظمة تقييم متعددة تتوافق مع أسس أخلاقية متميزة.
مقياس التنوع المعرفي: تطبيق التنوع المعرفي (لقياس الاختلافات في وظائف الرتب والدرجات) لتقدير واستغلال التنوع بين الوكلاء الأخلاقيين، بدلاً من معاملتهم كمجرد مجموعة بسي dim.
تكامل الفضاء المزدوج: دمج تحليل الاندماج التوليفي (CFA) وخوارزمية EAR لتسهيز التجميع التكيفي متعدد الطبقات في كل من فضاء الدرجات الإقليدي وفضاء رتب كيميني.
التحقق من الأداء: إثبات أن MCF-CVA يحسن التماسك الأخلاقي والمتانة مقارنة بطرق المحاذاة السياقية السابقة، بما في ذلك النماذج أحادية الوكيل ومنهجيات الاندماج أحادية الطبقة.
النتائج التجريبية تم تقييم إطار العمل على مجموعة بيانات "مدونة النزاهة الأخلاقية" (MIC) التي تضم 11,375 سؤالاً، وعلى مجموعة "الأخلاق الشائعة" من معيار ETHICS.
أداء مجموعة بيانات MIC:
الوكلاء المنفردون: حقق أفضل وكيل فردي (الولاء) درجة F1 BERTScore بلغت 0.8663.
نماذج تعدد الوكلاء السابقة: سجلت الأساليب الموجودة (CVA-GS, CVA-GS-DYN) حوالي 0.875، وحقق إطار عمل المناظرة متعدد الوكلاء 0.8698. كما حقق نموذج VAS-CFA أحادي الطبقة السابق 0.8849.
MCF-CVA: حقق المتغير أحادي الطبقة 0.9007، بينما حقق نموذج MCF-CVA كامل الطبقات 0.9098، مما يمثل زيادة تقارب 1% عن النسخة أحادية الطبقة وتحسنًا كبيرًا عن جميع النماذج المرجعية.
دراسات الاستئصال: أدى حذف مكون MCF (الاختيار العشوائي للوحدات) إلى انخفاض الأداء إلى ~0.88، مما يؤكد أن MCF هو المحرك الرئيسي للتحسن. كما أدى حذف التفكيك إلى تقليل الأداء بشكل كبير (إلى 0.8621)، مما يبرز ضرورة المعالجة على مستوى الوحدة.
مجموعة البيانات الشائعة:
في مهمة التصنيف الثنائي، حقق أفضل نموذج أساسي (DeBERTa-large) دقة قدرها 0.8970.
حقق إطار عمل MCF-CVA دقة نهائية قدرها 0.9220 عند الطبقة الثالثة، متفوقًا على النتائج السابقة (على سبيل المثال، RoBERTa-large بنسبة 0.9040).
ديناميكيات الطبقات: أظهرت التجارب أن الأسئلة تتوقف عند طبقات مختلفة (تتراوح من 1 إلى 6)، مما يشير إلى أن إطار العمل يتكيف مع تعقيد المطالبات الفردية. وأظهرت رسوم وظائف الرتب والدرجات أن التنوع المعرفي ينخفض تدريجيًا عبر الطبقات مع تقارب النظام.
الأهمية والادعاءات يزعم البحث أن MCF-CVA يوفر آلية قوية وفعالة لتعزيز المحاذاة السياقية للقيم في النماذج اللغوية الكبيرة. ومن خلال تجاوز نماذج الهدف الواحد والوكيل الواحد، نجح إطار العمل في التوفيق بين الاستدلال الأخلاقي غير المتجانس. ويرى المؤلفون أن عملية الاندماج متعددة الطبقات تسمح للنظام بالتطور نحو قرارات تكون في الوقت نفسه متماسكة سياقيًا ومستنيرة بتنوع معرفي.
من الناحية المفاهيمية، تساهم هذه الدراسة في دراسة التنوع الأخلاقي الحسابي من خلال صياغة كيفية دمج الوكلاء ذوي المنظورات المعيارية المختلفة في نظام اتخاذ قرار متماسك. وهي تجسر الفجوة بين الاستدلال الأخلاقي والتحسين التوليفي، مما يوفر مسارًا قابلاً للتوسع نحو ذكاء اصطناعي أكثر حساسية للسياق وموثوقية. ويشير المؤلفون إلى أنه بينما النتائج مشجعة، فإن خوارزمية EAR مدعومة حاليًا بالأدلة التجريبية بشكل أساسي وليس بالتحليل النظري الكامل، ويجب أن تشمل الأعمال المستقبلية تقييمًا بشريًا أوسع لتقييم الأبعاد التي تتجاوز المعايير الثابتة.