💻 computer science

When Specifications Conflict: A Symmetry-Based Framework for Measuring LLM Preferences

تقدم هذه الورقة إطاراً تجريبياً قائماً على التماثل للقياس المنهجي لكيفية حل النماذج اللغوية الكبيرة للتعارضات بين المواصفات المتنافسة، مما يكشف عن تسلسل هرمي تفضيلي ثابت تُعطى فيه الأولوية للغات الرسمية واللغات الرسمية الطبيعية على حساب اللغة الطبيعية البحتة وأمثلة المدخلات والمخرجات عبر مجالات متنوعة.

المؤلفون الأصليون: Tairan Wang, Liang Zhou, Zikang Zhan, Pingchuan Yan

نُشر 2026-07-31

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Tairan Wang, Liang Zhou, Zikang Zhan, Pingchuan Yan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تطلب من صديق ذكي جداً ومثقف جداً المساعدة في حل لغز صعب. لكن إليك العقدة: لقد أُعطي صديقك دليلين تعليميين مختلفين لنفس اللغز. يقول أحدهما: "أدر المقبض الأحمر لليسار"، بينما يصر الآخر على أن "تُدير المقبض الأحمر لليمين". في عالم الذكاء الاصطناي، هؤلاء "الأصدقاء" هم النماذج اللغوية الكبيرة (LLMs)—وهي برامج حاسوبية ضخمة تدربت على كل ما هو مكتوب تقريباً على الإنترنت. إنها مذهلة في كتابة القصص، وحل المسائل الرياضية، وحتى البرمجة، لكنها غالباً ما ترتبك عندما تكون المعلومات التي تتلقاها غير منظمة أو متضاربة.

يغوص هذا البحث في زاوية محددة من علوم الذكاء الاصطناعي: حل النزاعات (Conflict Resolution). وهو يطرح سؤالاً بسيطاً ولكنه عميق: عندما يتلقى الذكاء الاصطناعي تعليمات متضاربة، أي منها يستمع إليه حقاً؟ هل يفضل صيغة رياضية صارمة؟ أم جملة عادية باللغة الإنجليزية البسيطة؟ أم قائمة من الأمثلة؟ أم قطعة برمجية رسمية؟ فهم هذا الأمر أمر بالغ الأهمية لأننا مع بدء استخدامنا للذكاء الاصطناي في مهام مهمة—مثل كتابة أكواد الحاسوب، أو تشخيص الحالات الطبية، أو اتخاذ القرارات القانونية—نحتاج إلى معرفة ما إذا كان الذكاء الاصطنا-ي يتبع "القواعد الصارمة" أم أنه مجرد يخمن بناءً على كيفية صياغة الكلمات. إذا لم نكن نعرف أي تعليمات يعطيها الذكاء الاصطنا-ي الأولوية، فلن نتمكن من الوثوق بإجاباته.

المواجهة الكبرى للتعليمات

قرر الباحثون في جامعة كوليدج لندن التعامل مع هذه المشكلة كأنها تجربة في معرض علمي. فبدلاً من طرح أسئلة عشوائية على الذكاء الاصطنا-ي، قاموا ببناء ساحة محكومة حيث يمكنهم إجبار الذكاء الاصطنا-ي على الاختيار بين قاعدتين محددتين ومتضاربتين. وقد أطلقوا على ذلك اسم "إطار عمل قائم على التماثل" (Symmetry-based framework)، وهي طريقة معقدة تعني أنهم صمموا اللعبة بدقة بحيث يكون الشيء الوحيد الذي يتغير هو كيفية كتابة القواعد، وليس القواعد نفسها.

ولتحقيق ذلك، أنشأوا "ساحة معركة رياضية" ضخمة تحتوي على 550 سيناريو نزاع مختلف. في كل سيناريو، كان على الذكاء الاصطنا-ي حل مسألة رياضية (مثل حساب تسلسل أو إيجاد مسار في رسم بياني) ولكن تم إعطاؤه طريقتين مختلفتين لوصف الحل. لقد اختبروا أربع "لغات" متميزة للتعليمات:

اللغة الطبيعية الصرفة: مجرد جمل إنجليزية عادية (مثلاً: "اجمع الأرقام معاً.").
اللغة الرسمية: رموز ومعادلات رياضية صارمة (مثلاً: $f(x) = x + 1$ ).
اللغة الرسمية المُطبعة طبيعياً: مزيج، باستخدام الرموز الرياضية ولكن مغلفة بجمل إنجليزية (مثلاً: "الدالة معرفة بأن $f(x) = x + 1$ .").
أمثلة المدخلات والمخرجات: قائمة من الأمثلة التي توضح المدخلات ونتائجها (مثلاً: "إذا دخل الرقم 2، يخرج 3. إذا دخل الرقم 5، يخرج 6.").

كان على الذكاء الاصطنا-ي اختيار أحد هذه الأوصاف لحل سؤال اختبار محدد. ثم راقب الباحثون ليروا أي وصف "يثق" به الذكاء الاصطنا-ي بما يكفي لاتباعه.

هرم الثقة

كانت النتائج متسقة بشكل مثير للدهشة. لم يكن الذكاء الاصطنا-ي يختار عشوائياً؛ بل كان لديه مفضل واضح. اتضح أن النماذج اللغوية الكبيرة تحب الهيكلية وتكره الغموض.

اكتشف الباحثون "تراتبية" واضحة للثقة:

المستوى الأعلى: كانت اللغات الرسمية والرسمية المُطبعة طبيعياً هي الفائزة بوضوح. فقد اتبع الذكاء الاصطنا-ي هذه القواعد بنسبة تتراوح بين 87% إلى 93% عندما وُضعت في مواجهة اللغة الإنجليزية البسيطة أو الأمثلة. يبدو أنه عندما يرى الذكاء الاصطنا-ي صيغة رياضية نظيفة، فإنه يعاملها كـ "قانون".
المستوى المتوسط: جاءت اللغة الطبيعية الصرفة في المرتبة الثانية. كانت أكثر موثوقية من الأمثلة ولكنها أقل موثوقية من الرياضيات. اتبع الذكاء الاصطنا-ي هذه التعليمات بنسبة 78% تقريباً عندما تنافست مع الأمثلة.
المستوى الأدنى: كانت أمثلة المدخلات والمخرجات هي الأقل ثقة. عندما كان على الذكاء الاصطنا-ي الاختيار بين قائمة من الأمثلة وقاعدة واضحة، فإنه يتجاهل الأمثلة في معظم الأحيان.

فكر في الأمر بهذه الطريقة: إذا قلت لروبوت، "إليك قائمة بالأوقات التي تناولت فيها الغداء: 12:00، 12:15، 12:30،" فقد يخمن أنك تأكل في الساعة 12:45. ولكن إذا قلت له، "أنا أتناول الغداء في الساعة 12:00 ظهراً كل يوم،" فإنه سيلتزم بالساعة 12:00. الذكاء الاصطنا-ي يفضل القاعدة الصريحة على النمط الذي يتعين عليه تخمينه.

ليس مجرد رياضيات: اختبارات العالم الحقيقي

لم يتوقف الفريق عند الرياضيات فقط. أرادوا معرفة ما إذا كان "هرم الثقة" هذا سيصمد في مواقف أكثر تعقيداً من العالم الحقيقي. لذا اختبروا الذكاء الاصطنا-ي في ثلاثة مجالات أخرى:

الجبر البولياني (البوابات المنطقية): وضعوا صيغة رياضية موجزة في مواجهة "جدول حقيقة" (Truth Table) ضخم (قائمة ضخمة لكل نتيجة ممكنة). ورغم أن جدول الحقيقة كان شاملاً ومن المستحيل الخطأ فيه، إلا أن الذكاء الاصطنا-ي ظل يفضل الصيغة الموجزة بنسبة 88% من الوقت. يبدو أن الذكاء الاصطنا-ي يفضل الاختصارات "الذكية" على قوائم "القوة الغاشمة".
توليد الأكواد البرمجية: أعطوا الذكاء الاصطنا-ي تعارضاً بين وصف مكتوب لما يجب أن يفعله برنامج حاسوبي وبين مجموعة من الاختبارات الآلية (أكواد تتحقق مما إذا كان البرنامج يعمل). هنا، اعتمدت النتائج على "قدرات الدماغ" للنموذج. فالنماذج الأصغر والأقل قدرة مالت لاتباع الوصف المكتوب، بينما فضلت النماذج الأكثر قوة الاختبارات الآلية بقوة، واتبعتها بنسبة تصل إلى 97% من الوقت. يشير هذا إلى أنه كلما أصبح الذكاء الاصطنا-ي أكثر ذكاءً، تعلم أن يثق في "الأدلة الصلبة" للأكواد الاختبارية أكثر من الأوصاف البشرية.
القواعد السريرية (النصائح الطبية): اختبروا الذكاء الاصطنا-ي بقواعد طبية حقيقية حول جرعات الأدوية. ومن المثير للاهتمام أن الذكاء الاصطنا-ي لم يهتم بـ التنسيق (لغة إنجليزية مقابل أمثلة) بقدر اهتمامه بـ المحتوى. في هذا المجال، اختار الذكاء الاصطنا-ي باستمرار القاعدة الأكثر صرامة (التي تقول "لا تفعل هذا") على القاعدة الأكثر تساهلاً، بغض النظر عن كيفية كتابة القاعدة. يشير هذا إلى أن الذكاء الاصطنا-ي لديه انحياز داخلي نحو السلامة في المجالات عالية المخاطر.

ماذا يعني هذا بالنسبة لنا؟

يخلص البحث إلى أن الذكاء الاصطنا-ي ليس مجرد مخمن عشوائي؛ بل لديه طريقة منهجية لتحديد أي التعليمات يتبعها. فهو يفضل بشكل عام القواعد الصريحة والمهيكلة (مثل الصيغ الرياضية) على الأنماط الضمنية (مثل الأمثلة).

ومع ذلك، وجد الباحثون أيضاً أن هذا ليس قانوناً مثالياً أو غير قابل للتغيير. إذ يمكن لتفضيلات الذكاء الاصطنا-ي أن تتغير اعتماداً على مدى ذكاء النموذج ونوع المهمة التي يؤديها. فعلى سبيل المثال، في الاختبارات الطبية، تجاهل الذكاء الاصطنا-ي التنسيق تماماً وركز فقط على الإجابة "الأكثر أماناً".

تقدم هذه الدراسة أداة جديدة لنا لقياس كيفية تفكير الذكاء الاصطنا-ي. ومن خلال فهم أن للذكاء الاصطنا-ي "مفضلاً" لنوع معين من التعليمات، يمكننا تصميم أنظمة أفضل. إذا أردنا من الذكاء الاصطنا-ي اتباع قاعدة معينة، فمن الأفضل كتابتها كبيان رسمي واضح بدلاً من الأمل في أن يستنتجها من قائمة أمثلة. إنه تذكير بأنه بينما يصبح الذكاء الاصطنا-ي أكثر ذكاءً، فإنه لا يزال بحاجة إلينا لنتحدث لغته بوضوح—خاصة عندما تكون التعليمات متضاربة.

ملخص تقني: إطار عمل قائم على التماثل لقياس تفضيلات النماذج اللغوية الكبيرة تحت المواصفات المتعارضة

بيان المشكلة

تعمل النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في بيئات تتضمن مواصفات سياقية متعددة تحدد المهمة. غالبًا ما تتخذ هذه المواصفات أشكالاً متنوعة — مثل التعليمات باللغة الطبيعية، أو القيود الصورية، أو الاختبارات القابلة للتنفيذ، أو أمثلة المدخلات والمخرجات — وقد تكون متناقضة أو متعارضة بشكل مباشر. وبينما بحثت الأبحاث السابقة في كيفية اكتشاف النماذج للتعارضات بين مصادر المعلومات أو التوفيق بينها (على سبيل المثال، في توليد النصوص المعزز بالاسترجاع أو التحقق من الحقائق)، إلا أن هناك نقصاً في الطرق القابلة للضبط والنسب لتمثيل وتحليل كيفية منح النماذج الأولوية لأنواع مختلفة من مواصفات المهام عندما تدعم سلوكيات غير متوافقة. وتحديداً، لا يزال من غير الواضح ما إذا كانت النماذج اللغوية الكبيرة تظهر تفضيلات منهجية لأنواع معينة من التمثيل (مثل اللغة الصورية مقابل اللغة الطبيعية) وكيف تختلف هذه التفضيلات عبر النماذج ومجالات المهام.

المنهجية

يقترح المؤلفون إطار عمل تجريبي قائماً على التماثل مصمماً لقياس تفضيلات النماذج تحت المواصفات المتعارضة من خلال معاملة المشكلة كعملية اختيار بين خرائط تنفيذية متنافسة.

الإطار الجوهري

الخرائط التنفيذية (Executable Mappings): تُعرَّف المهمة كخريطة $f: X \to Y$ . يتم بناء المواصفات المتعارضة كأزواج من الخرائط ( $f_1, f_2$ ) التي تنتج مخرجات متميزة وقابلة للنسب لطلب تمييزي $q^\star$ (حيث $f_1(q^\star) \neq f_2(q^\star)$ ).
النسب (Attribution): نظرًا لأن كل مواصفة تستحث مخرجاً ملموساً، يمكن نسب استجابة النموذج مباشرة إلى خريطة واحدة، أو الأخرى، أو لا منهما. هذا يحول القرار الضمني إلى متغير قابل للملاحظة.
الموازنة القائمة على التماثل (Symmetry-Based Counterbalancing): لعزل تفضيلات التمثيل عن العوامل المربكة (مثل ترتيب التقديم أو تحيزات المحتوى المحددة)، يستخدم الإطار تكوينات كاملة التماثل. لأي مقارنة بين أنواع التمثيل $A$ $A$ و $B$ $B$ ، يتم إنشاء أربع تجارب لكل حالة تعارض:
- $(A(f_1), B(f_2))$ , $(B(f_1), A(f_2))$ , $(A(f_2), B(f_1))$ , $(B(f_2), A(f_1))$ .
  هذا التصميم يوازن بين تعيين أنواع التمثيل للخرائط الأساسية وترتيب التقديم، مما يسمح بتقدير التفضيل من خلال التجميع الذي يحيد العوامل غير المستهدفة.

الإعداد التجريبي

تم تطبيق الإطار عبر ثلاثة مجالات:

الاختبار الرياضي (Mathematical Benchmark): مجموعة بيانات محكومة تضم 550 حالة تعارض عبر 11 عائلة من الدوال (مثل العمليات الجبرية، الرسوم البيانية، عمليات المصفوفات). تمت مقارنة أربعة أنواع من التمثيل: اللغة الطبيعية الصرفة (NL)، اللغة الصورية (Form)، اللغة الصورية الطبيعية (NatF)، وأمثلة المدخلات والمخرجات (Ex).
الجبر البولياني (Boolean Algebra): التعارضات بين الصيغ الرمزية وجداول الحقيقة.
توليد الكود (Code Generation): التعارضات بين توثيق اللغة الطبيعية واختبارات الوحدة القابلة للتنفيذ (المستمدة من مجموعة بيانات MBPP).
القواعد السريرية (Clinical Rules): التعارضات التي تشمل عتبات جرعات الكلى ومؤشرات العمر للأطفال المستمدة من ملصقات openFDA، لاختبار التعارض بين القواعد الحقيقية والاضطرابات التي تحافظ على المخطط (schema-preserving perturbations).

النتائج الرئيسية

1. التفضيلات المنهجية للتمثيل (الاختبار الرياضي)

عبر نماذج متعددة (بما في ذلك عائلات DeepSeek وGPT وLlama)، حددت الدراسة ترتيب تفضيل ثابتاً لحل التعارضات الرياضية:
$\text{Formal} \approx \text{Naturalized Formal} > \text{Pure Natural Language} > \text{Input–Output Examples}$

الصورية مقابل اللغة الطبيعية: اختارت النماذج المواصفات الصورية على اللغة الطبيعية الصرفة في حوالي 87% من الاستجابات القابلة للنسب.
الصورية مقابل الأمثلة: كان التفضيل للمواصفات الصورية على الأمثلة أقوى (~93%).
الصورية الطبيعية (Naturalized Formal): على الرغم من التعبير عنها باللغة الطبيعية، إلا أن المواصفات الصورية الطبيعية تصرفت بشكل مشابه للمواصفات الصورية الصرفة، مما يشير إلى أن وجود البنية الرياضية الصريحة هو العامل المهيمن، وليس بناء الجملة السطحي.
تباين النماذج: بينما ظل التسلسل الهرمي العام قائماً، إلا أن القوة النسبية للتفضيلات تفاوتت. على سبيل المثال، لم يكن التفضيل للصورية على الصورية الطبيعية موحداً؛ فبعض النماذج (مثل GPT-5-nano) فضلت الصورية الطبيعية، بينما فضلت نماذج أخرى (مثل DeepSeek-V4-Flash) الصورية الصرفة.

2. دور الأمثلة

وُجد أن تنافسية أمثلة المدخلات والمخرجات تعتمد بشكل كبير على قدرة النموذج وبنية المهمة:

الاعتماد على القدرة: اختارت متغيرات النماذج ذات القدرة الأعلى خرائط مدعومة بالأمثلة بشكل متكرر أكثر من المتغيرات ذات القدرة الأدنى.
الاعتماد على المهمة: كانت الأمثلة أكثر تنافسية ضد اللغة الطبيعية الصرفة (معدلات اختيار تصل إلى ~55% لبعض النماذج) ولكنها كانت أقل تنافسية بشكل ملحوظ ضد المواصفات الصورية أو الصورية الطبيعية (معدلات اختيار غالباً <10%).
الحساسية للبنية: عانت الأمثلة عندما كشفت المواصفة المنافسة عن بنية رياضية صريحة، حيث كانت العروض المحدودة غير كافية لاستعادة القاعدة مقارنة بالقيود الصريحة للترميز الصوري.

3. نتائج المجالات غير المتجانسة

الجبر البولياني: أظهرت النماذج تفضيلاً قوياً للتمثيلات الرمزية الموجزة والتركيبية (الصيغ وشبكات البوابات) على جداول الحقيقة الشاملة. ومع ذلك، كان التفضيل بين الصيغ وشبكات البوابات يعتمد على النموذج، مما يشير إلى عدم وجود تسلسل هرمي عالمي للتمثيلات المتشابهة بنيوياً.
توليد الكود: لوحظ تباين حاد بناءً على قدرة النموذج. فالنماذج ذات الدرجات المنخفضة فضلت عموماً توثيق اللغة الطبيعية، بينما فضلت النماذج ذات الدرجات العالية بشدة الاختبارات القابلة للتنفيذ (وصولاً إلى 97% اختيار لأفضل النماذج).
القواعد السريرية: في السياقات السريرية، لم ينتقل تسلسل التمثيل بوضوح. بدلاً من ذلك، ظهر تحيز خاص بالمجال: فضلت النماذج باستمرار القاعدة الأكثر تقييداً (اختيار بنسبة 52%–87%)، بغض النظر عما إذا كانت تلك القاعدة هي الملصق "الحقيقي" أو اضطراباً. يشير هذا إلى أنه في المجالات عالية المخاطر، يمكن لتحيزات السلامة/التقييد أن تتجاوز تفضيلات التمثيل.

4. المتانة والامتناع (Abstention)

ترتيب التقديم: كان تأثير ترتيب التقديم ثانوياً، وكان له تأثير ضئيل مقارنة بنوع التمثيل، باستثناء الحالات التي كانت فيها المواصفات المتنافسة ذات قوة متشابهة (مثل الصورية مقابل الصورية الطبيعية).
الامتناع: عندما سُمح للنماذج صراحةً بالإجابة بـ "غير متأكد"، استخدمت النماذج (خاصة GPT-5-nano) الامتناع كاستراتيجية للتعامل مع التعارض، مع تباين معدلات الامتناع بشكل كبير حسب زوج التمثيل (على سبيل المثال، ~64% امتناع في تعارضات الصورية مقابل الصورية الطبيعية في GPT-5-nano).

الأهمية والادعاءات

يدعي البحث أنه يضع حل التعارض في النماذج اللغوية الكبيرة كمسألة قياس محكومة، قابلة للتنفيذ، ومتوازنة بالتماثل.

القياس القابل للنسب: من خلال استخدام الحقيقة الأرضية القابلة للتنفيذ والتوازن القائم على التماثل، يتيح الإطار النسب المباشر لمخرجات النموذج لمواصفات محددة، متجاوزاً التحليل النوعي لـ "الهلوسة" أو "التوفيق".
مهيكل ولكن يعتمد على السياق: توضح النتائج أن حل التعارض في النماذج اللغوية الكبيرة ليس ضجيجاً عشوائياً، بل عملية اختيار مهيكلة. ومع ذلك، فإن هذا الهيكل يعتمد على السياق: فبينما يوجد تفضيل عام للبنية الصريحة في المهام الرياضية، يمكن لعوامل خاصة بالمجال (مثل التقييد في القواعد السريرية أو دقة الاختبار في توليد الكود) أن تعيد تشكيل أو تتجاوز هذه التفضيلات.
إطار عمل موحد: يوفر العمل نهجاً تجريبياً موحداً لتحليل كيفية إعطاء النماذج الأولوية لأشكال مختلفة من المواصفات، موضحاً أن هذه التفضيلات ليست عالمية بل تختلف بشكل منهجي باختلاف النماذج، وعائلات المهام، والمجالات.

يخلص المؤلفون إلى أن فهم هذه التسلسلات الهرمية الضمنية أمر ضروري لتصميم أنظمة موثوقة تعتمد على النماذج اللغوية الكبيرة، حيث يتم تحديد "الفائز" في التعارض من خلال تفاعل معقد بين نوع التمثيل، وقدرة النموذج، والقيود الخاصة بالمجال.