Interpreting and Controlling Model Behavior via Constitutions for Atomic Concept Edits

تخيل أن لديك فناناً آلياً أو حاسبة فائقة الذكاء، لكنها غامضة بعض الشيء. تعطيها "أمرًا" (مجموعة من التعليمات)، فتعطيك إجابة أو صورة. في بعض الأحيان، تريد أن تعرف: "لماذا أخطأت في هذا؟" أو "كيف يمكنني خداعها لتصيب في هذا؟"

تقدم هذه الورقة طريقة جديدة للتحدث مع هذه النماذج التي تُشبه "الصندوق الأسود" دون الحاجة لرؤية كودها البرمجي الداخلي. وقد أطلقوا على هذه الطريقة اسم: التعديلات الموجهة بالدستور على المفاهيم الذرية (ACEs).

إليك تفصيل ذلك باستخدام تشبيهات بسية:

1. المشكلة: لغز "الصندوق الأسود"

تخيل أنك تحاول إصلاح سيارة، لكن المحرك مخفي داخل كتلة صلبة من الفولاذ. لا يمكنك رؤية التروس، يمكنك فقط تدوير المفتاح (الأمر) لترى ما إذا كانت السيارة ستعمل أم لا (المخرجات).

• التحدي: إذا لم تعمل السيارة، كيف ستعرف ما إذا كان الخلل في الوقود، أم في شمعات الاحتراق، أم في البطارية؟ في الذكاء الاصطناعي، إذا أعطى النموذج إجابة سيئة، فمن الصعب معرفة أي كلمة محددة في أمرك هي التي تسببت في الفشل.

2. الأداة: "التعديلات المفاهيمية الذرية" (ACEs)

يعامل الباحثون "الأمر" (Prompt) وكأنه بناء من قطع الليغو.

• المفهوم الذري: قطعة ليغو واحدة متميزة (مثل كلمة "قطة"، أو اللون "الأحمر"، أو فعل "الجري").
• التعديل (ACE): بدلاً من إعادة بناء السيارة بالكامل، تقوم فقط باستبدال قطعة واحدة فقط.
  • الإزالة: اسحب قطعة "القطة" للخارج.
  • الإضافة: ضع قطعة "كلب".
  • الاستبدال: استبدل "الأحمر" بـ "الأزرق".

إنهم يجربون بشكل منهجي تبديل هذه القطع المنفردة ليروا ماذا سيحدث. هل ستعمل السيارة الآن؟ هل تغيرت الصورة؟ هذا يساعدهم على رسم خريطة توضح بالضبط أي "القطع" تتحكم في سلوكيات معينة.

3. الحل: "الدستور"

بعد اختبار الآلاف من عمليات تبديل هذه القطع المنفردة، لا يكتفي الباحثون بجمع البيانات فحسب؛ بل يكتبون "كتيب قواعد" (أو "دستورًا").

فكر في هذا الدستور كأنه "وصفة سرية للطاهي" لتغيير نكهة طبق ما.

• بدون دستور: أنت تخمن عشوائياً. "ربما إذا أضفت الملح؟ ربما إذا أزلت الفلفل؟" الأمر يستغرق وقتاً طويلاً لمعرفة ما الذي ينجح.
• مع وجود دستور: لديك دليل مكتوب يقول: "لجعل هذا الحساء حاراً، أضف دائماً الفلفل الحار. لجعل طعمه باهتاً، أزل الملح. لا تضف السكر أبداً."

هذا "الدستور" هو قائمة بـ الاستراتيجيات الجيدة و الاستراتيجيات السيئة مكتوبة بلغة بسيطة. وهو يلخص الأنماط التي وجدها الباحثون.

• مثال: "إذا كنت تريد أن تبدو الصورة خاطئة، أضف 'بيئة متناقضة' (مثل وضع سمكة في صحراء)."
• مثال: "إذا كنت تريد أن تكون إجابة الرياضيات خاطئة، أضف 'متغيراً مشتتاً' (رقماً يبدو مهماً ولكنه ليس كذلك)."

4. كيف يعمل الأمر في الواقع

اختبر الباحثون هذه الطريقة على ثلاث "ألعاب" مختلفة:

• اللعبة 1: تحدي عدد الكلمات

  • الهدف: جعل الذكاء الاصطناعي يكتب إجابة قصيرة جداً (أقل من 50 كلمة).
  • رؤية الدستور: يتجاهل الذكاء الاصطناعي الكلمات الغامضة مثل "كن موجزاً". هو يستجيب فقط لـ الأرقام الصارمة (مثل "اكتب 10 كلمات بالضبط") أو القيود الهيكلية (مثل "اكتب جملة واحدة فقط").
  • النتيجة: باستخدام الدستور، اتبع الذكاء الاصطناعي قواعد عدد الكلمات بشكل أفضل بكثير مما لو فعل ذلك بدون الدستور.

• اللعبة 2: خدعة الرياضيات

  • الهدف: جعل الذكاء الاصطناعي يفشل في مسألة رياضية بسيطة.
  • رؤية الدستور: بعض نماذج الذكاء الاصطناعي (مثل GPT-5) ترتبك إذا أضفت "متغيراً مشتتاً" (رقماً وهمياً يبدو وكأنه ينتمي للمسألة). أما النماذج الأخرى (مثل Gemini) فهي ذكية بما يكفي لتجاهل الرقم الوهمي والاستمرار في الوصول للإجابة الصحيحة.
  • النتيجة: كشف الدستور أن النماذج المختلفة لديها "نقاط ضعف" مختلفة.

• اللعبة 3: عدم التطابق في الصور

  • الهدف: جعل الذكاء الاصطناعي يرسم صورة لا تتطابق مع الوصف.
  • رؤية الدستور:
    • نموذج واحد (GPT-Image) ينكسر إذا أزلت العلاقة بين الأشياء (مثل قول "رجل وابنه" ولكن مع حذف كلمة "ابن"). هو يعتمد على القواعد اللغوية الصارمة.
    • نموذج آخر (Imagen) ينكسر إذا أضفت مشاهداً متناقضة (مثل "منتزه" يحتوي على "نفايات صناعية"). هو يهتم أكثر بـ "الجو العام" أو الأجواء المحيطة.

5. الفوز الكبير

تزعم الورقة أنه باستخدام هذا الدستور لتوجيه التعديلات الذرية (تبديل قطع الليغو المنفردة)، يمكنهم التحكم في سلوك الذكاء الاصطناعي بشكل أفضل بمقدار 1.86 مرة من مجرد التخمين العشوائي.

باختصار:
بدلاً من التخمين الأعمى لكيفية تغيير رأي الذكاء الاصطناعي، تسمح لك هذه الطريقة بتفكيك تعليمات الذكاء الاصطناعي كلمة بكلمة، وفهم القواعد التي تجعله يعمل، وكتابة "دستور" بسيط يخبرك بالضبط كيف توجهه نحو هدفك. إنها تحول "الصندوق الأسود" الغامض إلى آلة ذات دليل تعليمات واضح ومفهوم.