Whose Alignment? Comparing LLM Process Alignment Across Diverse Organizational Decision Contexts

ملخص تقني: توجهات مَن؟ مقارنة محاذاة العمليات في النماذج اللغوية الكبيرة عبر سياقات القرار التنظيمية المتنوعة

١. بيان المشكلة

تعامل أطر العمل الحالية لمحاذاة أنظمة الذكاء الاصطناعي مع المؤسسات مشكلة المحاذاة عادةً كمسألة ذات هدف واحد يركز على اتفاق المخرجات: أي ضمان وصول النموذج إلى نفس الاستنتاجات التي تصل إليها المؤسسة. ويجادل المؤلفون بأن هذا التأطير يحجب تحديًا أعمق وأكثر تعددية، وهو محاذاة العمليات (Process Alignment).

تُشفّر المؤسسات سياسات قرار متميزة غالبًا ما تكون ضمنية، ومرتبطة تاريخيًا بالسياق، وتختلف بشكل منهجي بين المؤسسات. قد يحقق النموذج اللغوي الكبير دقة عالية في المخرجات، بينما يستخدم "سياسة استخدام إشارات" (Cue-utilization policy) مختلفة جوهريًا (أي يزن المعلومات بشكل مختلف) عن المؤسسة. هذا التباين، الذي يُسمى فجوة المعرفة، يشكل مخاطر على شرعية العمليات، والقدرة على التعميم في الحالات الجديدة، والموثوقية في المجالات التنظيمية. علاوة على على ذلك، يركز أبحاث المحاذاة التعددية الحالية على التعددية بين الأشخاص (تجميع التفضيلات الفردية)، لكنها تغفل إلى حد كبير التعددية بين المؤسسات، مما يفشل في معالجة أي المعايير المؤسسية يجب أن يتبنىها النموذج عندما قد تتعارض تلك المعايएं مع المعايير الأخلاقية أو القانونية المعاصرة.

٢. المنهجية: نموذج عدسة السياق المحاذي (CALM)

لقياس محاذاة العمليات، يقوم المؤلفون بتكييف نموذج عدسة برونسويك (Brunswik, 1952; Hammond et al., 1964). فبدلاً من مقارنة المخرجات النهائية، يقدر نموذج CALM ويقارن سياسات وزن الإشارات (Cue-weighting policies) الخاصة بالمؤسسات والنماذج اللغوية الكبيرة.

• تقدير السياسة: باستخدام الانحدار اللوجستي المنظم بـ (Ridge regression) على القرارات المرصودة، يستخرج المؤلفون متجهات المعاملات ($\beta$) التي تمثل الوزن المخصص لإشارات (سمات) معينة لكل من المعيار التنظيمي وكل نموذج لغوي كبير.
• مقياس المحاذاة: يتم قياس المحاذاة عبر تشابه جيب التمام (Cosine similarity) بين متجه سياسة المؤسسة ($\beta_{org}$) ومتجه سياسة النموذج اللغوي ($\beta_{LLM}$):
  $$\cos(\theta) = \frac{\beta_{org} \cdot \beta_{LLM}}{\|\beta_{org}\| \|\beta_{LLM}\|}$$
  هذا المقياس مستقل عن المقياس (Scale-invariant) ومحصور في النطاق $[-1, 1]$، حيث تشير القيمة 1.0 إلى المحاذاة المثالية.
• الظروف التجريبية: يختبر الإطار ثلاثة ظروف:
  1. الأساس (Baseline): يتخذ النموذج قراره بناءً على ملف حالة مهيكل (يكشف عن سياسات التدريب المسبق الضمنية).
  2. الخارجية المؤسسية (Org-externalized): يتم تزويد النموذج بسياسة وزن الإشارات الصريحة للمؤسسة (المستمدة من البيانات التاريخية) كإرشادات قبل اتخاذ القرار.
  3. الخارجية الاستبطانية (Introspective-externalized): يُعرض على النموذج كيف تختلف سياسته الأساسية عن سياسة المؤسسة، ويُطلب منه التصحيح الذاتي.

٣. المساهمات والنتائج الرئيسية

تقدم الورقة دراستين تجريبيتين لاختبار العلاقة بين محاذاة العمليات ودقة المخرجات عبر مجالات مختلفة.

الدراسة ١: قرارات المادة ٦ من الاتفاقية الأوروبية لحقوق الإنسان (المجال القانوني)

• السياق: 1,000 قرار من المحكمة الأوروبية لحقوق الإنسان فيما يتعلق بحقوق المحاكمة العادلة.
• النتائج:
  • ارتباط قوي: تتنبأ محاذاة العمليات بقوة بدقة المخرجات ($r = 0.85, p < .001$). النماذج التي تزن الإشارات بشكل مشابه للمحكمة تحقق دقة أعلى.
  • فعالية التوصيف الخارجي: يوفر تقديم سياسة المؤسسة الصريحة ("Externalization") تحسنًا كبيرًا في المحاذاة للنماذج ضعيفة المحاذاة (على سبيل المثال، تحسن GPT-5.4-nano بمقدار $\Delta = +0.906$).
  • تأثير السقف (Ceiling Effects): أظهرت النماذج المحاذية جيدًا بالفعل مكاسب طفيفة، مما يشير إلى أن التوصيف الخارجي أكثر فعالية في سد فجوة المعرفة في النماذج غير المحاذية.

الدراسة ٢: قرارات الائتمان الاستهلاكي الألمانية (المجال المالي)*

• السياق: 1,000 قرار ائتماني تاريخي من بنك ألماني (من تسعينيات القرن الماضي)، تحتوي على إشارات تُعد الآن سمات محمية بموجب قوانين مكافحة التمييز (مثل الجنس، العمر، حالة العامل الأجنبي).
• النتائج:
  • انفصال المحاذاة عن الدقة: انهار الارتباط بين محاذاة العمليات ودقة المخرجات ($r = 0.15, p = .60$). حققت النماذج ذات درجات محاذاة العمليات المتباينة للغاية معدلات دقة متشابهة (وغير دقيقة بشكل موحد) (44–54% مقابل سقف قدره 75.1%).
  • تدخلات غير متسقة: أنتج التوصيف الخارجي تأثيرات غير متسقة. فبينما تحولت بعض النماذج نحو السياسة، تحركت نماذج أخرى بعيدًا عنها. أظهر نموذج واحد (Grok 4.1 Fast) "تصحيحًا مفرطًا منحرفًا"، حيث صنف 99.5% من الحالات كـ "مخاطر جيدة" استجابةً لتغذية راجعة حول المعدل الأساسي، مما أدى فعليًا إلى عكس سياسته بدلاً من معايرتها.
  • توتر العدالة: غالبًا ما قاومت النماذج وزن السمات المحمية (مثل حالة العامل الأجنبي) بنفس الطريقة التي فعلها المعيار التاريخي، مما يشير إلى وجود صراع بين محاذاة العملية التنظيمية ومحاذاة السلامة على مستوى النموذج.

٤. الأهمية والادعاءات

يزعم المؤلفون أن قياس مستوى العمليات هو مكون ضروري لأي تقييم محاذاة تعددية، لا سيما في الإعدادات التنظيمية عالية المخاطر. الأطروحة الجوهرية هي أن المحاذاة الأعلى ليست مرغوبة دون قيد أو شرط؛ فهي تعتمد على ما إذا كانت السياسة التنظيمية نفسها تنطوي على قيم مشروعة.

• الوظيفة المزدوجة لـ CALM:
  • أداة معايرة (Calibration Tool): في المجالات ذات المعايير المعيارية المستقرة والمشروعة (مثل المحكمة الأوروبية لحقوق الإنسان)، يحدد CALM مدى تباين السياسة ويوجه التوصيف الخارجي لسد الفجوة.
  • أداة تدقيق (Audit Tool): في المجالات ذات المعايير المتنازع عليها أو التمييزية (مثل الائتمان الألماني)، يجعل CALM السياسات السلوكية مفهومة، مما يسمح لأصحاب المصلحة بفحص ما إذا كان النموذج يعيد إنتاج التمييز التاريخي بأمانة أو يقاومه.
• مشكلة "الأمانة" (Faithfulness): تسلط الورقة الضوء على أن اتفاق المخرجات لا يمكنه التمييز بين نموذج استوعب سياسة تنظيمية ونموذج يقترب فقط من النتائج. علاوة على ذلك، هناك خطر من أن استدلال النموذج المعلن (سلسلة الأفكام - Chain-of-Thought) قد يختلف عن سياسته السلوكية الفعلية، مما يجعل القياس السلوكي عبر CALM أمرًا ضروريًا.
• الآثار على الحوكمة: تجادل الورقة بأن حوكمة الذكاء الاصطناعي يجب أن تتجاوز مقاييس المخرجات (الدقة، التكافؤ الديموغرافي) لتشمل شرعية العمليات. يجب على المؤسسات تحديد أي نسخة من سياسة القرار الخاصة بها هي التي تعمل كهدف للمحاذاة، مع الاعتراف بأن الممارسات التاريخية قد تتعارض مع المعايير الأخلاقية أو التنظيمية الحالية.

تخلص الورقة إلى أن المحاذاة التنظيمية ليست مشكلة تقنية واحدة، بل هي تحدٍ تعددي يتطلب قياسًا تجريبيًا لـ مَن هي المعايير المؤسسية التي يتم تبنيها، وأي سياسة يتم ترميزها، ومن أي منظور يتم تقييم المحاذاة.