💬 NLP

DFAH-Bench: Benchmarking Observable Agent Instability in Financial Decision-Making

يقدم DFAH-Bench إطار عمل جديد للتقييم المرجعي لا يكتفي بتقييم وكلاء الذكاء الاصطناعي المالي بناءً على صحة القرار فحسب، بل يقيس أيضاً استقرار وأمانة مسارات تنفيذهم المرصودة، مما يكشف عن تضاربات كبيرة في استخدام الأدوات ومسارات الاستدلال حتى عندما تظل القرارات النهائية متسقة.

المؤلفون الأصليون: Raffi Khatchadourian

نُشر 2026-07-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Raffi Khatchadourian

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد ساحرًا يؤدي خدعة بالورق. إذا أخرج الساحر "آس البستوني" من كُمّ قميصه، فقد تقول: "خدعة رائعة!" وتمضي في طريقك. ولكن ماذا لو أخرج نفس الورقة تمامًا من جيب مخفي في قبعته في المرة التالية؟ أو ماذا لو أخرجها من مجموعة أوراق قام بخلطها بشكل مختلف، مستخدمًا مهارة يدوية مختلفة؟ بالنسبة لمراقب عادي، النتيجة متطابقة: ظهور ورقة "الآس". لكن بالنسبة للمحقق، فإن الطريقة تهم بقدر ما تهم المعجزة نفسها. هذا هو جوهر مجال جديد يسمى "سلامة وكلاء الذكاء الاصطناعي" (AI Agent Safety). الأمر لا يتعلق فقط بما إذا كان الكمبيوتر سيصل إلى الإجابة الصحيحة؛ بل يتعلق بما إذا كان سيصل إليها بنفس الطريقة في كل مرة. في عالم التمويل عالي المخاطر، حيث تتخذ الحواسيب قرارات بشأن المال والأمن والقواعد، فإن الوصول إلى الإجابة الصحيحة عن طريق الصدفة أو عبر عملية فوضوية يعد أمرًا خطيرًا. إذا كان "المصرفي الآلي" يوافق على قرض اليوم من خلال التحقق من درجاتك الائتمانية، ويوافق عليه غدًا من خلال تخمين لونك المفضل، فإن النتيجة واحدة، لكن العملية معطلة. نحن بحاجة إلى معرفة ما إذا كان مساعدونا الرقميون موثوقين، ومتسقين، وصادقين بشأن كيفية أدائهم لعملهم.

هذا بالضبط ما سعى فريق من الباحثين في IBM للتحقيق فيه باستخدام أداة جديدة تسمى DFAH-Bench. فكر في هذه الأداة كأنها "كاميرا إعادة عرض" لوكلاء الذكاء الاصطناعي. بد instead من مجرد تقييم الدرجة النهائية للاختبار، تقوم DFAH-Bench بمراقبة الذكاء الاصطناعي وهو يؤدي الاختبار مرارًا وتكرارًا، وتسجل كل خطوة يتخذها، وكل أداة يلتقطها، وكل قطعة دليل ينظر إليها. أراد الباحثون الإجابة على سؤال بسيط ولكنه مخيف: إذا أعطيت الذكاء الاصطناعي نفس المهمة المالية ونفس الإعدادات تمامًا، هل سيسلك المسار نفسه تمامًا للوصول إلى الإجابة؟

الإجابة التي وجدوها تشبه اكتشاف أنه بينما يخبرك نظام تحديد المواقع (GPS) دائمًا "انعطف يسارًا"، فإنه أحيانًا يأخذك عبر منتزه، وأحيانًا عبر منطقة بناء، وأحيانًا يقود في دوائر قبل أن ينعطف يسارًا. أجرى الباحثون آلاف عمليات المحاكاة حيث عمل وكلاء الذكاء الاصطناعي كموظفين ماليين، يتعاملون مع مهام مثل التحقق مما إذا كان العميل آمنًا للقيام بأعمال تجارية أو إصلاح أخطاء البيانات. ووجدوا أنه بينما اتفقت وكلاء الذكاء الاصطناعي على القرار النهائي بنسبة 94% إلى 95% من الوقت، إلا أن الطريقة التي وصلوا بها كانت مشتتة للغاية. في الواقع، إن الأدوات المحددة التي استخدموها والترتيب الذي استخدموها به لم يتطابقا إلا بنسبة 45% تقريبًا.

إليك المفاجأة: كان الذكاء الاصطناعي غالبًا "مجمعًا بالإجماع" على القرار النهائي ولكنه "فوضوي" في الرحلة. في مجموعة محددة من الاختبارات، قرر الذكاء الاصطناعي "تصعيد" المشكلة (مثل استدعاء مدير بشري) في كل مرة. ولكن عندما نظر الباحثون في السجلات، رأوا أنه في ما يقرب من 25% من تلك الحالات، استخدم الذكاء الاصطناعي مجموعة مختلفة تمامًا من الأدوات للوصول إلى ذلك القرار. أحيانًا تحقق من تاريخ العميل؛ وأحيانًا أخرى تجاوز ذلك وانتقل مباشرة إلى درجة المخاطر. أحيانًا تحقق من العقوبات، وأحيانًا لم يفعل. كان الملصق النهائي هو نفسه، لكن "العمل" الكامن وراء الملصق كان غير مرئي وغير متسق.

تجادل الورقة البحثية بأن هذه مشكلة كبيرة لأن العملية في التمويل لا تقل أهمية عن النتيجة. إذا كان الذكاء الاصطناعي يوافق على معاملة دون التحقق من القواعد اللازمة يومًا ما، ولكنه يتحقق منها في اليوم التالي، فقد يكون محظوظًا اليوم ويتسبب في كارثة غدًا. يطلق الباحثون على هذا اسم "النقطة العمياء" للاختبار القائم على النتائج فقط: لا يمكنك رؤية المسار الفوضوي والمتغير إذا نظرت فقط إلى الوجهة النهائية. كما وجدوا أيضًا أنه عندما أجبروا الذكاء الاصطناعي على أن يكون أكثر دقة — ليس فقط بتسجيل أي أداة استخدمها، بل بالضبط ما هي البيانات التي نظر إليها وما هي الحجج التي استند إليها — انخفض الاتفاق بشكل أكبر، ليصل إلى حوالي 45%.

هذه ليست قصة عن كون الذكاء الاصطناعي "سيئًا" أو "خاطئًا". الورقة البحثية حذرة في القول بأن المسار المستقر لا يعني أن الذكاء الاصطناعي ذكي، وأن المسار المتذبذب لا يعني أنه غبي. بدلاً من ذلك، هي أداة تشخيصية. إنها مثل ميكانيكي يفحص ما إذا كان محرك السيارة يصدر نفس الضجيج في كل مرة تشغل فيها السيارة. إذا كان المحرك يبدو مختلفًا في كل مرة، حتى لو كانت السيارة لا تزال تسير، فأنت تعلم أن هناك شيئًا غير مستقر. يقترح الباحثون أننا بحاجة إلى البدء في مراقبة "مسارات الأدوات" هذه و"آثار الأدلة" للتأكد من أن الذكاء الاصطناعي المالي الخاص بنا لا يخمن طريقه للوصول إلى الإجابة الصحيحة فحسب. إنهم يقترحون طريقة جديدة لقياس الذكاء الاصطناعي تنظر إلى الرحلة، وليس فقط إلى الوجهة، حتى نتمكن من رصد تلك التغييرات الخفية قبل أن تسبب متاعب حقيقية في العالم الواقعي.

ملخص تقني: DFAH-Bench

بيان المشكلة

غالبًا ما تُنتج وكلاء الذكاء الاصطناعي المالية قرارات نهائية متسقة (مثل "التصعيد" أو "الرفض") بينما تستخدم أدوات مختلفة، أو ترتيبات تنفيذ متباينة، أو مصادر أدلة متنوعة للوصول إلى تلك الاستنتاجات. تفشل مقاييس التقييم التقليدية التي تركز على النتيجة فقط في اكتشاف هذا التباين في العمليات، وهو أمر بالغ الأهمية للمراجعة التشغيلية، وإمكانية إعادة التشغيل (replayability)، وضبط التغيير في البيئات التنظيمية. يمكن للوكيل أن يكون "خاطئًا بشكل متسق" أو يصل إلى إجابة صحيحة عبر مسار غير متسق أو غير ممتثل محتملاً. تكمن المشكلة الجوهرية في غياب معيار يميز بين استقرار القرار (الاتفاق على الملصق النهائي) وأمانة العملية (الاتفاق على مسار التنفيذ الملحوظ) تحت ظروف متطابقة.

المنهجية

يقدم البحث DFAH-Bench، وهو معيار يجسد هيكل ضمان الحتمية والأمانة (DFAH). تركز المنهجية على إعادة تشغيل مهام مالية متطابقة لقياس استقرار التنفيذ الملحوظ.

1. التصميم التجريبي

المهام: تستخدم الدراسة سير عمل اصطناعي عبر ثلاثة مجالات: الامتثال (مثل فحص العقوبات)، وعمليات البيانات المالية (DataOps) (مثل معالجة الاستثناءات)، والتسوية المحلية. تم تأليف هذه المهام برمجياً لاختبار فروع تحكم محددة دون استخدام بيانات عملاء حقيقية.
بروتوكول إعادة التشغيل (Replay Protocol): تتكون "مجموعة الحالة" من حلقات مكررة لحالة واحدة وتكوين واحد (النموذج، المزود، ضوابط أخذ العينات، واجهة الأداة).
- النواة الاسترجاعية (Retrospective Core): 4,157 حلقة عبر 719 مجموعة من 8 تكوينات (تشمل Qwen، وGemma، وGPT-OSS، وGemini، وClaude).
- التوسعات الاستشرافية (Prospective Extensions):
  - فحص الهيكل المحلي: 8 عمليات إعادة تشغيل لكل حالة مع تثبيت البذور (seeds) للتحقق من حدود الالتقاط.
  - توسعة واجهة برمجة التطبيقات (API): 3 عمليات إعادة تشغيل لكل حالة لـ GPT-5.6 Terra وClaude Sonnet 5 مع التقاط مدرك للوسائط (الوسائط المعيارية وتجزئة النتائج/hashes).
معايير الأهلية: تُعتبر مجموعة إعادة التشغيل مؤهلة فقط إذا كان التكوين الثابت والقنوات المطلوبة (مثل مسارات استدعاء الأدوات) موجودة. تؤدي القنوات المطلوبة المفقودة إلى عدم الأهلية بدلاً من تسجيلها كـ "مسارات فارغة".

2. مقاييس القياس

يقرن المعيار مقيیسين للاتفاق مع نفس المقام لمجموعات الأهلية:

معدل اتفاق القرار (DAR): الكسر المنوال لقرارات متطابقة عبر عمليات إعادة التشغيل ( $DAR_c = \max_y \frac{1}{N_c} \sum 1[d_{cr} = y]$ ).
معدل اتفاق مسار الأداة (TAR): الكسر المنوال لتسلسلات أسماء الأدوات المرتبة المتطابقة ( $TAR_{seq,c}$ $T A R_{se q, c}$ ).
- المتغيرات: $TAR_{bag}$ (مجموعة متعددة، تتجاهل الترتيب) و $TAR_{set}$ (الأسماء المميزة فقط).
- المتغير الاستشرافي ( $TAR_{strong}$ ): يتضمن الأسماء المرتبة، والوسائط المعيارية، وتجزئة النتائج الحتمية.
الفجوة ( $\Delta_{DT}$ ): تُعرف بـ $DAR - TAR_{seq}$ . تشير الفجوة الموجبة إلى أن القرارات أكثر استقراراً من العملية الملحوظة، مما يعني أن درجات النتيجة فقط تخفي تباين المسار.

3. نهج التحليل

تحلل الدراسة 4,157 حلقة استرجاعية و570 حلقة استشرافية. تقوم بتفكيك التباين إلى ترتيب الأدوات، والتعدد (الاستدعاءات المتكررة)، وتغييرات الأسماء المميزة. وتتجنب صراحةً ادعاء "الصحة"، مركزةً بدلاً على أمانة التنفيذ (دقة المسار الملحوظ تحت إعادة التشغيل).

المساهمات الرئيسية

بروتوكول أهلية إعادة التشغيل: طريقة تربط القرارات المغلقة بمسارات الأدوات، وتوائم مقاماتها، وتميز بين المسار الفارغ الملحوظ والقناة المطلوبة المفقودة.
التحليل على مستوى التكوين: تفكيك للتباين عبر 4,157 حلقة يفصل بين الأدلة المتحكم بها والأدلة الافتراضية للمزود، مع تحليل ترتيب الأدوات، والتعدد، وتغييرات الأسماء المميزة.
مخطط أدوات القياس (Instrumentation Blueprint): إطار عمل لسير العمل التشغيلي الذي يربط قياسات DFAH المستقبلية بمصدر البيانات، وثقة الأدلة، وحداثتها، وقرارات الترقية، مع اعتبار القابلية للملاحظة جزءاً من المقدار المراد تقديره وليس مجرد وسيلة لتسجيل السجلات.

النتائج

تكشف الدراسة عن "نقطة عمياء" كبيرة حيث تكون القرارات بالإجماع، لكن العملية الأساسية ليست كذلك.

النتائج الاسترجاعية:
- التكوينات المحلية المتحكم بها: أظهرت فجوات تقترب من الصفر (0.0–0.1 نقطة)، مما يشير إلى حتمية عالية عند تثبيت البذور والمعالم (fixtures).
- تكوينات واجهة برمجة التطبيقات (API): أظهرت فجوات كبيرة.
  - Gemini 2.0 Flash: فجوة قدرها 5.0 نقاط (93.7% DAR مقابل 88.7% TAR).
  - Claude Sonnet 4 (المزود الافتراضي): فجوة قدرها 21.0 نقطة (94.3% DAR مقابل 73.3% TAR).
  - Gemini 2.5 Pro: فجوة قدرها 13.6 نقطة.
- مجموعات القرار الموحد: حتى عندما اتفقت القرارات بنسبة 100%، تباينت مسارات الأدوات في 24.7% من مجموعات Gemini 2.0 Flash و59.6% من مجموعات Claude Opus 4. في بعض الحالات، تضمن التباين تغيير مجموعة الأدوات المستخدمة (مثل حذف فحص العقوبات أو إضافة درجة المخاطر).
التوسعة الاستشرافية لواجهة برمجة التطبيقات (المدركة للوسائط):
- اتفقت القرارات بنسبة 94.2–95.1%.
- اتفقت مسارات أسماء الأدوات الدقيقة فقط بنسبة 66.9–69.4%، مما خلق فجوة قدرها 25.8–27.3 نقطة.
- عند تضمين الوسائط المعيارية وتجزئة النتائج ( $TAR_{strong}$ )، انخفض الاتفاق إلى 45.0–51.5%، مما وسع الفجوة إلى 43.6–49.2 نقطة.

الأهمية والادعاءات

يضع البحث DFAH-Bench كـ أداة تشخيصية وليس كنظام لتصنيف جودة النماذج.

الاستقرار مقابل الصحة: يؤكد المؤلفون أن التكرارية العالية لا تعني بالضرورة الصحة أو العدالة أو الامتثال للسياسات. وعلى العكس، فإن التكرارية المنخفضة هي إشارة للفحص، وليست معيار رفض تلقائي.
الرؤية التشغيلية: يجعل المعيار "العمل الكامن وراء الملصق المستقر" مرئياً. فهو يسمح للمراجعات التشغيلية باكتشاف متى يختفي فحص مطلوب أو عندما يعتمد الوكيل على أدوات اختيارية بشكل مختلف عبر عمليات التشغيل، حتى لو ظل القرار النهائي ثابتاً.
الآثار الحوكمية: تشير النتائج إلى أن حوكمة الوكلاء الماليين يجب أن تُصاغ في تصميم التنفيذ (تثبيت لقطات الأدلة، تسجيل الثقة المشتقة من القواعد) بدلاً من إضافتها لاحقاً. يدعم المعيار اختبار التراجع السلوكي لضمان أن تغييرات التكوين لا تغير مسار التنفيذ الملحوظ بطرق غير مقصودة.
القيود: يذكر المؤلفون صراحةً أن الحالات اصطناعية، ولم يتم إجراء تقييم من خبراء مزدوجين، وأن النتائج لا تثبت الامتثال التنظيمي أو سلامة الإنتاج. الدراسة هي أداة هندسية تشخيصية للتوثيق والتحقيق في التغيير.