ملخص تقني: تقييم البحث العميق في البيانات لنماذج اللغات الكبيرة (LLMs)

بيان المشكلة

تركز التقييمات الحالية لنماذج اللغات الكبيرة الوكيلية (Agentic LLMs) بشكل أساسي على الذكاء التنفيذي—أي القدرة على إكمال مهام محددة مسبقاً أو الإجابة على استفسارات مستخدم معينة. هذا التأطير يخلط بين التنفيذ والذكاء الاستقصائي، وهو القدرة على اتخاذ قرار مستقل بشأن ما يستحق الاستكشاف، وصياغة الفرضيات، وتحديد متى يتم إنهاء عملية الاستقصاء. في علم البيانات الواقعي، يبدأ المحللون ببيانات مهيكلة خام دون أسئلة محددة مسبقاً، ويقومون بتنقيح الفرضيات بشكل تكراري مع ظهور الأنماط. تعتمد المعايير المرجعية الحالية لعلم البيانات (LLM4DS) غالباً على أسئلة محددة مسبقاً، أو تقييمات نوعية لجودة التقارير، أو آليات "النموذج كحكم" (LLM-as-a-Judge) التي تفشل في التحقق الموضوعي من الادعاءات الواقعية مقابل البيانات المصدرية. علاوة على ذلك، عادة ما تقتصر المعايير المرجعية الحالية على تفاعلات ذات أفق قصير (عشرات الخطوات)، مما يفشل في استيعاب تعقيد الاستكشاف المستقل طويل الأمد.

المنهجية

صياغة البحث العميق في البيانات (DDR)

يصيغ المؤلفون البحث العميق في البيانات (DDR) كمسألة مفتوحة $I = \text{DDR}(\text{LLM}, D, T)$، حيث يُمنح الوكيل قاعدة بيانات مهيكلة $D$ ومجموعة أدوات $T$ (SQL وPython) ولكن بدون أسئلة أو أهداف أو حدود للتفاعل محددة مسبقاً.

• المدخلات: مطالبة بدء بسيطة تحدد كيان المهمة (مثل "ابدأ بتحليل المستخدم ذو المعرف userid=2048") وبيانات وصفية أساسية لقاعدة البيانات.
• العملية: ينخرط الوكيل في حلقة تفاعل من نمط ReAct مكونة من $(r, t, o)$ عبر جولات متعددة، حيث تمثل $r$ الاستنتاج، و$t$ استدعاء الأداة، و$o$ الملاحظة. يحدد الوكيل بشكل مستقل متى يتوقف عن الاستكشاف.
• المخرجات: نوعان من الرؤى:
  1. الرؤية على مستوى الرسالة ($I_m$): تفسيرات تدريجية لكل جولة تفاعل.
  2. الرؤية على مستوى المسار ($I_t$): تقرير شامل يلخص تاريخ الاستكشاف بأكمله.

بناء DDR-Bench

لتقييم DDR، قدم المؤلفون DDR-Bench، وهو معيار مرجعي واسع النطاق يتكون من ثلاث سيناريوهات واقعية متميزة:

1. MIMIC-IV: قاعدة بيانات سجلات صحية إلكترونية (EHR) منزوعة الهوية. يجب على الوكلاء إعادة بناء مسارات رعاية المرضى واستخراج الرؤى السريرية من الجداول المهيكلة والملاحظات السريرية غير المهيكلة.
2. GLOBEM: مجموعة بيانات لعلم نفس الرياضة والتمارين تجمع بين إشارات مستشعرات الأجهزة القابلة للارتداء وبيانات الاستبيانات. يجب على الوكلاء تحديد الأنماط الزمنية وربط البيانات السلوكية بالحالات النفسية.
3. 10-K: التقار ت المالية للشركات العامة الأمريكية، والتي تدمج البيانات المالية لـ XBRL المهيكلة مع الإفصاحات النصية غير المهيكلة. يجب على الوكلاء تركيب الظروف الاقتصادية والاتجاهات المالية.

إطار التقييم:

• التحقق القائم على القوائم المرجعية: بدلاً من التقييم النوعي، يستخدم المعيار قوائم حقائق مشتقة من المكونات غير المهيكلة لقواعد البيانات (مثل الملاحظات السريرية، أو ردود الاستبيانات).
• التقييم الموضوعي: لكل كيان مهمة، يتم إنشاء قائمة حقائق قابلة للتحقق، حيث يقوم نموذج (GPT-5-mini) بتقييم ما إذا كانت الرؤى التي ولدها الوكيل توفر أدلة كافية لدعم كل عنصر من عناصر الحقائق.
• تحليل الجدة: لمعالجة القصور في عدم قدرة القوائم المرجعية على تغطية جميع الرؤى الصالحة، يجري المؤلفون مقارنات زوجية للرؤى "الجديدة" (تلك التي لم تُستخدم للتحقق من القائمة المرجعية) لتصنيف النماذج بناءً على فائدة اكتشافاتها غير المتحقق منها.

التصميم التجريبي

• هيكل وكيل تبسيطي: يستخدم المعيار المرجعي وكيلاً خفيف الوزن بنمط ReAct بدون ذاكرة خارجية، أو وحدات تخطيط، أو هياكل معقدة لعزل قدرات النموذج الجوهرية.
• تحليل التوسع: تدرس الدراسة الأداء عبر جولات التفاعل، واستهلاك الرموز (tokens)، وتكلفة الاستدلال.
• دراسات الاستئصال (Ablation Studies): يحلل المؤلفون تأثير عوامل التدريب (حجم المعاملات، طول السياق، أجيال التدريب) ووحدات الوكيل (الذاكرة، ميزانية الاستنتاج) على الأداء.

النتائج الرئيسية

الأداء العام

• الوكالة الاستقصائية المحدودة: حتى النماذج الرائدة تواجه صعوبة في DDR. فقط Claude 4.5 Sonnet يحقق متوسط دقة قائمة مرجعية فوق 40% (47.73% إجمالاً). تسجل النماذج الرائدة الأخرى (مثل GPT-5.2، DeepSeek-V3.2، GLM-4.6) درجات أقل بكثير.
• التباين في أنواع الرؤى: يختلف الأداء بين الرؤى على مستوى الرسالة ($I_m$) والرؤى على مستوى المسار ($I_t$)، مما يشير إلى أن دمج السياق العالمي يمثل تحدياً منفصلاً عن التحليل التدريجي.
• ارتباط الجدة: هناك ارتباط قوي (Spearman $\rho > 0.72$) بين دقة القائمة المرجعية وفائدة الرؤى الجديدة، مما يؤكد أن التقييم القائم على القائمة المرجعية يلتقط الإشارة المهيمنة لقدرة النموذج.

التوسع والديناميكيات

• توسع التفاعل: يتبع الأداء منحنى سيجمويد (S-curve). غالباً ما تؤخر النماذج عالية الأداء (مثل Claude وGLM) التحسن السريع، مظهرة ديناميكية "التخطيط ثم التنفيذ" من خلال التخطيط الضمني بدلاً من المطالبات الصريحة.
• توسع الرموز والتكلفة: تُدفع مكاسب الأداء بشكل غير متناسب بواسطة الرموز (tokens) المتأخرة وعالية القيمة (الاستعلامات العميقة والمستهدفة) بدلاً من الاستكشاف الواسع في المراحل المبكرة.
• أنماط الاستكشاف: تظهر النماذج الناجحة نظام استكشاف متوازن، حيث تحافظ على تغطية عالية لقاعدة البيانات مع انتروبيا منخفضة (وصول مركز). أما النماذج الأضعف فتستكشف إما بشكل ضيق جداً أو توزع انتباهها بشكل مشتت للغاية.
• الإنهاء الذاتي: تظهر النماذج الأقوى ثقة أعلى في الإنهاء الذاتي، بينما تظهر النماذج الأضعف ثقة متذبذبة، وغالباً ما تنتهي قبل الأوان أو تدخل في حلقات مفرغة.

تحليل التدريب والوحدات

• التوسع ليس كافياً: يؤدي زيادة حجم المعاملات (على سبيل المثال، ضمن عائلة Qwen) إلى مكاسب هامشية (تحسن أقل من 3% لزيادة 10 أضعاف في المعاملات) دون تدريب وكيل محدد.
• استراتيجية التدريب هي الأهم: تتفوق النماذج ذات استراتيجيات التدريب "الوكيلية أولاً" (Qwen3 وQwen3-Next) بشكل كبير على سابقاتها، حتى مع عدد أقل من المعاملات المفعلة. هذا يشير إلى أن التدريب الوكيلي المنهجي (التدريب المسبق والتعلم التعزيزي) أكثر أهمية من الحجم أو طول السياق.
• وحدات الوكيل: غالباً ما يؤدي إضافة ذاكرة خارجية أو وحدات تخطيط معقدة إلى تدهور الأداء مقارنة بالأساس البسيط لـ ReAct، مما يشير إلى أن النماذج الحالية تستفيد من القدرات الجوهرية أكثر من الهياكل الخارجية.

أنماط الفشل والهلوسة

• الفشل الأساسي: 58% من الأخطاء تنبع من عدم كفاية الاستكشاف (نقص في الاتساع أو العمق)، وغالباً ما يكون ذلك بسبب الإنهاء الذاتي المبكر.
• الهلوسة: معدلات الهلوسة منخفضة (أقل من 5% لمعظم النماذج) ولا تظهر ارتباطاً كبيراً مع الدقة. هذا يشخص أن تلوث البيانات ليس المحرك الرئيسي لتضخم الأداء في هذا السياق.

الأهمية والادعاءات

يدعي البحث أنه يضع إطاراً صارماً لتقييم الذكاء الاستقصائي، متميزاً عن الذكاء التنفيذي. وتتمثل مساهماته الرئيسية في:

1. صياغة DDR: تعريف بيئة مفتوحة حيث يجب على الوكلاء استكشاف البيانات المهيكلة بشكل مستقل دون أهداف محددة مسبقاً.
2. DDR-Bench: تقديم أول معيار مرجعي واسع النطاق قائم على القوائم المرجعية يتيح تقييماً موضوعياً وقابلاً للتحقق للاستكشاف طويل الأمد للبيانات.
3. الرؤى التجريبية: الكشف عن أن النماذج الرائدة الحالية، رغم إظهارها لوكالة ناشئة، لا تزال بعيدة عن إتقان البحث العميق في البيانات. الانتقال إلى ذكاء استقصائي فعال يعتمد أقل على الهياكل الخارجية أو مجرد توسيع المعاملات، وأكثر على الاستراتيجيات الجوهرية التي يتم تطويرها من خلال التدريب الموجه للوكلاء.

يخلص المؤلفون إلى أن المجال يجب أن يتجاوز مواءمة الاستعلام والاستجابة نحو نماذج تدريب تعزز الاستقلالية الكاملة، مما يمكن الوكلاء من تحديد الأهداف بشكل استباقي واستخلاص رؤى مفيدة من البيانات واسعة النط scale.