ملخص تقني: نظرية النظام (Regime Theory) لاختيار فئة المتحكم في قرارات نماذج اللغات الكبيرة (LLM)

1. بيان المشكلة

تواجه نماذج اللغات والرؤية واللغات (LLMs/VLMs) المنشورة قراراً حرجاً مع كل مدخل: هل تجيب مباشرة، أم تسترجع أدلة، أم تحيل القرار إلى نموذج أقوى، أم تمتنع عن الإجابة. وبينما تفترض معظم النهج الهندسية القياسية أن المتحكمات الأكثر تعبيراً (مثل القواعد المتعلمة على مستوى الحالة/النموذج) هي الأفضل دائماً، تجادل هذه الورقة بأنه في أنظمة العينات المحدودة (finite-sample regimes)، لا تكون القدرة التعبيرية العالية مفيدة دائماً.

تتمثل المشكلة الجوية في اختيار فئة المتحكم (controller class). الأدبيات الحالية عادة ما تثبت تصميماً هيكلياً (مثل عتبة عالمية، أو موزع تقسيم، أو مصنف على مستوى الحالة) وتقوم بالتحسين ضمن تلك الفئة دون التحقق مما إذا كانت البيانات المتاحة تدعم ذلك المستوى من التعقيد. يفترض المؤلفون أنه تحت التحقق الصارم من صحة النموذج (cross-validation)، تفضل الاختبارات المعيارية المختلفة فئات مختلفة من المتحكمات، مما يناقض فرضية الرتابة الضمنية التي تقول إن "الأكثر دقة هو الأفضل دائماً". وتنشأ هذه الظاهرة لأن إشارات عدم اليقين على مستوى الحالة يمكن استنفادها بمقياس يعتمد على التوزيع، مما يؤدي إلى أنظمة محدودة بالتباين (variance-bounded regimes) حيث تفشل المتحكمات المعقدة في التفوق على المتحكمات الأبسط.

2. المنهجية

2.1 شبكة فئات السياسة (Policy Class Lattice)

ينظم المؤلفون المتحكمات في شبكة متداخلة بدقة من أربع فئات ($\Pi_0 \subset \Pi_1 \subset \Pi_2 \subset \Pi_3$)، مرتبة حسب التعقيد:

• $\Pi_0$ (الأفعال الثابتة): فعل ثابت $\pi(x) \equiv a$ لجميع المدخلات.
• $\Pi_1$ (موجهات التقسيم): يتم تقسيم المدخلات إلى عدد محدد من المجموعات (التقسيمات)، مع تعيين فعل محدد لكل مجموعة.
• $\Pi_2$ (المتحكمات على مستوى الحالة): خرائط قابلة للقياس من سمات كل عينة إلى الأفعال، يتم تعلمها عبر عائلة فرضيات ذات تعقيد محدود (مثل الانحدار اللوجستي، أو تعزيز التدرج).
• $\Pi_3$ (المتحكمات المحكومة بالأولوية): تستخدم قناة أولوية خارجية خالية من التسميات (مثل رموز OCR) للتحكم في القرارات. إذا كانت الأولوية واثقة، فإنها تطلق فعلاً محدداً؛ وإلا فإنها تعود إلى متحكم من فئة أدنى ($\Pi_0, \Pi_1,$ أو $\Pi_2$).

2.2 تشخيصات النظام والحدود النظرية

تختزل الورقة مشكلة اختيار الفئة إلى ثلاث عقبات يمكن تقديرها من البيانات، والتي تمت صياغتها من خلال أربعة نظريات:

1. حد المتبقي (النظرية 1): يحدد الحد الأقصى للتحسين الممكن لأي متحكم تكيفي فوق أفضل فعل ثابت بناءً على الكتلة الاحتمالية لـ "المجموعة المتبقية" (المدخلات حيث يوجد فعل أفضل). إذا كانت هذه الكتلة صغيرة، فلا يمكن لأي فئة تكيفية أن تحسن الأداء بشكل كبير.
2. عتبة الصلاحية لـ Bernstein-Tight (النظرية 2 والمقترح 1): تحدد عتبة عدد العينات الأدنى ($n_{min}$) المطلوبة لمتحكم على مستوى الحالة ($\Pi_2$) ليتمكن من المصادقة بشكل موثوق على تحقيق ربح إيجابي. تعتمد هذه العتبة على هامش المساحة تحت المنحنى ($\beta$)، والتغطية التشغيلية ($q$)، ومستوى الثقة ($\delta$). تحت هذه العتبة، يكون إشارة الربح التجريبي غير مصدق عليه (محدود بالتباين)، وقد يؤدي $\Pi_2$ أداءً أسوأ من النماذج الأساسية الأبسط.
3. حد ربح التقسيم (النظرية 3): يوفر حداً أدنى للربح الذي يمكن تحقيقه بواسطة موجه التقسيم ($\Pi_1$). على عكس $\Pi_2$ الذي يعتمد على هوامش لكل عينة، يعتمد $\Pi_1$ على كتلة التكتل وفجوات التمييز. وهذا يسمح لـ $\Pi_1$ بالنجاح في الأنظمة التي يكون فيها $\Pi_2$ محدوداً بالتباين.
4. حد الاختيار من البيانات المحجوزة (النظرية 4): يثبت أن التحقق المتداخل الصارم (nested cross-validation) يختار الفئة الأفضل تقريباً مع حد خطأ محدود، بشرط أن تكون الفئات المرشحة مقيدة بتشخيصات النظام.

2.3 بروتوكول الاختيار

يعمل قاعدة الاختيار المقترحة كما يلي:

1. حساب التشخيصات ($\beta, n, P(R), \{p_g \gamma_g\}$) على تقسيم محجوز.
2. تطبيق الاستنتاج 1 لتحديد النظام الملائم:
   • إذا كان $P(R)$ صغيراً، فإن $\Pi_0$ هو الأمثل.
   • إذا كان $\beta > 0$ ولكن $n < n_{min}$، فإن $\Pi_2$ غير مصدق عليه؛ ويفضل $\Pi_1$ إذا كان يقدم ربحاً إيجابياً.
   • إذا كان $n \ge n_{min}$، قارن بين السقوف التقاربية لـ $\Pi_1$ و $\Pi_2$؛ ويتم اختيار الفئة ذات السقف الأعلى.
3. استخدام التحقق المتداخل الصارم للتحقق تجريبياً من الاختيار.

3. النتائج الرئيسية

قيم المؤلفون نظريتهم على أربعة اختبارات معيارية أساسية باستخدام التحقق المتداخل الصارم (5-fold-by-5-seed cross-validation):

• SMS-Spam (محدود بالمتبقي): الكتلة المتبقية ضئيلة ($P(R) \approx 0.009$). تتنبأ النظرية بشكل صحيح بأن $\Pi_0$ (الفعل الثابت) هو الفائز. تجريبياً، انهارت جميع المتحكمات التكيفية ($\Pi_1, \Pi_2$) لتصبح مثل الفعل الثابت أو أدت أداءً أسوأ قليلاً.
• HallusionBench (صالح لـ Bernstein، عالي الإشارة): مع $n=920$ وهامش كبير، يتجاوز حجم العينة عتبة الصلاحية ($n \gg n_{min}$). تتنبأ النظرية بأن $\Pi_2$ (على مستوى الحالة) يجب أن يفوز بسبب سقفه التقاربي الأعلى. تجريبياً، تفوق $\Pi_2$ (HGBC) على $\Pi_1$ و $\Pi_0$.
• A-OKVQA (حالة حدية): نظام عالي الإشارة حيث تكون السقوف التقاربية لـ $\Pi_1$ و $\Pi_2$ متقاربة. تتنبأ النظرية بأن $\Pi_2$ هو الفائز الأمثل للمجتمع، رغم أن النتائج التجريبية أظهرت انقساماً ضيقاً بين $\Pi_1$ و $\Pi_2$ اعتماداً على التحقق المحدد للعائلة.
• FOLIO (محدود بالتباين): مع $n=203$ فقط من العينات، يقع نظام البيانات في منطقة التباين العميقة ($n \ll n_{min} \approx 1898$). تتنبأ النظرية بأن إشارة $\Pi_2$ غير مصدق عليها وأن $\Pi_1$ (موجه التقسيم) يجب أن يحسن الأداء بشكل صارم عن $\Pi_0$. تجريبياً، أدى أفضل متحكم $\Pi_2$ إلى زيادة الخسارة مقارنة بـ $\Pi_0$، بينما حقق $\Pi_1$ أقل خسارة.
• TextVQA-OCR (عرض $\Pi_3$): باستخدام رموز OCR كأولوية خالية من التسميات، نجح متحكم $\Pi_3$ في التحكم في الحالات عالية الثقة والعودة إلى نموذج متعلم، محققاً تقليلاً كبيراً في الخسارة (10.8 joint seed-sd) مقارنة بأفضل فئة أدنى.

طابقت الفئة المتوقعة الفائز التجريبي في جميع الاختبارات الأربعة الأساسية. علاوة على على ذلك، فشلت نماذج التعلم الحساس للتكلفة (learning-to-defer) القياسية (وهي بطبيعتها $\Pi_2$) في اختبار FOLIO، مما يؤكد أن الفشل كان بسبب النظام (حجم العينة مقابل التعقيد) وليس بسبب تفاصيل التنفيذ.

4. الأهمية والادعاءات

تدعي الورقة تقديم نظرية نظام (regime theory) تنقل التركيز من "كيف نجعل المتحكم أكثر تعبيراً" إلى "أي فئة يمكن للبيانات دعمها بالفعل".

• عدم الرتابة (Non-Monotonicity): توضح الورقة أن الترتيب في العينات المحدودة ليس رتيباً في تعقيد المتحكم؛ حيث يمكن للفئة الأقل دقة أن تكون الخيار المبرر إحصائياً حتى عندما تتوفر قاعدة أكثر دقة لكل مدخل.
• التشخيصات التشغيلية: يترجم العمل القيود الإحصائية المجردة إلى تشخيصات قابلة للحساب (كتلة المتبقي، عتبات Bernstein، فجوات التقسيم) التي توجه تصميم الأنظمة العملية.
• المتانة: أظهرت قاعدة الاختيار أنها متينة عبر اختبارات معيارية وتكوينات أوزان تكلفة مختلفة، مما يحدد أن "النظام" (حجم البيانات وهيكل الإشارة) هو ما يملي البنية المثلى أكثر من المعلمات الفائقة (hyperparameters) داخل الفئة.
• الدقة النظرية: أظهر أن عتبة الصلاحية المقترحة هي عتبة دقيقة (order-tight) بالنسبة للحدود الدنيا لنظرية المعلومات، كما يضمن حد الاختيار أداءً قريباً من الأمثل تحت التحقق المتداخل الصارم.

يخلص المؤلفون إلى أن النشر الموثوق لعمليات التأجيل (deferred deployment) يتطلب مطابقة فئة المتحكم مع نظام البيانات، بدلاً من التطبيق العالمي لأكثر البنيات تعقيداً المتاحة.