ملخص تقني: Conf-Gen: التكميم المفهومي لعدم اليقين في النماذج التوليدية

بيان المشكلة

أدت الطفرات الأخيرة في الذكاء الاصطناعي، لا سيما في النماذج التوليدية غير الخاضعة للإشراف مثل النماذج اللغوية الكبيرة (LLMs) ومولدات الصور، إلى تغيير المشهد بعيداً عن التعلم التقليدي الخاضع للإشراف. ومع ذلك، يظل تكميم عدم اليقين (Uncertainty Quantification - UQ) تحدياً حرجاً لهذه الأنظمة التوليدية، مما يعيق نشرها في المجالات عالية المخاطر مثل الرعاية الصحية والاكتشاف العلمي.

بينما توفر التنبؤات المفهومية (Conformal Prediction - CP) والتحكم المفهومي في المخاطر (Conformal Risk Control - CRC) أطر عمل صارمة وخالية من التوزيع لـ UQ في التعلم الخاضع للإشراف، إلا أنها ليست متوافقة بشكل مباشر مع المهام التوليدية. إن المحاولات الحالية لتطبيق الأفكار المفهومية على النماذج التوليدية غالباً ما تكون مرتبطة بمهام محددة للغاية، وتعتمد على افتراضات مقيدة (مثل الرتابة الصارمة لدوال المنفعة)، ومحدودة بالمخرجات التي تأخذ شكل مجموعات. علاوة على ذلك، تتطلب العديد من التطبيقات الحالية تسميات (labels) للحقيقة الأرضية ودوال منفعة قابلة للاستدعاء، وهي أمور لا تتوفر دائماً في السيناريوهات التوليدية مفتوحة النهايات.

المنهجية: إطار عمل Conf-Gen

يقترح المؤلفون Conf-Gen (التوليد المفهومي)، وهو إطار عمل عام يكيف CRC للمهام التوليدية مع تخفيف افتراضاته النظرية. يوحد Conf-Gen المحاولات السابقة المرتبطة بمهام محددة ويمد المنهجية المفهومية إلى مجالات جديدة، بما في ذلك التسلسلات والمخرجات المهيكلة التي تتجاوز مجرد المجموعات البسيطة.

المكونات الأساسية

يعمل إطار العمل على مجموعة بيانات معايرة $G_{:n} = \{(X^{(i)}, Y^{(i)}, Y^{(i)}_{GT})\}_{i=1}^n$، حيث $X$ هو المدخل، و $Y$ هو تسلسل من التوليدات، و $Y_{GT}$ هو الحقيقة الأرضية الاختيارية. ويتكون من ثلاثة مكونات رئيسية:

1. دوال الاختيار ($C_\lambda$): عائلة من الدوال التي قد تكون احتمالية $C_\lambda: \mathcal{X} \times \mathcal{Y}^* \to \mathcal{S}$، والمفهرسة بمعلمة $\lambda$. على عكس CP التقليدي الذي ينتج مجموعات، يمكن لـ $\mathcal{S}$ أن تكون تسلسلات ($\mathcal{Y}^*$) أو مخرجات مهيكلة أخرى. وبشكل حدسي، تنتج قيم $\lambda$ الأكبر مخرجات أكثر تحفظاً (على سبيل المثال، تسلسلات أقصر أو مجموعات فرعية أكثر صرامة) تحقق قابلية قبول أعلى.
2. دالة القابلية للقبول ($A$): دالة $A: \mathcal{X} \times \mathcal{S} \times \mathcal{Y}_{GT} \to [0, \infty)$ تعمم دالة المنفعة في CRC. تقيس هذه الدالة جودة المخرج المختار. ومن الأهمية بمكان أن $A$ لا يجب أن تكون دالة قابلة للاستدعاء؛ إذ يمكن تعريفها من خلال التقييم البشري أو الإجراءات التي لا يوجد فيها حقيقة أرضية محددة.
3. المعايرة: تجد الطريقة العتبة $\hat{\lambda}$ بحيث يلبي متوسط القابلية للقبول في مجموعة بيانات المعايرة هدف $\gamma$. رسمياً، $\hat{\lambda} = \inf \{ \lambda \in \Lambda : \bar{A}_n(\lambda) \ge \frac{n+1}{n}\gamma \}$.

المساهمات النظرية

يقدم Conf-Gen تعريفاً لـ $\gamma$-sensible (حساس لـ $\gamma$) يخفف من افتراضات CRC:

• الرتابة المخففة: بدلاً من اشتراط أن تكون دالة القابلية للقبول غير متناقصة بشكل شبه مؤكد (وهو شرط صارم في CRC)، يتطلب Conf-Gen فقط أن تكون الخريطة $\lambda \mapsto \mathbb{E}[A^{(n+1)}(\lambda) \mid \hat{\lambda}, \lambda^*]$ غير متناقصة في التوقع الشرطي. وهذا يسمح بالسيناريوهات التي لا تكون فيها العلاقة بين $\lambda$ والقابلية للقبول رتيبة بشكل صارم في كل حالة واقعية، ولكنها تتحقق في التوقع.
• فضاءات المخرجات المعممة: يدعم إطار العمل مخرجات تتجاوز المجموعات (مثل التسلسلات)، مما يتيح تطبيقات مثل اختيار تسلسل فرعي من الإجابات أو مجموعة فرعية من الإجراءات.
• عدم اشتراط الحقيقة الأرضية: لا يتطلب إطار العمل وجود حقيقة أرضية $Y_{GT}$ محددة جيداً لكل حالة، مما يستوعب المهام مفتوحة النهايات حيث يتم تحديد القابلية للقبول من خلال التقييم البشري أو الاتساق الدلالي.

الكفاءة الحسابية

حدد البحث أنماط تصميم لجعل Conf-Gen قابلاً للتنفيذ حسابياً:

• الاختيار القائم على الدرجات: من خلال تعريف $C_\lambda$ بناءً على درجات مُسندة إلى عناصر فردية (على سبيل المثال، اختيار العناصر حيث $S_\downarrow(x, y_t) \le \lambda$)، تصبح صورة دالة الاختيار محدودة، مما يسمح بمعايرة فعالة حتى مع وجود $\Lambda$ لانهائية.
• تفكيك مستوى الحالة: إذا كان من الممكن تفكيك دالة القابلية للقبول إلى تجميع لدرجات على مستوى الحالة (على سبيل المثال، $A = \text{agg}(A'_1, \dots, A'_T)$)، فيمكن إجراء المعايرة عن طريق تقييم $A'$ على جميع العناصر المولدة مرة واحدة، مما يفصل التقييم عن اختيار $\lambda$.
• التوليد الجزئي: في كثير من الحالات، يمكن للنظام التوقف عن التوليد مبكراً بمجرد استيفاء معايير الاختيار، مما يوفر الموارد الحسابية.

المساهمات الرئيسية

1. إطار العمل: يقترح Conf-Gen، وهو إطار عمل صارم لتكميم عدم اليقين (UQ) للنماذج التوليدية الذي يعمم CRC على التسلسلات والمخرجات المهيكلة.
2. النظرية: يخفف من فرضية الرتابة في CRC من شرط "شبه مؤكد" إلى شرط "التوقع الشرطي"، مما يوسع نطاق تطبيقها للمهام التي لا تتحقق فيها الرتابة الصارمة.
3. البرمجيات: يوفر حزمة بايثون مرنة (conf-gen) تدعم المعايرة والاستدلال الفعال عبر مختلف الإعدادات.
4. التحقق التجريبي: يثبت تعدد استخدامات إطار العمل عبر مهام مبتكرة، حيث يتفوق على أفضل الأساليب المرجعية في الإجابة على أسئلة LLM ويضع أول ضمانات مفهومية لعدة مجالات تطبيقية جديدة.

النتائج التجريبية

يتحقق المؤلفون من صحة Conf-Gen في مهام متنوعة، موضحين أنه يحقق الضمانات المفهومية (القابلية للقبول التجريبية $\ge \gamma$) مع الحفاظ على المنفعة العملية (تسلسلات أقصر أو مخرجات ذات جودة أعلى مقارنة بالنماض المرجعية).

• الإجابة على الأسئلة مفتوحة المجال: في مجموعة بيانات TriviaQA، ينتج Conf-Gen تسلسلات إجابة أقصر من المرجع (Quach et al., 2024) مع الحفاظ على نفس ضمان التغطية، مما يقلل من عدد استدعاءات LLM المطلوبة.
• توليد الصور غير المحفوظة: عند تطبيقه على Stable Diffusion، يختار Conf-Gen صوراً تم التحقق منها من قبل مقيمين بشريين على أنها "غير محفوظة" (أي ليست نسخاً من بيانات التدريب) باحتمالية مضمونة $\gamma$. وهذا يعالج مخاطر حقوق النشر المرتبطة بالنماذج التوليدية.
• الذكاء الاصطناد الحواري: يضمن إطار العمل أن روبوت الدردشة يطرح أسئلة توضيحية كافية لحل الغموض قبل الإجابة. تظهر النتائج وجود مقايضة حيث تؤدي زيادة $\gamma$ إلى المزيد من الاستيضاحات، لكن النظام لا يكتفي بسؤال الحد الأقصى الممكن من الأسئلة بشكل افتراضي.
• الذكاء الاصطناعي الوكيل (Agentic AI): يضمن إطار العمل للنماذج القائمة على الويب (مجموعة بيانات WebVoyager) أن التسلسل المختار من مسارات الوكيل يحتوي على حل ناجح واحد على الأقل باحتمالية $\gamma$.
• الغابات العشوائية (Random Forests): يتم تطبيق إطار العمل على التعلم الخاضع للإشراف من خلال اختيار مجموعة فرعية من الأشجار من غابة عشوائية تضمن حداً أدنى من التنبؤات الصحيحة، مما يوضح شمولية الطريقة لما وراء النماذج التوليدية.

الأهمية والادعاءات

يزعم البحث أن Conf-Gen يمثل خطوة هامة نحو تحسين تكميم عدم اليقين في النماذج التوليدية. ومن خلال تخفيف الافتراضات النظرية لـ CRC، فإنه يتيح تطبيق الضمانات المفهومية لمجموعة أوسع من المهام التوليدية، بما في ذلك تلك التي تفتقر إلى حقيقة أرضية أو رتابة صارمة.

يؤكد المؤلفون أن عملهم يضع أساساً لتطبيقات مفهومية جديدة، مثل ضمان أن الصور المولدة ليست محفوظة أو التحقق من أن وكلاء الذكاء الاصطناعي قد طرحوا أسئلة توضيحية كافية. وهم يفترضون أن هذه التحسينات يمكن أن تزيد من موثوقية أنظمة الذكاء الاصطناعي، مما يسهل نشرها في التطبيقات الحرجة للسلامة. يحافظ البحث على نبرة متواضعة فيما يتعلق بالأثر المجتمعي، مع الإقرار بأنه بينما يمكن لـ UQ تحسين الموثوقية، فإنه يمكن أيضاً أن يعزز التطبيقات الخبيثة، وإن كان من المتوقع أن يكون الأثر الصافي إيجابياً.

لا يدعي العمل حل جميع تحديات UQ، بل يقدم إطار عمل مرناً ومبنياً على أسس نظرية يوحد النهج الحالية ويفتح آفاقاً جديدة للتحكم الصارم في عدم اليقين في عصر الذكاء الاصطناعي التوليدي.