🤖 machine learning

Task-Awareness Improves LLM Generations and Uncertainty

تقترح هذه الورقة إطاراً قائماً على نظرية القرار يعمل على تحسين توليد النماذج اللغوية الكبيرة وتقدير عدم اليقين من خلال نمذجة المخرجات في بنية كامنة تعتمد على المهمة لتخليق استجابات مثالية بايزية وقياس المخاطر، مما يؤدي إلى التفوق على طرق فك التشفير القياسية في الفضاء اللغوي.

المؤلفون الأصليون: Tim Tomov, Dominik Fuchsgruber, Stephan Günnemann

نُشر 2026-05-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tim Tomov, Dominik Fuchsgruber, Stephan Günnemann

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتاً ذكياً جداً ومحبّاً للدردشة (نموذج لغوي كبير، أو LLM) يجيب على أسئلتك. عادةً، عندما تسأله شيئاً، فإنه يخرج لك جملة طويلة أو فقرة. لكن في كثير من الأحيان، ما تريده حقاً ليس فقرة؛ بل تريد رقماً محدداً، أو قائمة عناصر، أو رسماً بيانياً، أو كلمة واحدة.

تجادل الورقة البحثية بأننا حالياً نطلب من هذا الروبوت القيام بعمله باستخدام "لغة" خاطئة. نحن نستمع إلى كلماته الخام، ولكن ينبغي لنا أن نستمع إلى البنية الكامنة وراء تلك الكلمات.

إليك تفصيل فكرتهم باستخدام تشبيهات بسيطة:

1. المشكلة: الاستماع إلى الضجيج، لا إلى الإشارة

تخيل أنك تسأل الروبوت: "ما هي المحيطات التي تحد الولايات المتحدة؟"

الطريقة القديمة: قد يقول الروبوت: "حسناً، المحيط الهادئ في الغرب، والأطلسي في الشرق، ولكن ربما المحيط الهندي بعيد..." أو قد يخمن فقط "الهادئ".
المشكلة: الروبوت يقوم بتوليد نص. ولكن سؤالك في الواقع يحتوي على بنية خفية: أنت تطلب مجموعة من المحيطات.
رؤية الورقة: بدلاً من معاملة الإجابة كسلسلة من الكلمات، يجب علينا ترجمة إجابة الروبوت إلى "هيكلها" أو "مخططها" فوراً. في هذه الحالة، المخطط هو قائمة: {الهادئ، الأطلسي}.

2. الحل: تشبيه "رئيس الطهاة"

يقترح المؤلفون طريقة جديدة للحصول على أفضل إجابة، ويسمونها الوعي بالمهمة (Task-Awareness).

تخيل أنك "رئيس طهاة ماهر" (الإطار الجديد) والروبوت هو طباخ مساعد يستمر في إحضار نسخ مختلفة من الحساء لك.

الروبوت (الطباخ المساعد): يحضر لك 20 وعاءً مختلفاً من الحساء. بعضها به الكثير من الملح، وبعضها يفتقر إلى الجزر، وبعضها يفتقد إلى المرق.
الطريقة القديمة (البحث الشعاعي - Beam Search): تختار وعاءً واحداً يبدو الأفضل من بين الـ 20 وتُقدمه. إذا كان أفضل وعاء لا يزال ذا طعم غريب، فستقدم ذلك الطعم الغريب.
الطريقة الجديدة (التوليف الأمثل وفق نظرية بايز - Bayes-Optimal Synthesis): لا تكتفي باختيار وعاء واحد. بل تأخذ الـ 20 وعاءً، وتسكبها جميعاً في قدر ضخم، وتتذوق متوسط النكهة.
- إذا كان 15 وعاءً يحتوي على جزر و5 لم تحتوي، فإن "متوسط" الحساء الخاص بك يحتوي بالتأكيد على الجزر.
- إذا كان 10 أوعية بها ملح و10 لم تكن بها، فإن "متوسط" الحساء الخاص بك يحتوي على الكمية المناسبة تماماً من الملح.
- السحر: هذا "الحساء المتوسط" قد لا يكون وعاءً صنعته يد الروبوت فعلياً. إنه طبق جديد مُخلّق تم إنشاؤه عبر دمج أفضل الأجزاء من كل تخمينات الروبوت.

في رياضيات الورقة، يحدث هذا "الخلط" في فضاء كامن (Latent Space) (خريطة مهيكلة للإجابات) بدلاً من العالم الفوضوي للنصوص الخام.

3. كيف يفعلون ذلك (الخريطة والمسطرة)

لإنجاح هذا الأمر، يقوم المؤلفون بشيئين:

الخريطة (البنية الكامنة): يحددون خريطة محددة للمهمة.
- إذا كانت المهمة هي "اختر مدينة"، فالخريطة هي قائمة مدن.
- إذا كانت المهمة هي "قيّم مقالاً"، فالخريطة هي خط أرقام من 0 إلى 10.
- إذا كانت المهمة هي "اذكر المحيطات"، فالخريطة هي مجموعة من أسماء المحيطات.
المسطرة (مقياس عدم التشابه): يحددون قاعدة لكيفية كون الإجابة "خاطئة".
- بالنسبة للمدن، الخطأ بمقدار حرف واحد هو أمر سيء.
- بالنسبة للأرقام، الخطأ بمقدار 5 نقاط هو أمر سيء.
- بالنسبة للمجموعات، فقدان محيط واحد هو نوع محدد من الخطأ.

باستخدام هذه الخريطة والمسطرة، يحسبون الاستجابة الأمثل وفق بايز (Bayes-Optimal Response). وهي الإجابة "المثالية" رياضياً والتي تقلل من احتمالية الخطأ، بناءً على جميع تخمينات الروبوت مجتمعة.

4. مقياس "عدم اليقين"

تدعي الورقة أيضاً أن هذه الطريقة أفضل في إخبارك متى يكون الروبوت مرتبكاً.

الطريقة القديمة: قد يقول الروبوت "أنا متأكد بنسبة 90%" بينما يعطي إجابة خاطئة تماماً. أو قد يعطي خمس إجابات مختلفة، ونحن نكتفي فقط بعدّ كم كلمة مختلفة استخدمها.
الطريقة الجديدة: ينظر المؤلفون إلى مدى تشتت "المخططات".
- إذا كانت تخمينات الروبوت الـ 20 ترسم جميعها {الهادئ} على الخريطة، فإن "التشتت" ضئيل جداً. الروبوت واثق.
- إذا كانت تخمينات الروبوت ترسم {الهادئ}، و {الأطلسي}، و {الهندي}، و {المتجمد الشمالي}، فإن "التشتت" ضخم.
- تسمي الورقة هذا التشتت مخاطرة بايز (Bayes Risk). وهو رقم يخبرك: "مهلاً، الروبوت مرتبك لأن خريطته الداخلية مشتتة في كل مكان". هذا الرقم أكثر دقة في التنبؤ بما إذا كانت الإجابة النهائية ستكون صحيحة أم لا مقارنة بالطرق السابقة.

5. النتائج

اختبر المؤلفون هذه الطريقة في مهام عديدة:

الإجابة على الأسئلة: الحصول على المدينة الصحيحة أو قائمة العناصر.
التلخيص: تحويل نص طويل إلى رسم بياني للحقائق الرئيسية.
الترجمة: تحويل نص من لغة إلى أخرى.

في كل حالة تقريباً، أنتجت طريقة "رئيس الطهاة" (توليف الإجابة من البنية) إجابات أفضل من مجرد اختيار أفضل جملة مفردة كتبها الروبوت. كما أعطت نظام تحذير أفضل (درجة عدم اليقين) عندما يكون الروبوت عرضة للخطأ.

ملخص

تقول الورقة: توقفوا عن معاملة إجابات الذكاء الاصطناي كشعر. عاملوا الإجابات كبيانات.

ترجموا كلمات الذكاء الاصطناعي إلى تنسيق مهيكل (قائمة، رقم، رسم بياني) فوراً.
لا تكتفوا باختيار أفضل تخمين واحد؛ بل ادمجوا جميع التخمينات رياضياً لإنشاء إجابة "متوسطة مثالية".
استخدموا "فوضوية" تلك التخمينات لإخباركم بمدى الثقة التي يجب أن تضعوها في الإجابة.

من خلال القيام بذلك، يصبح الذكاء الاصطناعي أكثر موثوقية وتصبح أخطاؤه أسهل في الرصد.

ملخص تقني: الوعي بالمهمة يحسن توليدات النماذج اللغوية الكبيرة (LLMs) واليقين

بيان المشكلة

تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في تطبيقات لا تكون فيها المخرجات مجرد نص حر، بل تمتلك بنية تحتية مرتبطة بمهمة محددة، مثل التصنيفات المنفصلة، أو القيم العددية، أو مجموعات الكيانات، أو الرسوم البيانية (graphs). تعتمد استراتيجيات فك التشفير الحالية (مثل البحث الشعاعي "beam search"، أو فك التشفير الجشع "greedy decoding") وطرق تقدير اليقين (uncertainty estimation) بشكل أساسي على فضاء اللغة الخام ( $V^\infty$ ). وتتجاهل هذه الأساليب إلى حد كبير المعلومات الهيكلية المتأصلة في المهمة. ونتيجة لذلك، فإنها غالبًا ما تفشل في تخليق استجابات مثلى تجمع المعلومات عبر توزيع المخرجات الكامل للنموذج، وتفشل في تقديم تقديرات لليقين تتوافق مع المفاهيم الخاصة بالمهمة فيما يتعلق بالصحة والجودة.

المنهجية

يقترح المؤلفون إطار عمل نظري لاتخاذ القرار ينقل عملية توليد النماذج اللغوية الكبيرة وتقدير اليقين من فضاء اللغة الخام إلى بنية كامنة تعتمد على المهمة ( $\mathcal{L}$ ).

1. رسم الخرائط للفضاء الكامن (Latent Space Mapping)

يحدد إطار العمل دالة ترميز $g_T: V^\infty \to \mathcal{L}$ تقوم برسم خرائط لاستجابات النماذج اللغوية الكبيرة ذات النص الحر $s$ إلى تمثيل كامن $\ell$ . هذا الفضاء الكامن مصمم خصيصًا للمهمة:

التصنيف (Classification): مجموعة منفصلة من الفئات $[K]$ .
الأسئلة والأجوبة متعددة الإجابات (Multi-Answer QA): مجموعة القوى (power set) للفئات (تمثل كمتجهات ثنائية).
التضمينات الدلالية (Semantic Embeddings): متجهات على كرة وحدة.
الرسوم البيانية للمعرفة (Knowledge Graphs): مجموعات من الحواف/العلاقات.
المخرجات الاحتمالية (Probabilistic Outputs): مجمعات الاحتمالات (probability simplices) (من أجل اليقين العرضي/الخارجي "aleatoric uncertainty").

هذا الرسم للخرائط يستحث توزيع دفع أمامي (push-forward distribution) $p(\ell|x)$ فوق الفضاء الكامن، مشتق من التوزيع التنبئي للنموذج $p(s|x)$ .

2. فك تشفير الحد الأدنى من مخاطر بايز (MBR) المدرك للهيكل

بدلاً من اختيار توليد واحد مأخوذ عينة، يقوم إطار العمل بتخليق استجابة بايز المثلى ( $\ell_{Bayes}$ ) مباشرة في الفضاء الكامن. ويتم تحقيق ذلك عن طريق تقليل المخاطر المتوقعة (مخاطر بايز) بالنسبة لمقياس عدم تشابه يعتمد على المهمة $d_T$ :
$\ell_{Bayes} := \arg \min_{\tilde{\ell} \in \mathcal{L}} \mathbb{E}_{\ell \sim p(\ell|x)} [d_T(\tilde{\ell}, \ell)]$
ومن الأهمية بمكان أن $\ell_{Bayes}$ لا يشترط أن يتوافق مع أي نص محدد تم توليده بواسطة النموذج اللغوي الكبير. إنه فعل مُخلق (على سبيل المثال، مركز ثقل في الفضاء الكامن، أو مجموعة من العناصر التي تم التصويت عليها بالأغلبية) يقلل الخطأ المتوقع. وبالنسبة للعديد من الهياكل (مثل المجموعات، أو الرسوم البيانية، أو التضمينات)، فإن هذا الفعل الأمثل له حل مغلق (closed-form solution) أو يمكن حسابه بكفاءة ( $O(M)$ )، على عكس MBR الخاص باللغة الخام الذي يتطلب مقارنات زوجية بمقدار $O(M^2)$ .

3. تقدير اليقين عبر مخاطر بايز

يقيس إطار العمل اليقين كـ حد أدنى من مخاطر بايز ( $R_{Bayes}$ )، والذي يُعرف بالمخاطر المرتبطة بالفعل الأمثل:
$R_{Bayes} := R(\ell_{Bayes}) = \min_{\tilde{\ell} \in \mathcal{L}} \mathbb{E}_{\ell \sim p(\ell|x)} [d_T(\tilde{\ell}, \ell)]$
تحت افتراض وجود حقيقة أرضية غير غامضة (Dirac delta في الفضاء الكامن)، تعمل مخاطر بايز كحد أدنى للمخاطر المعرفية (epistemic risk) الحقيقية. إن ارتفاع $R_{Bayes}$ يعني بشكل مثبت وجود مخاطر حقيقية عالية. يقيس هذا الإجراء التباين من حيث عدم التشابه الخاص بالمهمة $d_T$ ، بدلاً من مجرد التباين الدلالي في النص الخام.

4. التعامل مع الغموض

بالنسبة للمهام التي تنطوي على غموض متأصل (اليقين العرضي/الخارجي)، يوسع إطار العمل الفضاء الكامن ليشمل مجمع الاحتمالات (probability simplex). هنا، يتم توجيه النموذج اللغوي لإنتاج توزيعات احتمالية للنتائج. يصبح فعل بايز الأمثل هو متوسط هذه التوزيعات، ويتم قياس المخاطر عبر تباعد KL، مما يلتقط بفعالية تشتت معتقدات النموذج.

المساهمات الرئيسية

تخليق الفضاء الكامن: يقدم البحث إطار عمل عام لإجراء فك تشفير MBR مباشرة في فضاءات كامنة تعتمد على المهمة، مما يسمح بتخليق استجابات بايز المثلى التي لا تقتصر على مجموعة التوليدات المأخوذة عينة.
الحلول المغلقة الفعالة: يستنتج المؤلفون تعبيرات مغلقة لـ $\ell_{Bayes}$ و $R_{Bayes}$ عبر هياكل متنوعة (مجموعات، رسوم بيانية، تضمينات، مجمعات)، مما يثبت الكفاءة الحسابية مقارنة بـ MBR الخاص باللغة الخام.
اليقين المدرك للمهمة: يقترحون استخدام مخاطر بايز المستحثة كمقدر يقين منضبط يتوافق مع مقاييس الأداء الخاصة بالمهمة، متفوقًا على الأساليب الحالية التي تعتمد على الإنتروبيا الدلالية أو احتمالات مستوى الرمز (token-level probabilities).
التحقق التجريبي: تم التحقق من صحة إطار العمل عبر مهام متعددة باستخدام نماذج Gemma 3 و Qwen 3 (تتراوح من 4B إلى 72B بارامتر).

النتائج التجريبية

قيم المؤلفون الإطار عبر مهام متعددة باستخدام نماذج Gemma 3 و Qwen 3 (تتراوح من 4B إلى 72B بارامتر).

جودة التوليد: في جميع المهام، تفوقت استجابات الفضاء الكامن المثلى لبايز ( $\ell_{Bayes}$ $ℓ_{B a y es}$ ) باستمرار على طرق فك التشفير القياسية (البحث الشعاعي، التشفير الجشع، الاتساق الذاتي) وعلى MBR الخاص باللغة الخام ( $\ell_{Sample}$ $ℓ_{S am pl e}$ ).
- في الأسئلة والأجوبة متعددة الإجابات، نجحت الطريقة في تخليق الإجابات من خلال تجميع المعلومات، متفوقة غالبًا على البحث الشعاعي بشكل كبير عندما كان التوزيع الكامن ذا إنتروبيا عالية (يقين مرتفع).
- في الترجمة الآلية، حققت الطريقة درجات COMET أعلى ومسافات جيب تمام (cosine distances) أقل مقارنة بالنماذج المرجعية.
- في التلخيص، الممثل كرسوم بيانية للمعرفة، حسنت الطريقة درجة AlignScore وقللت من مسافة هامينج الهيكلية (structural Hamming distance).
تقدير اليقين: أظهرت مخاطر بايز ( $R_{Bayes}$ $R_{B a y es}$ ) توافقًا فائقًا مع جودة التوليد الفعلية مقارنة بالنماذج المرجعية مثل الإنتروبيا الدلالية (SE)، والاحتمالية القصوى للجملة (MSP)، وإنتروبيا اللغة النواة (KLE).
- من خلال قياس نسبة رفض التنبؤ (PRR) ومساحة تحت المنحنى للتوافق (Concordance AUC)، حققت الطريقة المقترحة أفضل أداء أو أداءًا تنافسيًا في 4 من أصل 5 هياكل مهام.
- تشير النتائج إلى أن الطريقة فعالة بشكل خاص في تحديد التوليدات منخفضة الجودة في المهام الهيكلية المعقدة حيث لا يكون التباين الدلالي وحده كافيًا.

الأهمية والادعاءات

يدعي البحث أن الوعي بالمهمة هو بُعد حيوي غير مستغل لتحسين موثوقية النماذج اللغوية الكبيرة. من خلال نمذجة البنية الكامنة للاستجابة صراحةً، يتيح إطار العمل:

فك تشفير متفوق: القدرة على تخليق استجابات مثلى متجذرة رياضيًا في مقياس الخطأ الخاص بالمهمة، بدلاً من الاعتماد على قدرة النموذج اللغوي على توليد النص المثالي مباشرة.
يقين موثوق: مقياس يقين منضبط يعكس الصعوبة الفعلية للمهمة (عدم التشابه الهيكلي) بدلاً من مجرد التباين اللغوي.

يضع المؤلفون هذا كنموذج عام قابل للتطبيق على أي مشكلة تسمح بوجود بنية استجابة كامنة. ويجادلون بأن هذا النهج يسهل التكامل الموثوق للنماذج اللغوية الكبيرة في التطبيقات النهائية الحرجة حيث تكون بنية المخرجات وصحتها أمرًا بالغ الأهمية. يشير عملهم إلى أن تفسير مخرجات النماذج اللغوية الكبيرة في فضاء مدرك للمهمة يمتد إلى ما هو أبعد من جودة التوليد، ليقدم إطارًا مفاهيميًا لمعالجة المشكلات المفتوحة في أبحاث النماذج اللغوية الكبيرة بطريقة منضبطة.

يقر البحث بوجود قيود، مشيرًا إلى أن الكفاءة تعتمد على إمكانية حساب الفعل الأمثل لبايز وجدوى رسم خرائط اللغة إلى الفضاء الكامن (والعودة منها محتملًا). ومع ذلك، فإنهم يؤكدون أنه بالنسبة للعديد من المهام الهيكلية، تكون الاستجابة الكامنة الملموسة أكثر قيمة من الشكل اللغوي، مما يجعل إطار العمل عمليًا للغاية.