💬 NLP

What Language Models Know But Don't Say: Non-Generative Prior Extraction for Generalization

تقدم الورقة البحثية LoID، وهي طريقة حتمية تستخرج توزيعات مسبقة غنية بالمعلومات للإنحدار اللوجستي البايزي من خلال تحليل ثقة مستوى الرمز (token-level confidence) في الاتجاهات الدلالية المتعارضة داخل النماذج اللغوية الكبيرة، مما يحسن بشكل كبير من القدرة على التعميم في مجموعات البيانات الجدولية الصغيرة والخارجة عن نطاق التوزيع مقارنة بالنهج الحالية القائمة على توليد النصوص.

المؤلفون الأصليون: Sara Rezaeimanesh, Mohammad M. Ghassemi

نُشر 2026-04-23

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Sara Rezaeimanesh, Mohammad M. Ghassemi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "ما تعرفه النماذج اللغوية الكبيرة ولكن لا تقوله"، باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: معضلة "الفئة الصغيرة"

تخيل أنك تحاول تعليم طالب كيفية التنبؤ بالطقس.

السيناريو المثالي: تعطي الطالب بيانات الطقس لمدة 10 سنوات من جميع القارات. سيتعلم الأنماط بشكل مثالي.
مشكلة الواقع: في مجالات مثل الطب أو التمويل، غالبًا ما تملك فقط بيانات من بلدة صغيرة واحدة أو مستشفى محدد واحد. ربيد تكون بياناتك تشمل فقط المرضى الصغار والأصحاء.

إذا قمت بتدريب نموذج على بيانات هذه "الفئة الصغيرة"، فسيصبح عبقريًا في التنبؤ بالطقس لتلك البلدة الواحدة، لكنه سيفشل فشلًا ذريعًا عندما يحاول التنبؤ لمدينة أخرى (مثل مدينة باردة ومثلجة). هذا ما يسمى بمشكلة "التوزيع خارج النطاق" (Out-of-Distribution - OOD). النموذج هنا يكون "هشًا" لأنه لم يشهد تنوعًا كافيًا.

الحل: "مكتبة الحكمة"

هنا يأتي دور النماذج اللغوية الكبيرة (LLMs) مثل النموذج الذي تتحدث إليه الآن. هذه النماذج قرأت كل شيء تقريبًا على الإنترنت، بما في ذلك الملايين من الكتب الطبية، والتقارير المالية، والأوراق العلمية. إنها تمتلك "مكتبة حكمة" هائلة حول كيفية عمل العالم.

الطريقة القديمة: حاول الباحثون سؤال النموذج اللغوي الكبير: "مهلاً، ما رأيك في هذا المريض؟" وآملوا أن يكتب النموذج فقرة تعطي تنبؤًا. لكن النماذج اللغوية الكبيرة ثرثارة وغير متسقة؛ فأحيانًا تقول شيئًا، وأحيانًا أخرى تقول شيئًا مختلفًا، فقط بسبب طريقة صياغة السؤال.
الطريقة الجديدة (LoID): أدرك مؤلفو هذه الورقة أننا لسنا بحاجة لأن يكتب النموذج اللغوي إجابة. نحن نحتاج فقط إلى "إلقاء نظرة خاطفة" على ما كان النموذج يفكر فيه قبل أن يتحدث.

المنهجية: LoID (التوزيعات المستندة إلى اللوجيت - Logit-Informed Distributions)

تخيل النموذج اللغوي الكبير كأمين مكتبة ذكي جدًا ولكنه خجول. أنت لا تريد أن تطلب من أمين المكتبة كتابة مقال كامل عن "هل التدخين يسبب السرطان؟" لأنه قد يسترسل في الكلام. بدلاً من ذلك، تريد أن تعرف: "ما مدى ثقتك في أن التدخين يسبب السرطان؟"

قام المؤلفون ببناء أداة تسمى LoID (التوزيعات المستندة إلى اللوجيت) للقيام بذلك بالضبط. وإليك كيف تعمل، خطوة بخطوة:

1. اختبار "نعم مقابل لا"

لكل ميزة في مجموعة البيانات (مثل: "العمر"، "حالة التدخين"، "الدخل")، يطرح الباحثون سؤالاً بسيطًا بطريقتين مختلفتين:

"هل للعمر تأثير إيجابي على خطر السكتة الدماغية؟"
"هل للعمر تأثير سلبي على خطر السكتة الدماغية؟"

2. قراءة "الأفكار" (اللوجيت - Logits)

بدلاً من انتظار النموذج اللغوي ليكتب "نعم، العمر يزيد الخطر"، تقوم أداة LoID بالنظر إلى الرياضيات الداخلية التي يستخدمها النموذج لاتخاذ قرار بشأن الكلمة التالية.

هي تتحقق من الاحتمالية التي يخصصها النموذج لكلمة "إيجابي" مقابل كلمة "سلبي".
إذا كان النموذج متأكدًا بنسبة 99% أن الكلمة يجب أن تكون "إيجابي"، فإنه يعطي درجة عالية.
إذا كان النموذج مرتبكًا (50/50)، فإنه يعطي درجة منخفضة.

3. إنشاء "خريطة ذهنية" (الاحتمال المسبق - The Prior)

يأخذ الباحثون هذه الدرجات ويحولونها إلى "احتمال مسبق" (Prior).

تشبيه: تخيل أنك تخبز كعكة، لكنك لم يسبق لك خبز واحدة من قبل. لديك وصفة (بياناتك)، لكن ينقصها بعض المكونات.
الاحتمال المسبق: هو مثل "ملاحظة سرية من الجدة" تقول: "عادةً، تحتاج إلى كوبين من الدقيق".
الاحتمال المسبر لـ LoID: يقول: "بناءً على كل ما قرأته في العالم، العمر عادةً ما يزيد من خطر السكتة الدماغية".

هذه "الملاحظة من الجدة" تساعد النموذج عندما تكون البيانات شحيحة أو غريبة. إنها تعمل كشبكة أمان، توجه النموذج نحو ما هو صحيح بشكل عام في العالم الحقيقي، حتى لو كانت البيانات المحددة التي ينظر إليها متحيزة.

لماذا هذه الطريقة أفضل من مجرد سؤال النموذج اللغوي؟

الاتساق: إذا طلبت من نموذج لغوي كتابة قصة، فقد يغير رأيه في كل مرة. ولكن إذا فحصت رياضياته الداخلية (اللوجيت)، فإن الإجابة تكون حتمية (Deterministic). الأمر يشبه فحص ميزان حرارة مقابل سؤال شخص "هل الجو حار؟". ميزان الحرارة يعطي رقمًا ثابتًا في كل مرة.
لا توجد هلوسات: النموذج اللغوي لا يخترع حقائق؛ بل يكشف عن العلاقات الإحصائية التي تعلمها أثناء تدريبه.

النتائج: متى تنجح ومتى تفشل؟

اختبر المؤلفون هذه الطريقة على 15 مجموعة بيانات مختلفة (طبية، مالية، هندسية).

✅ متى تتألق LoID:

السيناريو: التنبؤ بـ قوة الخرسانة.
لماذا: الفيزياء عالمية. الإسمنت + الماء + الوقت = خرسانة قوية. هذا صحيح في كل مكان.
النتيجة: استخدمت LoID معرفة النموذج اللغوي بالفيزياء لإصلاح النموذج، واستعادت 94% من الأداء المفقود. لقد عرف النموذج قواعد الفيزياء حتى لو كانت البيانات من مصنع غريب.

❌ متى تتعثر LoID:

السيناريو: التنبؤ بـ تسويق البنوك (هل سيشتري العميل وديعة لأجل؟).
لما_ذا: هذا يعتمد على سلوك بشري محدد، وحملات محلية، وتوقيت معين. البنك في البرتغال يعمل بشكل مختلف عن بنك في الولايات المتحدة.
النتيجة: كانت "المعرفة العامة" للنموذج اللغوي غامضة جدًا أو خاطئة لهذا السياق المحدد. حاولت تطبيق قاعدة عامة على موقف محدد، مما جعل الأمور أسوأ.

الخلاصة

تقدم هذه الورقة طريقة لـ "حصاد المنطق السليم للذكاء الاصطناعي" دون الاعتماد على "كتابته الإبداعية".

النهج القديم: اطلب من الذكاء الاصطناعي تخمين الإجابة (غير موثوق).
النهج الجديد (LoID): اسأل الذكاء الاصطناعي عن مدى ثقته في العلاقة بين المتغيرات، ثم استخدم هذه الثقة لتوجيه نموذج إحصائي قياسي.

الأمر يشبه وجود خبير عالمي (النموذج اللغوي) يقف بجانب عالم بيانات مبتدئ (النموذج الإحصائي). بدلاً من ترك الخبير يتولى الوظيفة بأكملها، أنت فقط تسمح للخبير بأن يهمس: "مهلاً، عادةً ما يكون كبار السن أكثر عرضة للخطر"، ويستخدم عالم البيانات هذا الهمس لتصحيح حساباته عندما تكون البيانات ناقصة أو متحيزة.

باختًا: تتيح لنا LoID استخدام المعرفة الواسعة للذكاء الاصطناعي لجعل مجموعات البيانات الصغيرة وغير الكاملة تتصرف مثل المجموعات الكبيرة والمثالية، ولكن فقط عندما تكون قواعد العالم متسقة بما يكفي ليعرفها الذكاء الاصطناعي.

إليك ملخص تقني مفصل لورقة البحث بعنوان "ما تعرفه النماذج اللغوية الكبيرة ولكن لا تقوله: استخراج الأوليات غير التوليدية للتعميم" (LoID).

1. بيان المشكلة

في المجالات الحرجة مثل الطب والتمويل، غالبًا ما تعاني نماذج تعلم الآلة من فشل التعميم خارج التوزيع (OOD). يحدث هذا لأن بيانات التدريب غالبًا ما تكون صغيرة، أو غير ممثلة، أو منحازة (على سبيل المثال، بيانات من مستشفى واحد أو فئة ديموغرافية محددة)، مما يؤدي إلى نماذج تفشل عند نشرها على مجموعات سكانية حقيقية ذات توزيعات مختلفة.

بينما توفر الطرق البايزية (Bayesian methods) وسيلة منهجية لترميز المعرفة السابقة (prior knowledge) للتخفيف من هذه الهشاشة، فإن استنباط أوليات عالية الجودة يدويًا على نطاق واسع أمر صعب. وتعتمد المحاولات الأخيرة لاستخدام النماذج اللغوية الكبيرة (LLMs) كمصادر للأوليات (مثل AutoElicit) على العينات التوليدية (طلب من النموذج كتابة الأوليات)، مما يؤدي إلى:

تباين بين التشغيل والآخر بسبب التوليد النصي العشوائي.
عدم الكفاءة في استخراج التوزيعات الرقمية الدقيقة.
عدم الاتساق في التقاط ثقة النموذج الداخلية.

تعالج الورقة الفجوة المتمثلة في كيفية استخراج أوليات حتمية ومعلوماتية مباشرة من البنية الداخلية للنماذج اللغوية الكبيرة دون الاعتماد على النصوص المولدة.

2. المنهجية: LoID (التوزيعات المستندة إلى اللوجيت - Logit-Informed Distributions)

يقترح المؤلفون LoID، وهو إطار عمل حتمي يستخرج الأوليات البايزية للانحدار اللوجستي والخطي مباشرة من لوجيتات (logits) مستوى الرمز (token) في النموذج اللغوي الكبير، بدلاً من الإكمالات النصية المولدة.

الآلية الجوهرية

الاستقصاء الدلالي (Semantic Probing): لكل ميزة $f_j$ في مجموعة البيانات، تبني الطريقة مطالبات مزدوجة تعبر عن ادعاءات دلالية متضادة حول تأثير الميزة على المتغير المستهدف (على سبيل المثال، "تأثير $f_j$ على $t$ هو إيجابي" مقابل "... هو سلبي").
استخراج اللوجيت (Logit Extraction): بدلاً من طلب رقم من النموذج، يقوم LoID بالاستعلام عن احتمالات الرمز التالي (next-token probabilities) لرموز معينة مرتبطة بالمشاعر ("إيجابي" مقابل "سلبي") بناءً على سياق المطالبة.
درجة تفضيل اللوجيت (Logit Preference Score): تحسب الطريقة درجة تفضيل بناءً على نسبة الأرجحية (log-odds) للرمز الإيجابي مقابل الرمز السلبي:
$\text{logit}_j(p_i) = \log\left(\frac{p_i}{1 - p_i}\right), \quad \text{حيث } p_i = \frac{P(\text{positive})}{P(\text{positive}) + P(\text{negative})}$
وهذا يحول الاحتمالية المحدودة $(0, 1)$ إلى خط حقيقي غير محدود، وهو ما يناسب معاملات الانحدار.
بناء الأوليات (Prior Construction):
- المتوسط ( $\mu_j$ ): يمثل متوسط درجات اللوجيت عبر مطالبات متعددة بصياغات مختلفة ( $T$ ) اعتقاد النموذج حول اتجاه وقوة العلاقة.
- التباين ( $\sigma_j^2$ ): يعمل الانحراف المعياري لدرجات اللوجيت عبر الصياغات المختلفة كمقياس لتقدير عدم اليقين. يشير التباين العالي إلى عدم اتساق النموذج بشأن تأثير الميزة، مما يؤدي إلى أولية أوسع.
التكامل البايزي (Bayesian Integration): تشكل هذه المعلمات أولية غاوسية $\beta_j \sim \mathcal{N}(\mu_j, \sigma_j^2)$ لمعاملات الانحدار اللوجستي/الخطي البايزي. يتم إجراء الاستدلال اللاحق باستخدام تقريب لابلاب (Laplace approximation) (تقريب غاوسي حول تقدير MAP) من أجل الكفاءة.

3. المساهمات الرئيسية

استنباط الأوليات الحتمية: يعد LoID أول طريقة تستخرج الأوليات البايزية مباشرة من لوجيتات مستوى الرمز، مما يلغي العشوائية المرتبطة بتوليد النصوص وأخذ عينات المطالبات الموجودة في طرق مثل AutoElicit.
لا يتطلب ضبطًا دقيقًا (No Fine-Tuning Required): تعمل الطريقة في إعداد الصفر (zero-shot)، ولا تتطلب ضبطًا دقيقًا أو أمثلة للتعلم داخل السياق.
تقييم شامل: تم تقييم الإطار على 15 مجموعة بيانات واقعية (14 عامة وواحدة طبية خاصة) تحت إعدادات اصطناعية لتغير التوزيع (OOD) تتميز بانزياحات المتغيرات التفسيرية (covariate shifts).
مقارنات خط الأساس: تقارن الدراسة LoID بكل من:
- الأوليات القياسية غير المعلوماتية ( $\mathcal{N}(0,1)$ ).
- AutoElicit (الأوليات التي يستخلصها الخبراء عبر النموذج اللغوي).
- LLMProcesses (النموذج اللغوي كمتنبئ مباشر).
- الحد الأعلى "الأوراكل" (Oracle upper bound) (التدريب على بيانات كاملة متوافقة مع التوزيع الأصلي IID).

4. النتائج التجريبية

تظهر التجارب أن LoID يحسن بشكل كبير من التعميم خارج التوزيع (OOD) في سياقات محددة:

مكاسب الأداء: عبر 15 مجموعة بيانات، حسن LoID الأداء في 11/15 حالة، حيث استعاد في المتوسط 50% من فجوة الأداء بين النموذج المدرب على OOD ونموذج الأوراكل (المدرب على IID).
النجاح في المجالات:
- المجالات الطبية والديموغرافية: تفوق LoID في المهام ذات الآليات السببية المستقرة والقابلة للتعميم (مثل Adult Income، Chronic Kidney Disease، Head & Neck Cancer)، حيث سد ما يصل إلى 83.8% من فجوة الأداء.
- الأنظمة الفيزيائية: حقق أداءً جيدًا في مهام الانحدار ذات القوانين الفيزيائية المعروفة (مثل Concrete Strength، حيث سد 93.9% من الفجوة).
أنماط الفشل:
- المهام المعتمدة على السياق: واجه LoID صعوبة أو تسبب في تدهور الأداء في المهام المدفوعة بأنماط محلية أو سلوكية أو حملات محددة (مثل Bank Marketing، Bike Sharing). في هذه الحالات، تعارضت معرفة العالم العامة للنموذج اللغوي مع الحقائق الخاصة بمجموعة البيانات، مما أدى إلى انحياز ضار.
- المقارنة: تفوق LoID على LLMProcesses (التنبؤ المباشر) في 12/14 مجموعة بيانات، وعلى AutoElicit في 12/14 مجموعة بيانات.
الكفاءة: يعد LoID أسرع بحوالي 10 مرات من AutoElicit لأنه يتجنب أخذ العينات المتكررة متعددة الجولات ويعتمد على تمريرة واحدة لاستخراج اللوجيت.

5. الأهمية والخاتمة

تثبت هذه الورقة أن النماذج اللغوية الكبيرة تمتلك معرفة مجال هيكلية قيمة يمكن استخراجها بشكل حتمي لتحسين النماذج الإحصائية تحت ظروف تغير التوزيع.

تحول في النموذج الفكري: إنها تتجاوز استخدام النماذج اللغوية الكبيرة كمتنبئات "صندوق أسود" أو مولدات نصوص، لتعاملها بدلاً من ذلك كـ قواعد معرفية يمكن قياس ثقتها الداخلية (اللوجيتات) لتنظيم النماذج الإحصائية الكلاسيكية.
الفائدة العملية: يقدم LoID حلاً قويًا لحالات نقص البيانات في المجالات الحرجة (الطب، التمويل) حيث تكون البيانات شحيحة أو منحازة، بشرما كانت العلاقات الدلالية بين الميزات والأهداف مستقرة وقابلة للتعميم.
القيود: الطريقة أقل فعالية لمجموعات البيانات ذات الميزات مجهولة الهوية (حيث تُفقد المعاني الدلالية) أو البيانات السلوكية المعتمدة بشدة على السياق حيث لا تتوافق المعرفة العامة للنموذج اللغوي مع الديناميكيات المحلية المحددة.

باختصار، يوضح LoID أن استخراج الأوليات التوزيعية من لوجيتات النماذج اللغوية الكبيرة هو استراتيجية أكثر قوة وموثوقية للتعميم خارج التوزيع (OOD) من التنبؤ المباشر أو الاستنباط التوليدي الحر.