🤖 machine learning

Relational Response Fields: A General Theory of Black-Box LLM Response Consistency and Recovery

تقدم هذه الورقة إطار عمل "حقل الاستجابة العلائقي" (RRF) لتعريف وقياس الصعوبة الجوهرية لاستعادة استجابات النماذج اللغوية الكبيرة (LLM) المتسقة عبر مقياس $\gamma_k(D,A)$ ، مُثبتةً أن الاستعادة تعتمد على التناظرات العلائقية والمرتكزات الموثوقة بدلاً من مجرد الاتساق، مع إثبات الحدود الأساسية على القابلية للتمييز وتوفير خوارزميات لإصلاح الحقل المتناثر.

المؤلفون الأصليون: Song Zichen

نُشر 2026-08-06

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Song Zichen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز، لكن لا يمكنك التحدث إلا مع مشتبه به ذكي للغاية ولكنه "صندوق أسود" تماماً: يمكنك طرح أسئلة عليه، لكن لا يمكنك رؤية ملاحظاته، أو طريقة تفكيره، أو كيف يعمل عقله. في عالم الذكاء الاصطناي، هذه "المشتبه بهم" هي النماذج اللغوية الكبيرة (LLMs). إنها المحركات التي تقف وراء برامج الدردشة التي تكتب الأكواد البرمجية، وتحل المسائل الرياضية، وتؤلف القصص. ولكن هناك مشكلة: فهي أحياناً تكذب، أو "تهلوس"، فتختلق حقائق تبدو مثالية ولكنها خاطئة تماماً. لقد حاول العلماء إصلاح هذا من خلال سؤال النموذج نفسه بطرق مختلفة، والتحقق مما إذا كانت الإجابات متطابقة، أو جعل النموذج ينقد عمله الخاص. الأمر يشبه سؤال المشتبه به نفس السؤال ثلاث مرات لترى ما إذا كان سيزلّ في الكلام.

ومع ذلك، هناك مشكلة أعمق لم يلاحظها معظم الناس بعد. ماذا لو كان المشتبه به يكذب بطريقة متسقة تماماً؟ تخيل لو أن المشتبه به يخبرك بنفس الكذبة في كل مرة تسأله فيها، حتى لو صاغها بأسلوب مختلف قليلاً. إذا كنت تتحقق فقط من الاتساق، فلن تمسك به أبداً لأن قصته لا تتغير. يسأل هذا البحث سؤالاً جوهرياً: هل من الممكن أصلاً استعادة الحقيقة من مجموعة من الإجابات إذا كانت الأكاذيب متسقة؟ يقدم المؤلف طريقة جديدة للنظر إلى هذه المشكلة، حيث يعامل مجموعة من الإجابات ليس كقائمة من التخمينات المنفصلة، بل كحقل بيانات واحد مترابط. ويقترح أن القدرة على إصلاح هذه الأخطاء تعتمد على "درجة صعوبة" رياضية محددة تقيس مدى جودة إعداد أسئلتك وفحوصاتك للإمساك بالأكاذيب، بدلاً من مجرد مدى ذكاء النموذج.

الفكرة الجوهرية للورقة البحثية: حقل الاستجابة العلاقاتي (RRF)

يقدم المؤلف، سونغ زيشن من جامعة سونغ كيون كوان، مفهوماً يسمى حقل الاستجابة العلاقاتي (Relational Response Field - RRF). فكر في هذا كخريطة لمدينة حيث كل مبنى هو إجابة قدمها النموذج لنسخة مختلفة قليلاً من نفس السؤال. بعض المباني متصلة بطرق تمثل القواعد. على سبيل المثال، إذا طلبت من نموذج حل مسألة رياضية، ثم طلبت منه ذلك مرة أخرى ولكن مع مضاعفة الأرقام، فيجب أن تتضاعف الإجابة أيضاً. هذا الاتصال هو "طريق" أو "وسيلة نقل". إذا خالفت إجابات النموذج هذه القاعدة، فإن الطريق يكون مقطوعاً.

عادةً، يحاول الباحثون إصلاح الأخطاء عن طريق التصويت (أخذ الإجابة الأكثر شيوعاً) أو بجعل النموذج يفحص نفسه. تجادل هذه الورقة بأن هذه الأساليب عمياء عن نوع معين من الأخطاء: الهلوسة المشتركة. إذا ارتكب النموذج خطأً يتوافق تماماً مع جميع القواعد (مثل كذبة متسقة)، فإن التصويت لن يساعد لأن كل الإجابات ستكون هي نفس الكذبة. تقترح الورقة أنه لإصلاح ذلك، تحتاج إلى "مرتكزات" (Anchors). المرتكز هو قطعة من الأدلة الخارجية الموثوقة التي لا يولدها النموذج نفسه. قد يكون ذلك تصنيفاً بشرياً، أو كوداً برمجياً يعمل فعلياً ويتحقق من الإجابة، أو حقيقة معروفة.

"درجة الصعوبة": $\gamma_k$

قلب الورقة البحثية هو صيغة رياضية تحسب رقماً يسمى $\gamma_k$ (جاما-ك). يمكنك التفكير في هذا كـ "درجة صعوبة المحقق" للغز محدد.

ماذا تقيس: تقيس مدى صعوبة العثور على الحقيقة بناءً على مجموعتك المحددة من الأسئلة (الخريطة)، وقواعدك (الطرق)، وأدلتك الموثوقة (المرتكزات).
الرقم السحري: إذا كانت هذه الدرجة صفراً، فقد أثبتت الورقة رياضياً أنه من المستحيل التمييز بين الحقيقة والكذبة، بغض النظر عن عدد المرات التي تسأل فيها النموذج أو مدى ذكاء الخوارزمية التي تستخدمها. الأكاذيب مخفية في "نقطة عمياء" لا تستطيع أسئلتك رؤيتها.
العكس: إذا كانت هذه الدرجة موجبة، فهذا يعني أنه يمكن العثور على الحقيقة. تثبت الورقة أن الخطأ في إجابتك النهائية سيكون متناسباً تقريباً مع $1/\gamma_k$ . بعبارة بسيطة، كلما ارتفعت الدرجة، زادت سهولة إصلاح أخطاء النموذج.

يوضح المؤلف أن هذه الدرجة هي "الصعوبة الجوهرية" للمشكلة. لا يهم ما إذا كنت تستخدم ذكاءً اصطناعياً فائق التعقيد لإصلاح الإجابات أو نظام تصويت بسيط؛ إذا كانت الدرجة صفراً، فأنت عالق. إذا كانت الدرجة عالية، فحتى "المُصلح" البسيط يمكنه القيام بعمل رائع.

ما الذي تنفيه الورقة البحثية

الورقة واضحة جداً بشأن ما لا يعمل. فهي تجادل صراحة ضد فكرة أن الاتساق يساوي الحقيقة. مجرد كون النموذج يعطيك إجابات متسقة تماماً مع بعضها البعض (تتبع جميع القواعد) لا يعني أنها حقيقية. يمكن للنموذج أن يكون متسقاً تماماً ومخطئاً تماماً. كما تنفي الورقة أيضاً فكرة أن مجرد طرح المزيد من الأسئلة أو تكرار نفس السؤال مراراً وتكراراً سيساعد. إذا سألت نفس السؤال 100 مرة، فستحصل فقط على 100 نسخة من نفس الكذبة. توضح الورقة أن إضافة "المكررات المعيارية" (نسخ ولصق نفس الفحص) لا تزيد من درجة الصعوبة؛ بل تظل كما هي. أنت بحاجة إلى أنواع مختلفة من الفحوصات (مثل تشغيل الكود أو التحقق مقابل حقيقة بشرية) لتحسين الدرجة فعلياً.

ما مدى ثقتهم؟

المؤلف واثق جداً في براهينه الرياضية. لقد أثبت أنه:

إذا كانت درجة الصعوبة صفراً، فلا يمكنك استعادة الحقيقة (إنه أمر مستحيل رياضياً).
إذا كانت الدرجة موجبة، فهناك حد مضمون لمدى خطأ إجابتك.
لا توجد طريقة أخرى يمكنها التفوق على هذا الحد؛ إنها أفضل أداء يمكن أن يأمله أي شخص.

لقد اختبروا هذه الأفكار أيضاً في محاكاة وفي تجارب واقعية باستخدام نماذج ذكاء اصطناعي فعلية (مثل Qwen2.5 و Phi-3) في مهام الرياضيات والبرمجة. في هذه التجارب، أنشأوا سيناريوهات حيث يعرفون الإجابات مسبقاً ثم قاموا بحقن الأخطاء. ووجدوا أنه عندما غيروا الإعداد لزيادة درجة الصعوبة، تحسنت قدرة النماذج على استعادة الإجابة الصحيحة تماماً كما توقعت الرياضيات. حتى أنهم أظهروا أن هذه الدرجة يمكن أن تتنبأ بمدى صعوبة إصلاح الأخطاء عبر نماذج مختلفة وأنواع مختلفة من المهام (الرياضيات مقابل البرمجة).

الخلاصة

تغير هذه الورقة طريقة تفكيرنا في إصلاح الذكاء الاصطناعي. بدلاً من مجرد محاولة بناء "آلة تصويت" أفضل أو "ناقد" أذكى، يجب أن نركز على تصميم هيكل أسئلتنا وفحوصاتنا. تقترح الورقة أن المفتاح لضمان موثوقية الذكاء الاصطناعي ليس فقط جعل النموذج أكثر ذكاءً، بل التأكد من أن لدينا "المرتكزات" و"الطرق" الصحيحة المعدة بحيث تكون الحقيقة هي الشيء الوحيد الذي يتوافق معها. إذا استطعنا قياس "درجة الصعوبة" هذه ( $\gamma_k$ )، فيمكننا معرفة مسبقاً ما إذا كانت مجموعة أسئلة وفحوصات معينة قوية بما يكفي للإمساك بالكذبة، أم أننا بحاجة إلى إضافة المزيد من الأدلة الموثوقة إلى المزيج. إنها تحول مشكلة موثوقية الذكاء الاصطناعي من لعبة تخمين إلى لغز قابل للقياس والحل.

ملخص تقني: حقول الاستجابة العلاقاتية (RRF)

1. بيان المشكلة

تتناول الورقة البحثية السؤال الجوهري حول القابلية للاسترداد (recoverability) للنماذج اللغوية الكبيرة (LLMs) ذات الصندوق الأسود. بينما تعمل أساليب الموثوقية الحالية (أخذ العينات، التلقين، التصويت، التصحيح الذاتي، والاختبار التحويلي) في وقت الاستدلال، إلا أنها تفتقر غالبًا إلى إطار نظري موحد لتحديد ما إذا كان من الممكن استرداد مجموعة من الاستجابات من الفساد أصلاً.

تعامل النهج الحالية الاتساق كبديل للحقيقة. يجادل المؤلف بأن الاتساق وحده غير كافٍ لأن النموذج يمكن أن ينتج "هلوسة مشتركة" (shared hallucination)—وهي خطأ منهجي يظل متسقًا تمامًا عبر إعادة الصياغة، أو التفكيك، أو التحويلات الأخرى. المشكلة الجوهرية هي التمييز بين حقل من الاستجابات الذي هو مجرد "متسق" وحقل "قابل للتمييز" (identifiable) (أي قابل للاسترداد) في ظل وجود مجموعة محددة من العلاقات والمرتكزات الخارجية، تحت نموذج فساد متفرق.

2. المنهجية: حقول الاستجابة العلاقاتية (RRF)

تقدم الورقة حقول الاستجابة العلاقاتية (RRF) كنموذج رياضي عام لاسترداد استجابة الصندوق الأسود.

2.1 صياغة RRF

البنية الرسومية: يتم تمثيل الاستعلام وتحويلاته كرسم بياني متعدد الاتجاهات $G = (V, E)$ . تمثل العقد $i \in V$ الاستعلامات المحولة، ويتم تحليل استجابة النموذج إلى متجه $z_i \in H_i$ (فضاء هيلبرت محدود الأبعاد). تشكل مجموعة $z = (z_i)_{i \in V}$ حقل الاستجابة.
النقل المنمط (Typed Transports): تحمل الحواف $e = (i, j)$ $e = (i, j)$ مؤثر نقل خطي معروف $T_e: H_i \to H_j$ $T_{e} : H_{i} \to H_{j}$ . يجب أن يحقق الحقل الصالح الشرط $z_j = T_e z_i$ $z_{j} = T_{e} z_{i}$ .
- أمثلة: النقل المحايد لإعادة الصياغة؛ الخرائط القياسية لتحويل الوحدات؛ الخرائط الهيكلية للتفكيك؛ خرائط التنفيذ لإعادة هيكلة الكود (code refactoring).
مؤثر العيب ( $D$ ): يحدد الباقي (residual) $z_j - T_e z_i$ "عيب العلاقة". يؤدي تجميع هذه البواقي عبر جميع الحواف إلى تكوين مؤثر خطي $D$ . يحتوي الفضاء الصفري $\ker D$ على الحقول المتسقة تمامًا ولكنها قد تكون خاطئة (مثل إزاحة عالمية أو هلوسة مشتركة).
مؤثر المرساة ( $A$ ): لكسر حرية القياس (gauge freedom) في $\ker D$ ، يدمج الإطار أدلة خارجية موثوقة (نتائج التنفيذ، تسميات بشرية، تحقق، أو قيود رمزية) كقيد أفيني $Az \approx b$ .
نموذج الملاحظة: الحقل الملحوظ هو $y = z^* + e^*$ ، حيث $z^*$ هو الحقل الحقيقي و $e^*$ هو متجه خطأ متفرق مدعوم على $k$ من العقد على الأكثر. تُصاغ مشكلة الاسترداد كمسألة عكسية متفرقة للمجموعات (group-sparse inverse problem):
$s = \begin{bmatrix} D \\ A \end{bmatrix} e^* + \xi = B e^* + \xi$
حيث $B = [D; A]$ هو مؤثر العلاقة-المرساة المكدس.

2.2 مقياس الصعوبة الجوهرية: $\gamma_k(D, A)$

المساهمة النظرية المركزية هي تعريف هامش الملاحظة العلاقاتية $\gamma_k$ :
$\gamma_k(D, A) = \min_{h \neq 0, \|h\|_{0,g} \le 2k} \frac{\|Bh\|_2}{\|h\|_2}$
حيث $\|h\|_{0,g}$ يحسب عدد مجموعات العقد غير الصفرية (حالات الاستجابة)، وليس الإحداثيات القياسية. هذه الكمية هي أصغر قيمة مفردة مقيدة للمؤثر $B$ فوق دعامات بحجم $2k$ .

3. المساهمات الرئيسية والنتائج النظرية

3.1 الفصل بين الاتساق والحقيقة

تثبت الورقة النظرية 2 (العمى عن الاتساق): إذا اعتمد المقدر فقط على عيوب العلاقة ( $Dz$ )، فإنه لا يستطيع التمييز بين الحقل الحقيقي $z$ والحقل $z+h$ لأي $h \in \ker D$ . إن الهلوسة المشتركة التي يتم نقلها بشكل متسق عبر جميع الاستعلامات لا يمكن تمييزها عن الحقيقة إذا كانت تقع في الفضاء الصفري. لذا، المرتكزات (anchors) مطلوبة لإزالة هذه "اتجاهات القياس" (gauge directions).

3.2 القابلية للتمييز الدقيق والاستقرار

النظرية 3 (التمييز الموحد الدقيق): الشرط الضروري والكافي للتمييز الفريد لأي فساد في $k$ من العقد هو $\gamma_k(D, A) > 0$ . وهذا يكافئ كون "شرارة المجموعة" (group spark) لـ $B$ أكبر من $2k$ .
النظرية 4 (الاستقرار الحتمي): إذا كان $\gamma_k > 0$ ، فإن أي تقدير ممكن $\hat{e}$ يحقق حد الخطأ المتناسب مع مستوى الضجيج $\epsilon$ مقسوماً على الهامش:
$\|\hat{e} - e^*\|_2 \le \frac{2\epsilon}{\gamma_k(D, A)}$
النظرية 5 (الأمثلية الدنيا القصوى): يوضح حد سفلي لنقطتين أنه لا يمكن لأي مقدر تحقيق اعتماد أفضل على $\epsilon$ من $O(1/\gamma_k)$ . وبالتالي، فإن $1/\gamma_k$ هو رقم الحالة الجوهري (intrinsic condition number) لمشكلة الاسترداد، وهو مستقل عن الخوارزمية المستخدمة.

3.3 التمايزات الخوارزمية

تميز الورقة بين التمييز المعلوماتي النظري (المضمون بواسطة $\gamma_k > 0$ ) والاسترداد القابل للتنفيذ (المضمون بشروط أقوى مثل خاصية الفضاء الصفري القوية للمجموعات - Group Robust Null-Space Property).

المفكك المثالي (Ideal Decoder): يحل مسألة التقليل $\ell_{0,g}$ التوافقية.
المفكك المحدب (Convex Decoder): يستخدم استرخاء group- $\ell_1$ (Lasso المجموعات).
المفكك المنفصل (Discrete Decoder): يحسن فوق مجموعة محدودة من الحقول المرشحة (ضروري للكود أو المخرجات المنفصلة).

4. النتائج التجريبية

يتحقق المؤلف من النظرية من خلال تجارب اصطناعية وتجارب على نماذج حقيقية، مع التركيز على أربعة ظواهر متوقعة نظرياً بدلاً من مجرد الدقة النهائية:

الاتساق $\neq$ الحقيقة: تظهر الاختبارات الاصطناعية أن الحقل الذي يحتوي على هلوسة مشتركة (في $\ker D$ ) لديه عيب قريب من الصفر ( $\|Dz\| \approx 0$ ) رغم وجود خطأ حقيقي كبير، مما يؤكد العمى عن الاتساق.
تحولات مرحلة المرتكزات (Anchor Phase Transitions): في الرسوم البيانية الاصطناعية ذات المكونات المنفصلة، يكون الاسترداد مستحيلاً ( $\gamma_k = 0$ ) حتى يتم إضافة عدد حرج من المرتكزات لكسر جميع اتجاهات الفضاء الصفري ذات الحجم $2k$ . بمجرد إزالة آخر اتجاه صفري، يصبح $\gamma_k$ موجباً، ويبدأ الاسترداد الدقيق.
تشبع التكرار (Redundancy Saturation): العلاقات المكررة المعيارية (مثل تكرار نفس إعادة الصياغة) لا تزيد من $\gamma_k$ . يعتمد الهامش على المعلومات الموجودة في المؤثر، وليس على العدد الخام للحواف.
التنبؤ عبر النماذج/المهام: باستخدام سجلات حقيقية من نماذج Qwen2.5 و Phi-3 في مهام الرياضيات والكود، أعاد المؤلف محاكاة الأخطاء الحقيقية تحت تصميمات مختلفة للمؤثرات. وجدوا أن $\gamma_k$ يتنبأ بصعوبة الإصلاح عبر النماذج والمهام المختلفة. ارتبط $\gamma_k$ المرتفع باستمرار بخطأ إعادة بناء أقل، حتى بعد التحكم في جودة النموذج ومعدلات الخطأ.

5. الأهمية والادعاءات

تدعي الورقة أن $\gamma_k(D, A)$ هو خاصية قابلة للقياس وجوهرية لمثال استرداد الاستجابة، وليس مجرد درجة ملحقة بهيورستيك (heuristic) معين.

تحول في المنظور: تنقل التحليل من "ما مدى دقة النموذج؟" إلى "هل نظام الملاحظة (العلاقات + المرتكزات) قادر على التمييز بين الحقيقة والأخطاء المتفرقة؟".
توجيه التصميم: يعمل الهامش كشهادة لتصميم النظام. إذا كان $\gamma_k = 0$ ، فلا يمكن لأي تحسين خوارزمي (مفككات أفضل، المزيد من التكرارات) أن يضمن الاسترداد؛ بل يجب الحصول على معلومات جديدة (علاقات أو مرتكزات جديدة). إذا كان $\gamma_k$ موجباً ولكنه صغير، فإن المشكلة محدودة بالضجيج.
القيود: يتسم المؤلف بالتواضع بشأن النطاق. النظريات العالمية خطية وذات أبعاد منتهية؛ أما عمليات النقل غير الخطية فيتم التعامل معها عبر تقريبات جاكوبي المحلية. يفترض الإطار نموذج فساد متفرق، وهو ما قد لا ينطبق على انحيازات التمثيل المنتشرة. التجارب محدودة بمجالات الرياضيات والكود ولا تدعي القابلية للتطبيق الشامل على جميع مهام اللغة الطبيعية.

باختصار، توفر الورقة أساساً رياضياً صارماً لموثوقية النماذج اللغوية الكبيرة (LLMs) ذات الصندوق الأسود، مؤكدة أن القابلية للاسترداد هي خاصية لتصميم الملاحظة (العلاقات المنمطة والمرتكزات) ويتم قياسها بهامش الملاحظة المقيد $\gamma_k$ .