💬 NLP

Compression Favors Consistency, Not Truth: When and Why Language Models Prefer Correct Information

تقترح هذه الورقة "مبدأ اتساق الضغط" لتوضيح أن تفضيل النماذج اللغوية الظاهري للحقيقة ليس دافعاً جوهرياً، بل هو نتاج ثانوي لضغط الضغط الذي يحابي الفرضيات التي تقدم أوصافاً أقصر وأكثر اتساقاً داخلياً لبيانات التدريب.

المؤلفون الأصليون: Konstantin Krestnikov

نُشر 2026-03-13

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Konstantin Krestnikov

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الفكرة الكبرى: "تدوّن الملاحظات الكفء"

تخيل أن لديك طالباً ذكياً للغاية، لكن لديه هوس واحد: يريد كتابة أقصر ملخص ممكن لكتاب مدرسي. هو لا يهتم إذا كان الكتاب صحيحاً أم خاطئاً؛ كل ما يهمه هو كتابة الملخص باستخدام أقل عدد ممكن من الكلمات.

هذه الورقة البحثية تطرح سؤالاً بسيطاً: إذا كان الكتاب المدرسي يحتوي على مزيج من الحقائق الصحيحة والحقائق المزيفة، فهل سيتعلم هذا الطالب الحقيقة؟

الإجابة، وفقاً للباحثين، هي: يعتمد ذلك على مدى "فوضوية" الحقائق المزيفة.

إذا كانت الحقائق المزيفة عشوائية وفوضوية، فسيتعلم الطالب الحقيقة لأن تلخيصها أسهل.
أما إذا كانت الحقائق المزيفة تتبع منطقاً خاصاً بها، متسقاً ومثالياً (حتى لو كان خاطئاً)، فإن الطالب سيتعلم الحقائق المزيفة بنفس سهولة تعلمه للحقيقة.

يطلق الباحثون على هذا اسم "مبدأ الضغط والاتساق" (Compression-Consistency Principle). باختصار: الذكاء الاصطناعي يفضل الاتساق على الحقيقة.

التجارب: ثلاثة سيناريوهات

اختبر الباحثون ذلك عبر تدريب نماذج ذكاء اصطناعي صغيرة على مسائل رياضية. لقد أنشأوا ثلاثة أنواع من "الكتب المدرسية" (مجموعات البيانات) ليروا كيف سيتفاعل الذكاء الاصطناعي.

1. سيناريو "الضجيج العشوائي" (الحقيقة تفوز)

تخيل كتاباً مدرسياً للرياضيات حيث 50% من الإجابات صحيحة، والـ 50% الأخرى تحتوي على أخطاء عشوائية وسخيفة.

مثال: "2 + 2 = 4" (صحيح) مقابل "2 + 2 = 7" (خطأ عشوائي).
صراع الذكاء الاصطناعي: لتلخيص الجانب "العشوائي"، يتعين على الذكاء الاصطناعي حفظ كل خطأ غريب بشكل فردي. الأمر يشبه محاولة تلخيص كتاب يحتوي على خطأ مطبعي مختلف وغير مترابط في كل صفحة. إنه أمر طويل وغير فعال للكتابة.
النتيجة: يدرك الذكاء الاصطناعي أن الجانب "الصحيح" أسهل بكثير في التلخيص لأنه يتبع قاعدة بسيطة واحدة. حتى لو كانت الأمثلة الصحيحة أقل عدداً، فإن الذكاء الاصطناعي يختار الحقيقة لأنها أقصر في الكتابة.
النتيجة: اختار الذكاء الاصطناعي الإجابة الصحيحة بنسبة 83% من المرات.

2. سيناريو "الكذبة المتماسكة" (الحقيقة تخسر)

الآن، تخيل كتاباً مدرسياً حيث الإجابات المزيفة ليست عشوائية. بدلاً من ذلك، هي تتبع قاعدة صارمة ومتسقة، لكنها خاطئة.

القاعدة: "عملية الضرب دائماً تطرح 1". لذا، "2 × 2" تصبح "3" (لأن 4 ناقص 1).
صراع الذكاء الاصطناعي: هذه القاعدة المزيفة سهلة التلخيص جداً! هي مجرد جملة واحدة: "اطرح 1 من النتيجة". إنها قصيرة ومنظمة تماماً مثل القاعدة الحقيقية.
النتيجة: بما أن الحقيقة والكذبة متساويتان في سهولة التلخيص، فإن الذكاء الاصطناعي لا يهتم أيهما حقيقي. هو فقط يختار أيهما رآه أكثر تكراراً. إذا ظهرت الكذبة بنسبة 50% من الوقت، فسيختار الذكاء الاصطناعي الكذبة بنسبة 50%.
النتيجة: اختار الذكاء الاصطناعي الإجابة الصحيحة بنسبة 47% فقط (أي أنه كان يخمن تقرياً).

3. سيناريو "الكثير من الأكاذيب الصغيرة" (المنطقة الوسطى)

ماذا لو كان الكتاب المدرسي المزيف يحتوي على 10 قواعد خاطئة بدلاً من قاعدة واحدة فقط؟

النتيجة: يتعين على الذكاء الاصطناعي تذكر 10 طرق مختلفة ليكون مخطئاً. هذا يجعل الأمر فوضوياً مرة أخرى. ومع زيادة عدد القواعد الخاطئة المختلفة، يبدأ الذكاء الاصطناعي في تفضيل الحقيقة البسيطة الواحدة مجدداً.
النتيجة: مع وجود 10 قواعد خاطئة مختلفة، عاد الذكاء الاصطناعي لاختيار الحقيقة بنسبة 88% من المرات.

تحول "التحقق" (The Verification Twist)

حاول الباحثون أيضاً القيام بحيلة لمعرفة ما إذا كان بإمكانهم إجبار الذكاء الاصطناعي على كشف "الكذبة المتماسكة". لقد أضافوا خطوة "فحص" لمسائل الرياضيات.

الإعداد: يقوم الذكاء الاصطناعي بحل مسألة باستخدام قاعدة "الكذبة"، ولكن بعد ذلك يتعين عليه القيام بخطوة ثانية (مثل عملية حسابية عكسية) للتحقق من عمله.
النتيجة: بالنسبة لـ "الكذبة"، فإن عملية الفحص هذه تخلق رقماً غير متوقع ومرتبكاً يكسر النمط. فجأة، تصبح "الكذبة" صعبة التلخيص مرة أخرى.
النتيجة: مع هذا الفحص، بدأ الذكاء الاصطناعي في اختيار الحقيقة مجدداً (71%).

ومع ذلك، كانت هناك عقبة: كلما أصبح الذكاء الاصطناعي أكبر وأذكى، أصبح أفضل في تجاهل عملية الفحص والتمسك بـ "الكذبة المتماسكة". وهذا يشير إلى أنه بالنسبة للذكاء الاصطناعي شديد الذكاء، قد يكون من الصعب جداً كشف الكذبة المتسقة دون عملية تحقق مستمرة وثقيلة.

لماذا يهم هذا (الخلاصة)

1. الذكاء الاصطناعي ليس "باحثاً عن الحقيقة"، بل هو "باحث عن الأنماط".
نحن نأمل غالباً أنه كلما أصبح الذكاء الاصطناعي أكبر، فإنه سيصبح أكثر صدقاً بشكل طبيعي. تشير هذه الورقة إلى أن هذا ليس أمراً تلقائياً. إذا كانت الكذبة متسقة ومنطقية (مثل نظرية المؤامرة أو نظرية علمية متماسكة لكنها خاطئة)، فقد يفضلها الذكاء الاصطناعي لأنها "أنظف" في الضغط من الواقع الفوضوي.

2. الأخطاء العشوائية سهلة الإصلاح؛ الأكاذيب المنهجية صعبة الكشف.
إذا كان الذكاء الاصطناعي يهذي بشكل عشوائي (يقول مثلاً "باريس في ألمانيا" اليوم و"باريس في المريخ" غداً)، فمن المرجح أنه سيتعلم الحقيقة لأن الحقيقة أبسط. ولكن إذا تعلم نظاماً كاملاً من الأكاذيب التي تبدو منطقية داخلياً، فقد لا يدرك أبداً أنه مخطئ.

3. فخ "الضغط" (The Compression Trap).
فكر في الذكاء الاصطناعي كطالب يؤدي اختباراً.

الأخطاء العشوائية: يرى الطالب سؤالاً به خطأ مطبعي. يدرك قائلاً: "هذا لا يبدو منطقياً، سأتجاهله".
الأكاذيب المتماسكة: يرى الطالب سؤالاً يحتوي على قاعدة منطقية ومتسقة لكنها خاطئة. يفكر قائلاً: "أوه، لقد فهمت النمط! سأستخدم هذا".

الخلاصة النهائية

نماذج اللغة مصممة لتكون أدوات ضغط فعالة، وليست حراساً أخلاقيين. ستتعلم الكذبة المتسقة بكل سرور إذا كانت أسهل في الكتابة من الحقيقة الفوضوية. لكي نجعلهم يقولون الحقيقة، لا يمكننا الاعتماد فقط على جعلهم "أذكى"؛ بل يجب أن نتأكد من أن الأكاذب التي يتم تغذيتهم بها هي أكاذيب فوضوية، غير متسقة، وصعبة الضغط.

إليك ملخص تقني مفصل لورقة البحث "الضغط يفضل الاتساق، لا الحقيقة: متى ولماذا تفضل النماذج اللغوية المعلومات الصحيحة" للكاتب كونستانتين كريستنيكوف.

1. بيان المشكلة

غالباً ما تولد النماذج اللغوية الكبيرة (LLMs) عبارات غير صحيحة واقعياً رغم تدريبها على كميات هائلة من البيانات. وبينما تفسر تقنيات التوسع، والمواءمة (RLHF)، وإحصائيات البيانات بعض جوانب الدقة الواقعية، إلا أنها لا تفسر لماذا يميل هدف التدريب الأساسي — التنبؤ بالرمز التالي (next-token prediction) — بطبيعته نحو الحقيقة بدلاً من الزيف.

السؤال المركزي هو: هل يؤدي ضغط الضغط (compression pressure) الناتج عن تقليل خسارة الإنتروبيا المتقاطعة (cross-entropy loss) بشكل طبيعي إلى تفضيل المعلومات الصحيحة، أم أنه يفضل فقط الفرضية الأكثر قابلية للضغط، بغض النظر عن قيمتها الحقيقية؟

2. الفرضية الجوهرية: مبدأ "الضغط-الاتساق"

يقترح المؤلفون أن الانحدار الاشتقاقي (gradient descent) يفضل الفرضيات التي تقدم أوصافاً أقصر وأكثر اتساقاً داخلياً لبيانات التدريب.

الحقيقة ليست جوهرية: الانحياز للحقيقة ليس خاصية متأصلة في عملية الضغط.
الآلية: تستفيد الحقيقة من الضغط فقط عندما تكون البدائل الزائفة غير متسقة بنيوياً (صعبة الضغط).
- الأخطاء العشوائية: تتطلب حفظ استثناءات فردية (طول وصف مرتفع).
- الأخطاء المتسقة: تشكل نظام قواعد متماسك ومدمج (طول وصف منخفض)، مما يجعلها تُضغط بكفاءة تماثل الحقيقة تماماً.
التنبؤ: إذا كان النظام الزائف متسقاً داخلياً، فلا ينبغي للنموذج أن يظهر أي تفضيل للحقيقة على الزيف، بشرط التحكم في التكرارات.

3. المنهجية

3.1 الإعداد التجريبي

النماذج: نماذج Transformer من نوع decoder-only بأسلوب GPT-2، تم تدريبها من الصفر باستخدام MLX.
- الأحجام: 3.5 مليون (صغير جداً) إلى 86 مليون (كبير) بارامتر.
- التقطيع (Tokenization): على مستوى الحروف (حجم القاموس 57) لتجنب آثار BPE.
التدريب: 5,000 خطوة، مُحسن AdamW، جدول معدل تعلم ثابت. تم تكرار جميع التجارب مع 4 بذور عشوائية (random seeds).
المجموعات النصية (Corpora): مسائل رياضية اصطناعية (حساب، تحليل عوامل، تفاضل) منسقة كحلول خطوة بخوة.
- البيانات الصحيحة: تم التحقق منها بواسطة SymPy.
- أنواع الأخطاء:
  1. عشوائية: أخطاء فريدة وغير مبررة يتم حقنها في خطوات عشوائية (غير متسقة).
  2. متسقة: قاعدة خاطئة واحدة منتظمة تُطبق على جميع المسائل من نوع معين (مثلاً: $a \times b = a \times (b-1)$ ).
  3. متناقضة: قواعد بسيطة تكسر البنية الجبرية (مثلاً: $a+b = a+b+1$ ).
  4. متعددة القواعد: مجموعة من $N$ قاعدة خاطئة مختلفة، يتم تعيينها عشوائياً للمسائل.

3.2 مقاييس التقييم

المقياس الأساسي: التقييم المزدوج (Paired Evaluation).
- لكل مسألة، يُعطى النموذج مطالبة (prompt) مشتركة وإكمالين (واحد صحيح والآخر خاطئ).
- يتم مقارنة السلبية اللوغاريتمية (NLL) للنموذج فقط على رموز الإكمال.
- المقياس: دقة الزوج (نسبة الأزواج التي يفضل فيها النموذج الإكمال الصحيح). هذا يلغي الارتباكات الناتجة عن هياكل المطالبات المختلفة.
المقياس الثانوي: خسارة المجموعة النصية (Corpus-Level Loss).
- الفرق في الخسارة بين المجموعات الخاطئة والصحيحة ( $DLoss = Loss_{inc} - Loss_{corr}$ ). يُستخدم كأداة تشخيصية مع ملاحظة حساسيته لإحصائيات النص.

4. النتائج الرئيسية

4.1 الأخطاء العشوائية مقابل المتسقة (النتيجة الجوهرية)

الأخطاء العشوائية (غير المتسقة): يظهر النموذج انحيازاً قوياً للحقيقة.
- عند مزيج 50/50: دقة 83.1% في تفضيل الإكمالات الصحيحة.
- عند مزيج 10/90 (10% صحيح، 90% خاطئ): دقة 66.7%.
- التفسير: الأخطاء العشوائية غير قابلة للضغط؛ لذا يتعلم النموذج نظام القواعد الصحيح المدمج.
الأخطاء المتسقة (الزيف المتسق): يختفي انحياز الحقيقة.
- عند مزيج 50/50: دقة 47.2% (قريبة من الصدفة).
- عند مزيج 20/80 (20% صحيح، 80% خاطئ): يفضل النموذج فعلياً النظام الخاطئ المتسق (دقة 9.6% للحقيقة).
- التفسير: عندما يكون النظام الزائف متسقاً داخلياً ويُضغط بكفاءة تماثل الحقيقة، يتبع النموذج التكرار أو المزايا الهيكلية الطفيفة.

4.2 دور الملاحظات والتصحيحات

إضافة الملاحظات: إدخال فحوصات تجريبية (مثل "تم عدّ 50 قطعة") لم يستعد انحياز الحقيقة للأخطاء المتسقة. تعلم النموذج انتظام التباين (مثلاً: "دائماً ناقص بمقدار $a$ ") كقاعدة جديدة، مما حافظ على طول الوصف منخفضاً.
التصحيحات المخصصة (Ad Hoc): حتى عند إضافة تفسيرات فريدة لكل خطأ (مما يجعلها غير قابلة للضغط)، فشل النموذج في نقل هذا "التفضيل للحقيقة" إلى الأزواج الرياضية البحتة دون سياق الملاحظة.
الاستنتاج: الانحياز للحقيقة مدفوع بـ عدم اتساق الخطأ، وليس بوجود بيانات التحقق في مجموعة التدريب.

4.3 أخطاء القواعد المتعددة (الحد المتدرج)

اختبر المؤلفون طيفاً بين "قاعدة خاطئة واحدة متسقة" و"الضجيج العشوائي" عبر إدخال $N$ من القواعد الخاطئة البديلة.

N=1 (متسقة): ~46.6% دقة.
N=2: ~77.6% دقة.
N=10: ~88.3% دقة.
النتيجة: هناك انتقال متدرج. مع زيادة تنوع القواعد الخاطئة (زيادة طول وصف النظام الخاطئ)، تزديد تفضيل النموذج للحقيقة. أكبر قفزة تحدث بين قاعدتين (1 و 2).

4.4 التوسع والتحقق المتسلسل

التوسع (خطوات ثابتة):
- الأخطاء العشوائية: يزداد انحياز الحقيقة قليلاً مع حجم النموذج (83.1% $\leftarrow$ 89.1% من 3.5 مليون إلى 86 مليون بارامتر).
- الأخطاء المتسقة: يظل انحياز الحقيقة قريباً من الصدفة (47%–53%) عبر جميع الأحجام.
التحقق المتسلسل (Chained Verification): دمج خطوة تحقق داخل المهمة (مثل حل معادلة ثم التعويض العكسي) يحول الخطأ المتسق إلى بقايا عددية غير قابلة للضغط.
- هذا أعاد انحياز الحقيقة إلى 70.9% للنموذج الصغير جداً.
- ومع ذلك، أظهر هذا التأثير اتجاهاً تنازلياً في النماذج الأكبر تحت تدريب الخطوات الثابتة، مما يشير إلى أن النماذج الأكبر قد تتعلم النمط المتسق بسهولة أكبر من إشارة التحقق.

4.5 مجال اللغة الطبيعية

في عالم لغة طبيعية اصطناعي، كان انحياز الحقيقة أضعف بكثير (57.7%) مقارنة بالرياضيات (83.1%). يبدو أن اللغة الطبيعية تستوعب التناقضات بسهولة أكبر، مما يجعل الأخطاء أكثر قابلية للضغط.

5. المساهمات الرئيسية

تصميم تجريبي منضبط: قدم شرط "الزيف المتسق" كفرضية صفرية قوية، مما عزل القابلية للضغط عن قيمة الحقيقة.
التقييم المزدوج: أثبت أن مقاييس الخسارة على مستوى المجموعة النصية يمكن أن تكون مضللة (تبالغ في تقدير انحياز الحقيقة بسبب تأثيرات التكرار) وأرسى التقييم المزدوج كمعيار ضروري لقياس تفضيل الحقيقة.
نتيجة سلبية: أثبت أن ضغط الضغط وحده لا يتوافق مع الصحة؛ بل يتوافق مع الاتساق. النظام الزائف المتسق داخلياً لا يمكن تمييزه عن الحقيقة بالنسبة لآلة الضغط.
الحد المتدرج: حدد أن انحياز الحقيقة ليس ثنائياً بل يتدرج مع "عدم قابلية الضغط" للبدائل الخاطفة (عدد القواعد المتضاربة).

6. الأهمية والآثار المترتبة

للمواءمة (Alignment): هدف التدريب (التنبؤ بالرمز التالي) لا يوفر "بوصلة للحقيقة"، بل هو "بوصلة للاتساق". الأكاذيب المنهجية المتسقة داخلياً يمكن أن تظل منافسة للحقيقة، مما يفسر سبب حدوث الهلوسة الواثقة في النماذج حول سرديات خاطئة لكنها متسقة.
للإبستمولوجيا (نظرية المعرفة) في تعلم الآلة: قد تظهر تمثيلات الحقيقة الداخلية ليس لأن النموذج "يعرف" الحقيقة، بل لأن العبارات الصحيحة غالباً ما تكون الفرضية الأكثر قابلية للضغط في عالم مليء بالضجيج.
للهلوسة: المفاهيم الخاطئة المتسقة خطيرة لأن ضغط الضغط لا يقوم بتصفيتها. لا تصبح قابلة للكشف إلا عندما تخلق تناقضات غير قابلة للضغط (مثلاً: عبر التحقق عبر المجالات المختلفة).
القيود: تقتصر الدراسة على النماذج الصغيرة (حتى 86 مليون بارامتر) والمجالات الاصطناعية. لا يزال سلوك النماذج الأكبر على بيانات العالم الحقيقي والمتعددة المجالات سؤالاً تجريبياً مفتوحاً.

الخاتمة

تخلص الورقة إلى أن الضغط يفضل الاتساق، لا الحقيقة. تفضل النماذج اللغوية المعلومات الصحيحة أساساً لأن الأخطاء العشوائية غير متسقة بنيوياً وصعبة الضغط. عندما تكون الأكاذيب متسقة داخلياً ومدمجة، يفقد النموذج تفضيله للحقيقة، ويعامل النظام الزائف كبديل صالح. يشير هذا إلى أن ضمان الدقة الواقعية في النماذج اللغوية الكبيرة يتطلب أكثر من مجرد التوسع؛ إنه يتطلب آليات تكسر قابلية الضغط للأكاذيب المتسقة (مثل التحقق الكثيف عبر المجالات المتعددة).