💬 NLP

The Text Uncanny Valley: Non-Monotonic Performance Degradation in LLM Information Retrieval

تحدد هذه الورقة ظاهرة "الوادي غير الطبيعي للنص" حيث تُظهر النماذج اللغوية الكبيرة تدهوراً غير رتيب في الأداء في مهام استرجاع المعلومات مع زيادة فساد حدود الكلمات، وهو انخفاض على شكل حرف U ناتج عن انتقال مضطرب بين أنماط المعالجة غير الفعالة على مستوى الكلمة والمستوى الحرفي.

المؤلفون الأصليون: Zekai Tong, Ruiyao Xu, Aryan Shrivastava, Chenhao Tan, Ari Holtzman

نُشر 2026-05-11

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Zekai Tong, Ruiyao Xu, Aryan Shrivastava, Chenhao Tan, Ari Holtzman

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "وادي التيه النصي" (The Text Uncanny Valley)، باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الفكرة الكبرى: مشكلة "غولديلوكس" مع الكلمات المكسورة

تخيل أنك تحاول قراءة كتاب.

السيناريو (أ): الكتاب مطبوع بشكل مثالي. أنت تقرأه بسهولة.
السيناريو (ب): الكتاب مطبوع بحيث يوجد مسافة بين كل حرف والآخر (مثل: هـ ذ ا ك ت ا ب). يبدو الأمر غريباً، لكن عقلك يتكيف بسرعة. تدرك أن "أوه، هذا مجرد رمز حيث كل حرف هو كلمة مستقلة"، وتفهم المقصود.
السيناريو (ج): الكتاب مطبوع بحيث أن بعض الكلمات مقطعة وبعضها الآخر سليم (مثل: هـ ذا ك ت ا ب). بعض الكلمات كاملة، وبعضها مقطع في المنتصف، وبعضها مجرد حروف.

الاكتشاف الرئيسي للورقة: السيناريو (ج) هو في الواقع الأصعب على الذكاء الاصطناعي للتعامل معه. الأمر ليس مجرد "كسر بسيط"؛ بل هو نوع محدد من الارتباك الذي يجعل أداء الذكاء الاصطناعي أسوأ مما لو كان النص مكسوراً بالكامل (السيناريو ب) أو نظيفاً تماماً (السيناريو أ).

يسمي المؤلفون هذا بـ "وادي التيه النصي" (Text Uncanny Valley). تماماً كما أن الروبوت الذي يشبه البشر تقريباً ولكن يبدو "غير طبيعي" قليلاً يثير شعورنا بعدم الارتياح، فإن النص الذي يكون "شبه طبيعي" ولكنه مكسور قليلاً يجعل الذكاء الاصطناعي مرتبكاً وغير فعال.

كيف اختبروا ذلك؟

أخذ الباحثون ثلاثة أنواع من المستندات (عقود قانونية، أكواد برمجية، ومسائل رياضية) ولعبوا لعبة "القص واللصق" بالكلمات.

أخذوا كلمات مثل international وبدأوا في إدراج مسافات داخلها بمعدلات عشوائية:

0%: international (مثالية)
50%: int er nation al (نصف مكسورة)
100%: i n t e r n a t i o n a l (كل حرف منفصل)

ثم طلبوا من الذكاء الاصطناعي القيام بمهمة بسيطة: "ابحث عن السطر المفقود" أو "ابحث عن السطر الذي تمت إضافته." وهذا يشبه طلب من إنسان أن يلاحظ الفرق بين نسختين من مستند ما.

النتيجة المفاجئة: منحنى على شكل حرف U

معظم الناس سيخمنون أنه كلما زاد تكسير النص، سيزداد سوء أداء الذكاء الاصطناعي في خط مستقيم.

التوقع: نص أكثر تكسيراً = أخطاء أكثر.

ما حدث بالفعل: انخفض أداء الذكاء الاصطناعي، ووصل إلى أدنى نقطة له في المنتصف (الوادي)، ثم تحسن مرة أخرى عندما أصبح النص مكسوراً بالكامل.

النص النظيف: الذكاء الاصطناعي يعمل جيداً.
النص المكسور قليلاً (الوادي): الذكاء الاصطناعي ينهار. يرتكب أكبر عدد من الأخطاء هنا.
النص المكسور بالكامل: الذكاء الاصطناعي يتعافى ويؤدي بشكل أفضل من المنتصف.

لماذا يحدث هذا؟ (فرضية الوضعين/الترسين)

يقترح المؤلفون أن نماذج الذكاء الاصطناعي لديها "ترسان" مختلفان للقراءة، و"الوادي" هو المكان الذي يصطدم فيه الترسان ببعضهما.

الترس الأول: ترس الكلمات (النص النظيف)
عندما يكون النص طبيعياً، يقرأ الذكاء الاصطناعي كلمات كاملة مثل قطة أو كلب. يفهم المعنى بسرعة.
الترس الثاني: ترس الحروف (النص المكسور بالكامل)
عندما يكون النص ق ط ة ، يدرك الذكاء الاصطناعي أنه لا يستطيع قراءة الكلمات. لذا، يقوم بتغيير الترس. يتوقف عن محاولة إيجاد "الكلمات" ويبدأ في البحث عن أنماط الحروف الفردية. يتكيف مع الفوضى.

المشكلة (الوادي):
عندما يكون النص مكسوراً جزئياً (مثلاً ق طة) ، يصاب الذكاء الاصطناعي بالارتباك.

يحاول استخدام ترس الكلمات، لكن الكلمة مكسورة.
يحاول الانتقال إلى ترس الحروف، لكن لا تزال هناك كلمات كاملة مختلطة.
ينتهي به الأمر عالقاً في "أرض لا أحد"، يحاول القيام بالأمرين معاً، مما يؤدي إلى الفشل.

ما أثبتوه (التجارب)

لإثبات أن هذا لم يكن مجرد صدفة، أجروا أربعة اختبارات محددة:

هل يمكننا تعليم الذكاء الاصطناعي كيفية إصلاح ذلك؟
عرضوا للذكاء الاصطناعي أمثلة على كيفية التعامل مع النص المكسور (مثل معلم يشرح لطالب).
- النتيجة: لم يساعد ذلك. لم يستطع الذكاء الاصطناعي تعلم الخروج من الوادي. هذا يثبت أن المشكلة ليست في أن الذكاء الاصطناعي "غبي"؛ بل هي مشكلة جوهرية في كيفية معالجته للنص.
هل المشكلة في "كمية" التكسير أم في "الفوضى"؟
حاولوا تكسير الكلمات بنمط منتظم ومتوقع جداً (مثل: دائماً كسر الحرف الأول).
- النتيجة: اختفى "الوادي". تعامل الذكاء الاصطناعي مع الأمر بشكل أفضل بكثير. هذا يثبت أن المشكلة هي العشوائية (التكسير العشوائي الفوضوي)، وليس مجرد وجود المسافات.
هل يحدث هذا مع الرياضيات؟
اختبروا الذكاء الاصطناعي في مسائل رياضية حيث لا يتعين عليه مقارنة مستندات طويلة، بل مجرد حل مسألة واحدة.
- النتيجة: أقوى نماذج الذكاء الاصطناعي (مثل GPT-5.2) لم تظهر "الوادي" على الإطلاق. ظهر فقط عندما كان يتعين على الذكاء الاصطناعي القيام بمهمة دقيقة لـ "إيجاد الفروقات". هذا يشير إلى أن "الوادي" يحدث عندما يُجبر الذكاء الاصطناعي على تغيير الترس أثناء محاولة مطابقة النص بدقة.
فحص "الاعتلاج" (Entropy)
قاسوا مدى "الارتباك" في قاموس الذكاء الاصطناعي الداخلي.
- النتيجة: بلغ ارتباك الذكاء الاصطناعي ذروته قبل أن يصل أداؤه إلى أدنى نقطة. هذا يؤكد أن الذكاء الاصطناعي كان يعاني لتحديد أي "ترس" يستخدم قبل أن يبدأ فعلياً في الفشل في الاختبار.

الخلاية المستفادة

تحذر الورقة من أن التلف المتوسط أكثر خطورة من التلف الشديد.

إذا كنت تبني نظاماً يقرأ المستندات (مثل مسح العقود القانونية أو الأكواد البرمجية)، فقد تعتقد: "إذا كان النص فوضوياً، فسيفشل الذكاء الاصطناعي ببساطة". لكن هذه الورقة تقول: "لا، إذا كان النص فوضوياً نوعاً ما (مثل أخطاء التعرف الضوئي على الحروف OCR الناتجة عن المسح الضوئي)، فقد يفشل الذكاء الاصطناعي بصمت وبثقة، مما يعطيك إجابات خاطئة."

الذكاء الاصطناعي يكون في أضعف حالاته ليس عندما تكون الأمور مثالية، ولا عندما تكون كارثية، بل عندما تكون في تلك المنطقة الوسطى الغريبة والفوضوية.

ملخص تقني: وادي عدم الارتياح النصي (The Text Uncanny Valley)

بيان المشكلة

تُقيّم المعايير المرجعية الحالية للنماذج اللغوية الكبيرة (LLMs) الأداء بشكل أساسي على مدخلات نظيفة تركيبياً، مما يخلق فجوة كبيرة في فهم كيفية تعامل النماذج مع النصوص غير المنقحة وغير المنتظمة. ففي السيناريوهات الواقعية، مثل المستندات التي تمت معالجتها عبر التعرف الضوئي على الحروف (OCR) أو المحتوى المنسوخ من مصادر الويب، غالباً ما توجد عيوب في التنسيق، بما في ذلك مسافات زائفة مدرجة داخل الكلمات (مثل: int er nation al). وبينما بحثت أعمال سابقة في متانة النماذج اللغوية الكبيرة تجاه الضجيج، والأخطاء المطبعية، والاضطرابات على مستوى الحروف، إلا أن هذه الدراسات تشير عموماً إلى تدهور رتيب: فكلما زاد الضجيج، انخفض الأداء.

تتناول هذه الورقة فجوة محددة وهي فساد حدود الكلمات في المهام التي تتطلب مطابقة دقيقة على مستوى النطاق (span-level matching) بين نسختين من المستند. ويتحرى المؤلفون ما إذا كانت العلاقة بين تفتت الكلمات وأداء النموذج هي علاقة رتيبة تماماً أم أن هناك ديناميكيات أكثر تعقيداً، لا سيما في المهام التي تتطلب محاذاة معجمية دقيقة.

المنهجية

يقترح المؤلفون إطار عمل للتحكم في الاضطراب لدراسة آثار تفتت الكلمات داخل الكلمة الواحدة.

تصميم الاضطراب: تتضمن الطريقة إدراج مسافات بيضاء داخل تسلسلات الحروف المتصلة غير المسافات (الكلمات). يتحكم معامل قابل للضبط، وهو معدل تفتت الكلمة ( $p \in [0, 1]$ )، في احتمالية إدراج مسافة عند أي موضع داخل الكلمة. يتدرج المعدل من 0.0 (نص نظيف) إلى 1.0 (كل حرف مفصول بمسافة) عبر أحد عشر مستوىً منفصلاً.
مجموعات البيانات: أُجريت التجارب عبر ثلاثة مجالات متميزة:
1. المستندات القانونية: عقود تجارية تم تصنيفها من قبل خبراء (CUAD-QA).
2. طلبات السحب في GitHub (Pull Requests): فروقات برمجية (diffs) تحتوي على معرفات كثيفة غير مفصولة بمسافات.
3. الاستدلال الرياضي: مسائل GSM8K مدمجة في مستندات طويلة.
مهام التقييم: مهمتان تتطلبان محاذاة دقيقة على مستوى السطر بين مستند أصلي ومعدل:
1. كشف الغياب: تحديد الأسطر المحذوفة عمداً من النص.
2. كشف الإدراج بأسلوب NIAH: تحديد الأسطر المدرجة في النص (مع تكييف نموذج "إبرة في كومة قش" ليتناسب مع مطابقة النطاق).
النماذج: تم تقييم ثمانية متغيرات من النماذج، بما في ذلك DeepSeek-V3، وGrok-4.1-Fast، وQwen3-Plus، وGemini 3.0 Flash، وGPT-5.2، وClaude 4.5 Haiku. يُقاس الأداء باستخدام مقياس Micro-F1 بناءً على المطابقة التامة بغض النظر عن حالة الأحرف.

النتائج الرئيسية: وادي عدم الارتياح النصي

على عكس التوقعات بتدهور رتيب، كشفت الدراسة عن منحنى أداء على شكل حرف U غير رتيب لثلاث عائلات محددة من النماذج (Gemini 3.0 Flash، وGPT-5.2، وClaude 4.5 Haiku) عبر كلا المهمتين ومعظم المجالات.

المنحنى: مع زيادة معدل تفتت الكلمة من 0، يتدهور أداء Micro-F1، ليصل إلى أدنى مستوياته عند معدلات التفتت المتوسطة (الوادي)، ثم يتعافى جزئياً عند معدلات التفتت القصوى (بالقرب من 1.0).
الظاهرة: يطلق المؤلفون على هذا المصطلح "وادي عدم الارتياح النصي". وهو يمثل حالة يكون فيها النص لا طبيعياً بالكامل ولا مجزءاً بشكل موحد، مما يترك النموذج في حالة انتقالية مضطربة، حيث يكون الأداء في أسوأ حالاته.
الاختلافات حسب المجال: يظهر شكل حرف U بشكل أوضح في كشف الغياب في المجالات القانونية والرياضية. أما في طلبات السحب في GitHub، فتظهر النماذج أحياناً ارتفاعاً أولياً في الأداء عند معدلات التفتت المنخفضة قبل أن ينخفض، مما يشير إلى أن كسر تشغيلات المعرفات الكثيفة قد يساعد في التحليل في البوادي قبل أن يطغى التفتت الشديد على الفائدة.
الاعتماد على النموذج: لا تظهر جميع النماذج هذا السلوك؛ فقد أظهر Grok-4.1-Fast تدهوراً رتيباً إلى حد كبير. بينما أظهرت نماذج Qwen3-Plus وDeepSeek-V3 أنماطاً غير منتظمة أو فشلاً في استدعاء واجهة برمجة التطبيقات (API) عند معدلات التفتت العالية.

الفرضية والأدلة التفسيرية

يقترح المؤلفون فرضية النظامين لتفسير شكل حرف U:

نظام مستوى الكلمة: عند التفتت المنخفض، تنتج المقطعات (tokenizers) رموزاً فرعية (subword tokens) مألوفة متعددة الحروف، ويعالج النموذج النص عبر وحدات معجمية.
نظام مستوى الحرف: عند التفتت الشديد ( $p \approx 1.0$ )، ينهار التقطيع إلى حروف مفردة، مما يجبر النموذج على الاعتماد على مطابقة الأنماط على مستوى الحرف لاستعادة المعاني.
الوادي: يحدث الحد الأدنى للأداء في المنطقة الانتقالية حيث يكون التفتت غير منتظم؛ حيث يتم تفتيت الكلمات بشكل غير متسق، فلا يستطيع النموذج الالتزام باستراتيجية ثابتة على مستوى الكلمة أو استراتيجية ثابتة على مستوى الحرف، مما يؤدي إلى "صراع الأنظمة".

التجارب الداعمة:

التعلم داخل السياق (ICL): لم يؤدِ تقديم أمثلة قليلة (few-shot) من النصوص المفتتة إلى إنقاذ الأداء في قاع الوادي، مما يشير إلى أن العائق ليس نقصاً في استراتيجية المهمة بل هو مشكلة في مستوى التقطيع الأدنى.
التفتت في مواضع ثابتة: عندما تم جعل التفتت منتظماً (إدراج المسافات فقط في الموضع الأول من الكلمات)، انخفض شكل حرف U بشكل كبير أو تلاشى. وهذا يؤكد أن عدم الانتظام في التفتت، وليس حجمه، هو ما يدفع ظهور الوادي.
بين الكلمات وداخل الكلمات: لم يؤدِ استبدال المسافات بين الكلمات بمسافات بيضاء إضافية إلى إحداث الوادي، مما يؤكد أن تعطيل التسلسلات المتصلة غير المسافات (التقطيع الفرعي) هو العامل المسبب للوادي.
ضبط الاستدلال الرياضي: في مهمة استدلال رياضي مباشرة (GSM8K) دون متطلبات محاذاة عبر المستندات، استمر شكل حرف U بالنسبة لـ Gemini 3.0 Flash، لكنه اختفى بالنسبة لـ GPT-5.2 وClaude 4.5 Haiku، مما يشير إلى أن التأثير يقل عندما تعتمد المهام بشكل أقل على المحاذاة المعجمية الدقيقة.
اعتلاج التقطيع (Tokenization Entropy): أظهر تحليل توزيع اعتلاج معرفات التقطيع (token-ID distribution entropy) أن الاعتلاج يصل إلى ذروته عند معدل تفتت أقل من الحد الأدنى لـ F1. وهذا يدعم الفرضية القائلة بأن الوادي ليس عند نقطة أقصى ارتباك في التقطيع، بل هو مرحلة الانتقال غير المستقرة بين نظامي المعالجة.

الأهمية والآثار المترتبة

تدعي الورقة أنها تكشف عن نمط فشل غير مرئي في المعايير المرجعية للنصوص النظيفة، وهو أمر ذو صلة مباشرة بسيناريوهات النشر التي تتضمن نصوصاً غير منتظمة أو غير منقحة.

الفساد المتوسط هو الأكثر خطورة: تشير النتائج إلى أن فساد حدود الكلمات المتوسط (الشائع في عيوب الـ OCR) أكثر ضرراً من الفساد الشديد. فالأنظمة قد تكون قوية أمام النصوص النظيفة أو النصوص المحطمة تماماً، لكنها تفشل كارثياً في المنطقة الوسطى "غير المريحة".
فجوات المعايير المرجعية: قد تغفل المعايير الحالية التي تعتمد على مدخلات نظيفة أو مستويات ضجيج منفصلة عن هذه الضعف غير الرتيب.
الأهمية العملية: تشكل هذه الظاهرة مخاطر على مسارات معالجة المستندات، وأنظمة التعرف الضوئي على الحروف (OCR)، وأنظمة تقييم "النموذج اللغوي كحكم" (LLM-as-a-judge) حيث تختلف جودة النص المدخل. ويجادل المؤلفون بضرورة وجود معايير متانة تغطي صراحةً النظام المتوسط الغامض بين النص النظيف والنص المحطم بالكامل.

تخلص الدراسة إلى أن "وادي عدم الارتياح النصي" يمثل انتقالاً غير مستقر بين أنماط المعالجة على مستوى الكلمة والمستوى الحرفي، وهو نمط فشل يكون حاداً بشكل خاص في المهام التي تتطلب محاذاة معجمية دقيقة عبر سياقات طويلة.