💬 NLP

Repeated Sequences Reveal Gaps between Large Language Models and Natural Language

تقدم هذه الورقة إطار تقييم مبتكر يعتمد على المتتاليات الفرعية المتكررة وإنتروبيا ريني لإثبات أن النماذج اللغوية الكبيرة الحديثة، وعلى عكس اللغة الطبيعية التي تظهر تنظيماً هيكلياً مستقراً بعيد المدى، تُظهر انحرافات منهجية ومعتمدة على الحجم في أنماط نمو الإنتروبيا لديها، مما يكشف عن فجوات جوهرية في كيفية التقاطها للبنية الإحصائية العميقة للنص بما يتجاوز الطلاقة السطحية.

المؤلفون الأصليون: Kumiko Tanaka-Ishii

نُشر 2026-05-26

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Kumiko Tanaka-Ishii

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات إبداعية.

الفكرة الكبرى: الطلاقة مقابل البنية

تخيل أنك تستمع إلى شخصين يرويان قصة.

الشخص (أ) يتحدث ببراعة؛ كل جملة تنساب بسلاسة، والقواعد صحيحة، ولا يتلعثم أبداً.
الشخص (ب) يتحدث ببراعة أيضاً، لكن لديه سر: هو في الواقع يكرر نفس العبارات القليلة مراراً وتكراراً، أو أنه يبني قصة عبر تجميع قطع "ليغو" صغيرة جاهزة مسبقاً دون أن يبتكر شكلاً جديداً أبداً.

لفترة طويلة، اعتقدنا أن النماذج اللغوية الكبيرة (LLMs) مثل GPT أصبحت جيدة جداً لدرجة أنها تبدو تماماً كالبشر. لكن هذه الورقة تطرح سؤالاً أعمق: هل تفهم هذه النماذج حقاً كيفية بناء قصة طويلة من الداخل إلى الخارج، أم أنها مجرد بارعة جداً في الظهور بمظهر سلس على المدى القصير؟

قامت المؤلفة، كوميكو تاناكا-إيشي، بتطوير طريقة جديدة لـ "الاستماع" إلى هذه القصص، ليس من خلال التحقق مما إذا كانت منطقية من الناحية النحوية، بل من خلال النظر في كيفية إعادة استخدام كلماتها وأنماطها الخاصة عبر مسافات طويلة.

الأداة: كاشف "الصدى"

لإيجاد الفرق، تستخدم المؤلفة مفهوماً يُسمى التتابعات المتكررة (Repeated Subsequences).

تخيل النص كممر طويل.

اللغة الطبيعية (البشر): عندما يكتب الإنسان رواية، فإنه يزرع بذوراً في وقت مبكر. يقدم شخصية، أو موضوعاً، أو عبارة محددة. ومع استمرار القصة، يعود إلى تلك البذور، ويسقيها، وتنمو منها أغصان جديدة. القصة "تُصدد" نفسها؛ فهي تعيد استخدام الهياكل القديمة لبناء معنى جديد.
النماذج اللغوية الكبيرة (الذكاء الاصطناعي): وجدت المؤلفة أن نماذج الذكاء الاصطناعي غالباً ما تعمل مثل الأسطوانة المشروخة أو قاعة المرايا. قد تكرر الأشياء، لكنها لا تبدو وكأنها تمتلك ذلك "الصدى" الهيكلي العميق حيث يتم إعادة تنظيم الأجزاء القديمة من القصة لدعم الأجزاء الجديدة.

تقيس الورقة هذا من خلال عدّ عدد المرات التي تظهر فيها قطع صغيرة من النص (مثل تسلسلات مكونة من 5 أو 10 أحرف) مرة أخرى لاحقاً في المستند.

نوعا النمو: الحديقة مقابل المصنع

تقارن الورقة بين كيفية نمو "المعلومات" مع زيادة طول النص. وتحدد طريقتين رئيسيتين يمكن أن يحدث بهما ذلك:

حديقة قانون القوة (The Power-Law Garden) (اللغة الطبيعية):
تخيل حديقة تستمر في زراعة زهور جديدة وفريدة، لكنك تستمر أيضاً في إعادة استخدام نفس السور والتعريشة لدعمها. مع نمو الحديقة، تزداد تنوع الزهور، لكن البنية (الأسوار والتعريشات) تُعاد استخدامها مراراً وتكراراً.
وجدت الورقة أن الكتابة البشرية تسلك هذا المسار؛ فهي تتبع نمط "اللوغاريتم-القوة" (Log-Power). وهذا يعني أن النص يعيد تدوير حمضه النووي الهيكلي باستمرار. إنه نظام فعال ومترابط بعمق.
خط الإنتاج في المصنع (The Factory Line) (نماذج الذكاء الاصطناعي):
تخيل مصنعاً يستمر في إنتاج المنتجات. مع استمرار عمل المصنع لفترة أطول، يستمر في صنع عناصر مختلفة قليلاً، لكنه لا يبدو وكأنه يمتلك نفس المستوى من إعادة الاستخدام المتكررة والعميقة لمخططه الداخلي.
وجدت الورقة أن نماذج الذكاء الاصطناعي، خاصة القديمة أو الصغيرة منها، تتصرف بشكل مختلف. فهي تظهر نمط "قانون القوة" (Power-Law) الذي يشير إلى أنها تولد باستمرار تعقيداً هيكلياً جديداً دون نفس المستوى من إعادة الاستخدام العميقة والفعالة الموجودة في الكتابة البشرية.

التجربة: اختبار "الخلط"

اختبرت المؤلفة هذا على:

الروايات المكتوبة بواسطة البشر (من مشروع غوتنبرغ).
القصص المولدة بواسطة الذكاء الاصطناعي (التي أنشأتها نماذج GPT-3.5 وGPT-4 والنماذج الأحدث).

قامت بمطابقة الأطوال لتكون المقارنة عادلة. ثم أجرت اختبار "صدى" رياضياً (باستخدام ما يسمى إنتروبيا ريني - Rényi Entropy) لمعرفة مدى إعادة النص لاستخدام نفسه.

النتائج:

البشر: بغض النظر عن طول الكتاب، ظل نمط "الصدى" مستقراً. يعيد البشر استخدام أنماطهم الهيكلية الخاصة بطريقة متسقة، متوقعة، وفعالة.
الذكاء الاصطناعي: تغير نمط الذكاء الاصطناعي اعتماداً على مدى "ضخامة" النموذج.
- النماذج الصغيرة من الذكاء الاصطناعي كانت فوضوية جداً في كيفية إعادة استخدام (أو الفشل في إعادة استخدام) البنية.
- مع كبر حجم نماذج الذكاء الاصطناعي (مثل GPT-5)، بدأت تبدو أكثر شبهاً بالبشر، لكنها لا تزال تظهر اختلافاً منهجياً. لقد أصبحت أفضل في محاكاة "الصدى"، لكن الرياضيات الكامنة وراء كيفية بناء قصصها لا تزال متميزة عن الكتابة البشرية.

فخ "التكرار الأقصى"

نظرت الورقة أيضاً في أطول عبارة متكررة في النص (مثل البحث عن أطول جملة تظهر مرتين).

الدراسات السابقة ركزت على هذه التكرارات "القصوى".
تجادل المؤلفة بأن هذا يشبه محاولة فهم الغابة من خلال النظر فقط إلى أطول شجرة؛ فهو أمر غير مستقر ومضلل.
بدلاً من ذلك، فإن النظر في جميع القطع المتكررة (التوزيع) يعطي صورة أكثر وضوحاً واستقراراً للبنية الحقيقية للنص.

الخلاصة

لا تقول هذه الورقة إن الذكاء الاصطناعي "سيء" أو أنه لا يستطيع كتابة قصص جيدة. بل تقول إن الذكاء الاصطناعي والبشر يبنون القصص بشكل مختلف.

البشر يكتبون من خلال الإشارة المستمرة وإعادة دمج كلماتهم وهياكلهم الماضية، مما يخلق شبكة محكمة وفعالة من المعنى تنمو بطريقة رياضية محددة (اللوغاريتم-القوة).
الذكاء الاصطناعي يكتب من خلال التنبؤ بالكلمة التالية، مما يخلق نمط نمو مختلفاً (أقرب إلى قانون القوة). حتى أذكى نماذج الذكاء الاصطناعي لم تتقن بعد فن "إعادة التدوير الهيكلي" البشري عبر المسافات الطويلة.

تخلص المؤلفة إلى أننا بحاجة إلى أدوات جديدة لقياس الذكاء الاصطناعي. لا يمكننا فقط أن نسأل، "هل اجتاز الاختبار؟" أو "هل هو فصيح؟". نحن بحاجة إلى أن نسأل، "هل يبني عالمه كما يفعل البشر؟". وفي الوقت الحالي، الإجابة هي: ليس تماماً.

ملخص تقني: المتواليات المتكررة تكشف الفجوات بين النماذج اللغوية الكبيرة واللغة الطبيعية

بيان المشكلة
بينما تُظهر النماذج اللغوية الكبيرة (LLMs) طلاقة وتماسكاً عالياً في السياقات المحلية، لا يزال من التحديات المفتوحة تحديد ما إذا كانت هذه النماذج تستوعب التنظيم الإحصائي بعيد المدى للغة الطبيعية. تعتمد طرق التقييم الحالية بشكل كبير على الاختبارات المعيارية القائمة على المهام أو تحليلات السياق القصير، وهي تقدم أدلة غير مباشرة فقط فيما يتعلق بالبنية العالمية للنص المُولد. وقد حددت أعمال سابقة مشكلات مثل التكرار المفرط وانخفاض التنوع في مخرجات النماذج اللغوية الكبيرة، مما يشير إلى أن الأداء العالي في المهام لا يضمن بالضرورة بنية بعيدة المدى تشبه بنية اللغة البشرية. وتحديداً، هناك نقص في التشخيصات الكمية التي يمكنها التمييز بين كيفية إعادة استخدام اللغة الطبيعية والنماذج اللغوية الكبيرة للعناصر الهيكلية الراسخة عبر مسافات طويلة.

المنهجية
يقترح المؤلفون إطار تقييم تكميلي يعتمد على توزيع المتواليات الفرعية المتكررة عبر المقاييس، وربط هذه الإحصائيات بإنتروبيا ريني (Rényi entropies) من الرتب العليا.

عدّ المتواليات الفرعية المتكررة: تُعرف الطريقة عدد الكتل المتكررة ( $D_m$ ) بطول $m$ ضمن متوالية طولها $n$ . وبخلاف التحليلات التي تركز على التكرارات القصوى (والتي قد تكون غير مستقرة عددياً)، يفحص هذا النهج توزيع جميع المتواليات الفرعية المتكررة.
إنتروبيا ريني من الرتب العليا: يربط المؤلفون طيف الكتل المتكررة بإنتروبيا ريني ( $H_\alpha$ ) من الرتبة $\alpha \ge 2$ . وهذا يسمح بتوصيف نمو الإنتروبيا بطول محدد. يتم حساب الإنتروبيا التجريبية $\hat{H}_\alpha(m)$ بناءً على تكرار أنواع الكتل المرصودة.
التوصيف الوظيفي: يقوم البحث بنمذجة نمو العدد الفعال للكتل القابلة للتمييز ( $\log_2 S_m$ $lo g_{2} S_{m}$ ) باستخدام شكلين تحت خطيين:
- فرضية قانون القوة (Power-law ansatz): حيث $\log_2 S_m \propto m^\beta$ ، وترتبط بتوسع درجات الحرية الهيكلية.
- فرضية اللوغاريتم-القوة (Logarithmic–power ansatz): حيث $\log_2 S_m \propto (\log_2 m)^\gamma$ ، وترتبط بإعادة الاستخدام الهيكلي القوي حيث ينمو طول الوصف ببطء بالنسبة لطول المتوالية.
إجراء التقدير: يتم استخدام تقدير ذي مرحلتين للتعامل مع آثار الحجم المحدود. أولاً، يتم تقدير حد تصحيحي ( $\Delta_\alpha$ ) مشتق من كثيرات حدود توتشارد (Touchard polynomials) بناءً على النسبة بين إجمالي الكتل والكتل المتميزة. ثانياً، يتم ملاءمة الأسس $\beta$ و $\gamma$ لقيم الإنتروبيا التجريبية المصححة.

الإعداد التجريبي
تقارن الدراسة النصوص ذات اللغة الطبيعية مقابل النصوص المولدة بواسطة GPT عبر أربعة أجيال من النماذج: gpt-3.5turbo و gpt-4o-mini و gpt-5-mini و gpt-5.

مجموعات البيانات: تم أخذ عينات من نصوص اللغة الطبيعية من مشروع غوتنبرغ (روايات) لمطابقة توزيعات الأطوال مع مخرجات GPT. تمت معالجة جميع النصوص مسبقاً لإزالة البيانات الوصفية والرموز غير الأبجدية.
عناصر الضبط: أُجريت التجارب على 100 نص لكل فئة، مع توزيعات متطابقة في الطول للتحكم في تأثير طول المتوالية. وأكدت اختبارات إضافية على المقالات والكتابات العلمية أن الاتجاهات الملاحظة في السرديات كانت متسقة عبر الأنواع الأدبية.

النتائج الرئيسية

ملاءمة النموذج: عبر مجموعات البيانات، وفر نموذج اللوغاريتم-القوة عموماً ملاءمة أفضل ( $R^2 > 0.97$ ) للغة الطبيعية مقارنة بنموذج قانون القوة، خاصة للنصوص الأطول. يشير هذا إلى أن نمو إنتروبيا اللغة الطبيعية يهيمن عليه إعادة الاستخدام الهيكلي بدلاً من التوسع المستمر في درجات الحرية الهيكلية الجديدة.
الاستقرار في اللغة الطبيعية: أظهرت اللغة الطبيعية أنماط نمو إنتروبيا مستقرة (متوسط الأسس $\beta$ و $\gamma$ ) عبر مجموعات البيانات وأطوال النصوص المختلفة، رغم التباين بين النصوص الفردية. يشير هذا إلى نوع من "الكونية الضعيفة" على مستوى المجتمع الإحصائي.
التحولات المنهجية في النماذج اللغوية الكبيرة: في المقابل، أظهرت النصوص المولدة بواسطة GPT تحولات منهجية وذات دلالة إحصائية في الأسسات المقدرة مع زيادة حجم النموذج.
- أظهرت النماذج الأصغر (مثل gpt-3.5turbo) تفضيلاً قوياً لنموذج اللوغاريتم-القوة ولكن بخصائص أسية مختلفة.
- مع زيادة حجم النموذج وصولاً إلى gpt-5، زاد كل من $\beta$ و $\gamma$ بشكل رتيب، مبتعدين عن الأنماط المستقرة للغة الطبيعية.
- أكدت الاختبارات الإحصائية (اختبارات t لـ Welch لعينتين) وجود انفصال واضح بين اللغة الطبيعية ومخرجات GPT-5 ( $p \approx 0$ ).
المقارنة مع التكرار الأقصى: بينما أظهر نمو المتواليات الفرعية المتكررة قصوى (الأس $\eta$ ) بعض التقارب بين gpt-5 واللغة الطبيعية، كشفت الطريقة المقترحة القائمة على التوزيع عن اختلافات أكثر وضوحاً ومنهجية في التنظيم بعيد المدى.

المساهمات الرئيسية

الصياغة التوزيعية: يقترح البحث صياغة توزيعية للتكرار تسمح بتوصيف نمو الإنتروبيا بطول محدد عبر إنتروبيا ريني من الرتب العليا، متجاوزاً عدم استقرار إحصائيات التكرار الأقصى.
التشخيص الهيكلي: يثبت وجود اختلافات منهجية بين اللغة الطبيعية والنصوص المولدة بواسطة النماذج اللغوية الكبيرة في سلوك نمو الإنتروبيا. وتحديداً، يكشف أن اللغة الطبيعية تُظهر أنماطاً مستقرة يهيمن عليها إعادة الاستخدام، بينما تُظهر النماذج اللغوية الكبيرة تحولات منهجية في التنظيم الهيكلي ترتبط بحجم النموذج.

الأهمية والادعاءات
يزعم البحث أن إنتروبيا المتواليات الفرعية المتكررة تعمل كتشخيص هيكلي كمي قادر على كشف الاختلافات المنهجية في التنظيم بعيد المدى التي لا تظهر في التقييمات القائمة على الطلاقة السطحية أو المهام.

يفسر المؤلفون مقياس اللوغاريتم-القوة في اللغة الطبيعية كدليل على "إعادة الاستخدام الهيكلي القوي"، حيث يتم توليد النصوص من خلال إعادة تركيب وفهرسة الموارد اللغوية المشتركة. وفي المقابل، فإن الأسسات المتغيرة في النماذج اللغوية الكبيرة تشير إلى تجلٍ أضعف لهذا التنظيم القائم على مبدأ "البنية كمرجع"، وربما يعود ذلك إلى هدف التنبؤ بالرمز التالي (next-token prediction) والاستخدام المحدود للسياق. يضع هذا العمل معياراً جديداً لتقييم الدقة الهيكلية للنصوص المولدة، موضحاً أن النماذج اللغوية الكبيرة المتطورة حالياً، رغم طلاقتها، لا تحاكي تماماً التنظيم الإحصائي بعيد المدى للغة الطبيعية.