💬 NLP

Tracing the Evolution of Word Embedding Techniques in Natural Language Processing

تقدم هذه الورقة مراجعة منهجية شاملة وتحليلاً ببليومترياً قائماً على البيانات لـ 149 مقالاً بحثياً من عام 1954 إلى عام 2025، تتبع تطور تقنيات تضمين الكلمات وتحدد كمياً تحولاً جذرياً في النماذج ما بعد GPT-3 نحو الأساليب السياقية، وفرق التعاون الأكبر، وأولويات البحث الجديدة المدفوعة من قبل الصناعة.

المؤلفون الأصليون: Minh Anh Nguyen, Kuheli Sai, Minh Nguyen

نُشر 2026-03-17

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC0 1.0

المؤلفون الأصليون: Minh Anh Nguyen, Kuheli Sai, Minh Nguyen

البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل تاريخ معالجة اللغات الطبيعية (NLP) كقصة حول كيفية تعلم الحواسيب فهم لغة البشر. لعقود من الزمن، حاول الباحثون تعليم الآلات كيفية "قراءة" الكلمات. هذه الورقة البحثية هي قصة تحقيق تاريخية ضخمة تتبع كيف علمنا الحواسيب فهم الكلمات، بدءاً من المحاولات الأولى المتعثرة في الخمسينيات وصولاً إلى نماذج الذكاء الاصطناعي فائقة الذكاء اليوم.

إليك قصة هذا التطور، مقسمة إلى تشبيهات بسيطة.

1. العصور الثلاثة لـ "فهم الكلمات"

نظر المؤلفون في 149 ورقة بحثية تمتد على مدار 70 عاماً ووجدوا أن نهجنا في تعليم الحواسيب اللغة قد مر بثلاث "عصور" متميزة، مثل العصر الحجري، والعصر البرونزي، وعصر الفضاء.

العصر الأول: عصر "العد" (التمثيلات الإحصائية)

التشبيه: تخيل أنك تحاول تخمين معنى كلمة ما من خلال عد عدد المرات التي تظهر فيها بجانب كلمات أخرى في مكتبة.
الأدوات: تقنيات مثل ترميز One-Hot (إعطاء كل كلمة بطاقة هوية فريدة)، وحقيبة الكلمات (Bag-of-Words) (رمي كل الكلمات في جملة داخل حقيبة وهزها)، وTF-IDF (طريقة متطورة للقول بأن الكلمات النادرة أكثر أهمية من الكلمات الشائعة مثل "الـ" أو "و").
المشكلة: كان الأمر يشبه محاولة فهم رواية من خلال النظر فقط إلى تكرار الحروف. كان يعرف ما هي الكلمات، لكنه لم يعرف كيف ترتبط ببعضها البعض. كان الأمر شحيحاً، فوضوياً، ولم يدرك أن "ملك" و"ملكة" مرتبطان، أو أن كلمة "بنك" يمكن أن تعني ضفة نهر أو مكاناً لحفظ المال.

العصر الثاني: عصر "القاموس" (تضمينات الكلمات الثابتة)

التشبيه: تخيل قاموساً سحرياً ضخماً حيث يتم تخصيص عنوان محدد لكل كلمة في مدينة ثلاثية الأبعاد. إذا كانت كلمتان متشابهتان (مثل "قط" و"هريرة")، فإن عنوانيهما يكونان بجانب بعضهما البعض.
الأدوات: Word2Vec، وGlo-ve، وFastText.
الاختراق: فجأة، استطاعت الحواسيب القيام بعمليات حسابية بالكلمات! يمكنك أخذ المتجه الخاص بكلمة "ملك"، طرح "رجل"، وإضافة "امرأة"، والنتيجة ستضعك بجوار "ملكة".
العيب: كان هذا القاموس ثابتاً. كلمة "بنك" لها عنوان واحد فقط، بغض النظر عما إذا كنت تتحدث عن نهر أو عن المال. لم يستطع فهم السياق. كان الأمر أشبه بقاموس لا يعرف الفرق بين "مضرب" (الحيوان الخفاش) و"مضرب" (المستخدم في رياضة البيسبول).

العصر الثالث: عصر "السياق" (التضمينات السياقية والنماذج اللغوية الكبيرة)

التشبيه: تخيل مساعداً ذكياً لا يكتفي بالبحث عن كلمة في قاموس، بل يستمع إلى المحادثة بأكملها قبل أن يقرر معنى الكلمة.
الأدوات: ELMo، وBERT، وGPT، وChatGPT.
الاختراق: الآن، تحصل كلمة "بنك" على عنوان مختلف بناءً على الجملة. إذا كانت الجملة عن الصيد، ينتقل "البنك" إلى حي النهر. إذا كانت عن الادخار، ينتقل إلى الحي المالي.
النتيجة: هذا هو عصر النماذج اللغوية الكبيرة (LLMs). "تضمين الكلمة" لم يعد قاموساً منفصلاً بعد الآن؛ بل هو مبني داخل دماغ الذكاء الاصطناعي. الذكاء الاصطناعي يفهم القصة بأكملها، وليس الكلمات فقط.

2. التحول الكبير: قبل وبعد "GPT-3"

تستخدم الورقة إصدار GPT-3 (نموذج ذكاء اصطناعي ضخم صدر في عام 2020) كخط فاصل، مثل اختراع الإنترنت أو انشطار الذرة. لقد قارنوا الأبحاث قبل عام 2020 بالأبحاث بعده.

إليك ما تغير:

انفجار "حجم الفريق":
- قبل: كان البحث غالباً ما يتم بواسطة فرق صغيرة مكونة من أستاذين أو ثلاثة في مختبر جامعي.
- بعد: أصبح البحث الآن يتم بواسطة فرق ضخمة مكونة من 5 إلى 10 أشخاص، وغالباً ما تضم شركات كبرى مثل جوجل، وميتا، ومايكروسوفت.
- لماذا؟ تدريب هذه النماذج "السياقية" الجديدة يشبه بناء ناطحة سحاب. أنت بحاجة إلى المزيد من المال، والمزيد من الحواسيب، والمزيد من الأشخاص مما يمكن لمختبر جامعي صغير توفيره.
"سيطرة الصناعة":
- قبل: معظم الأبحاث كانت تأتي من الجامعات.
- بعد: نصف الأبحاث الآن تأتي من شركات التقنية الكبرى.
- التشبيه: في الأيام الأولى، كان "تضمين الكلمة" أداة مستقلة يمكنك شراؤها من متجر للأدوات. الآن، هو جزء متخصص من محرك سيارة فيراري. فقط الأشخاص الذين يبنون الفيراري (شركات التقنية الكبرى) هم من يصنعون أجزاء المحرك الآن.
"تبادل المنهجية":
- وجدت الورقة أن 30 تقنية جديدة تماماً ظهرت بعد GPT-3، بينما تم التخلي تماماً عن 54 تقنية قديمة.
- الأمر كما لو أن المجال بأكد قرر: "لسنا بحاجة لتلك المطارق القديمة بعد الآن؛ نحن جميعاً نستخدم أدوات القطع بالليزر الآن".

3. لماذا يهم هذا؟ (ما الفائدة؟)

يشير المؤلفون إلى ثلاث خلاصات رئيسية لنا جميعاً:

مشكلة "الصندوق الأسود":
لأن هذه النماذج الجديدة معقدة للغاية ويتم بناؤها بواسطة فرق ضخمة، فمن الصعب فهم كيف تعمل. نحن نعرف أنها تعمل، لكننا لا نفهم تماماً "السحر" الموجود بداخلها. إنه يشبه قيادة سيارة تعمل بوقود لا يمكننا رؤيته أو قياسه.
مشكلة "الغني يزداد غنى":
لأن هذه النماذج تتطلب قدرة حوسبة هائلة، فإن عدداً قليلاً من الدول (معظمها الولايات المتحدة والصين) وعدداً قليلاً من الشركات العملاقة فقط يمكنها تحمل تكلفة بنائها. هذا يعني أن "قاموس" المستقبل قد يعكس فقط ثقافة ولغة تلك المجموعات الثرية، مما قد يتجاهل اللغات والثقافات الأصغر.
الخدع القديمة لا تزال تعمل:
على الرغم من امتلاكنا لذكاء اصطناعي فائق الذكاء، تشير الورقة إلى أن الطرق "القديمة" (مثل عد الكلمات) تعود للظهور في وظائف محددة. على سبيل المثال، عندما تبحث عن شيء ما في جوجل، يستخدم الذكاء الاصطناعي "عقله الذكي" لتخمين نيتك، لكنه لا يزال يستخدم طريقة "العد" القديمة للعثور على الكلمات المفتاحية الدقيقة. اتضح أن مزيجاً من القديم والجديد هو غالباً الوصفة الأفضل.

الملخص

تخبرنا هذه الورقة أن تعليم الحواسيب القراءة قد تطور من عد الكلمات إلى رسم خرائط للكلمات ثم إلى فهم السياق. لكن هذا التطور جاء بتكلفة: فقد انتقل المجال من التجارب الأكاديمية الصغيرة إلى المشاريع الصناعية الضخمة والمكلفة. لم يعد "تضمين الكلمة" أداة مستقلة؛ بل أصبح الآن الحمض النووي الخفي داخل نماذج الذكاء الاصططناعي العملاقة التي تغير عالمنا.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تتبع تطور تقنيات تضمين الكلمات في معالجة اللغات الطبيعية" من إعداد مين آه نغوين، كوهيلي ساي، ومين نغوين.

1. بيان المشكلة

على الرغم من المركزية التي تتمتع بها تضمينات الكلمات (Word Embeddings) في معالجة اللغات الطبيعية الحديثة، إلا أن هناك نقصاً في التوثيق المنهجي الذي يربط التمثيلات الإحصائية المبكرة (من الخمسينيات إلى العقد الثاني من القرن الحادي والعشرين) بالنماذج السياقية والتوليدية المعاصرة. غالباً ما تكون المسوحات الموجودة مجزأة، حيث تركز على عائلات نماذج محددة (مثل النماذج القائمة على التنبؤ مقابل النماذج القائمة على العدّ) أو حقب زمنية محددة دون تقديم سرد تاريخي موحد. علاوة على ذلك، تفتقر الأدبيات السابقة إلى التحليل الببليومتري الكمي لفهم كيفية تحول التركيز البحثي، وأنماط التعاون، والمشاركة المؤسسية على مدار سبعة عقود، لا سيما في أعقاب ظهور النماذج اللغوية الكبيرة (LLMs).

2. المنهجية

استخدم المؤلفون نهجاً مختلط الأساليب يجمع بين المسح التاريخي الشامل والتحليل الببليومتري القائم على البيانات.

جمع البيانات:
- المتن (Corpus): مجموعة بيانات منسقة تضم 149 مقالاً بحثياً تمتد من عام 1954 (عمل هاريس التأسيسي) حتى عام 2025.
- معايير الاختيار: تم اختيار الأوراق البحثية إذا كانت تقدم طرق تضمين جديدة أو تحسينات/متغيرات جوهرية. واستُبعدت الدراسات التطبيقية التي تستخدم التضمينات فقط للمهام النهائية (downstream tasks).
- استراتيجية البحث: نهج متعدد المحاور باستخدام النماذج اللغوية الكبيرة (ChatGPT، Gemini، Claude) للاكتشاف الأولي، متبوعاً بالتحقق عبر Google Scholar، وتتبع الاستشهادات الرجعي (من المراجعات الحديثة)، وتتبع الاستشهادات الأمامي (من الأعمال الرائدة مثل Word2Vec وBERT).
الترميز والتصنيف:
- تم ترميز الأوراق يدوياً من قبل باحث واحد لضمان الاتساق عبر أربعة أبعاد:
  1. فئة التضمين: التمثيلات الإحصائية، تضمينات الكلمات الثابتة، تضمينات الكلمات السياقية، وتضمينات الجمل/المستندات.
  2. الأصالة: بحث أصيل مقابل متغير/تحسين.
  3. الانتساب: المشاركة الأكاديمية مقابل المشاركة الصناعية (بناءً على انتساب المؤلف الرئيسي).
  4. مكان النشر: مؤتمر، مجلة، مسودة بحثية (Preprint)، إلخ.
الإطار التحليلي:
- مقارنة الحقبات: تم تقسيم مجموعة البيانات إلى فئتين: ما قبل GPT-3 (≤2019، $n=95$ ) و ما بعد GPT-3 (≥2020، $n=54$ ).
- الاختبار الإحصائي: أُجريت سبعة اختبارات فرضية لقياس التحولات في التركيز المنهجي، وأحجام الفرق، وأنماط التعاون، والمشاركة الصناعية.

3. المساهمات الرئيسية

مسح تاريخي شامل: سرد موحد يتتبع النسب الفكري من الطرق الإحصائية المتفرقة (One-hot, TF-IDF, LSA) إلى المتجهات الكثيفة الثابتة (Word2Vec, GloVe) وصولاً إلى النماذج السياقية الديناميكية (ELMo, BERT, GPT).
مجموعة بيانات منسقة: مجموعة بيانات متاحة للجمهور تضم 149 ورقة بحثية مرمزة ببيانات وصفية متعددة الأبعاد، مما يسمح بتحليل كمي منهجي لتطور المجال.
مقارنة رسمية للحقبات: تحليل إحصائي صارم باستخدام إصدار GPT-3 كخط فاصل، كشف عن تحولات جذرية في التركيز البحثي وهياكل التعاون.
رؤى ببليومترية: أدلة كمية على تحول المجال من الفرق الأكاديمية الصغيرة إلى التعاونات الكبيرة التي تقودها الصناعة، وتركيز البحث في الدول الغنية بالموارد.

4. النتائج الرئيسية

أ. التطور المنهجي

تطور المجال عبر أربع مراحل متميزة:

التمثيلات الإحصائية (1954–2012): متجهات متفرقة وعالية الأبعاد (One-hot, BoW, TF-IDF, LSA). اتسمت بمحدودية التشتت والافتقار إلى التشابه الدلالي.
تضمينات الكلمات الثابتة (2013–2019): متجهات كثيفة وثابتة الأبعاد (Word2Vec, Glove, FastText). حلت مشكلة التشتت لكنها فشلت في التقاط تعدد المعاني (polysemy) المرتبط بالسياق.
تضمينات الكلمات السياقية (2018–الحاضر): تمثيلات ديناميكية (ELMo, BERT, GPT) باستخدام المحولات (Transformers). حلت مشكلة تعدد المعاني عبر توليد متجهات خاصة بكل رمز (token) بناءً على السياق المحيط.
تضمينات الجمل/المستندات: تجميع التمثيلات على مستوى الرمز في متجهات ثابتة الطول للنصوص الكاملة (Doc2Vec, Sentence-BERT).

ب. تحول نموذج "ما بعد GPT-3"

مثّل إصدار GPT-3 في عام 2020 نقطة تحول حرجة مع تغيرات ذات دلالة إحصائية:

الدوران المنهجي: تهيمن الآن الطرق السياقية وطرق مستوى الجملة. زادت احتمالية البحث في هذه الطرق مقابل الطرق الثابتة/الإحصائية بمقدار 6.4 ضعف في عصر ما بعد GPT-3.
- الثابتة/الإحصائية: انخفضت من حوالي 62% من الأوراق إلى حوالي 20%.
- السياقية/الجمل: ارتفعت من حوالي 38% إلى حوالي 80%.
التقادم التكنولوجي: تظهر 10 تقنيات فريدة فقط في كلتا الحقبتين. ظهرت 30 تقنية جديدة تماماً بعد عام 2019، بينما لم تتلقَّ 54 تقنية من حقبة ما قبل GPT-3 أي اهتمام لاحق.
حجم الفريق والتعاون: زاد متوسط حجم الفريق بشكل ملحوظ من 3.85 (ما قبل GPT-3) إلى 4.81 (ما بعد GPT-3) ( $p=0.018$ ).
المشاركة الصناعية: ارتفعت نسبة الانتساب للصناعة من 35.8% إلى 50.0%. ويُعزى ذلك إلى تحول تركيبي: انتقل المجال نحو النماذج السياقية كثيفة الموارد حيث تعد الصناعة هي المساهم المهيمن، بدلاً من إزاحة الصناعة للأكاديميين في المواضيع القائمة.
التركيز الجغرافي: تستحوذ الولايات المتحدة على 378 من أصل 614 انتساباً للمؤلفين. وبينما تظل الولايات المتحدة مهيمنة، هناك تحول طفيف نحو مختبرات الصناعة في منطقة آسيا والمحيط الهادئ (مثل Tencent وByteDance).

ج. اتجاهات النشر

حجم النشر: بلغ ذروته في عام 2020 (19 ورقة) ثم انخفض بعد عام 2020 مع تحول التضمينات إلى مكونات داخلية للنماذج اللغوية الكبيرة بدلاً من كونها منتجات بحثية مستقلة.
الأصالة: انخفض معدل "البحث الأصيل" من 65.3% إلى 51.9%، حيث شهدت حقبة ما بعد GPT-3 طفرة في دراسات المتغيرات/التحسينات (مثل الضبط الدقيق/fine-tuning، والتقطير/distillation) لا سيما ضمن التضمينات السياقية.

5. الأهمية والآثار المترتبة

التحول المعرفي: انتقل المجال من تحسين تمثيلات المتجهات كهدف أساسي إلى التعامل مع التضمينات كجداول بحث ثابتة داخل نماذج ضخمة (end-to-end).
عوائق الموارد: رفع التحول إلى النماذج السياقية واسعة النطاق حاجز الدخول، مما ركز القوة البحثية في يد عدد قليل من عمالقة التكنولوجيا والدول الغنية، مما قد يؤدي لتهميش اللغات ذات الموارد المحددة والمنظورات المتنوعة.
البنى الهجينة: رغم هيمنة النماذج اللغوية الكبيرة، تشير الورقة إلى عودة ظهور الأساليب الإحصائية "الأولية" (مثل TF-IDF وBM25) في مسارات التوليد المعزز بالاسترجاع (RAG)، مما يشير إلى أن النهج الكلاسيكي والنهج العصبي يكملان بعضهما البعض.
الاعتبارات الأخلاقية: تثير ضبابية التضمينات السياقية الحديثة تحديات جديدة تتع_لقل بالتحيز، والهلوسة، ومواءمة التمثيلات الدلالية مع القيم البشرية.

في الختام، توفر الورقة خريطة كمية ونوعية لتطور معالجة اللغات الطبيعية، موضحة أن ظهور النماذج اللغوية الكبيرة لم يحسن الأداء فحسب، بل أعاد هيكلة النظام البيئي البحثي بشكل جذري، مفضلاً الجهود التعاونية واسعة النطلة، والتي تقودها الصناعة وتتطلب موارد مكثفة.