Parallelograms Strike Back: LLMs Generate Better Analogies than People

إليك ملخص تقني مفصل لورقة البحث: "متوازي الأضلاع يضرب من جديد: النماذج اللغوية الكبيرة تولد تشبيهات أفضل من البشر."

1. بيان المشكلة

تتناول الورقة نقاشاً جوهرياً في العلوم المعرفية حول طبيعة التشبيهات اللفظية (على سبيل المثال، $A:B::C:D$).

• نموذج متوازي الأضلاع: تفترض نظرية هندسية كلاسيكية (Rumelhart & Abrahamson, 1973) أن التشبيهات تُحل عبر العمليات الحسابية المتجهية في فضاء دلالي ($D \approx C + (B - A)$).
• التحدي: أشارت أعمال حديثة (Peterson et al., 2020) إلى أن هذا النموذج يفشل في رصد توليد البشر للتشبيهات، بحجة أن البشر يعتمدون أكثر على استدلالات التشابه المحلي (مثل اختيار كلمة مشابهة لـ $C$) بدلاً من القيود العلاقاتية.
• السؤال: هل يفشل نموذج متوازي الأضلاع لأنه نموذج خاطئ للتشبيه، أم لأن البشر لديهم قيود معرفية ويفشلون في إنتاج تشبيهات تحافظ على العلاقة باستمرار؟ يستقصي المؤلفون ذلك من خلال مقارنة أداء البشر مقابل النماذج اللغوية الكبيرة (LLMs)، والتي قد تمتلك قيوداً معرفية مختلفة.

2. المنهجية

البيانات والمثيرات

• مجموعة البيانات: استخدمت الدراسة 846 جذراً للتشبيهات المكونة من أربعة حدود من دراسة (Peterson et al., 2020)، المستمدة من (Green et et al., 2010)، و(Kmiecik & Morrison, 2013)، و(SemEval-2012 Task 2).
• النماذج: تم اختبار ستة نماذج لغوية كبيرة متطورة:
  • نماذج مغلقة المصدر: GPT-5-mini، o4-mini.
  • نماذج مفتوحة المصدر: DeepSeek-V3.1-671B، Qwen3-235B، Qwen3-32B، Gemma-3-27B.
• بروتوكول التوليد: تم تقديم كل تشبيه بصيغة أربع صياغات متكافئة دلالياً، مع تكرار العملية 10 مرات لكل مطالبة (درجة الحرارة/Temperature = 1.0)، مما نتج عنه 40 استجابة لكل نموذج لكل تشبيه. أنتج ذلك حوالي 203,040 استجابة من النماذج اللغوية.
• الخط المرجعي البشري: تمت المقارنة مع 26,265 استجابة بشرية من مجموعة بيانات (Peterson et al.) الأصلية.

مقاييس التقييم

1. التقييم البشري: قام 390 مشاركاً بتقييم التشابه العلاقي لـ $C:D$ مع $A:B$ على مقياس مكون من 7 نقاط.
2. النمذجة الهندسية (GloVe): تم ربط الاستجابات بتمثيلات GloVe ذات الـ 300 بُعد. تم اختبار ثلاث قواعد للتنبؤ بالإكمال:
   • متوازي الأضلاع: الترتيب حسب تشابه جيب التمام (cosine similarity) مع $v(B) - v(A) + v(C)$.
   • التشابه المحلي ($C:D$): الترتيب حسب التشابه مع $C$ وحدها.
   • الجار الأقرب (NN): الترتيب حسب التشابه مع الكلمة الأقرب بين $B$ أو $C$.
3. التحليل التنبئي: استخدم المؤلفون النسبة التراكمية المستردة (CPR) لقياس مدى قدرة هذه القواعد على رصد التوزيع.
4. تحليل الانحدار: تم بناء نماذج انحدار متعدد للتنبؤ بفرق التقييم (النموذج اللغوي مقابل البشر) باستخدام أربعة متغيرات تنبؤية:
   • $\Delta$ التوافق مع متوازي الأضلاع.
   • $\Delta$ التشابه المحلي ($C:D$ أو NN).
   • $\Delta$ لوغاريتم تكرار الكلمات (الإتاحة المعجمية).
5. فحص التمثيل الداخلي: استخرج المؤلفون تمثيلات "تيار المتبقي" (residual stream) من النماذج مفتوحة المصدر لمعرفة ما إذا كانت التمثيلات الداخلية للنماذج اللغوية تتوافق مع نموذج متوازي الأضلاع بشكل أفضل مما يفعل GloVe.

3. النتائج الرئيسية

أ. النماذج اللغوية تولد تشبيهات "أفضل"

• ميزة التقييم: وجد المقيمون البشر باستمرار أن التشبيهات المولدة بواسطة النماذج اللغبية أعلى جودة (أكثر تشابهاً علاقيًا) من تلك المولدة بشرياً.
  • أظهر نموذج GPT-5-mini أكبر ميزة ($b = 0.18, p < .001$).
  • كان Qwen3-32B هو النموذج الوحيد الذي لم يكن أفضل من البشر بشكل ملحوظ.
• الاختلافات التوزيعية: تعود ميزة النماذج اللغبية إلى "الذيل الطويل" للاستجابات البشرية. أنتج البشر مجموعة متنوعة واسعة من الإكمالات الضعيفة ومنخفضة التكرار، بينما كانت استجابات النماذج اللغبية أكثر تركيزاً (85% من استجابات النماذج اللغبية كانت نمطية/modal مقابل 64% للبشر).
  • نتيجة حاسمة: عند قصر المقارنة على الاستجابات النمطية (الأكثر تكراراً) فقط، اختفت ميزة النماذج اللغبية. البشر والنماذج اللغبية قدموا أداءً متساوياً في إجاباتهم الأكثر شيوعاً.

ب. نموذج متوازي الأضلاع "يضرب من جديد"

• دقة التنبؤ: بينما كانت استدلالات التشابه المحلي ($C:D$) هي أفضل المتنبئات الإجمالية لكل من البشر والنماذج اللغبية (مما يكرر نتائج Peterson et al.)، فإن نموذج متوازي الأضلاع أدى بشكل أفضل بكثير بالنسبة للنماذج اللغبية مقارنة بالبشر.
• تقليص الفجوة: كانت الفجوة في الأداء بين نموذج متوازي الأضض واستدلالات التشابه المحلي أكبر بمرتين لدى البشر مقارنة بالنماذج اللغبية. يشير هذا إلى أن النماذج اللغبية تلتزم بشكل أكثر صرامة بالقيود العلاقاتية من البشر.

ج. محركات الجودة

كشف تحليل الانحدار عن عاملين تنبآ بكون تشبيهات النماذج اللغبية ذات تقييم أعلى:

1. التوافق مع متوازي الأضلاع: التوافق العالي مع فرق المتجه $(B-A)$ في فضاء GloVe تنبأ بقوة بالتقييمات الأعلى ($\beta \approx 0.20, p < .001$).
2. الإتاحة المعجمية: استخدمت النماذج اللغبية كلمات أقل تكراراً (أقل إتاحة) من البشر. ومن المثير للدهشة، كانت هذه الكلمات الأقل شيوعاً تُقيم كتشبيهات أفضل.
   • ملاحظة: كان التشابه المحلي ($C:D$) في الواقع متنبئاً سلبياً؛ حيث إن كون الكلمة شديدة التشابه مع $C$ دون تحقيق العلاقة أدى إلى خفض التقييمات.

د. التمثيلات الداخلية مقابل الخارجية

• GloVe مقابل التمثيل الداخلي: التوافق مع متوازي الأضلاع في فضاء GloVe الخارجي تنبأ بتقييمات البشر بشكل أفضل من تمثيلات "تيار المتبقي" الداخلية للنماذج اللغبية.
• الاستنتاج: لا "تفكر" النماذج اللغبية بالضرورة عبر متجهات هندسية داخلياً لحل هذه المهام. بدلاً من ذلك، هي تولد مخرجات تصادف أنها تلبي القيود العلاقاتية التي يقدرها البشر، حتى لو لم تكن تلك القيود مشفرة صراحة في هندسة النموذج الداخلية.

4. المساهمات الرئيسية

1. إعادة تقييم نموذج متوازي الأضلاع: تتحدى الورقة الاستنتاج بأن نموذج متوازي الأضلاع هو حساب سيء للتشبيه. بدلاً من ذلك، تقترح أن النموذج هو حساب صالح لما يشكل "تشبيهاً جيداً"، لكن البشر غالباً ما يفشلون في تنفيذه بسبب القيود المعرفية (الإتاحة، فشل الاسترجاع).
2. الملفات المعرفية للذكاء الاصطنا ضد البشر: توضح أن النماذج اللغبية أكثر اتساقاً في إنتاج تشبيهات تحافظ على العلاقة، بينما يظهر البشر "ذيلاً طويلاً" من الاستجابات الضعيفة والتشابهة محلياً.
3. الفصل بين التوليد والتقييم: تظهر الدراسة أن النماذج اللغبية تولد تشبيهات أفضل، لكنها تفعل ذلك دون الاعتماد بالضرورة على تمثيلات هندسية داخلية تحاكي فضاء GloV الخارجي.
4. تحليل الاستجابة النمطية: تقدم الورقة تفصيلاً نقدياً مفاده أن "ميزة النماذج اللغبية" هي إلى حد كبير نتاج لعدم الاتساق البشري (الذيل الطويل) وليس تفوق النماذج في تقديم "أفضل" إجابة ممكنة.

5. الأهمية

• العلوم المعرفية: تشير النتائج إلى أن "فشل" نموذج متوازي الأضلاع في الدراسات البشرية قد يكون فشلاً في إنتاج البشر للتشبيه وليس فشلاً في النموذج نفسه. البشر يفضلون التشبيهات المتسقة هندسياً لكنهم يكافحون لـ توليدها تحت الضغط المعرفي.
• تقييم الذكاء الاصطناعي: تسلط الضوء على قدرة النماذج اللغبية على محاكة الاستدلال العلاقي عالي الجودة حتى لو اختلفت آلياتهم الداخلية عن النماذج الهندسية المستخدمة لتقييمهم.
• الاتجاهات المستقبلية: تقترح الورقة أن دراسة أنظمة الذكاء الاصطناعي يمكن أن توفر رؤى جديدة حول الإدراك البشري، وتحديداً من خلال عزل الأداء العلاقي "المثالي" عن ضجيج القيود المعرفية البشرية.

باختاًصار، تجادل الورقة بأن النماذج اللغبية تولد تشبيهات أفضل لأنها تلبي باستمرار القيود العلاقاتية (متوازي الأضلاع) وتستخدم مفردات أقل إتاحة، بينما يميل البشر غالباً إلى استخدام كلمات أسهل وأكثر تشابهاً محلياً تفشل في اختبار العلاقة. يظل نموذج متوازي الأضلاع متنبئاً قوياً لـ حكم البشر على الجودة، حتى لو كان متنبئاً ضعيفاً لـ توليد البشر لها.