💬 NLP

Measuring Representation Robustness in Large Language Models for Geometry

تقدم هذه الورقة إطار عمل "GeoRepEval"، الذي يوضح أن النماذج اللغوية الكبيرة تظهر فجوات أداء كبيرة وإخفاقات مرتبطة بتمثيل البيانات في الاستدلال الهندسي — لا سيما مع الصيغ المتجهة — مما يكشف أن النماذج الحالية تعتمد على استدلالات سطحية بدلاً من فهم هندسي تجريدي متين.

المؤلفون الأصليون: Vedant Jawandhia, Yash Sinha, Murari Mandal, Ankan Pal, Dhruv Kumar

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Vedant Jawandhia, Yash Sinha, Murari Mandal, Ankan Pal, Dhruv Kumar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً عبقرياً يخوض اختباراً في الرياضيات. تسأله: "ما هي مساحة مثلث قاعدته 5 وارتفاعه 12؟" فيكتب بثقة "30". تسأله مرة أخرى، ولكن هذه المرة تصف له المثلث باستخدام خريطة شبكية (إحداثيات)، ولا يزال يحصل على "30". حتى الآن، كل شيء يسير على ما يرام.

لكن بعد ذلك، تسأله نفس السؤال باستخدام طريقة ثالثة: وصف المثلث عبر الأسهم والاتجاهات (المتجهات). فجأة، يرتبك الطالب، ويرتكب خطأً حسابياً، ويعطي إجابة خاطئة.

هذا بالضبط ما اكتشفته ورقة بحثية بعنوان "قياس متانة التمثيل في النماذج اللغوية الكبيرة للهندسة".

إليك تفصيل البحث بكلمات بسيطة:

1. المشكلة الجوهرية: "فخ الترجمة"

وجد الباحثون أن النماذج اللغوية الكبيرة (LLMs) تشبه الطلاب الذين يجيدون حفظ جمل محددة لكنهم سيئون جداً في فهم المفهوم الكامن وراءها.

في الهندسة، يمكن كتابة نفس المشكلة بثلاث "لغات" مختلفة:

اللغة الإقليدية: الطريقة الكلاسيكية ("ارسم مثلثاً بهذه الزوايا...").
لغة الإحداثيات: باستخدام رسم بياني X و Y ("النقطة A تقع عند (0,0)، والنقطة B عند...").
لغة المتجهات: باستخدام الأسهم والاتجاهات ("تحرك 3 وحدات يميناً، و4 وحدات للأعلى...").

تجادل الورقة البحثية بأنه إذا كان الذكاء الاصطناعي ذكياً حقاً، فلا ينبغي أن يهم أي "لغة" تستخدمها؛ فالإجابة يجب أن تكون واحدة. لكن الذكاء الاصطناعي فشل في هذا الاختبار. كان الأمر أشبه بطاهٍ يمكنه طهي قطعة لحم مثالية إذا قلت له "اشوِها"، ولكنه يحرقها إذا قلت له "حمّرها"، رغم أنها نفس قطعة اللحم تماماً.

2. التجربة: اختبار "GeoRepEval"

بنى الفريق ساحة اختبار خاصة تسمى GeoRepEval.

أخذوا 158 مسألة هندسية حقيقية من كتب مدرسية للمرحلة الثانوية.
ترجموا كل مسألة إلى اللغات الثلاث جميعها (الإقليدية، الإحداثيات، والمتجهات).
طلبوا من 11 نموذج ذكاء اصطناعي مختلفاً (بما في ذلك أسماء كبيرة مثل GPT وClaude وLLaMA) حل جميع المسائل.

النتيجة: كانت النماذج غير متسقة.

عندما سُئلت باللغة "الإقليدية"، كانت غالباً صحيحة.
عندما سُئلت بلغة "المتجهات"، انخفضت دقتها بشكل كبير—أحياناً بنسبة 14 نقطة مئوية.
بعض النماذج كانت هشة للغاية، حيث لم تحصل على الإجابة الصحيحة في اللغات الثلاث معاً إلا في أقل من 5% من الحالات.

3. تشبيه "الحلقة الأضعف"

قدم الباحثون مقياساً يسمى Invariance@3 (الثبات عند 3). فكر في الأمر كأنه سلسلة ذات ثلاث حلقات.

إذا أجاب الذكاء الاصطناعي بشكل صحيح في الإقليدية، والإحداثيات، والمتجهات، فإن السلسلة قوية.
إذا فشل في أي منها، تنكسر السلسلة.

وجدوا أن بالنسبة لمعظم النماذج، كانت حلقة "المتجهات" هي الحلقة الأضعف. كانت هي "كعب أخيل" (نقطة الضعف). استطاعت النماذج التعامل مع التنسيقين الآخرين بشكل جيد، ولكن بمجرد رؤية الأسهم ورموز المتجهات، تعثرت.

4. لماذا يحدث هذا؟ (السبب وراء النتيجة)

تقترح الورقة البحثية عدة أسباب تجعل الذكاء الاصطناعي يعاني مع المتجهات:

طول "الوصفة": حل مسألة باستخدام المتجهات يتطلب غالباً سلسلة أطول وأكثر تعقيداً من الخطوات الجبرية. الأمر يشبه طلب اتباع وصفة مكونة من 20 خطوة بدلاً من 5؛ فكلما زادت الخطوات، زاد احتمال نسيان "مكون" ما (وقوع خطأ رياضي).
انحياز التدريب: من المرجح أن الذكاء الاصطناعي تدرب على نصوص إنترنت أكثر حول الهندسة القياسية (الإقليدية) وأقل حول رياضيات المتجهات المتقدمة. إنه يشبه طالباً قرأ 1000 كتاب عن كرة القاعدة (البيسبول) و10 كتب فقط عن الكريكت؛ سيلعب البيسبول بشكل أفضل، حتى لو كانت القواعد متشابهة.
الرياضيات الهشة: يبدو أن النماذج تعتمد على "قوالب" رأتها من قبل. عندما يتغير التنسيق إلى المتجهات، لا يناسب القالب، فيحاول النموذج فرض القالب القدود، مما يؤدي إلى أخطاء.

5. الحل السحري: "ترجم أولاً"

الجزء الأكثر إثارة للاهتمام في الورقة هو الحل الذي اختبروه. جربوا خدعة تسمى "التحويل ثم الحل" (Convert-Then-Solve).

بدلاً من طلب حل مسألة المتجهات مباشرة من الذكاء الاصطناعي، طلبوا منه:

أولاً: "ترجم مسألة المتجهات هذه إلى مسألة إقليدية قياسية".
ثانياً: "الآن، حل المسألة الإقليدية".

النتيجة: كانت هذه الخدعة البسيطة بمثابة تغيير جذري للنماذج الأكثر ذكاءً.

بالنسبة للنماذج ذات القدرة العالية، قفزت الدقة في مسائل المتجهات بنسبة تصل إلى 52 نقطة مئوية.
أثبت هذا أن الذكاء الاصطناعي يعرف بالفعل كيفية حل المسألة؛ لكنه فقط لم يستطع التعامل مع تنسيق "المتجهات" مباشرة. كان بحاجة إلى مترجم.

ومع ذلك، بالنسبة للنماذج الأصغر والأضعف، لم تنجح هذه الخدعة. ظلت تفشل، مما يشير إلى أنها تفتقر إلى قدرة الاستنتاج الأساسية، وليس مجرد مهارة الترجمة.

الخلاصة الكبرى

تعلمنا هذه الورقة البحثية أن الدرجات العالية في الاختبارات القياسية لا تعني أن الذكاء الاصطناعي "ذكي" حقاً.

إذا كان بإمكان الذكاء الاصطناعي حل مسألة رياضية بتنسيق واحد ولكنه يفشل في تنسيق آخر، فهو لا يقوم باستنتاج عميق؛ بل هو فقط يتعرف على الأنماط. إنه يشبه الببغاء الذي يمكنه قول "أنا أحب الرياضيات" لكنه لا يفهم الرياضيات فعلياً.

بالنسبل للمستقبل، نحن بحاجة لاختبار الذكاء الاصطناعي ليس فقط بناءً على ما إذا كان يحصل على الإجابة الصحيحة، بل على مدى اتساقه عندما نغير طريقة طرح السؤال. إذا أردنا للذكاء الاصطناعي أن يكون موثوقاً في العالم الحقيقي (حيث تأتي المشكلات بأشكال وأحجام مختلفة)، فنحن بحاجة إلى إصلاح ضعف "الترجمة" هذا.

1. بيان المشكلة

بينما أظهرت النماذج اللغوية الكبيرة (LLMs) كفاءة متزايدة في الاستدلال الرياضي، إلا أن متانة تمثيل المسائل المتكافئة تظل غير مفهومة بشكل كافٍ. في الهندسة، يمكن التعبير عن مسألة واحدة في ثلاث صيغ متميزة ولكنها متطابقة دلاليًا:

الإقليدية (Euclidean): أوصاف لفظية/علاقية (مثل: "المثلث ABC أضلاعه...").
الإحداثية (Coordinate): صياغات المستوى الكارتيزي (مثل: "النقاط A(0,0)، B(3,4)...").
المتجهية (Vector): عمليات الضرب القياسي/الضرب الاتجاهي (مثل: "بفرض أن المتجهين $\vec{u}$ و $\vec{v}$ ...").

تقوم المعايير المرجعية الحالية عادةً بتقييم النماذج بناءً على تنسيقات ثابتة، مما يفترض ضمنيًا ثبات التمثيل (representation invariance). وهذا يحجب حالات الفشل حيث يحل النموذج مسألة في تنسيق واحد ويفشل في تنسيق آخر بسبب الاعتماد على استدلالات (heuristics) خاصة بالتمثيل بدلاً من الاستدلال الهندسي المجرد. تعالج الورقة البحثية الفجوة في فهم ما إذا كانت النماذج اللغوية الكبيرة تمتلك استدلالًا هندسيًا حقيقيًا أم أنها مجرد مطابقة للأنماط (pattern-matching) لهياكل تركيبية محددة.

2. المنهجية: إطار عمل GeoRepEval

يقترح المؤلفون GeoRepEval، وهو إطار عمل لتقييم الوعي بالتمثيل مصمم لقياس الصحة، والثبات، والاتساق عبر صياغات المسائل المتوازية.

أ. بناء مجموعة البيانات

المصدر: 158 مسألة هندسية أساسية من المرحلة الثانوية تم اختيارها من الكتب المدرسية الهندية القياسية (NCERT، RD Sharma، RS Aggarwal).
التوليد المتوازي: تم إنشاء ثلاث متغيرات متكافئة رياضيًا (إقليدية، إحداثية، متجهية) لكل مسألة باستخدام Gemini Pro، متبوعًا بالتحقق اليدوي من قبل خبراء رياضيات لضمان التكافؤ الدلالي وتفرد الإجابة.
النطاق: تتكون مجموعة البيانات النهائية من 474 حالة (158 مسألة $\times$ 3 تمثيلات).

ب. مقايسات التقييم

يقدم إطار العمل مقياسين جديدين من الرتب العليا إلى جانب الدقة القياسية:

الثبات عند 3 (Invariance@3): نسبة المسائل التي تم حلها بشكل صحيح في الثلاثة تمثيلات في آن واحد.
- خاصية: هي محدودة بأقل دقة بين التمثيلات الثلاثة ( $Invariance@3 \le \min(Acc_{euc}, Acc_{coord}, Acc_{vec})$ ).
الاتساق عند 3 (Consistency@3): نسبة المسائل التي ينتج فيها النموذج مخرجًا متطابقًا عبر التمثيلات الثلاثة (بغض النظر عما إذا كانت الإجابة صحيحة أم لا).
- خاصية: $Consistency@3 \ge Invariance@3$ . تشير الفجوة بينهما إلى وجود أخطاء منهجية (نفس الإجابة الخاطئة) بدلاً من الحساسية تجاه التمثيل.
تحليل أنماط الفشل: يتم تصنيف المسائل حسب أنماط الصحة (مثل CCW: صحيح في الإقليدي/الإحداثي، خاطئ في المتجهي) لتحديد أنماط فشل محددة.

ج. الصرامة الإحصائية

الضوابط: تجري تحليلات الانحدار للتحكم في السمات السطحية مثل طول الرموز (tokens) والكثافة الرمزية.
الاختبار: يستخدم فترات الثقة لأسلوب "bootstrap" (10,000 إعادة عينة) واختبارات McNemar المزدوجة لتأكيد الأهمية الإحصائية للفجوات الملحوظة.

3. المساهمات الرئيسية

إطار عمل GeoRepEval: خط تقييم قائم على أسس إحصائية مع مقاييس مبررة رسميًا تربط الثبات والاتساق بالدقة القياسية.
المعيار المرجعي المتوازي: أول مجموعة بيانات توفر 158 مسألة هندسية أساسية في ثلاثة تمثيلات متكافئة دلاليًا، مما يسمح باختبار الثبات على مستوى المسألة.
دليل تجريبي على الهشاشة: يثبت وجود فجوات في الدقة تصل إلى 14 نقطة مئوية ناتجة فقط عن اختيار التمثيل، مع كون التمثيلات المتجهية هي نقطة الفشل الأساسية.
تحليل التدخل: يقدم استراتيجية التلقين "التحويل ثم الحل" (Convert-then-Solve - CTS)، والتي تظهر أن النماذج عالية القدرة يمكنها تحقيق دقة شبه مثالية في المتجهات إذا تم تلقينها أولاً لتحويل المسألة إلى الصيغة الإقليدية.

4. النتائج الرئيسية

قيمت الدراسة 11 نموذجًا لغويًا كبيرًا (تتراوح من 7 مليار إلى 20 مليار معلمة، بما في ذلك النماذج مفتوحة الأوزان والنماذج المملوكة مثل LLaMA وGPT وClaude وGemini).

تحيز التمثيل: حققت الصيغ الإقليدية باستمرار أعلى دقة، بينما كانت الصيغ المتجهية هي نقطة الفشل المهيمنة.
- مثال: حقق Claude-Haiku دقة بنسبة 60% في الصيغة الإقليدية ولكن 46% فقط في الصيغة المتجهية (فجوة 14 نقطة مئوية).
- الأداء المنخفض: حقق LLaMA-3.1-8B ثباتًا عند 3 (Invariance@3) بنسبة 0.044 فقط، مما يعني أن أقل من 5% من المسائل تم حلها بشكل صحيح عبر الأشكال الثلاثة.
أنماط الفشل: كان نمط CCW (صحيح في الإقليدي/الإحداثي، خاطئ في المتجهي) أكثر تكرارًا بمعدل 2-5 مرات من نمط WCC (خاطئ في الإقليدي/الإحداثي، صحيح في المتجهي). يشير هذا إلى أن النماذج تطبق قوالب الاستدلال الإقليدي بسلاسة ولكنها تعاني مع السلاسل الإجرائية للمتجهات.
الأهمية الإحصائية: كانت فجوات الدقة بين التمثيل الإقليدي والمتجهي ذات دلالة إحصائية ( $p < 0.05$ ) لـ 8 من أصل 11 نموذجًا، حتى بعد التحكم في طول التلقين والتعقيد الرمزي.
تدخل "التحويل ثم الحل" (CTS):
- النماذج عالية/متوسطة القدرة: حسن CTS دقة المتجهات بما يصل إلى 52 نقطة مئوية (على سبيل المثال، انتقل Gemini-2.5-Flash من 45% إلى 97%). يشير هذا إلى أن إخفاقاتها تعود إلى الحساسية تجاه التمثيل، وليس نقصًا في قدرة الاستدلال.
- النماذج منخفضة القدرة: لم تظهر نماذج مثل LLaMA-3.1-8B أي مكسب معنوي مع CTS، مما يشير إلى قيود أعمق في الاستدلال لا يمكن للتلقين إصلاحها.

5. الأهمية والآثار المترتبة

الاستدلالات مقابل الاستدلال: تشير النتائج إلى أن النماذج اللغوية الكبيرة الحالية تعتمد بشكل كبير على استدلالات خاصة بالتمثيل (يُرجح أنها مستمدة من توزيعات بيانات التدريب حيث تكون الصيغ الإقليدية/الإحداثية أكثر شيوعًا) بدلاً من الاستدلال الهندسي المجرد.
محدودية المعايير المرجعية: المعايير المرجعية ذات التنسيق الواحد غير كافية لتقييم قدرات الاستدلال الحقيقية؛ إذ يمكن للنموذج أن يبدو متينًا بينما يفشل في التغييرات المتكافلة دلاليًا.
السلامة والموثوقية: بالنسبة للتطبيقات الحرجة للسلامة، فإن اختيار التمثيل يؤثر جوهريًا على الموثوقية. يوفر GeoRepEval أداة لتشخيص هذه المخاطر.
الاتجاهات المستقبلية: تسلط الورقة الضوء على الحاجة إلى تدخلات أثناء مرحلة التدريب لتحسين متانة التمثيل، وتقترح توسيع هذا الإطار ليشمل مجالات رياضية واستراتيجيات استدلال أخرى (مثل سلسلة الأفكام - Chain-of-Thought).

في الختام، تؤكد الورقة أن ثبات التمثيل هو معيار مرجعي حرج وغير ملبى للنماذج اللغوية الكبيرة. وبينما تمتلك النماذج عالية القدرة القدرة الكامنة على الاستدلال، فإنها تفشل في الوصول إليها باستمرار عبر مختلف الصياغات الرياضية دون تدخلات تلقين محددة.