Do Foundation Models Know Geometry? Probing Frozen Features for Continuous Physical Measurement
تُثبت هذه الورقة أن سمات نماذج الرؤية واللغة المجمدة تحتوي على معلومات هندسية غنية ومستمرة تتفوق على المخرجات القائمة على النصوص بمقدار 3.3 ضعفًا، مما يكشف أن عنق الزجاجة في الدقة ينبع من أهداف التدريب والتوليد ذاتي الانحدار بدلاً من القيود التمثيلية، كما يتضح من خلال المسابير الخطية عالية الدقة والأداء المتسق عبر بنيات مشفرات متنوعة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك أمينة مكتبة بارعة ومتعددة اللغات تُدعى "النموذج التأسيسي" (Foundation Model). لقد قرأت هذه الأمينة كل كتاب في العالم، ويمكنها وصف صورة ليد بدقة متناهية. ومع ذلك، إذا سألتها: "ما هي الزاوية الدقيقة لهذا الإصبع؟" ستتلعثم. قد تقول: "إنه منحني قليلاً"، أو "ربما 20 درجة؟" بينما الإجابة الحقيقية هي 6 درجات. إنها سيئة للغاية في إعطائك الأرقام الدقيقة.
لكن هنا تكمن المفاجأة: الأمينة تعرف الإجابة تماماً. هي فقط لا تعرف كيف تقولها.
هذه الورقة البحثية، بعنوان "هل تعرف النماذج التأسيسية الهندسة؟"، تشبه قصة بوليسية حيث يثبت المؤلفون أن عقل الأمينة (ميزاتها "المجمدة" الداخلية) مليء بالبيانات الهندسية المثالية، لكن فمها (مولد النصوص) هو عنق الزجاجة.
إليك تفصيل اكتشافهم باستخدام تشبيهات بسيطة:
1. "العبقري الصامت" مقابل "الأحمق الثرثار"
اختبر الباحثون 14 نموذجاً مختلفاً من الذكاء الاصطناعي (الأمينات) في مهام مثل قياس زوايا اليد، ووضعيات الرأس، ومواقع الأشياء.
- مشكلة النص: عندما طلبوا من النماذج التحدث عن الزوايا، كانت الإجابات فوضوية. أفضل إجابة نصية كانت تنحرف بمقدار 20 درجة. الأمر يشبه سؤال نجار ماهر لتخمين طول لوح خشبي وهو مغمض العينين؛ قد يقتر-ب، لكنه سيكون مخطئاً.
- الحقيقة "الصامتة": قام الباحثون بعد ذلك بتجاوز الفم تماماً. قاموا بتوصيل أداة رياضية بسيطة وصغيرة (مسبار خطي - "linear probe") مباشرة في عقل النموذج. وفجأة، أعطى النموذج الإجابة بهامش خطأ قدره 6 درجات فقط.
- التشبيه: تخيل شخصاً يمكنه حل معادلة رياضية معقدة في ذهنه فوراً، لكنه لا يستطيع سوى التحدث بألغاز غامضة. إذا طلبت منه كتابتها، فسيفشل. ولكن إذا وضعت قلماً في يده مباشرة وتركته يكتب دون كلام، فسوف يصيب. المعرفة كانت موجودة طوال الوقت؛ المشكلة كانت في الكلام.
2. إصلاح "المترجم" (LoRA)
حاول المؤلفون إصلاح مشكلة "الفم". لم يعيدوا تدريب العقل العملاق بالكامل (وهو أمر مكلف وبطيء). بدلاً من ذلك، أضافوا مُعدِّلاً صغيراً وخفيف الوزن يُسمى LoRA.
- ماذا حدث: عمل هذا المُعدِّل الصغير كـ "مترجم متخصص". لقد علم النموذج كيفية توجيه البيانات الهندسية المثالية من عقله مباشرة إلى فمه دون فقدان أي تفاصيل.
- النتيجة: قفزت الإجابات النصية من انحراف قدره 20 درجة إلى 20 درجة فقط إلى 6.5 درجة. لقد أثبت ذلك أن النموذج لم يكن بحاجة لـ تعلم الهندسة؛ بل كان يحتاج فقط لتعلم كيفية الوصول إلى الهندسة التي يمتلكها بالفعل.
3. "طرق مختلفة لنفس الجبل"
أحد أكثر الاكتشافات إثارة للاهتمام يتعلق بالنماذج نفسها. اختبر الباحثون نماذج بُنيت بطرق مختلفة تماماً:
- بعضها تعلم من خلال مطابقة الصور بالكلمات (مثل CLIP).
- بعضها تعلم فقط من خلال النظر إلى الصور وتخمين ما سيأتي بعد ذلك (مثل DINOv2).
- بعضها بُني مثل الشبكات العصبية التلافيفية التقليدية (مثل ConvNeXt).
الاكتشاف: على الرغم من أن هذه النماذج تبدو مختلفة داخلياً (مثل سيارة فيراري، وشاحنة، ودراجة هوائية)، إلا أنها جميعاً انتهت بـ نفس المستوى من الدقة الهندسية عند اختبارها بالمسبار.
- التشبيه: تخيل خمسة متسلقين يسلكون خمسة مسارات مختلفة لصعود جبل. أحدهم يسلك طريقاً شديد الانحدار، والآخر طريقاً متعرجاً، والثالث يطير بطائرة بدون طيار. عندما يصلون إلى القمة، لديهم جميعاً نفس المنظر تماماً. تسمي الورقة هذا "التقارب الوظيفي دون التقارب التمثيلي". وباللغة البسيطة: أدمغة مختلفة، وتوصيلات مختلفة، لكنها جميعاً "ترى" شكل العالم بنفس الطريقة تماماً.
4. تأثير "تسليط الضوء"
وجدت الورقة أيضاً أن أين ينظر النموذج يهم.
- الصور الواسعة: إذا التقطت صورة لوجه في غرفة واسعة، يحتاج النموذج للتركيز على أجزاء محددة من الوجه للحصول على زاوية الرأس الصحيحة. إذا أزلت أجزاء الوجه، سيصاب النموذج بالارتباك.
- الصور الضيقة: إذا التقطت صورة لسيارة لعبة تملأ الإطار بالكامل، فلا يحتاج النموذج للتركيز على نقطة واحدة؛ فالهندسة موجودة في كل مكان.
- الدرس: انتباه النموذج يشبه تسليط الضوء. لبعض المهام، تحتاج لتحريك الضوء؛ ولأخرى، يجب أن تكون المنصة بأكملها مضاءة.
لماذا يهم هذا؟ (ما الفائدة؟)
قبل هذه الورقة، إذا كنت تريد من ذكاء اصطناعي قياس زوايا اليد لروبوت أو تطبيق طبي، كان عليك بناء ذكاء اصطناعي جديد ومتخصص ومكلف لتلك الوظيفة.
تقول هذه الورقة: "توقفوا عن بناء أدوات جديدة! الأداة موجودة بالفعل."
- يمكنك أخذ نموذج ذكاء اصطناٍ مسبق التدريب وضخم (تمتلكه الشركات بالفعل).
- أضف إليه "مسباراً" صغيراً ورخيصاً (حوالي 6,000 معلمة فقط — وهو رقم ضئيل مقارلة بالمليارات في النموذج الأساسي).
- وفجأة، يمكن لهذا النموذج الضخم قياس الأيدي، والرؤوس، والأشياء بدقة عالية.
الخلاصة
النماذج التأسيسية هي عباقرة هندسيون محاصرون في جسد يتحدث النصوص. إنهم يعرفون الزوايا الدقيقة لأصابعك ووضعية رأسك، لكنهم يكافحون للتعبير عن ذلك بصوت عالٍ. من خلال استخدام "مسبار" بسيط أو "مترجم" صغير (LoRA)، يمكننا إطلاق هذه القوة الخارقة الكامنة دون الحاجة لإعادة تدريب النظام بالكامل.
الأمر يشبه إدراك أن هاتفك الذكي يحتوي على جهاز ليزر لقياس الاستواء مدمج فيه، لكنك كنت تحاول استخدامه كمصباح يدوي طوال الوقت. كنت فقط بحاجة لقلب المفتاح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.