🤖 machine learning

LanteRn: Latent Visual Structured Reasoning

يُعد LanteRn إطار عمل مبتكر يعزز قدرات الاستدلال البصري للنماذج متعددة الوسائط الكبيرة من خلال تمكينها من دمج اللغة مع تمثيلات بصرية كامنة، مدمجة ومستمرة، مما يتجنب قيود الأوصاف المقتصرة على النصوص وعدم كفاءة الاستدلال المباشر في فضاء البكسل.

المؤلفون الأصليون: André G. Viveiros, Nuno Gonçalves, Matthias Lindemann, André Martins

نُشر 2026-03-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: André G. Viveiros, Nuno Gonçalves, Matthias Lindemann, André Martins

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث LanteRn، مترجم إلى لغة عربية بسيطة وسهلة الاستخدام مع بعض التشبيهات الإبداعية.

🏮 الفكرة الكبرى: "التفكير بالصور" مقابل "التحدث عن الصور"

تخيل أنك تنظر إلى خريطة معقدة وتحاول شرح مسار ما لصديق عبر الهاتف.

الذكاء الاصطناعي الحالي ("المتحدث"): معظم نماذج الذكاء الاصطناعي الكبيرة اليوم تشبه الأشخاص الذين يتعين عليهم وصف الخريطة بالكلمات فقط. ينظرون إلى الصورة، ثم يترجمونها إلى خطاب طويل ومفصل ("هناك منزل أحمر على اليسار، ثم سيارة زرقاء، ثم شجرة...")، ثم يحاولون حل المشكلة باستخدام هذا الخطاب فقط. هذه الطريقة بطيئة، غير متسقة، وغالبًا ما تفقد التفاصيل المهمة (مثل تحديد مكان السيارة بدقة بالنسبة للشجرة).
LanteRn ("المفكر"): يعلم إطار عمل LanteRn الذكاء الاصطناعي القيام بشيء مختلف. بدلاً من إجبار كل فكرة على التحول إلى كلمات، فإنه يسمح للذكاء الاصطناعي بامتلاك "أفكار صور صامتة". يمكنه التوقف، والاحتفاظ بصورة ذهنية للخريطة في "عين عقله"، والتفكير في العلاقات المكانية في تلك الصورة، ثم ينطق بالإجابة.

تسمي الورقة البحثية هذه الأفكار الصامتة "التمثيلات البصرية الكامنة" (Latent Visual Representations). فكر فيها كأنها لقطات ذهنية مضغوطة وعالية الدقة يحتفظ بها الذكاء الاصطناعي لنفسه أثناء عملية التفكير.

🛠 كيف يعمل: التدريب على مرحلتين

لم يقم الباحثون بمجرد تفعيل هذه الميزة؛ بل كان عليهم تعليم الذكاء الاصطناعي كيفية استخدامها. وقد فعلوا ذلك في خطوتين، تمامًا مثل تدريب الرياضيين.

المرحلة الأولى: مرحلة "التقليد" (الضبط الدقيق الخاضع للإشراف)

الهدف: تعليم الذكاء الاصطناعي كيفية إنشاء هذه اللقطات الذهنية.
التشبيه: تخيل طالبًا يتعلم الرسم. يظهر له المعلم صورة لقطة ويقول له: "انظر إلى أذن القطة. الآن، أغمض عينيك واحتفظ بصورة ذهنية مثالية لتلك الأذن في عقلك".
كيف فعلوا ذلك: استخدم الباحثون ذكاءً اصطناعيًا "معلمًا" (مشفر رؤية - vision encoder) ليُظهر للطالب (الذكاء الاصطناعي المتعلم) شكل الصورة الذهنية بالضبط لأجزاء معينة من الصورة. تعلم الطالب الذكاء الاصطناعي توليد هذه "متجهات الأفكار" الداخلية التي تطابق البيانات البصرية للمعلم.
النتيجة: تعلم الذكاء الاصطناعي "رؤية" وحمل المعلومات البصرية داخليًا، لكنه كان مجرد مقلد لما قيل له. كان جيدًا في تذكر الصورة، لكنه ربما لم يكن جيدًا بعد في استخدام تلك الذاكرة لحل الألغاز الصعبة.

المرحلة الثانية: مرحلة "المدرب" (التعلم التعزيزي)

الهدف: تعليم الذكاء الاصطناعي استخدام تلك اللقطات الذهنية للفوز باللعبة فعليًا.
التشبيه: الآن، الطالب في منافسة. المدرب (نظام المكافأة) لا يهتم إذا كانت الصورة الذهنية نسخة مثالية من الصورة الأصلية، بل يهتم فقط بـ: "هل حصلت على الإجابة الصحيحة؟"
كيف فعلوا ذلك: يُعطى الذكاء الاصطناعي مشكلة. إذا استخدم "أفكاره الصورية الصامتة" للوصول إلى الإجابة الصحيحة، يحصل على "نجمة ذهبية" (مكافأة). أما إذا ظل يتحدث في حلقات مفرغة وأخطأ في الإجابة، فلا يحصل على أي نجمة.
النتيجة: تعلم الذكاء الاصطناعي أن هذه الأفكار الصورية الصامتة هي أدوات قوية. بدأ يستخدمها بشكل استراتيجي؛ فقد يقرر: "لا أحتاج لوصف السماء بأكملة بالكلمات، سأكتفي بالاحتفاظ بملاحظة ذهنية لشكل السحابة لمساعدتي في العثور على الطائر". هذا يجعل التفكير أكثر كفاءة ودقة.

🧪 النتائج: لماذا يهم هذا الأمر؟

اختبر الباحثون LanteRn في ثلاثة ألغاز بصرية صعبة (اختبارات مثل VisCoT و V ⋆ و Blink). تتطلب هذه الاختبارات من الذكاء الاصطناعي فهم التفاصيل الدقيقة، مثل "أي جسم يقع خلف الآخر؟" أو "أين تقف الدراجة بالضبط؟".

الطريقة القديمة: عانى الذكاء الاصطناعي لأن ترجمة الفضاء ثلاثي الأبعاد إلى نص ثنائي الأبعاد تشبه محاولة وصف منحوتة ثلاثية الأبعاد باستخدام رسم تخطيطي مسطح فقط؛ لذا كان يضيع غالبًا.
طريقة LanteRn: من خلال الاحتفاظ بـ "المنحوتة ثلاثية الأبعاد" في عقله (الفضاء الكامن) أثناء التفكير، حل الذكاء الاصطناعي هذه الألغاز بشكل أفضل بكثير.
- أصبح أفضل في تحديد موقع الأشياء (معرفة مكان الأشياء بدقة).
- أصبح أفضل في الموقع النسبي (فهم ما هو أمام أو خلف الشيء الآخر).

💡 الخلاصة

LanteRn هو طفرة لأنه يتوقف عن إجبار الذكاء الاصطناعي على "ترجمة" رؤيته إلى كلمات قبل أن يفكر. بدلاً من ذلك، يسمح للذكاء الاصطناعي بالتفكير بالصور ولا يتحدث إلا عندما يصل إلى الإجابة النهائية.

قبل: انظر إلى الصورة $\leftarrow$ ترجم إلى نص $\leftarrow$ فكر بالنص $\leftarrow$ أجب.
LanteRn: انظر إلى الصورة $\leftarrow$ فكر بالصور $\leftarrow$ ترجم إلى نص $\leftarrow$ أجب.

هذا يجعل الذكاء الاصطناعي أكثر ذكاءً، وأسرع، وأفضل بكثير في المهام التي تتطلب فهم العالم المادي، وكل ذلك دون الحاجة لبناء كمبيوتر ضخم ومكلف. الأمر يشبه منح الذكاء الاصطناعي "نظارات ذهنية" تسمح له برؤية الحل بوضوح قبل أن يفتح فمه ليتحدث.

إليك ملخص تقني مفصل لورقة البحث بعنوان "LanteRn: Latent Visual Structured Reasoning".

1. بيان المشكلة

تتفوق النماذج اللغوية متعددة الوسائط الكبيرة (LMMs) الحالية في المهام اللغوية، لكنها تعاني في التفكير البصري دقيق التفاصيل. يكمن القصور الأساسي في أن معظم هذه النماذج تعمل وفق نظام "التفكير حول الصور": حيث تقوم بترميز المدخلات البصرية مرة واحدة ثم تجري جميع عمليات التفكير اللاحقة بالكامل عبر النص. وهذا يجبر المعلومات الإدراكية عالية الأبعاد على الدخول في وسيط رمزي منخفض النطاق الترددي، مما يتسبب في فقدان التفاصيل المكانية والهيكلية.

تحاول المحاولات الحالية لحل هذه المشكلة ("التفكير باستخدام الصور") معالجة الأمر عبر فئتين لهما عيوب كبيرة:

الأساليب القائمة على الأدوات: تعتمد على وحدات خارجية (مثل القص أو اكتشاف الأشياء)، مما يؤدي إلى تكاليف حوسبة إضافية ويحد من المرونة بسبب الارتباط بأدوات محددة مسبقًا.
توليد فضاء البكسل: توليد صور وسيطة أثناء عملية التفكير، وهو أمر غير فعال حوسبيًا لأنه يركز على التفاصيل الواقعية للصورة والتي قد لا تكون ذات صلة بالمهمة.

يقدم LanteRn حلاً لهذه المشكلات عبر اقتراح إطار عمل يتم فيه التفكير مباشرة في الفضاء الكامن (Latent Space)، من خلال دمج "أفكار" بصرية مستمرة وموجزة مع النص، متجنبًا بذلك كل من الأدوات الخارجية وتوليد الصور الصريح.

2. المنهجية: إطار عمل LanteRn

يعمل LanteRn على تعزيز نموذج محول رؤية-لغة (مبني على Qwen2.5-VL) لتوليد والاهتمام بالتمثيلات البصرية الكامنة المستمرة أثناء الاستدلال. يعمل النموذج ضمن مسار هجين من الرموز النصية المنفصلة والمتجهات الكامنة المستمرة.

البنية الأساسية

رموز التحكم: تم توسيع المفردات بإضافة ثلاثة رموز خاصة: <|lvr_start|>، و <|lvr_sep|>، و <|lvr_end|>.
الأنماط المزدوجة:
1. نمط النص: التوليد الذاتي القياسي للرموز النصية.
2. نمط الكامن البصري: عند توليد <|lvr_start|>، يتجاوز النموذج رأس نمذجة اللغة لعدد $K$ من الخطوات، ليخرج حالات مخفية غير مسقطة ( $z_t \in \mathbb{R}^d$ ) ككتلة من تمثيلات "التفكير" الكامنة. ثم يعود إلى نمط النص بعد <|lvr_end|>.

خط أنابيب التدريب ثنائي المراحل

يتم تدريب النموذج في مرحلتين متمايزتين: الأولى لترسيخ التمثيلات، والثانية لتحسين الفائدة للمهمة.

المرحلة الأولى: الضبط الدقيق الخاضع للإشراف (SFT)

الهدف: ترسيخ الحالات الكامنة في السمات البصرية.
إشارة المعلم: يستخدم مشفر الرؤية الخاص بالنموذج كمعلم. بالنسبة لخطوات الاستدلال التي تشير إلى مناطق صور محددة (صناديق الإحاطة)، يستخرج مشفر الرؤية خرائط السمات.
توليد الهدف: يتم تجميع هذه السمات لإنشاء تسلسل كامن مستهدف ( $Z_{target}$ ).
دالة الخسارة: هدف هجين يجمع بين:
- خسارة النص ( $L_{text}$ ): معيار التقاطع المتقاطع القياسي للتنبؤ بالرموز.
- خسارة المحاذاة الكامنة ( $L_{latent}$ ): متوسط مربع الخطأ (MSE) بين المتجهات الكامنة المولدة وسمات مشفر الرؤية المجمعة.
النتيجة: يتعلم النموذج "تخيل" المحتوى البصري في الفضاء الكامن، مما يعيد بناء السمات الرئيسية دون الحاجة للتعبير عنها لفظيًا.

المرحلة الثانية: التعلم التعزيزي (RL)

الهدف: محاذاة الاستدلال الكامن مع المنفعة على مستوى المهمة (صحة الإجابة) بدلاً من مجرد الدقة البصرية.
الخوارزمية: تحسين السياسة النسبي الجماعي (GRPO).
التحدي: المتجهات الكامنة مستمرة، مما يجعل تدرجات السياسة القياسية صعبة.
الحل (إعادة تشغيل الحالة الكامنة - Latent State Replay): أثناء تحديثات السياسة، يشترط النموذج على المتجهات الكامنة الدقيقة التي تم توليدها خلال مرحلة التمرير (rollout). هذا يعمل على استقرار نسبة أخذ العينات الهامة مع السماح بتدفق التدرجات عائدًا إلى معاملات توليد الكوامن.
تصميم المكافأة:
- مكافأة الدقة ( $R_{acc}$ ): مكافأة ثنائية للإجابات النهائية الصحيحة.
- مكافأة التنسيق ( $R_{fmt}$ ): تشجع على الاستخدام الصحيح للفواصل والكتل الكامنة لمنع الانهيار إلى التفكير النصي الصرف.

3. المساهمات الرئيسية

إطار عمل مبتكر: تقديم LanteRn، وهو أول إطار عمل يمكّن النماذج اللغوية متعددة الوسائط من دمج التمثيلات البصرية الكامنة الموجزة مع النص من أجل الاستدلال المهيكل، متجنبًا التكلفة الحوسبية لتوليد فضاء البكسل.
استراتيجية تدريب هجينة: نهج ثنائي المراحل (SFT للترسيخ البصري + RL للمحاذاة مع المهمة) ينقل النموذج من إعادة بناء السمات البصرية إلى توليد أفكار بصرية داخلية مجردة ومهمة للعملية.
إعادة تشغيل الحالة الكامنة (Latent State Replay): ابتكار تقني في التعلم التعزيزي لمساحات العمل الهجينة (النص المنفصل + المتجهات المستمرة) يعمل على استقرار التدريب عبر تثبيت مسار الكامن أثناء تحديثات السياسة.
الكفاءة: يثبت أن التمثيلات الكامنة الداخلية يمكن أن تحقق أداءً عاليًا في مهام الاستدلال البصري دون الحاجة إلى توسيع ضخم للنماذج أو استدعاء أدوات خارجية.

4. النتائج التجريبية

تم تقييم النموذج على ثلاث معايير تركز على الإدراك: VisCoT، و V ⋆، و Blink.

نتائج SFT:
- تفوقت متغيرات LanteRn على نموذج Qwen2.5-VL-3B الأساسي.
- لوحظت تحسينات كبيرة في المهارات المرتكزة على الإدراك (على سبيل المثال، تحديد موقع الأشياء في BlinkOL ارتفع من 0.48 إلى 0.52).
- ومع ذلك، لم يتحسن الأداء في الاستدلال العلاقاتي المعقد بشكل ثابت مقارنة بالنماذج التي تعتمد على النص فقط، مما يشير إلى أن SFT وحده غير كافٍ للاستدلال عالي المستوى.
- دراسة الاستبعاد (Ablation): لم تؤدِ أحجام الكتل الكامنة الأكبر ( $K$ ) دائمًا إلى نتائج أفضل، مما يشير إلى وجود مقايضة بين السعة والقدرة على الاستدضاء الفعال.
نتائج RL:
- أدى تطبيق RL فوق مرحلة SFT (تحديدًا لمتغير $K=8$ ) إلى تحسينات ثابتة عبر جميع المعايير.
- المكاسب الرئيسية:
  - BlinkRP (الموقع النسبي): تحسن من 0.68 (SFT) إلى 0.81 (RL)، متجاوزًا النموذج المرجعي المعتمد على النص فقط.
  - V ⋆ RP: تحسن من 0.57 إلى 0.67.
- نجحت مرحلة RL في نقل التمثيلات الكامنة للنموذج من مجرد إعادة بناء بصري إلى استدلال داخلي مدفوع بالمهمة.
- حقق LanteRn-RL أداءً يضاهي نماذج 7B الأكبر حجمًا في عدة معايلم رغم استخدامه لأساس 3B، مما يسلط الض الضوء على كفاءته الحوسبية.

5. الأهمية والخاتمة

يمثل LanteRn تحولًا كبيرًا في الاستدلال متعدد الوسائط من "التعبير اللفظي عن الإدراك" إلى "التفكير باستخدام الكوامن البصرية". ومن خلال تمكين النماذج من معالجة التمثيلات البصرية المستمرة داخليًا، فإنه يتغلب على قيود النطاق الترددي للاستدلال القائم على النص دون الحاجة إلى عدم كفاءة توليد الصور الوسيطة.

يظهر هذا العمل أن التعلم التعزيزي (Reinforcement Learning) أمر بالغ الأهمية لإطلاق الإمكانات الكاملة للاستدلال الكامن، حيث يحول الحالات الداخلية للنموذج من إعادة بناء سمات سلبية إلى أدوات نشطة لحل المشكلات مدفوعة بالمنفعة. يقدم هذا النهج مسارًا واعدًا وفعالًا حوسبيًا نحو أنظمة ذكاء اصطناعي متعددة الوسائط أكثر قدرة وإدراكًا للمكان.

القيود والعمل المستقبلي:

الاعتماد الحالي على نطاقات بصرية ضيقة لتدريب المسارات.
استخدام كتل كامنة ثابتة الحجم؛ يجب أن يستكشف العمل المستقبلي كتلًا متغيرة الحجم تتكيف مع تعقيد المهمة.
الحاجة إلى تصور أفضل وفهم أعمق للتبعية الكامنة.