🤖 AI

PRTS: A Primitive Reasoning and Tasking System via Contrastive Representations

إن PRTS هو نموذج تأسيسي للرؤية واللغة والعمل يعيد صياغة ما قبل التدريب كتعلم تعزيزي مشروط بالهدف باستخدام تمثيلات تباينية لتعلم الوعي الذاتي بالوصول إلى الأهداف من المسارات غير المتصلة، مما يحسن بشكل كبير الأداء الروبوتي في المهام طويلة الأمد، والغنية بالتلامس، والمهام الصفرية مقارنة بنسخ السلوك التقليدي.

المؤلفون الأصليون: Yang Zhang, Jiangyuan Zhao, Chenyou Fan, Fangzheng Yan, Tian Li, Haitong Tang, Sen Fu, Xuan'er Wu, Qizhen Weng, Weinan Zhang, Xiu Li, Chi Zhang, Chenjia Bai, Xuelong Li

نُشر 2026-05-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yang Zhang, Jiangyuan Zhao, Chenyou Fan, Fangzheng Yan, Tian Li, Haitong Tang, Sen Fu, Xuan'er Wu, Qizhen Weng, Weinan Zhang, Xiu Li, Chi Zhang, Chenjia Bai, Xuelong Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا القيام بالأعمال المنزلية. تتعلم معظم الروبوتات الحالية عن طريق المحاكاة: فهي تشاهد فيديو لإنسان يقوم بمهمة ما (مثل التقاط كوب) وتحاول تقليد الحركات الدقيقة التي رأتها. هذا يشبه طالبًا يحفظ رقصة عن ظهر قلب؛ إذا تغيرت الموسيقى، أو انطفأت الأنوار، أو تحرك الراقص إلى مكان مختلف، يصاب الطالب بالارتباك ويتوقف عن الرقص. هو يعرف كيف يتحرك، لكنه لا يفهم حقًا لماذا يتحرك أو إلى أين يتجه.

تقدم ورقة بحثية نظام PRTS (نظام الاستدلال الأولي والمهام)، وهو نوع جديد من عقول الروبوتات التي تتعلم بشكل مختلف. فبدلاً من مجرد نسخ الحركات، يتعلم PRTS فهم الأهداف والتقدم.

إليك تفصيل لكيفية عمله، باستخدام تشبيهات بسيطة:

1. المشكلة: "الروبوت الذي يحفظ فقط"

الروبوتات الحالية تشبه الممثلين الذين حفظوا نصًا مسرحيًا. إذا قال النص "التقط الكوب الأحمر"، سيفعل ذلك. ولكن إذا طلبت منهم "التقط الكوب الأزرق" (حتى لو كانوا قد رأوا كوبًا أزرقًا من قبل)، أو إذا كان الكوب في مكان غريب، فإنهم غالبًا ما يفشلون. إنهم يفتقرون إلى الحس بالاتجاه. هم لا يعرفون ما إذا كانوا يقتربون من الهدف أم يبتعدون عنه.

2. الحل: "البوصلة" (التعلم التعزيزي التبايني)

يضيف PRTS "بوصلة" إلى عقل الروبوت. فهو يستخدم تقنية تسمى التعلم التعزيزي التبايني.

التشبيه: تخيل أنك في غابة مظلمة تحاول العثور على نار مخيم (الهدف).
- الروبوتات القديمة: هي فقط تتذكر المسار الذي سلكته في المرة الماضية. إذا تحركت الأشجار، تضيع.
- PRTS: يتعلم أن يسأل نفسه: "إذا اتخذت هذه الخطوة، هل أبدو وكأنني أقترب من النار؟" هو لا يحتاج إلى خريطة أو معلم ليخبره "أحسنت!" في كل خطوة. بدلاً من ذلك، يتعلم من خلال المقارنة بين شيئين:
  1. "إذا قمت بهذا الإجراء، هل يبدو الأمر وكأنني أتجه نحو الهدف؟" (نعم/جيد).
  2. "إذا قمت بهذا الإجراء الآخر، هل يبدو الأمر وكأنني أتجه نحو هدف مختلف؟" (لا/سيء).

من خلال القيام بذلك ملايين المرات، يبني الروبوت خريطة داخلية حيث يتم تقييم كل إجراء بناءً على مدى احتمالية وصوله إلى الهدف المحدد الذي أعطيته إياه بالكلمات.

3. الخدعة السحرية: فعل شيئين في وقت واحد

عادةً، تعليم الروبوت "فهم الأهداف" وتعليم "تحريك ذراعيه" هما فصلان دراسيان منفصلان. أنت تعلم العقل، ثم تعلم العضلات. وهذا أمر بطيء ومكلف.

PRTS ذكي لأنه يتعلم كليهما في نفس الوقت في حصة واحدة.

التشبيه: تخيل طالبًا يخضع لاختبار حيث يتعين عليه كتابة مقال (الإجراء) وأيضًا حل مسألة رياضية (الهدف) على نفس الورقة.
يقوم PRTS بذلك عن طريق إضافة "ملاحظات لاصقة" صغيرة وغير مرئية إلى مدخلات الروبوت. إحدى الملاحظات تتبع الإجراء، والأخرى تتبع الهدف.
يعالج عقل الروبوت المشهد بأكمله، ويكتب الإجراء، وفي الوقت نفسه يتحقق من "المسألة الرياضية" (هل هذا الإجراء يقربني من الهدف؟) دون أن يتباطأ. إنه فعال للغاية لدرجة أن استهلاك طاقة الكمبيوتر يكاد يكون مماثلاً للطرق القديمة والأبسط.

4. النتائج: الروبوت الذي يستطيع "التفكير"

اختبر المؤلفون نظام PRTS في عمليات محاكاة وعلى روبوتات حقيقية (بذراعين وذراع واحدة). إليك ما حدث:

اختبار "المدى الطويل": عندما طُلب منه القيام بسلسلة طويلة من المهام (مثل "صنع الشاي"، والتي تتضمن غلي الماء، وإحضار كوب، وإضافة الشاي، إلخ)، لم يضل PRTS طريقه في منتصف الطريق. بل استمر في التحقق من "بوصلته" لضمان بقائه على المسار الصحيح.
اختبار "التعليمات الجديدة": إذا قلت للروبوت "التقط المكعب الأزرق" بدلاً من الأحمر الذي تدرب عليه، فإنه يستوعب الأمر فورًا. لم يكتفِ بحفظ "التقط الجسم عند الموضع X"؛ بل فهم "التقط الجسم الذي يطابق كلمة 'أزرق'".
اختبار "مقاطعة الإنسان": هذا هو الجزء الأكثر إثارة للإعجاب. تخيل أن الروبوت يضع مكعبًا على الطاولة، ثم يأتي إنسان وينتزع المكعب ويضعه في مكان مختلف.
- الروبوتات القديمة: ستصاب بالارتباك، وتحاول وضع المكعب حيث كان، أو تتوقف ببساطة.
- PRTS: يدرك فورًا: "أوه، الهدف لا يزال 'وضع المكعب على الطاولة'، لكن المكعب تحرك. أحتاج للذهاب وإحضاره مرة أخرى". إنه يتعافى ويكمل المهمة، تمامًا كما يفعل البشر.

الملخص

PRTS هو عقل روبوت يتوقف عن مجرد "النسخ" ويبدأ في "الاستدلال". إنه يتعلم ربط الكلمات (الأهداف) بالأفعال من خلال السؤال باستمرار: "هل هذه الخطوة تقربني مما طُلب مني فعله؟"

لأنه يتعلم "حس الاتجاه" هذا من الصفر باستخدام كميات هائلة من البيانات، فإنه يصبح أفضل بكثير في التعامل مع المواقف الجديدة، والمهام الطويلة، والأخطاء مقارنة بالروبوتات السابقة. إنه يحول الروبوت من مجرد مقلد بلا عقل إلى مساعد موجه نحو الأهداف.

1. بيان المشكلة

تطورت نماذج الرؤية واللغة والعمل (VLA) في التحكم الروبوتي من خلال الاستفادة من نماذج الرؤية واللغة (VLMs) كركائز إدراكية، مستخدمةً عادةً بنية ثنائية الأنظمة (النظام 2 للاستنتاج، والنظام 1 للتحكم). ومع ذلك، تعاني النهج الحالية من قصور جوهري:

الاستاتيكية مقابل الزمنية: هي تركز بشكل أساسي على صياغة ما قبل التدريب كـ تقليد سلوكي مُشرف (Behavior Cloning - BC)، مع التركيز على الارتباطات الدلالية الساكنة بين الرؤية واللغة. وهي تفتقر إلى فهم جوهري لـ إمكانية الوصول إلى الهدف (Goal Reachability) — أي الاحتمالية الكمية بأن يؤدي زوج (الحالة-العمل) الحالي إلى هدف محدد لغوياً بمرور الوقت.
اختناقات تقدير القيمة: تعتمد المحاولات لدمج تعلم القيمة غالباً على شبكات قيمة منفصلة، أو تتطلب تسميات مكافأة يدوية، أو تستخدم تعلم الفرق الزمني (TD) الذي يعاني من أخطاء التقدير الذاتي (bootstrapping errors) والتباين العالي في المهام طويلة المدى.
فجوة التعميم: بدون وعي زمني صريح، تواجه هذه النماذج صعوبة في التخطيط طويل المدى، والتعميم على تعليمات جديدة (zero-shot)، والتعافي من تدخلات البشر لأنها لا تستطيع التمييز بين الحالات "السهلة ولكن الخاطئة" والحالات "الصعبة ولكن الممكن الوصول إليها".

2. المنهجية: PRTS

يقترح المؤلفون PRTS، وهو نموذج تأسيسي لـ VLA يعيد صياغة مرحلة ما قبل التدريب من خلال التعلم المعزز المشروط بالهدف (GCRL) باستخدام التعلم المعزز التبايني (CRL).

أ. المفهوم الجوهري: التعلم المعزز التبايني لـ VLA

بدلاً من التنبؤ بالأفعال مباشرة أو استخدام شبكة قيمة منفصلة، يتعلم PRTS فضاء تمثيل موحد حيث يقرب الضرب الداخلي لـ تمثيل الحالة-العمل ( $\phi(s, a)$ ) و تمثيل الهدف ( $\psi(l)$ ) من إشغال الهدف المخصوم (log-discounted goal occupancy).

الأساس النظري: يستند إلى التكافؤ بين دالة Q للمكافآت المرتبطة بالوصول للهدف واحتمالية الإشغال الشرطية (التمهيد 1).
الهدف: يتعلم النموذج التمييز بين أزواج (الحالة-العمل) التي يمكنها الوصول إلى هدف لغوي معين (عينات إيجابية) وتلك التي لا يمكنها ذلك (عينات سلبية).

ب. الابتكارات التقنية الرئيسية

التعلم المعزز التبايني المشروط باللغة:
- بخلاف الـ CRL القياسي الذي يعاين الحالات المستقبلية هندسياً، يعامل PRTS التعليمات اللغوية كهدف ثابت لمسار كامل.
- مشكلة التعدد الإيجابي: بما أن هدفاً لغوياً واحداً ينطبق على جميع الخطوات الزمنية في المسار، فإن الدفعة (batch) تحتوي على العديد من الأزواج الإيجابية لهدف واحد.
- الوزن الزمني: لاستعادة توزيع المعاينة الهندسي لـ CRL القياسي، قدم المؤلفون مخطط وزن زمني. يتم وزن أزواج (الحالة-العمل) الأقرب إلى نهاية المسار (الأقرب للهدف) بشكل أعلى ( $\gamma^{T-t}$ ). وهذا يسمح للنموذج بتعلم البنية الزمنية للوصول للهدف دون الحاجة لملصقات مكافأة صريحة.
- أهداف ثنائية الاتجاه:
  - الحالة-العمل $\leftarrow$ اللغة: مواءمة $(s, a)$ مع تعليماتها المحددة.
  - اللغة $\leftarrow$ الحالة-العمل: إجبار النموذج على ترتيب الحالات-الأعمال داخل المسار حسب قربها من الهدف، مما يشفر التقدم الزمني.
بنية تمرير أمامي واحد (تكلفة حسابية مهملة):
- يضيف PRTS كتلتين إضافيتين من الرموز (tokens) إلى تسلسل المدخلات: <CRL_action> و <CRL_goal>.
- قناع الانتباه السببي الواعي بالدور: يضمن قناع انتباه مخصص (تم تنفيذه عبر نواة CuTe-FlashAttention مدمجة) عزل المعلومات:
  - رموز <CRL_action> تنتبه فقط للرؤية/الإدراك الحسي (وليس للغة).
  - رموز <CRL_goal> تنتبه فقط للتعليمات.
  - تحافظ رموز العمل ذات التتابع الذاتي (autoregressive) القياسية على انتباه سببي قياسي.
- النتيجة: ينتج النموذج لوغاريتمات الأفعال المنفصلة، وتمثيلات الحالة-العمل، وتمثيلات الهدف في تمرير أمامي واحد، مما يسبب عبئاً حسابياً ضئيلاً مقارنة بتقليد السلوك التقليدي.
خط إنتاج تدريبي ثنائي المراحل:
- ما قبل التدريب: يعمل على تحسين العمود الفقري لـ VLM بشكل مشترك على تقليد السلوك (التنبؤ بالرمز التالي)، والمهام المساعدة (Robot-QA)، وخسائر التباين ثنائية الاتجاه. لا يتم إرفاق خبير أفعال بعد.
- ما بعد التدريب: يتم إرفاق خبير أفعال يعتمد على مطابقة التدفق (Flow-Matching Action Expert) (المبني على Transformer للانتشار) ويتم ضبطه بدقة على البيانات اللاحقة. يوفر النموذج المدرب مسبقاً أولويات الوصول للهدف.

3. المساهمات الرئيسية

إعادة صياغة ما قبل تدريب VLA: أول من قام بنقل التعلم المعزز التبايني المشروط باللغة والمجرد من المكافآت إلى مرحلة ما قبل تدريب VLA، مما يلغي الحاجة لملصقات مكافأة يدوية أو شبكات قيمة منفصلة.
الوعي الجوهري بإمكانية الوصول للهدف: تشفر التمثيلات المتعلمة كمياً احتمالية الوصول للهدف، مما يسد الفجوة بين الاستنتاج الدلالي والتقدم الزمني للمهمة.
ចំនួន
بنية فعالة: تتيح "القناع السببي الواعي بالدور" ونواة Cuote المخصصة إشرافاً كثيفاً للوصول للهدف بتكلفة حسابية شبه معدومة، مما يجعلها قابلة للتوسع لنماذج ضخمة (4 مليار بارامتر) ومجموعات بيانات هائلة (167 مليار رمز).
إطار عمل موحد: يوحد الاستنتاج الدلالي، والتنبؤ بالأفعال المنفصلة، وتقدير القيمة ضمن بنية VLM واحدة.

4. النتائج التجريبية

تم تدريب PRTS مسبقاً على 167.8 مليار رمز من مجموعات بيانات متنوعة (AgiBotWorld, RoboMind, Open X-Embodiment, إلخ) وتم تقييمه في بيئات المحاكاة والواقع.

اختبارات المحاكاة (LIBERO, LIBERO-Plus, LIBERO-Pro, SimplerEnv):
- أداء رائد (SOTA): يحقق PRTS نتائج رائدة، حيث يضاهي أو يتجاوز النماذج القوية (مثل $\pi^{0.5}$ , ABot-M0) مع استخدام موارد حوسبة أقل بكثير في مرحلة ما بعد التدريب (على سبيل المثال، 1/8 من ميزانية $\pi^{0.5}$ في LIBERO).
- المهام طويلة المدى: يحقق مكاسب كبيرة في مجموعة "Long" من LIBERO (96.6% مقابل 94.8% للنماذج المماثلة في الميزانية)، مما يثبت فعالية الوعي الزمني.
- المتانة: يتفوق على النماذج المرجعية في التعميم (zero-shot) تحت تغيرات التوزيع (الكاميرا، حالة الروبوت، الإضاءة، تخطيط الكائنات) وفي اضطرابات المهمة/الموقع في LIBERO-Pro.
- التعليمات الجديدة (Zero-Shot): تحسن هائل في التعليمات الجديدة (31.5% مقابل 0.8% لـ $\pi^{0.5}$ على محور "المهمة" في LIBERO-Pro).
التقييم في العالم الحقيقي (RealMan Dual-Arm & Flexiv Single-Arm):
- التلاعب المعقد: حقق متوسط نجاح بنسبة 95.9% في 11 مهمة للذراع المزدوج و 90.0% في 3 مهام دقيقة للذراع المنفرد.
- التعافي من تدخل الإنسان: أظهر PRTS متانة فائقة عند مقاطعة البشر للمهام (مثل إزالة الأشياء أثناء التنفيذ). على عكس النماذج المرجعية التي تفشل أو تعيد تشغيل مسارات قديمة، نجح PRTS في إعادة تقييم الحالة وإعادة التخطيط للوصول للهدف.
- التعميم: حافظ على معدلات نجاح عالية تحت تغيرات الإضاءة، وهوية الكائنات، والتخطيط المكاني.
تصور القيمة:
- أظهر الضرب الداخلي $\phi(s, a)^\top \psi(l)$ ارتباطاً قوياً بالتقدم في المهمة، حيث يزدت مع اقتراب الروبوت من الهدف وينخفض للتعليمات غير المتطابقة، مما يؤكد أن النموذج يتعلم دالة قيمة صالحة مشروطة بالهدف.

5. الأهمية

يمثل PRTS تحولاً جذرياً في النماذج التأسيسية للروبوتات:

من التقليد إلى الاستنتاج: يتجاوز مجرد تقليد السلوك (Imitation) إلى تعلم الوعي بإمكانية الوصول للهدف، مما يمكّن الروبوت من فهم مدى قربه من الهدف ومدى جدوى المسار.
القابلية للتوسع: يثبت أن أهداف التباين، التي كانت محدودة سابقاً بمجالات اتخاذ القرار الصغيرة، يمكن أن تتوسع لتشمل هياكل VLA ضخمة (أكثر من 4 مليار بارامتر) ومجموعات بيانات هائلة دون تكلفة باهظة.
ذكاء عام الأغراض: من خلال حقن الأولويات الزمنية والهدفية أثناء ما قبل التدريب، يحقق PRTS تعميماً مذهلاً (zero-shot) ومتانة عالية، مما يشير إلى مسار نحو ذكاء روبوتي عام حقاً، موجه بالأهداف، وقادر على التعامل مع البيئات المعقدة وطويلة المدى والديناميكية في العالم الحقيقي.