💻 computer science

H2OFlow: Grounding Human-Object Affordances with 3D Generative Models and Dense Diffused Flows

يُعد H2OFlow إطار عمل مبتكر يتعلم الإمكانيات الوظيفية الشاملة للتفاعل بين الإنسان والأشياء ثلاثية الأبعاد —بما في ذلك التلامس، والتوجه، والاشغال الفراغي— وذلك عبر استخدام عملية انتشار كثيفة على السحب النقطية لاستخراج أنماط تفاعل غنية من بيانات اصطناعية ناتجة عن نماذج توليدية ثلاثية الأبعاد، مما يلغي الحاجة إلى التوصيفات اليدوية.

المؤلفون الأصليون: Harry Zhang, Luca Carlone

نُشر 2026-02-12

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Harry Zhang, Luca Carlone

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيف يعيش في منزل بشري. إذا علمت الروبوت فقط أن "الكرسي" هو شيء تلمسه بيدك، فسيشعر بارتباك شديد عندما يرى إنسانًا يجلس عليه، أو يتكئ عليه، أو يستخدمه للوصول إلى رف مرتفع.

ورقة البحث "H2OFLOW" تتحدث عن تعليم الذكاء الاصطناعي ليس فقط "أين" نلمس الأشياء، بل "روح" أو "طبيعة" كيفية تفاعلنا معها.

إليك تفصيل كيفية قيامهم بذلك، باستخدام تشبيهات من الحياة اليومية.

١. المشكلة: الروبوت الذي يكتفي بـ "اللمس فقط"

معظم نماذج الذكاء الاصطناً الحالية تشبه الطلاب الذين يدرسون جزء "التلامس" فقط من الكتاب المدرسي. هم يعرفون أنه لاستخدام المطرقة، يجب أن تلمس المقبض. لكنهم لا يفهمون "هندسة الرقصة": فهم لا يدركون أنك بحاجة للوقوف على مسافة معينة، أو أنك بحتاج لضبط زاوية معصمك بزاوية محددة لتتمكن من التأرجح بفعالية.

لأن هذه الروبوتات تتعلم فقط من البيانات التي صنفها البشر (وهو أمر يشبه طالباً يحاول التعلم عبر قراءة ملايين الملاحظات المكتوبة بخط اليد)، فهي بطيئة في التعلم وتواجه صعوبة عندما ترى جسمًا جديدًا غريب الشكل لم تره من قبل.

٢. الحل: المعلم "الحالم" (النماذج التوليدية ثلاثية الأبعاد)

بدلاً من جعل البشر يجلسون في مختبر ويصنفون آلاف الصور، استخدم الباحثون نموذجًا توليديًا ثلاثي الأبعاد.

فكر في هذا الأمر كأنه "آلة أحلام". بدلاً من عرض صور حقيقية للذكاء الاصطناعي، تركوا الذكاء الاصطناعي "يحلم" بملايين السيناريوهات المختلفة: شخص يرفع كرسيًا، شخص يجلس على مقعد مرتفع، شخص يتكئ على طاولة. ولأن هذه "أحلام" ثلاثية الأبعاد، يتعلم الذكاء الاصطناعي الشكل الكامل والحركة للتفاعل، وليس مجرد صورة مسطحة.

٣. السر الخفي: "التدفقات المنتشرة الكثيفة" (Dense Diffused Flows)

هذا هو الجزء الأكثر تقنية، ولكن فكر فيه كأنه "المخطط الشبحي".

بدلاً من محاولة التنبؤ بوضعية واحدة صلبة (مثل تمثال متجمد)، يستخدم الباحثون ما يسمى بـ "التدفقات" (Flows). تخيل أن لديك كومة من الرمل (جسم الإنسان) وتريد تحريكها لتأخذ شكلًا معينًا (التفاعل). "التدفق" هو مجموعة الأسهم غير المرئية التي تخبر كل حبة رمل بالضبط في أي اتجاه تتحرك للوصال إلى الهدف.

من خلال استخدام "الانتشار" (Diffusion) (وهي نفس التقنية وراء مولدات الصور بالذكاء الاصطناعي مثل Midjourney)، لا يخمن الذكاء الاصطناعي طريقة واحدة للتفاعل فحسب؛ بل يتعلم "سحابة من الاحتمالات". فهو يعرف أن هناك طرقًا عديدة للإمساك بالكوب — بيدك اليسرى، أو اليمنى، أو حتى بأصابعك — ويتعلم "تدفق" كل منها.

٤. الطبقات الثلاث للفهم

لا يتعلم H2OFlow شيئًا واحدًا فقط؛ بل يتعلم "ثلاثية تهديد" من التفاعل:

التلامس (اللمس): "أين تلمس يداي الجسم فعليًا؟"
التوجيه (الزاوية): "كيف يجب أن يميل جسدي؟ (على سبيل المثال: مواجهًا للتلفاز مقابل مواجهة جانب التلفاز)."
المكاني (الفقاعة): "ما هي 'المساحة الشخصية' حول هذا الجسم التي يشغلها جسدي عادةً؟"

٥. لماذا يهم هذا؟ (اختبار "العالم الحقيقي")

اختبر الباحثون ذلك على أشياء حقيقية تم مسحها ضوئيًا باستخدام جهاز iPhone. ولأن الذكاء الاصطناعي تعلم منطق الحركة (التدفق) بدلاً من مجرد حفظ أشكال محددة، فقد نجح حتى في التعامل مع عمليات المسح الحقيقية الفوضوية وغير الدقيقة.

باختصار: يعمل H2OFlow على تعليم الروبوتات الانتقال من مرحلة "اللمس" إلى مرحلة "الفهم" للرقصة المكانية للحياة البشرية. إنه الفرق بين روبوت يعرف كيف يمسك كوبًا، وروبوت يعرف كيف يستخدم المطبخ.

ملخص تقني: H2OFlow: ربط إمكانات التفاعل بين الإنسان والأشياء ثلاثية الأبعاد باستخدام النماذج التوليدية ثلاثية الأبعاد والتدفقات المنتشرة الكثيفة

H2OFlow هو إطار عمل مبتكر مصمم لتعلم وربط إمكانات التفاعل الشاملة بين الإنسان والأشياء ثلاثية الأبعاد (HOI). نُشر هذا العمل لـ ICLR 2026، وهو يعالج القيود التي تواجهها الطرق الحالية التي تعتمد على التوصيف اليدوي المجهد أو تقتصر على التحليل البسيط القائم على التلامس.

1. المشكلة: قيود فهم التفاعل بين الإنسان والأشياء (HOI) الحالي

تواجه الأبحاث الحالية في فهم الإمكانات (affordance) ثلاثية الأبعاد ثلاثة تحديات رئيسية:

النطاق المقيد: تركز معظم الطرق الحالية فقط على الإمكانات القائمة على التلامس (أين يلمس الإنسان الشيء)، متجاهلة الجوانب الحرجة غير المتعلقة بالتلامس مثل الاتجاه (كيف يكون جزء من الجسم مائلاً) والإشغال المكاني (حجم المساحة التي يشغلها الإنسان حول جسم ما).
ندرة البيانات وتكلفتها: يتطلب تعلم هذه العلاقات المعقدة عادةً مجموعات بيانات ضخمة تم وسمها يدويًا لتفاعلات التلامس بين الإنسان والشيء، وهي عملية مكلفة ويصعب توسيع نطاقها لتشمل أشياء جديدة.
مشكلات التعميم: تعتمد العديد من الطرق الحالية على شبكات (meshes) عالية الجودة ومغلقة تمامًا أو تقنيات "الرفع" من 2D إلى 3D. وتفشل هذه الطرق عند مواجهة السحب النقطية (point clouds) الصاخبة، والمراقبة جزئيًا، وغير المنظمة التي تميز المستشعرات الواقعية (مثل كاميرات العمق).

2. المنهجية: إطار عمل H2OFlow

ينقل H2OFlow النموذج من التسمية اليدوية إلى التعلم من الاصطناعي إلى الواقعي باستخدام مسار مركزي يعتمد على التدفقات المنتشرة الكثيفة (Dense Diffused Flows).

أ. توليد البيانات الاصطناعية:
بدلاً من التسمية اليدوية، يستفيد المؤلفون من النماذج التوليدية ثلاثية الأبعاد المدربة مسبقًا (مثل CHOIS) لتخليق تسلسلات شبكية (mesh sequences) متنوعة ومتزامنة زمنيًا لبشر يتفاعلون مع أشياء مختلفة بناءً على مطالبات نصية. يوفر هذا مصدرًا غنيًا و"مجانيًا" لبيانات التفاعل متعددة الوسائط.

ب. التمثيل الوسيط (التدفقات المنتشرة الكثيفة):
لسد الفجوة بين الشبكات الاصطناعية والسحب النقطية في العالم الحقيقي، يمثل المؤلفون التفاعلات كـ تدفقات كثيفة.

يحددون "وضعية الصفر" (T-pose) للسحابة النقطية البشرية ( $H_0$ ).
"الوضعية الهدف" للهيكل البشري ( $H$ ) هي الوضعية المستهدفة أثناء التفاعل.
التدفق الكثيف ( $F$ ) هو الإزاحة لكل نقطة: $F = H - H_0$ .
من خلال تعلم التنبؤ بمجال الإزاحة هذا بدلاً من معاملات الشبكة المباشرة، يصبح النموذج أكثر قوة تجاه الضجيج وقادرًا على نمذجة الأجسام البشرية شديدة المرونة.

ج. التعلم عبر محولات الانتشار (Diffusion Transformers - DiT):
يستخدم إطار العمل محول انتشار (DiT) لتعلم توزيع هذه التدفقات مشروطة بالسحابة النقطية للجسم. ولأن التفاعلات البشرية متعددة الأنماط (على سبيل المثال، يمكن للشخص أن يمسك بالكرسي بكلتا يديه)، فإن عملية الانتشار تسمح للنموذج بأخذ عينات من طيف مستمر من التكوينات البشرية الممكنة.

د. استنتاج الإمكانات الشاملة:
بمجرد أن يتمكن النموذج من التنبؤ بالوضعيات البشرية الممكنة ( $H$ ) لجسم معين ( $O$ )، فإنه يستنتج ثلاثة أنواع من الإمكانات من خلال تحليل العلاقة بين النقاط البشرية المتوقعة ( $h_i$ ) ونقاط الجسم ( $o_j$ ):

إمكانية التلامس ( $C_{ij}$ ): تستخدم المسافة وأوزان الانتباه المتقاطع (cross-attention) لتحديد نقاط التلامس المحتملة.
إمكانية الاتجاه ( $R_{ij}$ ): تستخدم حاصل الضرب الاتجاهي لمتجه الإزاحة ومتجه التدفق للعثور على أنماط اتجاهية متسقة (الإنتروبيا المنخفضة = إمكانية عالية).
الإمكانية المكانية ( $S_{ij}$ ): تستخدم شبكة فوكسل (voxel grid) لرسم احتمالية الإشغال ثلاثي الأبعاد لأجزاء الجسم البشري حول الجسم.

3. المساهمات الرئيسية

تمثيل شامل: صياغة أصلية تعتمد على السحب النقطية تلتقط التلامس، والاتجاه، والإشغال المكاني في آن واحد.
مسار من الاصطناعي إلى الواقعي: طريقة لتجاوز التسمية اليدوية باستخدام النماذج التوليدية ثلاثية الأبعاد والتدفقات المنتشرة الكثيفة للتعلم من البيانات الاصطناعية والتعميم على المستشعرات الواقعية.
القوة تجاه الضجيج: على عكس الطرق القائمة على الشبكات (mesh-based)، يعمل H2OFlow مباشرة على السحب النقطية المتفرقة والمراقبة جزئيًا، مما يجعله مناسبًا لكاميرات العمونات التجارية.

4. النتائج والتقييم

التفوق الكمي: في مجموعة بيانات OMOMO، تفوق H2OFlow بشكل كبير على النماذج المرجعية (مثل COMA) عبر جميع المقاييس، بما في ذلك التشابه (SIM)، ومتوسط الخطأ المطلق (MAE)، والدقة عند K (Precision@K).
الثراء النوعي: نجح النموذج في تصور أنماط معقدة، مثل تحديد أن وركي الشخص لهما اتجاه محدد عند الجلوس، أو أن مناطق معينة حول الشاشة تكون "مشغولة" أثناء الحركة.
التعميم في العالم الحقيقي: أظهرت التجارب على عمليات المسح في العالم الحقيقي (التي تم التقاطها عبر iPhone) أن النموذج يظل مستقرًا ودقيقًا حتى في ظل وجود انسداد وضجيج المستشعرات.
الفائدة في المهام اللاحقة: أظهرت دراسات الاستئصال (Ablation studies) أن الجمع بين أنواع الإمكانات الثلاثة (التلامس + الاتجاه + المكان) يحسن بشكل كبير دقة المهام اللاحقة مثل استرجاع مناطق التفاعل (HOI region retrieval) واختيار الوضعية.

5. الأهمية

يمثل H2OFlow خطوة كبيرة نحو الوكلاء المستقلين والروبوتات التي يمكنها إدراك "الهندسة الوظيفية" للبيئة. ومن خلال الانتقال لما وراء مجرد التلامس وتبني الطبيعة الاحتمالية للحركة البشرية عبر الانتشار، يوفر إطار العمل طريقة قابلة للتوسع لتعليم الذكاء الاصطناعي كيفية التفاعل مع العالم المادي باستخدام البيانات المحاكات فقط. كما أن قدرته على أن يكون "موجَّهًا بالأوامر" (مثل "اجلس على الكرسي") تفتح آفاقًا جديدة للتحكم الروبوتي المشروط باللغة.