← أحدث الأبحاث
💻 computer science

Hallo-Live: Real-Time Streaming Joint Audio-Video Avatar Generation with Asynchronous Dual-Stream and Human-Centric Preference Distillation

تقدم الورقة البحثية Hallo-Live، وهو إطار عمل للبث المباشر في الوقت الفعلي لتوليد الصور الرمزية (Avatar) المشتركة للصوت والفيديو، والذي يحقق أداءً عالي السرعة ومنخفض التأخير من خلال الانتشار ثنائي المسار غير المتزامن باستخدام "انتباه التوسع المستقبلي" (Future-Expanding Attention) و"نموذج التوزيع الموجه بالتفضيل المتمحور حول الإنسان" (Human-Centric Preference-Guided DMD)، متفوقاً بشكل كبير على النماذج الحالية في كل من الكفاءة وجودة التوليد.

المؤلفون الأصليون: Chunyu Li, Jiaye Li, Ruiqiao Mei, Haoyuan Xia, Hao Zhu, Jingdong Wang, Siyu Zhu

نُشر 2026-04-28
📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Chunyu Li, Jiaye Li, Ruiqiao Mei, Haoyuan Xia, Hao Zhu, Jingdong Wang, Siyu Zhu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تريد إنشاء شخصية رقمية (أفاتار) يمكنها التحدث وتحريك شفتيها بتزامن تام مع أي شيء تكتبه. عادةً ما يكون صنع هذه الشخصيات أشبه بمحاولة خبز كعكة معقدة: الأمر يستغرق وقتاً طويلاً، وإذا حاولت تسريع العملية، فغالباً ما تخرج الكعكة مسطحة أو غير متناسقة.

تقدم الورقة البحثية Hallo-Live، وهو نظام جديد يجعل إنشاء الشخصيات المتحدثة بهذه السرعة التي تشبه إرسال رسالة نصية، دون إفساد الجودة. إليك كيف يعمل، باستخدام تشبيهات بسيية:

1. المشكلة: الممثل "الأعمى"

في الأنظمة السابقة، يعمل الكمبيوتر مثل ممثل ممنوع تماماً من النظر إلى النص حتى اللحظة التي يحتاج فيها إلى التحدث بالضبط.

  • المشكلة: في الحياة الواقعية، عندما نتحدث، تبدأ شفاهنا في التحرك قبل خروج الصوت فعلياً من أفواهنا. نحن نستعد للصوت التالي.
  • الطريقة القديمة: لأن نماذج الكمبيوتر القديمة لم تكن تستطيع "إلقاء نظرة خاطفة" على الكلمات القادمة، كانت شفاه الأفاتار تتأخر عن الصوت، مما يجعل مظهرها يبدو آلياً وغير متزامن.
  • مشكلة السرعة: لجعل الأفاتار يبدو جيداً، كان على الكمبيوتر عادةً إجراء كمية هائلة من العمليات الحسابية لكل ثانية من الفيديو. وهذا استغرق وقتاً طويلاً جداً للمحادثات في الوقت الفعلي.

2. الحل: الممثل "الذي يقرأ المستقبل"

يحل Hallo-Live مشكلة التأخير باستخدام خدعة تسمى "الانتباه الموسع للمستقبل" (Future-Expanding Attention).

  • التشبيه: تخيل أن الأفاتار هو ممثل مسموح له بإلقاء نظرة خاطفة على الجملة التالية في النص أثناء تحدثه عن الجملة الحالية.
  • كيف يعمل: يمنح النظام الجزء الخاص بالفيديو في "دماغ" النموذج نافذة صغيرة "للنظر مسبقاً". فهو يرى الصوت الحالي والأصوات القليلة القادمة. هذا يسمح للأفاتار ببدء تحريك شفتيه تحضيراً للصوت التالي، تماماً كما يفعل البشر. هذا يجعل تزامن الشفاه يبدو طبيعياً وفورياً، رغم أن النظام لا يزال يعمل في "الوقت الفعلي".

3. دفعة السرعة: الطالب "المُقطّر"

لجعل النظام سريعاً بما يكفي للعمل فوراً، استخدم الباحثون تقنية تسمى "التقطير" (Distillation).

  • التشبيه: فكر في النموذج الأصلي عالي الجودة كـ "رئيس طهاة" (Master Chef) يستغرد ساعتين لطهي وجبة مثالية. النموذج الجديد هو "طباخ طالب" (Student Chef).
  • المشكلة: عادةً، عندما تعلم طالباً الطبخ بنفس سرعة المعلم، فإنه يتسرع ويرتكب أخطاء (يكون الطعام بلا طعم أو يبدو غير مرتب).
  • الحل (التفضيل المتمحور حول الإنسان): بدلاً من مجرد قول "قلد المعلم"، أعطى الباحثون الطالب "لجنة تذوق".
    • لم يكتفوا بالقول: "اجعل الطعام يبدو مثل عمل المعلم".
    • بل قالوا: "تأكد من أن الوجه يبدو واقعياً (الدقة البصرية)"، "تأكد من أن الصوت يبدو طبيعياً (طبيعية الكلام)"، و"تأكد من أن الشفاه تطابق الكلمات (التزامن)".
    • إذا حصل الطالب في طبخه على درجات عالية في هذه التفضيلات البشرية المحددة، فإنه يحصل على "مكافأة". وإذا بدا المظهر آلياً أو غير متزامن، فإنه يحصل على درجة أقل.
    • هذا يعلم الطالب أن يكون سريعاً دون التضحية بالأشياء التي تهم البشر أكثر من غيرها.

النتائج: خدعة سحرية

تزعم الورقة البحثية أنه على شرائح الكمبيوتر القوية (NVIDIA H200 GPUs)، يحقق هذا النظام الجديد:

  • السرعة: يقوم بتوليد الفيديو بمعدل 20.38 إطاراً في الثانية. وهذا سريع بما يكفي لمحادثة مباشرة.
  • التأخير: يستغرق 0.94 ثانية فقط للبدء. هذا أقل من ثانية واحدة من الانتظار.
  • المقارنة: هو أسرع بـ 16 مرة وأقل تأخيراً بـ 99 مرة من "رئيس الطهاة" السابق (نموذج Ovi)، ومع ذلك لا يزال ينتج فيديو عالي الجودة حيث تتحرك الشفاه بشكل مثالي مع الصوت.

ما يمكنه فعله

تظهر الورقة البحثية أن هذا النظام يعمل بشكل جيد في سيناريوهات مختلفة:

  • الأشخاص الواقعيون: إنشاء صور واقعية لأشخاص يتحدثون.
  • الرسوم المتحركة: جعل الشخصيات الكرتونية والمنمقة تتحدث.
  • المجموعات: التعامل مع مشاهد تضم شخصين يتحدثان مع بعضهما البعض.
  • زوايا مختلفة: العمل لقطات قريبة للوجوه أو لقطات للجسم كاملاً.

باختصار، Hallo-Live يشبه إعطاء ممثل رقمي نصاً يمكنه استباق قراءته، ومجموعة من لجان التذوق الصارمة لضمان عدم تسرعه في أدائه، مما ينتج عنه أفاتار متحدث يبدو حياً ويستجيب فوراً.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💻 cs →