CogPortrait: Fine-Grained Eye-Region Control in Portrait Animation via Hierarchical Agent Planning
يُعد CogPortrait إطار عمل يتكون من مرحلتين يستفيد من وكلاء النماذج اللغوية الكبيرة متعددة الوسائط الهرمية لترجمة الملصقات عالية المستوى إلى نقاط مفتاحية دقيقة للوجه، مما يتيح تحكماً دقيقاً في ديناميكيات منطقة العين وحالات ما وراء العاطفة في رسوم صور البورتريه المتحركة مع الحفاظ على جودة بصرية عالية واتساق الهوية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد جعل صورة ثابتة لشخص ما تنبض بالحياة، تتحدث وتتحرك. معظم الأساليب الحالية تشبه إعطاء مخرج نصاً غامضاً للغاية: "اجعله يبدو غاضباً" أو "اجعلها تبدو سعيدة". النتيجة تكون مقبولة، لكن العيون غالباً ما تبدو ميتة أو تكون الحركات سلسة للغاية وروبوتية. من ناحية أخرى، تسمح لك بعض الأساليب بالتحكم في كل حركة عضلة صغيرة، ولكن هذا يشبه مطالبة المخرج بتحريك كل جفن وحاجب بدقة بكسل تلو الآخر يدويًا—وهو عمل شاق للغاية ويتطلب الكثير من المهارة التقنية.
CogPortrait هو نظام جديد يحاول إيجاد الحل الوسط المثالي. فهو يتيح لك إعطاء تعليمات بسيطة رفيعة المستوى (مثل "إنه يفكر بعمق" أو "إنها تشعر بالنعاس") ويقوم تلقائياً بتحديد كيفية تحرك العينين والرأس بدقة لجعل الأمر يبدو واقعياً، دون أن تضطر للقيء بالأعمال الشاقة.
إليك كيف يعمل، مقسماً إلى فصلين رئيسيين:
الفصل الأول: "الدماغ" (فريق الوكلاء)
قبل صنع الفيديو، يستخدم النظام فريقاً من ثلاثة وكلاء ذكاء اصطناعي (تخيلهم كطاقم إنتاج متخصص) لترجمة فكرتك البسيطة إلى خطة حركة مفصلة.
- المخطط (المخرج): يأخذ هذا الوكيل تسميتك البسيطة (مثل "الجهد المعرفي") ويحولها إلى جدول زمني. يقرر: "أولاً، ينظر الشخص للأعلى لثانية، ثم يضيق عينيه قليًا، ثم ينظر إلى اليسار". إنه ينشئ لوحة قصة (ستوري بورد) للأحداث.
- المؤلف (أمين المكتبة): يذهب هذا الوكيل إلى مكتبة من تسجيلات السلوك البشري الحقيقي. يجد أمثلة حقيقية لأشخاص "يضيقون أعينهم أثناء التفكير" أو "يرمشون ببطء عند الشعور بالتعب". يقوم بتجميع هذه المقاطع من الحياة الواقعية معاً لإنشاء تسلسل حركة واقعي، مما يضمن ألا تتحرك العيون بطريقة غريبة أو روبوتية.
- الناقد (مفتش مراقبة الجودة): يقوم هذا الوكيل بمراجعة الخطة. يتساءل: "هل يبدو هذا حقاً كشخص يفكر؟ هل من الممكن فيزيائياً لبشر أن يرمش بهذه السرعة؟" إذا كانت الخطة غريبة، فإنه يعيدها إلى المؤلف أو المخطط لإصلاحها.
النتيجة التي يقدمها هذا الفريق هي مجموعة دقيقة من الإحداثيات (نقاط رئيسية) تخبر الكمبيوتر بالضبط أين يجب أن تكون الأجفان والحواجب وبؤبؤ العين في كل لحظة.
الفصل الثاني: "الجسد" (مولد الفيديو)
بمجرد أن تصبح خطة الحركة جاهزة، يتولى المرحلة الثانية زمام الأمور. هذا هو الجزء الذي يقوم فعلياً برسم الفيديو.
- الرسام: يأخذ صورتك الأصلية، والصوت (لكي تتحرك الشفاه مع الصوت)، وخطة الحركة المفصلة من الفصل الأول.
- الفرشاة الذكية (التوجيه الديناميكي): عادةً، عندما يرسم الذكاء الاصطناعي، قد يخلط بين ألوان الوجه والخلفية، أو قد يجعل العيون ضبابية. يستخدم CogPortrait "فرشاة ذكية" تركز اهتماماً إضافياً على العينين. تقول: "اجعل الخلفية مستقرة وطبيعية، ولكن طبق دقة إضافية على العينين والحواجب لتبدو عمليات الرمش والنظر حقيقية".
- شبكة الأمان (صقل KTO): أحياناً، يواجه الذكاء الاصطناعي صعوبة في المواقف الصعبة، مثل دوران الشخص برأسه بالكامل تقريباً إلى الجانب، أو رفع حاجب واحد فقط. لإصلاح ذلك، تم تدريب النظام على مجموعة بيانات خاصة بـ "الوضع الصعب". لقد تعلم من أخطائه في هذه الحالات الصعبة لضمان عدم تشوه وجه الشخص والحفاظ على ثبات الهوية، حتى في الزوايا الغريبة.
لماذا يعد هذا أمراً مهماً؟
تقدم الورقة اختباراً جديداً يسمى EMH (العواطف وما وراء العواطف) لمعرفة مدى جودة عمل هذه الأنظمة. لا يختبر النظام العواطف الأساسية مثل "السعادة" أو "الحزن" فحسب، بل يختبر أيضاً حالات دقيقة مثل:
- الجهد المعرفي: تلك النظرة التي تدل على التركيز العميق.
- النعاس: الأجفان الثقيلة وإمالة الرأس ببطء.
- الاستجابة التملصية: النظر بعيداً بسرعة.
تظهر النتائج أن CogPortrait أفضل بكثير في التحكم في العيون مقارنة بالأساليب السابقة. يمكنه جعل الشخصية تبدو "متعبة" أو "تفكر" بدقة عالية، مع الحفاظ على مظهر الشخص كما هو والحفاظ على جودة الفيديو العالية. إنه يسد الفجوة بين "سهولة الاستخدام" (فقط اكتب تسمية) و"الواقعية العالية" (حركات عين دقيقة).
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.