يبث البشر باستمرار تفاصيل حياتهم الداخلية من خلال حركات صغيرة، تكاد تكون غير مرئية. يدٌ تتحرك بتوتر، أو رأسٌ يميل بجزء ضئيل من البوصة، أو ساقٌ تهتز بإيقاع خفي؛ هذه هي الأفعال الدقيقة (micro-actions). وخلافًا للإيماءات الكبيرة والمتعمدة التي نستخدمها للتلويح بالتحية أو الإشارة إلى لافتة، فإن هذه الحركات الصغيرة تحدث دون تفكير واعٍ تقريبًا. ومع ذلك، فهي تسرب معلومات موثوقة عن الحالة العاطفية والوضع النفسي للشخص. لعقود من الزمن، حاول العلماء تعليم الحواسيب رؤية هذه الإشارات العابرة، معتبرين إياها لغزًا صعبًا في تحليل الفيديو. ويكمن التحدي في دقتها؛ فهي وجيزة، ومنخفضة السعة، وسهلة الخلط مع غيرها. فقد يبدو إمالة الرأس وكأنه دوران للرأس، وقد تبدو اللمسة وكأنها حكة. وحتى وقت قريب، كانت الطريقة المثلى لحل ذلك هي بناء برامج حاسوبية متخصصة يتم تدريبها على آلاف الأمثلة، وهي عملية تتطلب كميات هائلة من البيانات وقدرات حوسبية ضخمة.

لقد اتبع فريق من الباحثين من جامعة ووهان الآن استراتيجية مختلفة لهذا المشكل، استراتيجية تعتمد على أدوات الذكاء الاصطناعي القوية والموجودة بالفعل، بدلًا من بناء أدوات جديدة من الصفر. في مسابقة حديثة ركزت على فهم هذه الأفعال الدقيقة، حققوا المركز الأول دون تدريب نظامهم على أي بيانات جديدة. فبدلًا من تعليم الحاسوب كيف يبدو الفعل الدقيق، طلبوا من نموذج لغوي متطور أن يصف ما يراه ويشرح سبب رؤيته له. ويكشف نجاحهم عن حقيقة مذهلة حول كيفية عمل هذه النماذج: إن أفضل طريقة لجعل الحاسوب يفهم حركة دقيقة ليست بسؤاله عن تخمين الإجابة، بل بطلب وصف التفاصيل أولاً، ثم ترك تلك التفاصيل توجه الاستنتاج النهائي.

شارك الباحثون في تحدٍ يسمى "التحدي الكبير لتحليل الأفعال الدقيقة" (Micro-Action Analysis Grand Challenge)، حيث كان الهدف هو تحليل آلاف المقاطع المرئية القصيرة لأشخاص يؤدون هذه الحركات الدقيقة. انقسمت المهمة إلى عدة أجزاء؛ تطلب بعضها من الحاسوب اختيار الفئة الصحيحة من قائمة، مثل تحديد ما إذا كانت الحركة هي تفاعل بين "الرأس واليد" أو "الساق واليد". وكانت أجزاء أخرى أكثر انفتاحًا، حيث طلبت من الحاسوب وصف أجزاء الجسم التي تحركت بالضبط، وكيف تحركت، ولماذا يعد التصنيف المحدد هو الخيار الصحيح. كانت قواعد المسابقة صارمة: لم يكن بإمكان الفرق تدريب نماذجها على بيانات المسابقة، كما لم يكن بإمكانهم استخدام الإجابات الصحيحة لتعليم النظام. كان عليهم استخدام النماذج كما هي تمامًا، وتوجيهها فقط عبر تعليمات مكتوبة.

أدرك الفريق أن نموذج ذكاء اصطناعي واحد ليس الأداة المناسبة لكل جزء من العمل. فبعض النماذج بارعة في اتخاذ قرارات سريعة ودقيقة، مثل اختيار الحرف الصحيح من قائمة متعددة الخيارات، بينما يبرع البعض الآخر في كتابة أوصاف مفصلة وانسيابية لما يحدث في المشهد. بنى الباحثون نظامًا يعمل مثل "المايسترو"، حيث يقوم بتوجيه كل سؤال محدد إلى النموذج الأنسب للإجابة عليه. فعندما كانت المهمة تتطلب تحديد فئة أو إصدار حكم بسيط بنعم أو لا، كانوا يرسلون الفيديو إلى نموذج معروف بقدراته القوية في اتخاذ القرار. وعندما كانت المهمة تتطلب كتابة وصف أو شرح المنطق وراء اختيار ما، كانوا يرسلون الفيديو إلى نموذج معروف بقدرته على توليد نص سلس ومتماسك.

حل هذا التقسيم للعمل مشكلة كبرى. فغالبًا ما يقع النموذج الجيد في وصف المشهد في فخ وصف الفعل الخاطئ بثقة لأنه يتوه في التفاصيل. وعلى العكس من ذلك، قد يقدم النموذج الجيد في اختيار التصنيف شرحًا قصيرًا وغير مفيد. ومن خلال فصل المهام، ضمن الفريق أن النموذج الذي يكتب الوصف لم يتشتت بالضغط الناتج عن تخمين التصنيف النهائي. ومع ذلك، فقد ذهبوا إلى أبعد من ذلك؛ حيث اكتشفوا أنه حتى مع وجود أفضل وصف، يمكن للنموذج أن يرتكب خطأ في التصنيف النهائي إذا لم يكن مرتبطًا بالحقائق الصحيحة. ولإصلاح ذلك، قدموا طريقة أطلقوا عليها اسم "الاستدلال المشروط بالتعرف" (recognition-conditioned reasoning).

في هذا النهج، يطلب النظام أولاً من نموذج اتخاذ القرار التنبؤ بالفئة الصحيحة. ثم يأخذ هذا التنبؤ ويغذيه مباشرة في "الأمر" (prompt) الخاص بالنموذج الوصفي. بعد ذلك، يُطلب من النموذج الوصفي كتابة شرحه، ولكن يجب عليه القيام بذلك مع وضع الفئة المتوقبة في اعتباره. الأمر يشبه قول النظام: "بناءً على ما تراه، اشرح لماذا تعد هذه الحركة إمالة للرأس، وتأكد من أن وصفك يدعم هذا الاستنتاج". هذه الخطوة البسيطة المتمثلة في إعطاء النموذج الوصفي تلميحًا عن الإجابة حسنت دقة النتيجة النهائية بشكل كبير. لم يكتب النموذج الوصفي قصة أفضل فحسب، بل كتب قصة متسقة واقعيًا مع التصنيف الصحيح.

كانت نتائج هذا النهج مذهلة. في المسابقة النهائية، سجل نظام الفريق درجات أعلى بكثير من أي مشارك آخر، لا سيما في الأقسام المفتوحة حيث كان على الحاسوب وصف الحركات والاستدلال حولها. وبينما عانت الفرق الأخرى في كتابة تفسيرات كانت سلسة ودقيقة في آن واحد، تمكن هذا النظام من إنتاج أوصاف كانت أمينة لمحتوى الفيديو. ووجد الباحثون أن السبب الرئيسي للأخطاء لم يكن أن النماذج لم تستطع رؤية الحركة أو لم تستطع الكتابة جيدًا، بل لأنها كانت تخمن أحيانًا التصنيف الخاطئ في البداية. وبمجرد تقديم التصنيف الصحيح كنقطة انطلاق، تمكنت النماذج من بناء تفسيرات مثالية.

يشير هذا العمل إلى أن المستقبل في المهام البصرية المعقدة المتعلقة بالسلوك البشري الدقيق قد لا يكمن في تدريب نماذج ضخمة جديدة من الصفر. بدلاً من ذلك، قد يكمن المفتاح في كيفية تنظيم وتوجيه الأدوات القوية التي نمتلكها بالفعل. فمن خلال المطابقة الدقيقة بين نوع الذكاء الاصطناعي المناسب ونوع السؤال المناسب، ومن خلال السماح للنماذج بمراجعة عمل بعضها البعض، يمكننا تحقيق مستوى من الفهم يضاهي الأنظمة المتخصصة. لقد أثبت الباحثون أن نظامًا مبنيًا بالكامل من نماذج موجودة مسبقًا ومجمدة، يمكنه التفوق على تلك التي تم تدريبها خصيصًا للمهمة، مما يثبت أن التنسيق الذكي لا يقل قوة عن التدريب المكثف.

كما قدمت الدراسة طريقة جديدة لقياس النجاح تتجنب انحيازات الحكام الآليين. فغالبًا ما تنحاز نماذج اللغة المستخدمة لتقييم الإجابات نحو السلاسة، حيث تكافئ الجملة المكتوبة جيدًا حتى لو كانت الحقائق فيها خاطئة. طور الباحثون طريقة للتحقق مما إذا كان التفسير يذكر الفئة الصحيحة بالفعل، بغض النظر عن مدى جمال كتابتها. وأكد هذا الفحص "الخالي من الحكام" (judge-free) أن طريقتهم في توجيه النماذج باستخدام تصنيف متوقع كانت هي المحرك الحقيقي لنجاحهم. وأظهر ذلك أن العقبة في فهم الأفعال الدقيقة ليست في القدرة على الرؤية أو التحدث، بل في القدرة على تحديد الفعل بشكل صحيح في المقام الأول.

في نهاية المطاف، يقدم هذا البحث مسارًا واضحًا لفهم السلوك البشري من خلال الفيديو. فهو يوضح أننا لسنا بحاجة إلى إعادة اختراع العجلة لحل المشكلات الصعبة. فمن خلال فهم نقاط القوة والضعف في الأدوات التي نمتلكها بالفعل، وترتيبها في تسلسل منطقي، يمكننا إطلاق القدرات التي كانت بعيدة المنال سابقًا. إن القدرة على قراءة الحركات الدقيقة وغير الإرادية لجسم الإنسان لها آثار عميقة تتراوح من فحص الصحة العقلية إلى التفاعل بين الإنسان والحاسوب. لقد أظهر الباحثون أنه مع النهج الصحيح، يمكن للذكاء الاصطناعي أن يتعلم رؤية ما لا يُرى، ليس من خلال أن يصبح أكثر تعقيدًا، بل من خلال أن يصبح أكثر تفكيرًا.