← أحدث الأبحاث
🤖 machine learning

Steering Recurrent Reasoners at Inference Time with Readout Feedback

تقدم هذه الورقة البحثية طريقة "تغذية القراءة الراجعة" (Readout Feedback - RoFB)، وهي طريقة للتحسين أثناء الاستنتاج لا تتطلب تدريباً، تعمل على تحسين أداء نماذج الاستدلال المتكرر عبر استخدام احتمالات القراءة الراجعة المتوسطة لتوجيه الديناميكيات الكامنة، محققةً نتائج متفوقة في مهام مثل السودوكو والمتاهة مقارنة بمجرد زيادة خطوات الحوسبة أو أخذ عينات من مسارات متعددة.

المؤلفون الأصليون: Shunsuke Kamiya, Masanori Koyama, Seongcheol Jeong, Fumiya Uchiyama, Kenji Kubo, Kohei Hayashi, Masahiro Suzuki, Yutaka Matsuo

نُشر 2026-08-26
📖 6 دقيقة قراءة🧠 قراءة متعمّقة

المؤلفون الأصليون: Shunsuke Kamiya, Masanori Koyama, Seongcheol Jeong, Fumiya Uchiyama, Kenji Kubo, Kohei Hayashi, Masahiro Suzuki, Yutaka Matsuo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في السعي لبناء آلات يمكنها التفكير، اعتمد الباحثون لفترة طويلة على مبدأ بسيط: امنح الحاسوب مزيدًا من الوقت، ومن المرجح أن يجد إجابة أفضل. تمامًا كما قد يتوقف عالم رياضيات بشري لصقل برهان ما، أو قد يعيد لاعب شطرنج النظر في نقلة ما بعد لحظة من التأمل، تُصمم أنظمة الذكاء الاصطناعي الحديثة بشكل متزايد للتوقف، وإعادة النظر، والتكرار. هذا النهج، المعروف باسم "الحوسبة أثناء الاستدلال" (inference-time computation)، يسمح للنماذج بتوليد مسارات متعددة محتملة للاستنتاج، وتقييمها، واختيار المسار الأكثر واعدًا. وبينما أثبتت هذه الاستراتيجية فعاليتها لنماذج اللغات الكبيرة، فإن فئة مختلفة من الآلات — وهي النماذج المتكررة (recurrent models) — تعمل وفق منطق مختلف قليلًا. فهذه الأنظمة تحل المشكلات عن طريق تحديث حالة داخلية، تشبه نوعًا من "مسودة الملاحظات الذهنية"، مرارًا وتكرارًا. وبدلًا من توليد العديد من المسودات المنفصلة للمقارنة بينها، تقوم هذه النماذج بصقل عملية تفكير واحدة متطورة خطوة بخوة. والسؤال الذي ظل يلوح في الأفق هو ما إذا كان يمكن توجيه هذا الخيط الواحد من التفكير بشكل أكثر فعالية أثناء حدوثه، بدلًا من تركه يسير في مساره أو تجربة العديد من نقاط البداية المختلفة.

اقترح فريق من الباحثين في جامعة طوكيو طريقة جديدة لتوجيه عمليات التفكير الداخلية هذه في الوقت الفعلي. وقد أطلقوا على طريقتهم اسم "التغذية الراجعة للقراءة" (Readout Feedback)، وهي تقنية تستمع إلى تخمينات النموذج الوسيطة وتستخدم تلك المعلومات لدفع حالته الداخلية بلطف نحو الحل الصحيح. الفكرة الجوهرية بديهية بشكل مدهش: فبينما يقترب النموذج من حل لغز ما، تبدأ تمثيلاته الداخلية لأجزاء المشكلة المختلفة في تنظيم نفسها. فالعناصر التي تنتمي إلى الفئة نفسها تتجمع معًا بشكل طبيعي، بينما تبتعد العناصر التي تنتمي إلى فئات مختلفة. وقد اكتشف الباحثون أنه بإمكانهم رصد هذا النمط التنظيمي وضخ قوة خفية في النظام لتشجيعه، مما يساعد النموذج فعليًا على إيجاد طريقه للخروج من الحيرة دون الحاجة إلى إعادة تدريبه أو منحه المزيد من القدرة الحوسبية.

لاختبار هذه الفكرة، طبق الفريق طريقتهم على ثلاثة أنواع مختلفة من نماذج الاستدلال المتكررة، لكل منها بنية داخلية فريدة، وطلب منهم حل لغزي منطق كلاسيكيين: "سودوكو" (Sudoku) و"المتاهة" (Maze). في السودوكو، الهدف هو ملء شبكة بالأرقام بحيث يحتوي كل صف وعمود وقسم على جميع الأرقام من واحد إلى تسعة. وفي مهمة المتاهة، يجب على النموذج إيجاد أقصر مسار عبر شبكة مليئة بالعقبات. قام الباحثون بتشغيل هذه النماذج عبر عملية الحل القياسية الخاصة بها، والتي تتضمن تحديث حالتها الداخلية مئات المرات، ثم قارنوا نتائج العملية القياسية مقابل العملية المعززة بحلقة التغذية الراجعة الجديدة. ووجدوا أنه في أربعة من أصل ست مجموعات من النماذج والألغاز، أنتجت طريقة التغذية الراجعة نتائج أفضل بشكل ملحوظ. وفي بعض الحالات، حل النموذج المحسن الألغاز بمستوى من الدقة لم يستطع النموذج القياسي الوصول إليه حتى لو سُمح له بالعمل لفترة أطول أو إذا جرب الباحثون عشرات من نقاط البداية المختلفة.

تعتمد الآلية وراء هذا التحسن على ثقة النموذج نفسه. فبينما يعالج النموذج اللغز، فإنه يولد احتمالية لكل إجابة محتملة في كل خطوة. لاحظ الباحثون أنه عندما يكون النموذج عالقًا أو يتخبط، تكون هذه الاحتمالات غير منظمة ومشوشة. ومع ذلك، عندما يكون النموذج على وشك الوصول إلى الحل، تبدأ الاحتمالات الخاصة بالإجابات الصحيحة في التوافق، مشكلةً نمطًا واضحًا. وتستغل الطريقة الجديدة هذا النمط؛ ففي لحظات محددة أثناء عملية الحل، تحسب المسافة بين أنماط الاحتمالات لأجزاء مختلفة من اللغز. فإذا كان من المتوقع أن يكون لجزءين من اللغز إجابات مختلفة، يطبق النظام قوة تدفع حالاتهما الداخلية للتباعد. أما إذا كان من المتوقع أن تكون الإجابات هي نفسها، فإنه يشجعها على البقاء متقاربة. وهذا يخلق ديناميكية ذاتية التصحيح تساعد النموذج على الهروب من المآزق والتقارب نحو الحل الصحيح بشكل أسرع بكثير.

كانت النتائج مذهلة في دقتها. فبالنسبة لأحد النماذج، وهو نظام مدمج مصمم للاستدلال المعقد، عززت طريقة التغذية الراجعة معدل نجاحه في السودوكو من حوالي 68% إلى أكثر من 74%، وهو مكسب كبير تحقق دون تغيير الكود الأساسي للنموذج أو بيانات تدريبه. وبالنسبة لنموذج آخر يواجه لغز المتاهة، سمحت الطريقة له بالوصول إلى مستوى عالٍ من الدقة بخطوات حوسبية أقل بكثير مما تطلبه النهج القياسي. في الواقع، تفوق النموذج المحسن أحيانًا على النموذج القياسي حتى عندما سُمح للنموذذ القياسي بالعمل لمئات الخطوات الإضافية أو عند أخذ عينات من عشرات المسارات المحتملة المختلفة. وهذا يشير إلى أن المفتاح لتحسين الأداء لم يكن مجرد القيام بمزيد من العمل، بل القيام بالنوع الصحيح من العمل عبر التوجيه النشط للديناميكيات الداخلية للنظام.

ومع ذلك، كان الباحثون حذرين في الإشارة إلى أن هذه الطريقة ليست حلاً عالميًا. ففي حالتين من أصل ست حالات اختبار، لم توفر حلقة التغذية الراجعة أي فائدة ملموسة، وفي حالة واحدة محددة، لم تحدث فرقًا يُذكر لأن النموذج كان يعمل بالفعل بمستوى يقارب المثالية. وهذا يشير إلى أن التقنية تعمل بشكل أفضل عندما يكون النموذج قادرًا على حل المشكلة ولكنه يكافح لتنظيم أفكاره بفعالية. فعندما يكون النموذج واثقًا للغاية أو عندما لا تسمح البنية الداخلية للمشكلة بهذا النوع من التجميع، فإن إشارة التغذية الراجعة لا تجد ما تعمل عليه. وتشير الدراسة إلى أنه بينما يفتح هذا النهج قدرة كامنة داخل النماذج الموجودة، فإنه ليس عصا سحرية يمكنها حل كل نوع من أنواع مشكلات الاستدلال.

تمتد تداعيات هذا العمل إلى ما هو أبعد من مجرد حل الألغاز. فهي تقدم منظورًا جديدًا حول كيفية التحكم في الذكاء الاصطناعي أثناء عملية التفكير نفسها. فبدلًا من الاعتماد فقط على القوة الغاشمة — مثل تشغيل المزيد من الخطوات أو أخذ عينات من خيارات أكثر — يوضح هذا النهج أنه يمكن توجيه النموذج من خلال إشاراته الوسيطة. وهذا يشبه شخصًا يحل مشكلة معقدة، وبدلًا من البدء من الصفر عندما يتعثر، يتوقف لينظر إلى ملاحظاته الحالية، ويدرك أي أجزاء من منطقه تتعارض، ويعدل تفكيره بناءً على ذلك. وقد وجد الباحثون أنه يمكن تطبيق هذا التحكم في الحلقة المغلقة على النماذج "المجمدة" (frozen models)، أي الأنظمة التي تم تدريبها بالفعل ولم تعد تتعلم، وذلك ببساطة عن طريق إضافة طبقة من التغذية الراجعة أثناء مرحلة الحل.

بينما تقتصر الدراسة الحالية على أنواع محددة من الألغاز المنطقية والنماذج صغيرة النطاق، فإن النتائج تشير إلى اتجاه واعد لمستقبل أنظمة الاستدلال. ويقر المؤلفون بأن تطبيق هذه التقنية على نماذج اللغات الكبيرة، التي تتعامل مع مفردات هائلة ولغة بشرية معقدة، سيكون تحديًا كبيرًا وقد يتطلب تعديلات مختلفة. ومع ذلك، فإن النجاح في هذه المهام المهيكلة يقدم دليلًا قويًا على أن الديناميكيات الداخلية لنماذج الاستدلال تحتوي على إمكانات غير مستغلة. ومن خلال الاستماع إلى "صوت" النموذج واستخدامه لتوجيه الرحلة، وجد الباحثون طريقة لجعل هذه الأنظمة تفكر بفعالية أكبر، مما يثبت أن أفضل طريقة لتحسين استدلال الآلة ليست في تعليمها المزيد، بل في مساعدتها على الإنصات إلى نفسها.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →