ملخص تقني: خصائص التوسع في الاستنتاج الاستنباطي الضمني في نماذج المحولات (Transformers)

بيان المشكلة

تبحث هذه الدراسة في الحدود الحسابية لـ الاستنتاج الاستنباطي الضمني في نماذج المحولات ذات العمق المحدود عند تطبيقها على قابلية إشباع جمل هورن (Horn clause satisfiability). بينما أظهرت نماذج المحولات قدرة على محاكاة الخوارزميات المنطقية، تشير الأعمال السابقة إلى أنها غالبًا ما تعتمد على ميزات زائفة (اختصارات) خاصة بتوزيعات التدريب بدلاً من تنفيذ خوارزميات تسلسلية أمينة. يؤدي هذا إلى ضعف التعميم خارج نطاق التوزيع (OOD) والفشل في التوسع مع تعقيد حل المشكلات.

التحدي الجوهري هو تحديد ما إذا كان زيادة عمق وعرض النموذج يمكن أن يُمكّن نموذج المحول من تنفيذ الاستنتاج الأمامي (Forward-Chaining) (وهي عملية كاملة من نوع P، تسلسلية) بشكل ضمني، دون الحاجة إلى التوليد خطوة بخطوة الذي توفره طريقة "سلسلة الأفكار" (Chain-of-Thought - CoT). يهدف المؤلفون إلى تحديد خصائص التوسع المطلوبة لـ "التقريبات الأمينة" للاستنتاج الاستنباطي، وفهم الاختناقات المعمارية التي تمنع النماذج محدودة العمق من حل هذه المهام مباشرة.

المنهجية

1. توليد البيانات وتخفيف التحيز

لدراسة الاستدلال المنطوي بشكل منهجي دون تعلم اختصارات، يستخدم المؤلفون ثلاثة مولدات للبيانات بناءً على عمل سابق [7]:

• أولوية القواعد (Rule-Priority - RP): تولد رسومًا بيانية متداخلة مع حقائق وقواعد عشوائية.
• أولوية التسمية (Label-Priority - LP):: تولد رسومًا بيانية هرمية ذات هيكل منطقي محجوب بقواعد مشتتة عشوائية.
• LP:* نسخة معدلة من LP مع زيادة في الاعتمادات الدورية.

لمنع النماذج من استغلال الارتباطات السطحية (مثل استخدام عدد القواعد أو الحقائق للتنبؤ بالقابلية للإثبات)، قدم المؤلفون إستراتيجية $r^2$-heuristic. تقوم استراتيجية تعزيز البيانات هذه ببناء أزواج متقابلة متماثلة تقريبًا $(C_1, C_2)$ ذات تسميات متضادة وإحصائيات سطحية متطابقة تقريبًا. هذا يجبر النموذج على الاعتماد على الميزات الهيكلية (طوبولوجيا الرسم البياني) بدلاً من الأعداد الخطية.

بالإضافة إلى ذلك، قام المؤلفون بموازنة مجموعات البيانات بناءً على العمق المنطقي ($\delta$) بدلاً من عمق الاستنتاج العكسي، مما يضمن أن العينات غير القابلة للإثبات تتطلب جهد بحث كبير للتحقق من عدم وجودها. هذا يزيل الارتباط بين العمق الضحل وعدم القابلية للإثبات.

2. التدخلات المعمارية

تستخدم الدراسة نموذج محول (Transformer) من نوع "المُفكك فقط" (decoder-only) يعتمد على Llama 3 مع عدة تعديلات محددة:

• تضمينات النوع (Type Embeddings): نظام تضمين تركيبي يفصل الأدوار المنطقية (حقيقة، مقدمة قاعدة، نتيجة قاعدة) عن هوية الرمز (token)، مما يوفر تثبيتًا صريحًا للطوبولوجيا.
• القناع ثنائي الاتجاه للمقدمة (Bidirectional Prefix Masking): على عكس القناع السببي القياسي، يسمح هذا بالانتباه من الكل إلى الكل داخل بيان المشكلة، مما يخفف من التحيزات التسلسلية ويمكّن النموذج من رؤية الرسم البياني المنطقي بأك its بالكامل في وقت واحد.
• الهدف التصحيحي (Corrective Objective): بدلاً من التدريب على مجموعات بيانات مختلطة من التنبؤ المباشر وعينات CoT (التي تؤدي إلى انهيار تضمينات رموز المهام)، يقوم المؤلفون بدمج التنبؤ المباشر وتتبع CoT في تسلسل واحد. يسمح قناع الانتباه المعزول لكلا الفرعين بالانتباه إلى بيان المشكلة، ولكنه يمنعهما من الانتباه إلى بعضهما البعض. هذا يربط البدائية الاستدلالية للتنبؤ المباشر بالخطوات الخوارزمية الصريحة لـ CoT.

3. الإطار النظري

يحلل المؤلفون التوسع من خلال عدسات التعقيد ونظرية المعلومات:

• تخليق القواعد (Rule Synthesis): يُفترض أنه يتوسع مع $\lambda(\delta) = \Omega(\log \delta)$ طبقة، وهو أمر يمكن تحقيقه عبر القفز المتوازي للمؤشرات (parallel pointer jumping).
• الاستنتاج الأمامي (Forward-Chaining): نظرًا لأن الاستنتاج في جمل هورن هو عملية كاملة من نوع P، يُفترض أن التحقق الأمين من سلسلة بعمق $\delta$ يتطلب $\lambda(\delta) = \Omega(\delta)$ طبقة، لأنه تسلسلي بطبيعته.
• التراكب (Superposition): يجب على النموذج حشد الميزات في بُعد رأس انتباه مقيد. يستخدم المؤلفون محاذاة بروكروست (Procrustes Alignment) لتتبع تطور الحالات الخفية ويجدون أن المعلومات القابلة للفصل خطيًا تظل متسقة طوبولوجيًا عبر الطبقات رغم التحويلات المتعامدة.

المساهمات الرئيسية

1. اتجاهات التوسع التجريبية: يحدد العمل أن زيادة عمق النموذج ($L$) هي العامل الأساسي في سد الفجوة بين أداء الاستنتاج الضمني (المباشر) والصريح (CoT). وبينما تقدم زيادة العرض (زيادة $d_{model}$) فوائد هامشية، إلا أنها لا تستطيع التغلب على الاختناق التسلسلي الجوهري للاستنتاج الأمامي.
2. تخفيف الاختصارات المنهجي: الجمع بين $r^2$-heuristic، والقناع ثنائي الاتجاه، والهدف التصحيحي يحسن بشكل كبير من التعميم خارج نطاق التوزيع (OOD). وتحديدًا، تجبر استراتيجية $r^2$-heuristic النموذج على تعلم الميزات الهيكلية عبر فصل الإحصائيات السطحية عن التسميات.
3. المحاذاة المعمارية: تثبت الدراسة أن الهدف التصحيحي (توحيد التنبؤ المباشر وCoT في تسلسل واحد) يجعل تحسين التنبؤ المباشر أمرًا ممكنًا. وهذا يمكّن النموذج من تعلم البدائيات الاستدلالية المشتركة للاستنتاج الأمامي واستخدام CoT بفعالية كحد أقصى تجريبي.
4. حدود الاستقراء في العمق: يشير المؤلفون إلى أنه بينما يسمح زيادة العمق بالاستنتاج الضمني بالاقتراب من أداء CoT ضمن أفق التدريب ($\delta \leq 6$)، فإن CoT يظل ضروريًا لـ استقراء العمق ($\delta > 6$). لا يمكن للاستنتاج الضمني في النماذج محدودة العمق حل المشكلات الكاملة من نوع P بشكل مثالي في أسوأ الحالات دون نمو فائق التعددية في العرض.

النتائج التجريبية

• إزالة المكونات (Ablation): في مجموعة بيانات LP، حقق الهدف التصحيحي أكبر تحسن هامشي (حوالي +18.9% لـ $\delta \leq 6$)، يليه القناع ثنائي الاتجاه (+8.4%) ثم $r^2$-heuristic (+7.1%). أظهرت $r^2$-heuristic وحدها، بدون الهدف التصحيحي، تأثيرًا ضئيلاً أو سلبيًا على التعلم المباشر، مما يشير إلى أنها تزيل الاختصارات دون تقديم إشارة تعلم قابلة للتطبيق ما لم يتم توجيه النموذج بواسطة الهدف التصحيحي.
• توسع العمق: نجح توسيع عمق النموذج من $L=8$ إلى $L=128$ في سد الفجوة في الأداء بين أوضاع التنبؤ المباشر وCoT عبر مختلف الطوبولوجيا وعروض المشكلات ضمن أفق التدريب. بالنسبة لـ $L=128$، حقق الأداء المباشر في المشكلات ذات $\delta \leq 6$ دقة تقارب الكمال، مطابقةً بذلك أداء CoT.
• الاستقصاء (Probing): كشف استقصاء الحالات الخفية باستخدام المصنفات الخطية أنه مع زيادة عمق النموذج، تصبح قابلية إثبات الخطوات الوسيطة قابلة للفك بشكل متزايد عبر بيان المشكلة بأكمله، مما يشير إلى تقريب موزع للاستنتاج الأمامي.
• التعلم التعزيزي: فشلت محاولات تحسين الأداء عبر التعلم التعزيزي (GRPO و FlowRL) في تعزيز التعميم خارج نطاق التوزيع. حافظ GRPO على تغطية الاستدلال للنموذج الأساسي دون توسيع، بينما عانى FlowRL من تدهور منهجي بسبب "تقلص الدعم التجريبي"، حيث ضحى النموذج بتغطية الاستدلال من أجل تقارب ذي إنتروبيا منخفضة.

الأهمية والادعاءات

يدعي العمل أن زيادة عمق النموذج أمر بالغ الأهمية لتحقيق تعميم قوي في الاستنتاج الاستنباطي الضمني، مما يمكن المحولات فعليًا من تقريب الخوارزميات التسلسلية مثل الاستنتاج الأمامي. يجادل المؤلفون بأن الهدف التصحيحي هو آلية حاسمة توائم التمثيلات الداخلية للنموذج مع الأهداف الخوارزمية، مما يجعل تعلم هذه العمليات التسلسلية أمرًا ممكنًا دون الحاجة لتوليد CoT صريح أثناء الاستدلال.

ومع ذلك، يظل العمل متواضعًا فيما يتعلق بحدود هذا النهج. فهو ينص صراحة على ما يلي:

• تظل CoT ضرورية لاستقراء العمق. لا يمكن للاستنتاج الضمني في النماذج محدودة العمق التوسع إلى أعماق تعسفية دون CoT.
• النتائج محدودة بالمهام الاصطناعية. تستخدم التجارب نماذج لعبة على بيانات جمل هورن اصطناعية. ويحذر المؤلفون من تعميم هذه التقنيات على المجالات الواقعية أو الاستدلال اللغوي الطبيعي المعقد، لأن ذلك يتطلب حذرًا.
• الآليات لا تزال غامضة. على الرغم من أن المؤلفين يلاحظون أن توسع العمق يعمل، إلا أن الآليات الداخلية الدقيقة التي تنشأ من خلالها هذه التقريبات (مثل ديناميكيات التراكب الميزاتي المحدد) تظل غير مفسرة جزئيًا بسبب معضلة التمثيل غير الخطية.

في النهاية، يقدم العمل إطارًا صارمًا للتمييز بين تعلم الاختصارات والتنفيذ الخوارزمي الأمين في نماذج المحول، مشيرًا إلى أنه مع وجود عمق كافٍ ومحاذاة معمارية، يمكن للاستنتاج الضمني ضمن تعقيد محدود أن يحقق موثوقية الاستنتاج الصريح.