Predicting Decisions of AI Agents from Limited Interaction through Text-Tabular Modeling

ملخص تقني: التنبؤ بقرارات الوكلاء الذكيّين من خلال تفاعل محدود عبر النمذجة النصية-الجدولية

صياغة المشكلة
تتناول الورقة البحثية تحدي التنبؤ بالقرار التالي لوكيل ذكيّ يعتمد على اللغة وغير مألوف (الوكيل المستهدف)، وذلك بالاعتماد فقط على عدد محدود من سجلات التفاعل السابقة ($K$ من الألعاب). في سيناريوهات مثل التفاوض الآلي أو المشتريات، تكون النماذج اللغوية الكبيرة (LLMs) الأساسية للوكيل، والمطالبات النظامية (system prompts)، والمنطق التحكمي، والأنظمة الاحتياطية القائمة على القواعد، كلها مخفية. تتضمن كل نقطة قرار مزيجاً من حالات اللعبة المهيكلة (العروض، أرقام الجولات، العوائد) والحوار النصي الحر. صاغ المؤلفون هذا كمسألة تنبؤ نصي-جدولي متكيف مع الهدف (target-adaptive text-tabular prediction). والهدف هو التنبؤ بمهمتين متكاملتين:

1. التنبؤ بالاستجابة: مهمة تصنيف ثنائي لتحديد ما إذا كان الهدف سيقبل العرض الحالي أم سيرفضه.
2. التنبؤ بالمقترح: مهمة انحدار (regression) لتقدير قيمة المقترح التالي الذي سيقدمه الهدف.

تتطلب هذه البيئة التكيف مع وكيل جديد دون الوصول إلى الكود البرمجي الخاص به أو مطالباته، بالاعتماد فقط على $K$ من الأمثلة المصنفة لسلوكاته الماضية ومجتمع مصدر كبير من الوكلاء الذين تمت ملاحظتهم سابقاً.

المنهجية
يختلف النهج المقترح عن أسلوب "النموذج اللغوي الكبير كمُتنبئ" (LLM-as-Predictor) المباشر (حيث يُطلب من نموذج لغوي كبير التنبؤ بالحركة التالية مباشرة). بدلاً من ذلك، يستخدم المؤلفون نموذجاً تأسيسياً نصياً-جدولياً (TabPFN) يتكيف مع تمثيل متعدد الوسائط لنقطة القرار. المكونات الأساسية هي:

1. أنماط الميزات (Feature Modalities): يتم تمثيل كل نقطة قرار كصف جدول واحد يجمع بين ثلاثة كتل من الميزات:

   • ميزات حالة اللعبة: متغيرات مهيكلة تشمل معاملات التكوين (مثل عوامل الخصم، القيم التقديرية)، مؤشر الجولة، العروض الحالية والتاريخية، وسجل القرارات.
   • تمثيل الحوار: تمثيلات دلالية عامة لسجل المحادثة، يتم ترميزها عبر محول جمل (مثل all-MiniLM-L6-v2) وتقليل أبعادها عبر تحليل المكونات الرئيسية (PCA).
   • تمثيل المراقب (LLM-as-Observer): كتلة ميزات مبتكرة حيث يقوم نموذج لغوي صغير ومجمد (مثل Gemma-2-2B أو Qwen3-1.7B) بقراءة حالة الحوار وحالة وقت القرار العامة. ومن الأهمية بمكان أن مخرجات النموذج اللغوي المباشرة (قراره المتوقع) يتم التخلص منها؛ وبدلاً من ذلك، يتم استخراج الحالات الخفية (hidden states) (تحديداً من الطبقات العليا، بعمق نسبي 0.6–0.9) واستخدامها كمتجه ميزات عالي الأبعاد. يعامل هذا النموذج اللغوي كـ "مشفر" (encoder) للإشارات ذات الصلة بالقرار وليس كمُتنبئ مباشر.

2. التعلم المتكيف مع الهدف: يتم تدريب نموذج TabPFN على مجتمع مصدر من الوكلاء (13 نموذجاً لغوياً رائداً من مجموعة بيانات GLEE) ويتكيف مع الوكيل المستهدف باستخدام $K$ من الألعاب المرصودة كأمثلة مصنفة داخل السياق. يجمع النموذج بين الانتظامات على مستوى المجتمع والأدلة الخاصة بالهدف دون الحاجة لإعادة التدريب القائم على التدرج (gradient-based retraining).

3. النماذج المرجعية (Baselines): يقارن المؤلفون نموذجهم الكامل مقابل:

   • ميزات اللعبة + النص: نفس النموذج الجدولي ولكن بدون ميزات الحالة الخفية للمراقب.
   • النموذج اللغوي الكبير كمُتنبئ: نموذج لغوي رائد يتم توجيهه مباشرة بمطالبة تحتوي على حالة اللعبة، الحوار، و $K$ من الأمثلة لإخراج تنبؤ.

المساهمات الرئيسية

1. الصياغة: تعيد الورقة صياغة التنبؤ بعدد قليل من الأمثلة للوكلاء القائمين على اللغة كمسألة تعلم نصي-جدولي متكيف مع الهدف، باستخدام $K$ من الألعاب السابقة كأمثلة تكيف مصنفة.
2. النموذج اللغوي الكبير كمراقب (LLM-as-Observer): تقديم كتلة ميزات موجهة للقرار حيث يعمل نموذج لغوي صغير ومجمد كـ "مشفر". يوضح المؤلفون أن الحالات الخفية للنموذج اللغوي الصغير توفر إشارات تكميلية وذات صلة بالقرار لا تظهر بشكل موثوق في مخرجاته المباشرة.
3. مجموعة بيانات وتدقيق عبر المجتمعات: قدم المؤلفون مجموعة بيانات مستبعدة لـ 91 "وكيلاً مهيكلاً" (بُني بواسطة طلاب باستخدام نموذج لغوي أساسي مشترك ولكن مع تباين في المطالبات ومنطق التحكم) ويقيمون الانتقال من مجتمع مصدر من النماذج اللغوية الرائدة (المتنوعة في النموذج الأساسي). يختبر هذا مدى قوة المتنبئات عبر محاور مختلفة من تباين الوكلاء.

النتائج
أُجريت التجارب على ألعاب المساومة والتفاوض من إطار عمل GLEE.

• الأداء: يتفوق النموذج النصي-الجدولي الكامل مع ميزات المراقب على كل من المرجع "اللعبة + النص" ونهج "النموذج اللغوي الكبير كمُتنبئ" عبر جميع قيم $K$ (من 0 إلى 16).
• مساهمة المراقب: عند $K=16$، تعمل ميزات المراقب على تحسين AUC للتنبؤ بالاستجابة بنحو 4 نقاط مئوية عن أفضل مرجع، وتقلل خطأ التنبؤ بالمقترح (مقاساً بمتوسط $R^2$) بنسبة 14% في مهام المساومة.
• الحالات الخفية مقابل المخرجات المباشرة: تؤكد دراسات الاستبعاد (ablation studies) أن القوة التنبؤية تأتي من الحالات الخفية للنموذج اللغوي، وليس من احتمالات (logits) المخرجات المباشرة. تتفوق الحالات الخفية باستمرار على احتمالات القبول/الرفض الخاصة بالنموذج اللغوي نفسه، مما يشير إلى أنها تشفر معلومات استراتيجية تفشل رأس المخرجات في إظهارها.
• المتانة: استقرار المكاسب من ميزات المراقب عبر مختلف مزودي النماذج اللغية المجمدة (Gemma, Qwen, Llama) وعبر الطبقات المتوسطة والمتأخرة، مما يشير إلى أن الإشارة هي خاصية جوهرية للتمثيل.
• قصور النموذج اللغوي الكبير كمُتنبئ: يؤدي التوجيه المباشر للنماذج اللغوية الكبيرة الرائدة إلى أداء ضعيف في التنبؤ بالمقترح (الانحدار)، حيث غالباً ما تعطي قيم $R^2$ سالبة، ويرجع ذلك على الأرجح إلى صعوبة معايرة توليد الرموز (tokens) ذاتية الانحدار للقيم الرقمية المستمرة مقارنة بقدرات الانحدار في النموذج الجدولي.

الأهمية والادعاءات
تدعي الورقة أن التنبؤ بقرارات الوكلاء الذكيّين غير المألوفين يُفضل تأطيره كمسألة تعلم نصي-جدولي متكيف مع الهدف بدلاً من التنبؤ المباشر بالنماذج اللغوية الكبيرة عبر التعلم من أمثلة قليلة. تكمن الأهمية في إثبات أن:

• فصل التمثيل (المستخرج عبر مشفر نموذج لغوي مجمد) عن التكيف (الذي يتم عبر متعلم جدولي خاضع للإشراف) يؤدي إلى أداء فائق.
• تكشف التمثيلات الخفية للنماذج اللغوية الكبيرة عن إشارات ذات صلة بالقرار لا تظهر بشكل موثوق عبر التوجيه المباشر، حتى عند استخدام نماذج أصغر ومجمدة مقارنة بالنماذج اللغوية الكبيرة الرائدة.
• يتيح هذا النهج التكيف الفعال مع الوكلاء المهندسين (الوكلاء المهيكلين) باستخدام مجتمع مصدر قابل لإعادة الاستخدام، مما يقترح وصفة عامة لنمذجة اتخاذ القرار للوكلاء غير المألوفين في التجارة القائمة على الوساطة اللغوية.

يشير المؤلفون إلى وجود قيود، بما في ذلك كون الألعاب تجريدات محكومة وليست أسواقاً حقيقية، وأن الطريقة تفترض إمكانية الوصول إلى مجتمع مصدر ذي صلة. ويؤكدون أن هذا النهج هو خطوة نحو وكلاء مدركين للتنبؤ يمكنهم التكيف مع الشركاء دون مشاركة حالتهم الخاصة.