💬 NLP

TransactionGPT

تقدم هذه الورقة TransactionGPT، وهو نموذج تأسيسي مبتكر مبني على بنية 3D-Transformer متخصصة تستفيد من بيانات معاملات بمليارات السجلات لتتفوق على النماذج الإنتاجية الحالية في اكتشاف الشذوذ وتوليد المعاملات المستقبلية، مع تقديم كفاءة فائقة مقارنة بالنماذج اللغوية الكبيرة التي تم ضبطها بدقة.

المؤلفون الأصليون: Yingtong Dou, Zhimeng Jiang, Tianyi Zhang, Mingzhi Hu, Zhichao Xu, Shubham Jain, Uday Singh Saini, Xiran Fan, Jiarui Sun, Menghai Pan, Junpeng Wang, Xin Dai, Liang Wang, Chin-Chia Michael Yeh, Yujie F

نُشر 2026-03-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yingtong Dou, Zhimeng Jiang, Tianyi Zhang, Mingzhi Hu, Zhichao Xu, Shubham Jain, Uday Singh Saini, Xiran Fan, Jiarui Sun, Menghai Pan, Junpeng Wang, Xin Dai, Liang Wang, Chin-Chia Michael Yeh, Yujie Fan, Yan Zheng, Vineeth Rakesh, Huiyuan Chen, Guanchu Wang, Mangesh Bendre, Zhongfang Zhuang, Xiaoting Li, Prince Aboagye, Vivian Lai, Minghua Xu, Hao Yang, Yiwei Cai, Mahashweta Das, Yuzhong Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك محققاً عملاقاً وذكياً للغاية، قد قرأ كل إيصال واحد من مليارات المحافظ على مدار السنوات القليلة الماضية. هذا المحقق لا يرى الأرقام فحسب؛ بل يفهم "القصة" الكامنة وراء عادات الإنفاق الخاصة بك.

هذا المحقق هو TransactionGPT (TGPT)، وهو "عقل" جديد ابتكرته أبحاث فيزا (Visa Research).

إليك قصة كيفية عمله، مقسمة إلى مفاهيم بسيطة:

1. المشكلة: لغز فوضوي ومعقد

تخيل أنك تحاول التنبؤ بما سيشتريه الشخص تالياً. الأمر ليس مثل تخمين الكلمة التالية في جملة (وهو ما تفعله نماذج الدردشة الآلية مثلي).

نماذج الدردة الآلية (Chatbots) تتعامل مع الكلمات، وهي سهلة الفهم.
بيانات الإنفاق هي مزيج فوضوي من:
- متى اشتريت الشيء (الوقت).
- أين اشتريته (متجر محدد).
- ماذا اشتريت (فئة مثل "أحذية").
- كم أنفقت.
- قرائن خفية (مثل "هذا الشخص عادة ما يشتري القهوة أيام الثلاثاء").

كانت نماذج الذكاء الاصطنا الـسابقة تشبه محاولة وضع وتد مربع في ثقب مستدير. فإما كانت بسيطة للغاية (تفتقر إلى الرؤية الشاملة) أو مكلفة وبطيئة للغاية (تحاول قراءة كل تفصيل كأنه رواية).

2. الحل: "المحقق ثلاثي الأبعاد"

بنى الباحثون نوعاً جديداً من بنية الذكاء الاصطناعي يسمى 3D-Transformer. فكر فيه كمحقق يمتلك ثلاث عدسات متخصصة تنظر إلى البيانات من زواغات مختلفة في آن واحد:

العدسة 1: عدسة "من وماذا" (البيانات الوصفية - Metadata). تنظر إلى الحقائق الأساسية: من هو التاجر؟ ما هي الفئة؟ إنها تدرك أن "ستاربكس" تختلف عن "محطة شل للوقود".
العدسة 2: عدسة "متى" (الزمن). تنظر إلى إيقاع حياتك. هل اشتريت الغداء بعد 4 ساعات من الإفطار؟ هل هي ليلة الجمعة؟ إنها تتعلم "نبض" إنفاقك.
العدسة 3: عدسة "القرائن السرية" (الميزات - Features). تنظر إلى بيانات إضافية قد تكون مفيدة لمهام محددة فقط، مثل رصد الاحتيال.

الخدعة السحرية: "الرمز الافتراضي" (Virtual Token)
هذا هو الجزء المعقد: عدسة "من وماذا" ترى ملايين أسماء المتاجر المختلفة (قائمة ضخمة)، بينما ترى عدسة "القرائن السرية" بضعة أرقام فقط. إذا حاولت دمجهم مباشرة، فسيصاب الذكاء الاصطناعي بالارتباك أو يتوقف عن العمل.

لحل هذه المشكلة، ابتكر الباحثون الرمز الافتراضي (Virtual Token).

تشبيه: تخيل أن لديك مكتبة ضخمة من الكتب (أسماء المتاجر) ودفتر ملاحظات صغيراً (القرائن الإضافية). لا يمكنك حشر المكتبة بأكملها في دفتر الملاحظات.
بدلاً من ذلك، يعمل الرمز الافتراضي كـ ملخص ذكي. فهو يأخذ أهم الصفحات من المكتبة والملاحظات من الدفتر، ويمزجهم معاً في "بطاقة ملخص" واحدة مثالية، ثم يسلمها للمحقق الرئيسي. هذا يحافظ على سرعة وذكاء الذكاء الاصطناعي دون أن يشعر بالارتباك أو الإرهاق.

3. ماذا يمكن لهذا المحقق أن يفعل؟

اختبر الباحثون TGPT في ثلاث مهام رئيسية:

المهمة 1: البلورة السحرية (التنبؤ).
هل يمكنه تخمين ما ستشتريه تالياً؟
- النتيجة: نعم! إذا اشتريت للتو تذكرة طيران، فإنه يعرف أنك ربما ستشتري غرفة في فندق وسيارة للإيجار قريباً. إنه يتنبأ بالمعاملات المستقبلية بشكل أفضل من الأنظمة التي تستخدمها فيزا حالياً.
المهمة 2: كاشف الاحتيال (رصد الشذوذ/الأنماط غير الطبيعية).
هل يمكنه رصد الأشياء الغريبة؟
- النتيجة: هذه هي المهمة الأكثر أهمية. إذا كنت تشتري القهوة عادة في نيويورك، ولكن فجأة حدثت عملية شراء بقيمة 5000 دولار في بلد آخر في الساعة 3 صباحاً، فإن TGPT يصرخ "احتيال!". إنه أفضل بنسبة 22% في ضبط هؤلاء الممارسين السيئين مقارنة بالنماذج المستخدمة حالياً في الإنتاج.
المهمة 3: اختبار الذاكرة (فهم السياق).
هل يمكنه فهم "طابع" مكان ما؟
- النتيجة: قام الباحثون بتصور "عقل" الذكاء الاصطناعي ووجدوا أنه يصنف المطاعم حسب الموقع. إنه يدرك أن المطاعم في المطار تختلف عن المطاعم في وسط المدينة، حتى لو لم يتم إخباره بذلك صراحة. لقد تعلم هذا بمجرد النظر إلى أنماط أماكن تناول الناس للطعام.

4. لماذا يعد هذا أمراً هاماً؟

إنه سريع: مقارنة باستخدام نموذج لغوي ضخم (LLM) مثل حالتي للقيام بهذه المهمة، فإن TGPT أسرع بـ 300 مرة ويستهلك طاقة حوسبة أقل بكثير. إنه يشبه استخدام سيارة رياضية متخصصة بدلاً من شاحنة ثقيلة لتوصيل طرد.
قابل للتوسع: يمكنه التعامل مع مليارات المعاملات دون أن يتعثر.
عملي: هو لا يعمل في المختبر فحسب؛ بل صُمم ليعمل في العالم الحقيقي للحفاظ على أمان بطاقتك الائتمانية وسلاسة تجربة التسوق الخاصة بك.

الخلاصة

TransactionGPT هو ذكاء اصطناعي متخصص تعلم قراءة "لغة المال". ومن خلال استخدام هيكل ثلاثي الأبعاد ذكي وحيلة تلخيص ذكية (الرمز الافتراضي)، يمكنه التنبؤ بخطوتك التالية، وكشف المحتالين، وفهم عادات الإنفاق الخاصة بك بشكل أفضل من أي وقت مضى — كل ذلك مع كونه سريعاً وفعالاً بما يكفي للعمل على أكبر شبكات الدفع في العالم.

إليك ملخص تقني مفصل لورقة TransactionGPT (TGPT).

1. تعريف المشكلة

تعالج الورقة تحدي بناء نماذج تأسيسية (Foundation Models) لبيانات معاملات الدفع الاستهلاكية، والتي تُصنف بأنها بيانات متعددة الأنماط، زمنية، وجدولية (MMTT). وخلافاً للسلاسل الزمنية القياسية أو البيانات اللغوية الطبيعية، تفرض بيانات المعاملات تعقيدات فريدة:

التباين (Heterogeneity): تحتوي كل معاملة على حقول متنوعة: بيانات وصفية رقمية (المبلغ، الوقت)، كيانات فئوية ذات كارديناليتي عالية (معرفات التجار، رموز MCC)، وميزات تابعة محددة للمهام (مئات القيم الرقمية والفئوية).
عدم التطابق الهيكلي (Structural Mismatch): تفشل النماذج الحالية في التعامل مع هذا الهيكل المحدد:
- النماذج اللغوية الكبيرة (LLMs): غير فعالة حوسبياً وغير متوافقة دلالياً مع البيانات الرقمية والجدولية.
- النماذج التأسيسية للبيانات الجدولية: تتعامل عادةً مع بيانات صغيرة النطاق أو تتطلب أسماء أعمدة غنية دلالياً، وتفتقر إلى نمذجة التسلسل الزمني اللازمة لمسارات الدفع.
- نماذج السلاسل الزمنية: تفترض وجود قيم قياسية (Scalar) لكل خطوة زمنية، بينما تحتوي المعاملات على ناقلات (Vectors) عالية الأبعاد ومتعددة الأنماط.
الهدف: تطوير نموذج تأسيسي قادر على فهم وتوليد مسارات المعاملات الاستهلاكية مع دعم مهام متنوعة لاحقة (كشف الشذوذ، التصنيف، تعلم التمثيل) مع الالتزام بقيود صارمة للفعالية وزمن الاستجابة.

2. المنهجية: بنية TransactionGPT

يقترح المؤلفون TransactionGPT، وهو نموذج تأسيسي متخصص يعتمد على بنية Transformer، تم تدريبه على مليارات المعاملات من العالم الحقيقي. الابتكار الجوهري هو بنية 3D-Transformer التي تشفر هرمياً ثلاثة أنماط متميزة من البيانات: البيانات الوصفية (Metadata)، الميزات (Features)، والتسلسل الزمني (Temporal).

أ. تطور النموذج (1D $\leftarrow$ 2D $\leftarrow$ 3D)

تطورت البنية عبر ثلاث مراحل لمعالجة تحديات محددة في البيانات:

TGPT-1D: يستخدم Transformer زمنياً واحداً ( $TF(S)$ ) لنمذجة التبعيات التسلسلية، مع طبقة MLP بسيطة للتفاعلات بين حقول المعاملة الواحدة.
TGPT-2D: يُدخل Transformer ثانٍ ($TF(tr)$) لتشفيد التفاعلات بين حقول البيانات الوصفية داخل المعاملة الواحدة، بدلاً من الـ MLP.
TGPT-3D: يضيف Transformer ثالثاً ( $TF(F)$ $T F (F)$ ) مخصصاً للميزات التابعة. وهذا أمر بالغ الأهمية لأن:
- مجموعات الميزات ( $F$ ) أكبر بكثير من البيانات الوصفية ( $M$ ).
- تتطلب البيانات الوصفية غالباً تضمينات (Embeddings) كبيرة (كارديناليتي عالية)، بينما تتطلب الميزات تضمينات صغيرة. ويخلق حجم التضمين المشترك مقايضة بين الإفراط في التخصيص (Overfitting) وعدم كفاية التمثيل.

ب. الابتكار الرئيسي: طبقة الرموز الافتراضية (VTL) ودمج الأنماط

التحدي الرئيسي في بنية 3D هو دمج تضمينات ذات أحجام متفاوتة جداً (بيانات وصفية عالية الأبعاد مقابل ميزات منخفضة الأبعاد) دون خلق اختناق حوسبي. قدم المؤلفون طبقة الرموز الافتراضية (Virtual Token Layer - VTL):

الآلية: تقوم VTL بتحويل مجموعة من التضمينات إلى عدد عشوائي من "الرموز الافتراضية" باستخدام تصميم ثنائي القنوات:
- المسار الخطي (Linear Path): مزيج خطي قائم على Softmax لاختيار وتجميع التضمينات المعلوماتية (للحفاظ على تدفق المعلومات).
- المسار غير الخطي (Nonlinear Path): طبقة MLP لإعادة تحجيم التضمينات إلى الأبعاد المطلوبة.
التطبيق:
1. ترميز الميزات (Feature Tokenization): ضغط مخرجات الـ Feature Transformer الضخمة إلى $v_f$ من رموز الميزات الافتراضية التي تطابق بُعد تضمين البيانات الوصفية.
2. ترميز المعاملة (Transaction Tokenization): دمج البيانات الوصفية مع رموز الميزات الافتراضية، ثم ضغطها إلى $v_t$ من رموز المعاملة الافتراضية.
الفائدة: يسمح هذا لـ Temporal Transformer بمعالجة تسلسلات من الرموز الافتراضية بدلاً من الناقلات عالية الأبعاد الخام، مما يقلل بشكل كبير من التعقيد الحوسبي ( $O(v_t w \cdot (d_{tr}/v_t)^2)$ ) مع الحفاظ على عرض نطاق المعلومات.

ج. أهداف التدريب

يتم تدريب TGPT باستخدام التحسين المشترك (Joint Optimization):

التعلم الذاتي (التوليدي): يتنبأ بخصائص المعاملات المستقبلية (الفجوة الزمنية، المبلغ، التاجر، رمز MCC) بناءً على التسلسلات التاريخية.
التعلم الخاضع للإشراف (التنبؤي): يتم ضبطه (Fine-tuning) لمهام التصنيف اللاحقة (مثل كشف الشذوذ).
دالة الخسارة (Loss Function): تجمع بين MSE للحقول الرقمية، وCross-Entropy للحقول الفئوية، وشروط التنظيم (Weight decay، وVTL orthogonality).

3. المساهمات الرئيسية

نموذج TransactionGPT: أول نموذج تأسيسي مصمم خصيصاً لبيانات الدفع MMTT، مدرب على مجموعة بيانات بمليارات السجلات من شبكة دفع كبرى.
بنية 3D-Transformer: تصميم مبتكر يفصل بين تشفير البيانات الوصفية، والميزات، والتسلسلات الزمنية، مما يسمح بالحصول على الحجم الأمثل لتضمين كل نمط.
آلية الرموز الافتراضية (Virtual Token Mechanism): تقنية دمج قابلة للتوسع تعالج عدم تطابق الأبعاد بين الأنماط، مما يتيح دمجاً متعدد الأنماط فعالاً دون اختناقات معلوماتية.
التحقق التجريبي: تقييم شامل عبر ثلاث مهام متميزة (كشف الشذوذ، توليد المسارات، والتنبؤ بفئة التاجر) أظهر تفوقاً على النماذج المرجعية المستخدمة في الإنتاج ونماذج LLM.

4. النتائج التجريبية

تم تقييم النموذج على ثلاث مجموعات بيانات: T-JGC (كشف الشذوذ)، T-RES (مسار تناول الطعام)، وT-MCC (التنبؤ بـ MCC).

كشف الشذوذ (T-JGC):
- حقق نموذج TGPT-3D-FMT (النموذج ثلاثي الأبعاد الكامل مع VTL) تحسناً نسبياً بنسبة 22% عن نموذج الإنتاج الحالي في مقياس أعمال حرج.
- تفوق بشكل كبير على النسخ 1D و2D، مما يثبت أن الدمج الصحيح للميزات أمر بالغ الأهمية للتصنيف.
توليد المعاملات (T-RES):
- حقق TGPT-2D نسبة Recall@50 بلغت 45.6% للتنبؤ بالمطعم التالي في المسار (من أصل 500 ألف خيار)، متفوقاً على نموذج SASRec الذي حقق 38.5%.
- أظهر التحليل النوعي (UMAP) أن تضمينات TGPT نجحت في التقاط التقارب الجغراكي وتشابه التجار (مثل التكتل حسب المدينة أو المطار).
التنبؤ بـ MCC مقابل النماذج اللغوية الكبيرة (T-MCC):
- تفوق TGPT-2D على النماذج اللغوية الكبيرة المضبوطة (مثل Llama2-7B) مع عدد بارامترات أقل بنسبة 92% (56 مليون مقابل 7 مليار).
- سرعة الاستنتاج: كان TGPT أسرع بـ 300 مرة (0.27 مللي ثانية مقابل 84.9 مللي ثانية) على وحدة GPU واحدة من نوع A100، مما يثبت كفاءة التكلفة العالية للمهام الجدولية.
القابلية للتوسع: يلتزم النموذج بقوانين توسع البيانات (Data Scaling Laws)؛ حيث تحسن الأداء باستمرار مع زيادة مجموعات التدريب، وأظهرت بنية 3D أكبر المكاسب عند التوسع.

5. الأهمية والأثر

سد الفجوة: يضع هذا العمل نموذجاً جديداً للنماذج التأسيسية في القطاع المالي، متجاوزاً النماذج اللغوية العامة أو النماذج التسلسلية البسيطة للتعامل مع التعقيد الهيكلي المحدد لبيانات الدفع.
الانتشار العملي: صُممت البنية لتكون قابلة للتطبيق في بيئات الإنتاج، حيث تلبي قيود زمن الاستجابة (SLA) والذاكرة الصارمة مع تقديم دقة متفوقة.
الكفاءة مقابل LLMs: تثبت الورقة أنه بالنسبة للبيانات الجدولية متعددة الأنماط، فإن البنيات المتخصصة (TGPT) أكثر كفاءة وفعالية بكثير من تكييف النماذج اللغوية الكبيرة، مما يتحدى توجه "الأكبر هو الأفضل" في هذا المجال المحدد.
إرشادات مفتوحة: يقدم المؤلفون إرشادات عملية حول التطبيع (Normalization)، والترميز الموضعي (Positional Encoding)، وإدارة عرض نطاق المعلومات، مما يوفر خارطة طريق للممارسين الذين يبنون نماذج تأسيسية مماثلة.

في الختام، يمثل TransactionGPT تقدماً كبيراً في الذكاء الاصطناعي المالي، حيث يثبت أن النماذج التأسيسية المصممة خصيصاً يمكنها تعلم السلوكيات الاستهلاكية المعقدة بفعالية من مجموعات بيانات المعاملات الضخمة وغير المتجانسة، مما يؤدي إلى تحسينات ملموسة في كشف الاحتيال وتجربة المستخدم.