🤖 machine learning

Teaching Metric Distance to Discrete Autoregressive Language Models

تقدم هذه الورقة DIST2Loss، وهي دالة هدف مدركة للمسافة للنماذج اللغوية ذات التوليد الذاتي المنفصل، والتي تستبدل الأهداف التقليدية بنظام "الهدف ذو الحد الواحد" (one-hot) بتوزيعات مرجحة بالمكافأة لتحسين كفاءة البيانات والأداء عبر مهام متنوعة مثل التأسيس البصري، والروبوتات، وتوليد الصور من خلال الاستفادة من العلاقات المترية بين الرموز.

المؤلفون الأصليون: Jiwan Chung, Saejin Kim, Yongrae Jo, Jaewoo Park, Dongjun Min, Youngjae Yu

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiwan Chung, Saejin Kim, Yongrae Jo, Jaewoo Park, Dongjun Min, Youngjae Yu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيف يتحدث أو يتصرف. حالياً، تتعلم معظم النماذج اللغوية الكبيرة (LLMs) مثل طالب يحل اختباراً من نوع الاختيار من متعدد حيث توجد إجابة صحيحة واحدة فقط. إذا خمن الروبوت الرقم "4" بينما الإجابة هي "5"، يقول له المعلم: "خطأ! حاول مرة أخرى". إنه يعامل "4" و"5" كأشياء مختلفة تماماً وغير مرتبطة ببعضها، تماماً كما يعامل "تفاحة" و"موزة" كأشياء غير مرتبطة.

تقدم هذه الورقة البحثية طريقة تعليمية جديدة تسمى DIST2Loss. وهي تجادل بأنه في مهام معينة — مثل الرياضيات، أو حركات الروبوت، أو رسم المربعات حول الأشياء — لا تكون الإجابات مجرد فئات عشوائية، بل لها مسافة بينها. فالرقم "4" قريب جداً من "5"، لكنه بعيد عن "90".

إليك كيف تشرح الورقة ذلك باستخدام تشبيهات بسيطة:

1. المشكلة: المعلم الذي يعتمد على مبدأ "الكل أو لا شيء"

في الطريقة القديمة (المسماة "الأهداف ذات التوزيع الأحادي - one-hot targets")، إذا كان الروبوت يحاول تعلم رسم مربع حول قطة، ورسم مربعاً أصغر قليلاً من اللازم، فإن الكمبيوتر يقول له: "فشل ذريع". لا يهم إذا كان المربع بعيداً بمقدار بكسل واحد أو 100 بكسل؛ فالعقوبة هي نفسها.

هذا يشبه معلماً يصحح اختبار رياضيات حيث الحصول على الإجابة "4.9" عندما تكون الإجابة "5.0" يمنحك صفراً، تماماً كما لو حصلت على "100". النموذج لا يتعلم أن "4.9" كانت "قريبة جداً" من الصواب.

2. الحل: "خريطة المكافآت" (DIST2Loss)

لقد ابتكر المؤلفون طريقة جديدة لتقييم الروبوت. بدلاً من مفتاح بسيط "صح/خطأ"، هم يعطون الروبوت خريطة مكافآت.

التشبيه: تخيل أنك ترمي السهام على هدف.
- الطريقة القدة: إذا أصبت مركز الهدف، تحصل على 10 نقاط. إذا أخطأت ولو بميليمتر واحد، تحصل على 0 نقطة.
- DIST2Loss: إذا أصبت مركز الهدف، تحصل على 10 نقاط. إذا أخطأت بميليمتر واحد، تحصل على 9.9 نقطة. إذا أخطأت بمسافة ميل، تحصل على 0 نقطة.

يتعلم النموذج أن كونك "قريباً" أفضل من كونك "بعيداً". فهو يستخدم المسافة الفعلية بين الأرقام أو الإحداثيات لإنشاء هدف "ناعم". إذا كانت الإجابة هي 5، يتم تشجيع النموذج على إعطاء احتمالية عالية للرقمين 4 و6، واحتمالية أقل للرقمين 1 و10.

3. لماذا هذا مميز: لا يوجد "تجربة وخطأ"

عادةً، لتعليم روبوت فهم مفهوم "القرب"، يجب استخدام طريقة تسمى التعلم التعزيزي (Reinforcement Learning - RL). هذا يشبه تدريب كلب: تترك الكلب يجرب شيئاً ما، ثم ترى ما إذا كان قد نجح، وبعد ذلك تعطيه مكافأة أو توبخه. هذا يستغرق وقتاً طويلاً، وهو عملية فوضوية وغير مستقرة.

تزعم الورقة أن DIST2Loss هو اختصار. فهو يحسب "خريطة المكافآت المثالية" رياضياً منذ البداية. إنه يشبه إعطاء الكلب خريطة لمكان اختباء المكافآت قبل أن يبدأ بالركض حتى. يتعلم النموذج مفهوم "المسافة" فوراً دون الحاجة إلى التخمين والفشل آلاف المرات.

4. أين يعمل (تجارب الورقة البحثية)

اختبر المؤلفون طريقة التعليم "المدركة للمسافة" هذه في أربعة مجالات محددة حيث يكتسب "القرب" أهمية:

التحديد البصري (إيجاد الأشياء): عندما يُطلب من روبوت رسم مربع حول "سيارة حمراء"، يساعد DIST2Loss الروبوت على رسم مربع أقرب هندسياً إلى السيارة الحقيقية، حتى لو لم يكن مثالياً.
الروبوتات (تحريك الأذرع): عندما يحتاج الروبوت إلى تحريك ذراعه إلى إحداثي معين (x, y, z)، يساعد DIST2Loss الروبوت على تعلم الحركة بشكل أسرع وأكثر دقة لأنه يفهم أن كونه بعيداً قليلاً أفضل من كونه بعيداً جداً.
نمذجة المكافآت (تقييم الإجابات): عندما يحتاج النموذج إلى تقييم مدى جودة إجابة الإنسان (على مقياس من 1 إلى 10)، يساعد DIST2Loss النموذج على فهم أن الرقم "9" أقرب بكثير إلى "10" من الرقم "1" إلى "10"، مما يؤدي إلى تقييم أفضل.
توليد الصور: عند إنشاء صور من نصوص، يستخدم النموذج "الرموز" (tokens) (وحدات بناء رقمية). يساعد DIST2Loss النموذج على فهم أن استبدال رمز بآخر "قريب" يحافظ على تشابه الصورة، بينما استبداله برمز "بعيد" يفسد الصورة.

الخلاصة

تزعم الورقة أنه بمجرد إخبار النموذج: "مهلاً، هذه الأرقام قريبة من بعضها البعض"، يصبح النموذج أفضل بكثير في المهام التي تتضمن أرقاماً، وإحداثيات، وقياسات. وهذا يجعله أكثر كفاءة (يحتاج إلى بيانات أقل للتعلم) وأكثر دقة، دون الحاجة إلى طرق تدريب معقدة وغير مستقرة. إنه يحول العالم من "أبيض وأسود" (صح/خطأ) إلى عالم "تدرجات الرمادي" حيث يكون للقرب قيمة.

ملخص تقني: تعليم المسافة المترية للنماذج اللغوية ذات الترتيب الذاتي المنفصلة

بيان المشكلة

تعمل النماذج اللغوية الكبيرة (LLMs) وغيرها من النماذج التأسيسية ذات الترتيب الذاتي المنفصل (discrete autoregressive) عبر التنبؤ بالرموز (tokens) من مفردات معينة، حيث تعامل كل رمز كمتغير فئوي منفصل يتم تحسينه مقابل توزيع هدف بنظام "الواحد-الساخن" (one-hot). وبينما مكنت هذه الصيغة النماذج اللغوية الكبيرة من التكيف مع مجالات متنوعة مثل الرؤية، والروبوتات، والاستدلال متعدد الوسائط، إلا أنها تتجاهل بشكل جوهري العلاقات المترية بين الرموز.

في المهام التي تتضمن عناصر ذات بنية عددية أو مترية — مثل الأعداد الصحيحة في الاستدلال الحسابي، أو الإحداثيات المكانية في اكتشاف الأشياء، أو زوايا الدوران في التحكم الروبوتي، أو التضمينات المكممة (quantized embeddings) في توليد الصور — تضيع البنية المترية الجوهرية عندما تُختزل الرموز إلى أهداف "واحد-ساخنة". إن التدريب التقليدي يتجاهل حقيقة أن التنبؤ بـ "4" هو أقرب دلاليًا إلى الحقيقة الأرضية "5" من كون التنبؤ بـ "2" قريبًا منها. هذا القصور يعيق كفاءة البيانات والأداء في المجالات التي تكون فيها المسافة ذات معنى.

المنهجية: DIST2Loss

قدم المؤلفون DIST2Loss (خسارة المسافة المنفصلة - DIScreTized DISTance Loss)، وهي دالة هدف مدركة للمسافة للنماذج ذات الترتيب الذاتي المنفصلة. الفكرة الجوريّة هي استبدال توزيع الهدف "الواحد-الساخن" التقليدي بتوزيع مرجح بالمكافأة مشتق من مسافات الرموز المحددة مسبقًا.

الصيغة الجوهرية

بفرض وجود مجموعة فرعية من المفردات $V_d$ وفضاء متري $(X, d)$ ، تقوم DIST2Loss ببناء توزيع هدف $p_d(v|x, t)$ للرمز $v$ عند الخطوة الزمنية $t$ ، بمعلومية الرمز الحقيقي $x$ . يتم تعريف هذا التوزيع باستخدام عائلة أسية منفصلة:

$p_d(v|x, t) = \frac{\exp\left(-\frac{d(v, x, t)}{\tau}\right)}{\sum_{v' \in V_d} \exp\left(-\frac{d(v', x, t)}{\tau}\right)}$

حيث أن:

$d(v, x, t)$ هي المسافة بين الرمز المرشح $v$ والحقيقة الأرضية $x$ (على سبيل المثال، المسافة الإقليدية للإحداثيات، أو المسافة الزاوية للدوران، أو مسافة التضمين لأكواد VQ).
$\tau$ هو معلم درجة الحرارة (temperature hyperparameter) الذي يتحكم في نعومة التوزيع.

تجمع دالة الهدف النهائية بين خسارة الإنتروبيا المتقاطعة القياسية ( $L_{CE}$ ) والتنظيم القائم على المسافة:
$L = L_{CE} + \alpha L_{dist}$
حيث توازن $L_{dist}$ بين المصطلحين، و $\alpha$ توازن بينهما.

التفسير النظري

تُفسر DIST2Loss على أنها الحل المغلق لتحسين السياسة المنظم بالإنتروبيا (entropy-regularized policy optimization). في التعلم التعزيزي (RL)، يشجع تنظيم الإنتروبيا على الاستكشاف عن طريق منع السياسة من الانهيار المبكر جدًا. ومن المعروف أن السياسة المثلى لتعظيم المكافأة المتوقعة مع تنظيم الإنتروبيا تتناسب طرديًا مع $\exp(R(a)/\tau)$ . وتجسد DIST2Loss ذلك من خلال معاملة الرموز المرشحة كأفعال (actions) وإشارة المكافأة كالسالب للمسافة. وبخلاف التعلم التعزيزي التقليدي، الذي يتطلب أخذ عينات، وعمليات تدحرج (rollouts)، وتحديثات تكرارية، توفر DIST2Loss هدفًا تحليليًا مستقرًا وخاليًا من التباين، مما يتجنب عدم الاستقرار المرتبط بمقدرات تدرج السياسة (policy-gradient estimators).

التعامل مع الأبعاد العالية والمتواليات متعددة الرموز

الإطار مرن بما يكفي للتعامل مع المتجهات المستمرة عالية الأبعاد (مثل تضمينات VQ) من خلال تعريف مقاييس المسافة عبر تضميناتها (مثل تشابه جيب التمام). وبالنسبة للعناصر الهيكلية متعددة الرموز (مثل الأرقام متعددة الخانات)، يشير المؤلفون إلى أن تطبيق الخسارة مباشرة يواجه "مشكلة تخصيص الائتمان" (credit assignment problem) حيث لا يستطيع النموذج التمييز بين الرمز الذي تسبب في الخطأ. وللتخفيف من ذلك، اقترحوا حلولاً عملية مثل تعزيز الهدف التبايني (Contrastive Target Augmentation) (أخذ عينات من الجيران السلبيين) و وزن القيمة المكانية (Place Value Weighting) (وزن الخسارة حسب الأهمية الموضعية)، رغم أن تجاربهم الأساسية تركز على المهام التي تتفكك فيها المكافآت طبيعيًا عند مستوى الرمز.

المساهمات الرئيسية

إطار عمل DIST2Loss: دالة هدف جاهزة للتركيب (plug-and-play) تدمج البنية المترية في تدريب الترتيب الذاتي المنفصل دون الحاجة إلى بيانات إضافية أو تكاليف حسابية كبيرة.
الجسر النظري: إقامة اتصال بين الإشراف المدرك للمسافة وتحسين الإنتروبيا، مما يوفر بديلًا مستقرًا للتعلم التعزيزي للمهام ذات المكافآت لكل رمز معلومة.
التعميم: إثبات إمكانية تطبيق الطريقة عبر مجالات متنوعة، من الانحدار الخطي (1D scalar regression) إلى توليد الصور عالي الأبعاد، طالما أن الرموز تقبل مقياسًا ذا معنى.

النتائج التجريبية

قيم المؤلفون DIST2Loss عبر خمسة مجالات متميزة، حيث أظهرت باستمرار تحسنًا في كفاءة البيانات والأداء النهائي:

انحدار الدوال الاصطناعية (مهمة تجريبية): في إعداد تعلم ميتا (meta-learning) حيث تتعلم النماذج الانحدار الخطي من عينات قليلة تتراوح بين 1 و10 عينات، تفوقت DIST2Loss بشكل كبير على المعايير القياسية لـ SFT والمعايير المقيدة بالمفردات من حيث متوسط الخطأ المطلق (MAE) وجذر متوسط مربع الخطأ (RMSE)، مما أظهر تعميمًا هيكليًا متفوقًا.
التأسيس البصري (Visual Grounding): من خلال ضبط نموذج Phi3V على مجموعات بيانات RefCOCO/RefCOCO+/RefCOCOg دون تدريب مسبق على اكتشاف الأشياء، حققت DIST2Loss أداءً يقارب النماذج الحديثة المدربة على مجموعات بيانات اكتشاف واسعة النطاق. والجدير بالذكر أنه حتى في "الحالات الصعبة" حيث تنبأ كلا النموذجين بالكائن الخطأ، كانت تنبؤات DIST2Loss أقرب هندسيًا إلى الحقيقة الأرضية (IoU أعلى).
التحكم الروبوتي: في VIMABench، حسنت DIST2Loss معدلات النجاح لتوليد الأفعال الروبوتية (زوايا المفاصل والإحداثيات). كانت المكاسب أكثر وضوحًا في الأنظمة ذات البيانات الشحيحة (1 ألف عينة)، مما يسلط الضوء على قيمة الأولويات المترية عندما تكون البيانات محدودة.
نمذجة المكافأة التوليدية: عند تطبيقها على محاذاة النماذج اللغوية الكبيرة (RLHF)، حسنت DIST2Loss أداء نمذجة المكافأة على RewardBench و MT-Bench. تفوق النهج التوليدي باستخدام DIST2Loss على كل من المصنفات الثنائية القياسية ونماذج SFT، خاصة في مجالات "الدردشة الصعبة" (Chat Hard) و"السلامة" (Safety).
توليد الصور: باستخدام التمثيلات المكممة المتجهة (VQ)، عززت DIST2Loss تعلم التمثيلات الصورية في نماذج الترتيب الذاتي (LlamaGen)، مما أدى إلى انخفاض قيم FID وارتفاع درجات IS مقارنة بمعايير SFT عبر أحجام النماذج ودورات التدريب المختلفة.

الأهمية والادعاءات

يدعي البحث أن الإشراف المدرك للمسافة يقدم بديلًا بسيطًا وعامًا للإشراف بنظام "الواحد-الساخن" للنماذج ذات الترتيب الذاتي المنفصلة. تكمن الأهمية في القدرة على:

استغلال البنية الجوهرية: استغلال العلاقات المترية المتأصلة في العديد من المهام غير النصية (الإحداثيات، الأرقام، التضمينات) التي يتجاهلها نظام "الواحد-الساخن" القياسي.
تحسين كفاءة البيانات: تحقيق أداء أفضل بعدد أقل من عينات التدريب عن طريق ترميز التحيزات الاستقرائية مباشرة في دالة الخسارة.
استقرار التدريب: توفير بديل مستقر ومغلق لتعلم تعزيز المكافأة، وتجنب مشاكل أخذ العينات وعدم الاستقرار المرتبطة بتدرجات السياسة.

يؤكد المؤلفون أن الطريقة تكون أكثر فعالية عندما تقبل الرموز مقياسًا ذا معنى (مثل القيم العددية، الإحداثيات، التضمينات المكممة). وفي المجالات التي تفتقر إلى هندسة جوهرية، تتحول الطريقة طبيعيًا إلى إشراف "واحد-ساخن" قياسي. ويشير العمل إلى أنه بالنسبة لمجموعة واسعة من المهام متعددة الوسائط والاستدلال، فإن دمج المسافة المترية يعد مكونًا حاسمًا، وإن كان غير مستغل سابقًا، لتدريب النماذج التأسيسية المنفصلة.