ملخص تقني: LoCar – التقييم المدرك للسياق المحلي للمساعدين داخل المركبات

بيان المشكلة

يمثل دمج النماذج اللغوية الكبيرة (LLMs) في المركبات المحددة برمجياً (SDVs) تحدياً حرجاً: فالمعايير المرجعية الحالية تعطي الأولوية للاستدلال العام والمعرفة على حساب المتطلبات السوسيولغوية (الاجتماعية اللغوية) ومتطلبات السلامة الخاصة بالنشر في قطاع السيارات. وفي أسواق مثل كوريا الجنوبية، حيث تكتسي السياقات الثقافية والفروق اللغوية الدقيقة أهمية قصوى، لا يعد الترجمة القياسية كافياً. تفشل أطر التقييم الحالية في معالجة ما يلي:

1. التحكم السوسيولغوي الدقيق: عدم قدرة النماذج اللغوية الكبيرة على الحفاظ باستمرار على مستويات محددة من لغة الخطاب (صيغ التبجيل/التوقير) المطلوبة للهوية التجارية الفاخرة وثقة المستخدم.
2. إدارة الحوار الاستراتيجية: غياب المعايير لتقييم سلوكيات التفاعل الاستباقية، والحرجة للسلامة، والمدركة للسياق في سيناريوهات القيادة الواقعية.
3. مقاييس موجهة للنشر: غياب معاي‌های التقييم التي توازن بين الكفاءة، والوضوح، والسلامة تحت قيود العبء المعرفي أثناء القيادة.

المنهجية

يقترح المؤلفون LoCar (التقييم المدرك للسياق المحلي لمساعدي السيارات)، وهو إطار عمل مصمم خصيصاً لأنظمة الذكاء الاصطناعي داخل المركبات في كوريا. تتكون المنهجية من ثلاثة مكونات أساسية:

1. تصنيف وبناء مجموعة البيانات

يحدد الإطار تصنيفاً شاملاً يرتكز على حالتي استخدام رئيسيتين: خبير السيارة (تشغيل المركبة، التشخيص، والمعرفة القائمة على الدليل) والملاحة (تخطيط المسار والوعي بالموقف).

• توليد البيانات: تم بناء مجموعة بيانات اصطناعية باستخدام أدلة المالك الرسمية وموارد الملاحة. وتتضمن 13 مؤشراً رئيسياً للأداء (KPIs) منظمة في طبقتين:
  • طبقة الأسلوب اللغوي: تقيم الإيجاز وثلاث مستويات متميزة من صيغ التبجيل (Hae, Haeyo, Hapsyo).
  • طبقة كفاءة الحوار: تقيم قدرات الدور الواحد (الفهم الضمني، الاستيعاب السياقي، الاستجابة للأسئلة الضارة) وقدرات تعدد الأدوار (الاستيضاح، الاحتفاظ، التنقيح، التأمل، الاستباقية، واستكشاف الأخطاء وإصلاحها).
• التعزيز: تم تعزيز جميع الحالات بثلاث مستويات من لغة الخطاب الكورية لاختبار اتساق السجل اللغوي، مما نتج عنه مجموعة بيانات تضم أكثر من 12,000 حالة.

2. مسار التقييم الهجين

لضمان تقييم صارم وموثوق، طور المؤلفون مساراً آلياً باستخدام نموذج النموذج اللغوي الكبير كحكم (LLM-as-a-Judge)، والمعاير مقابل التدوين البشري.

• المعايرة البشرية: تم إنشاء "مجموعة ذهبية" مكونة من 803 حالة مدونة بشرياً، مع ثلاثة مدونين لكل عينة. كان الاتفاق بين المدونين (IAA) متوسطاً إلى كبيراً لمعظم المقاييس، وإن كان أقل في المهام الذاتية مثل الاستيضاح.
• التحقق الهجين من صيغ التبجيل: إدراكاً بأن النماذج اللغوية الكبيرة تواجه صعوبة في التمييز بين صيغ التبجيل الكورية المتشابهة صرفياً (مثل Haeyo مقابل Hapsyo)، يدمج المسار فاحصاً صرفياً للقواعد يعتمد على القواعد جنباً إلى جنب مع الاستدلال السياقي للنموذج اللغوي. حسن هذا النهج الهجين اتفاق الحكم البشري في تصنيف صيغ التبجيل من 0.69 إلى 0.94.
• الحكم الجماعي (Ensemble Judging): تم اختيار ثلاثة نماذج لغوية كبيرة غير متجانسة (Gemini-2.5-Flash, GPT-5-mini, DeepSeek-v3.1) بناءً على اتساقها مع التدوين البشوي. ويتم تجميع قراراتها عبر التصويت بالأغلبية للتخفيف من انحياز النموذج المحدد.
• آلية البوابة (Gating Mechanism): يعمل مقياس "تضمين المعلومات ذات المعنى" كبوابة؛ فإذا افتقرت الاستجابة إلى محتوى جوهري، يتم استبعاد جميع مقاييس كفاءة الحوار (باستثناء استجابات السلامة) من تسجيل الدرجات.

3. الإعداد التجريبي

تم تطبيق الإطار لتقييم 11 نموذجاً من أحدث النماذج اللغوية الكبيرة (بما في ذلك النماذج المطورة في كوريا وواجهات برمجة التطبيقات العالمية) عبر سيناريوهات الدور الواحد وتعدد الأدوار. تم توجيه النماذج لتوليد استجابات في مستويات خطابية محددة عشوائياً، وتم قياس الامتثال مقابل الـ 13 مؤشراً للأداء.

النتائج الرئيسية

كشف تقييم الـ 11 نموذجاً عن أنماط أداء متميزة:

• عدم الاستقرار في صيغ التبجيل الدقيقة: رغم الامتثال العالي بشكل عام للغة المهذبة، خلطت النماذج بشكل متكرر بين Haeyo و Hapsyo. يشير هذا إلى أن الحفاظ على مستويات محددة وثابتة من لغة الخطاب يظل تحدياً لغوياً كبي_راً، حتى عند الحفاظ على التهذيب العام.
• التباين بين الدور الواحد وتعدد الأدوار: اقتربت مقاييس فهم الدور الواحد (الفهم الضمني، الاستيعاب السياقي) من مرحلة التشبع عبر النماذج. في المقابل، أظهرت المقاييس الاستراتيجية لتعدد الأدوار (الاستيضاح، الاستباقية) تبايناً أعلى بكثير ومتوسط درجات أقل.
• انحياز التقييم التحفظي: أظهر الإطار موقفاً محافظاً في السيناريوهات الغامضة. بالنسبة للمهام الاستراتيجية مثل الاستيضاح والاستباقية، فضل النظام معايير قبول أكثر صرامة، حيث لم يقبل إلا التدخلات التي استوفت معايير عالية من السلامة واليقين السياقي. أدى هذا إلى انخفاض في الاستدعاء (Recall) لهذه المقاييس مقارنة بالمهام الموجهة نحو الاتساق مثل الاحتفاظ أو التنقيح.
• زمن الاستجابة مقابل الأداء: أظهر التحليل أن زمن استجابة الاستدلال (Inference Latency) لم يرتبط باستمرار بالأداء الاستراتيجي المتفوق في تعدد الأدوار، مما يشير إلى أن حجم النموذج وحده لا يضمن توجيهاً حوارياً أفضل.

الأهمية والمساهمات

يدعي البحث ثلاث مساهمات رئيسية:

1. إطار عمل LoCar: تقديم أول إطار تقييم لمجال السيارات ومجموعة بيانات تستهدف المتطلبات السوسيولغوية المحلية، مع تحديد 13 مؤشراً للأداء لتقييم التحقيق اللغوي وكفاءة الحوار بشكل منهجي.
2. الدليل التجريبي على عدم الاستقرار: إثبات أن التحكم الدقيق في صيغ التبجيل غير مستقر في النماذج اللغوية الكبيرة الحالية، مما يسلط الضضوء على ضرية أن تحقيق مستويات الخطاب بدقة يجب أن يُقيم صراحةً بدلاً من افتراضه.
3. استراتيجية تقييم موجهة للنشر: تحديد فجوة الأداء في قدرات الحوار الاستراتيجية، مما يشير إلى أن التقييم على مستوى النشر يتطلب انحيازاً محافظاً لإعطاء الأولوية للموثوقية والسلامة على مجرد الطلاقة الحوارية.

يخلص المؤلفون إلى أن ذكاء السيارات يجب أن يتطور من الكفاءة العامة نحو التخصيص اللغوي الدقيق وإدارة التفاعل الموثوقة والموجهة نحو السلامة. ويؤكدون أن التقييم على مستوى النشر يجب أن يأخذ في الاعسبار المعايير السوسيولغوية المشفرة محلياً (مثل صيغ التبجيل الكورية) والقيود الخاصة بالمجال (العبء المعرفي، السلامة) لضمان نشر عالمي آمن ومتوافق ثقافياً.

القصور: يشير المؤلفون إلى أن الإطار مقتصر حالياً على اللغة الكورية والسوق الكوري، ويعتمد على الكشف عن اللاحقات الصرفية التي لا تنتقل مباشرة إلى اللغات ذات الترميز المختلف للتهذيب. علاوة على ذلك، يتم إجراء التقييم في بيئة نصية غير متصلة (Offline)، مما يستبعد العوامل الواقعية مثل أخطاء التعرف على الكلام ومعالجة تحويل النص إلى كلام (TTS).