LingVarBench: Benchmarking LLMs on Entity Recognitions and Linguistic Verbalization Patterns in Phone-Call Transcripts
تقدم الورقة البحثية LingVarBench، وهو معيار وخط إنتاج لتوليد البيانات الاصطناعية يستفيد من الأنماط المتنوعة لغويًا والقيم التي يتم أخذ عينات منها بواسطة النماذج اللغوية الكبيرة (LLM) لتحسين مطالبات الاستخراج تلقائيًا، محققًا أداءً يضاهي النماذج التي تم ضبطها بشريًا في التعرف على الكيانات المهيكلة في نصوص المكالمات الهاتفية، مع التغلب على تحديات خصوصية البيانات وتكاليف التوسيم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت الاستماع إلى المكالمات الهاتفية بين الأطباء والمرضى واستخراج التفاصيل المهمة منها، مثل الأسماء، أو تواريخ الميلاد، أو الرموز البريدية. قد يبدو هذا بسيطاً، لكن الكلام البشري فوضوي. الناس يتلعثمون، أو يكررون أنفسهم، أو يقولون "اممم"، أو ينطقون تاريخاً مثل "مارس الثالث، ألف وتسعمائة وخمسة وسبعين" بدلاً من "03/03/1975".
المشكلة هي أنه لتعليم الروبوت هذه الأنماط الفوضوية، تحتاج إلى آلاف التسجيلات الحقيقية للمكالمات الهاتفية. لكن لا يمكنك الحصول على تلك التسجيلات ببساطة لأنها تحتوي على أسرار طبية خاصة (مثل الأسماء والمشاكل الصحية) المحمية بموجب قوانين خصوصية صارمة (HIPAA). الأمر يشبه محاولة تعليم شخص ما قيادة سيارة في عاصفة ثلجية، لكن لا يُسمح له بالقيادة على الطرق الثلجية الفعلية، وليس لديك ما يكفي من مسارات التدريب.
إليك "LingVarBench".
قام مؤلفو هذه الورقة البحثية ببناء محاكي قيادة افتراضي لروبوتات الذكاء الاصطناعي هذه. فبدلاً من انتظار تدفق المكالمات الهاتفية الحقيقية والخاصة، أنشأوا آلة تولد آلاف النصوص المكتوبة لمكالمات هاتفية "مزيفة" ولكنها واقعية.
إليك كيف يعمل هذا "المحاكي"، مقسماً إلى ثلاث خطوات بسيطة:
1. "مولد القيم" (كاتب السيناريو)
أولاً، يختار النظام قطعة من المعلومات التي يحتاج لاستخراجها، مثل الرمز البريدي (مثلاً: 94101). ثم يقوم بتوليد قائمة من الأرقام الصالحة.
2. "مولد النصوص" (الممثل)
هذا هو الجزء الإبداعي. يأخذ النظام ذلك الرمز البريدي ويطلب من نموذج لغوي كبير (الممثل الذكاء الاصطناعي) أن ينطقه بصوت عالٍ بكل طريقة غريبة ممكنة قد يفعلها البشر.
- الممثل "رقم برقم": "تسعة... أربعة... واحد... صفر... واحد."
- الممثل "المتلعثم": "تسعة... أهه... تسعة... أربعة... واحد."
- الممثل "المجموع": "تسعة وأربعون... واحد صفر واحد."
- الممثل "المصحح لنفسه": "تسعة أربعة واحد... انتظر، لا، تسعة أربعة واحد صفر واحد."
يقوم النظام بإنشاء آلاف هذه التنويعات، لتغطي كل شيء بدءاً من المتحدثين الواثقين وصولاً إلى المترددين.
3. "مدقق الاتساق" (المحرر)
أحياناً، يرتبك الممثل الذكاء الاصطناعي ويقول الرقم بشكل خاطئ أثناء محاولته الظهور بمظهر طبيعي. يمتلك النظام محرراً داخلياً يستمع إلى التسجيل المزيف ويتحقق: "هل قال الممثل بالفعل 94101، أم أنه أخطأ؟" إذا أخطأ الممثل، يتم إلقاء هذا التسجيل في القمامة. فقط التسجيلات المزيفة المثالية والمتسقة هي التي يتم الاحتفاظ بها.
النتيجة: التدريب دون مخاطر الخصوصية
استخدم المؤلفون هذه المكتبة الضخمة من التسجيلات "النظيفة، والمزيفة، ولكن الواقعية" لتدريب ذكائهم الاصطناعي. لم يحتاجوا للمس أي بيانات مريض حقيقية خاصة للقيام بالتدريب الأولي.
لقد اختبروا ذلك عبر أخذ الذكاء الاصطناعي، المدرب فقط على بياناتهم المزيفة، ووضعه للعمل على مكالمات هاتفية حقيقية.
النتيجة المفاجئة:
- الروبوت "صفر المعرفة" (Zero-Shot): ذكاء اصطناعي تم إعطاؤه تعليمات أساسية فقط دون تدريب، وقد تعثر محققاً دقة تتراوح بين 75-88%.
- الروبوت "المعدل بشرياً": ذكاء اصطناعي تم ضبطه بعناية بواسطة البشر باستخدام بيانات حقيقية (خاصة)، وحقق دقة تتراوح بين 89-94%.
- روبوت "LingVarBench": الذكاء الاصطناعي الذي تدرب فقط على بياناتهم المزيفة والاصطناعية، أدى بشكل جيد مثل الروبوت المعدل بشرياً، حيث حقق دقة 94-95% في أشياء مثل الأسماء والرموز البريدية.
لماذا هذا مهم (وفقاً للورقة البحثية)
تزعم الورقة أنك لست بحاجة لانتظار البيانات الحقيقية أو المخاطرة بانتهاكات الخصوصية لبناء نظام قوي. فمن خلال استخدام هذا "المحاكي" لتوليد طرق متنوعة للكلام، يمكنك إنشاء ذكاء اصطناعي جاهز للتعامل مع الواقع الفوضوي للكلام البشري فوراً.
ما لا تدعيه الورقة:
- لا تدعي أن هذا النظام يشخص الأمراض حالياً.
- لا تدعي أن هذا يحل محل الأطباء البشر.
- لا تدعي أن الذكاء الاصطناعي يمكنه فهم المحادثات المعقدة متعددة الأطراف حيث يغير الناس الموضوع أو يرفضون الإجابة (النظام حالياً يتعامل فقط مع الإجابات المباشرة على أسئلة محددة).
باخت مختص، تقدم الورقة البحثية "صالة ألعاب رياضية للتدريب" حيث يمكن للذكاء الاصطناعي ممارسة الاستماع إلى الكلام الفوضوي دون الحاجة أبداً للاستماع إلى محادثة خاصة لمريض حقيقي أولاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.