💻 computer science

Human-1 by Josh Talks: A Full-Duplex Conversational Modeling Framework in Hindi using Real-World Conversations

تقدم هذه الورقة Human-1، وهو أول نظام حوار صوتي كامل الازدواج (full-duplex) مفتوح وقابل لإعادة الإنتاج للغة الهندية، والذي يعمل على تكييف بنية Moshi باستخدام أداة ترميز (tokenizer) مخصصة و26,000 ساعة من بيانات المحادثات الواقعية لتمكين سلوكيات كلامية طبيعية مثل المقاطعات والتداخلات.

المؤلفون الأصليون: Bhaskar Singh, Shobhit Banga, Pranav Sharma

نُشر 2026-04-28

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Bhaskar Singh, Shobhit Banga, Pranav Sharma

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

مشروع "Human-1": تعليم الذكاء الاصطناعي إتقان فن "الدردشة"

تخيل أنك تتحدث إلى مساعد مهذب للغاية، ولكنه آلي بعض الشيء. تقول: "مهلاً، هل يمكنك إخباري عن..." ثم تتوقف لتفكر. يجلس المساعد هناك في صمت تام، منتظراً إياك لتنهي جملتك بالكامل وبشكل مثالي. إذا قاطعته بالخطأ، فإنه يرتبك ويبدأ من جديد. إنه أسلوب حديث يشبه "جهاز اللاسلكي": شخص واحد يتحدث، ثم يتحدث الآخر.

الآن، تخيل التحدث مع أعز أصدقائك. كلاهما يتحدث في نفس الوقت أحياناً. أنت تصدر أصواتاً صغيرة مثل "ممم" أو "نعم" أثناء حديثه لتظهر له أنك تستمع. وإذا توقف فجأة، تتدخل أنت في الحديث. هذا هو الحوار "ثنائي الاتجاه الكامل (Full-Duplex)"—إنه سلس، وعفوي، وطبيعي.

المشكلة: معظم نماذج الذكاء الاصطناعي هي "أجهزة لاسلكي". إنها بارعة في اللغة الإنجليزية، لكنها لا تفهم "إيقاع" كيفية تحدث الناس فعلياً في لغات أخرى، مثل الهندية.

الحل: قام فريق في "Josh Talks" بابتكار Human-1، وهو النظام الأول المصمم للسماح للذكاء الاصطناعي بإجراء محادثة حقيقية، متدفقة، و"بأسلوب بشري" باللغة الهندية.

كيف فعلوا ذلك (المكونات الثلاثة الكبرى)

1. "المكتبة العملاقة" من الكلام الواقعي (البيانات)

معظم أنظمة الذكاء الاصطناعي تتدرب على الكتب أو التقارير الإخبارية—الأشياء التي يقرؤها الناس. لكنك لا "تتحدث" مثل الكتب المدرسية. لإصلاح ذلك، جمع الباحثون 26,000 ساعة من المحادثات الهندية الحقيقية والعفوية.

التشبيه: تخيل أنك تحاول تعلم الرقص من خلال قراءة دليل فيزياء عن الرقص. ستكون سيئاً للغاية! لتعلم الرقص، تحتاج للذهاب إلى ملهى ومراقبة الناس وهم يتحركون. لم يعطِ الباحثون الذكاء الاصطناعي كتاباً مدرسياً؛ بل أعطوه "ساحة رقص" ضخمة من التفاعل البشري الحقيقي. حتى أنهم استخدموا تسجيلات خاصة حتى يتمكن الذكاء الاصطناعي من سماع كل شخص في المحادثة بشكل منفصل، ليتعلم بالضبط متى يبدأ شخص ما ومتى يتوقف الآخر.

2. تغيير "قاموس الدماغ" (المجزئ - Tokenizer)

الذكاء الاصطناعي لا يرى الكلمات؛ بل يرى "رموزاً" (قطع صغيرة من البيانات). النظام الأصلي (الذي يسمى Moshi) بُني بقاموس إنجليزي. محاولة استخدام قاموس إنجليزي لفهم الهندية تشبه محاولة لعب لعبة "Scrabble" باستخدام قطع إنجليزية فقط لتهجئة كلمات هندية—إنه أمر محبط، بطيء، وفوضوي.

التشبيه: الأمر يشبه محاولة طهي وجبة هندية تقليدية باستخدام كتاب وصفات مكتوب بالفرنسية. قد تنجح في النهاية، لكنك ستستمر في الترجمة وارتكاب الأخطاء. قام الفريق برمي كتاب الوصفات الفرنسي وكتبوا واحداً جديداً تماماً مخصصاً للهندية (خط ديفاناغاري)، مما جعل الذكاء الاصطناعي أسرع وأذكى بك much.

3. التدريب على مرحلتين (عملية التعلم)

لم يقوموا فقط بإلقاء البيانات على الذكاء الاصطناعي والأمل في الحصول على نتيجة. لقد استخدموا نهجاً من مرحلتين:

المرحلة الأولى (الغوص العميق): تركوا الذكاء الاصطناعي يتشرب المكتبة الضخمة المكونة من 26,000 ساعة لتعلم الأنماط الأساسية للغة.
المرحلة الثانية (الصقل): أخذوا مجموعة أصغر من المحادثات "عالية الجودة" (الأفضل والأكثر وضوحاً) لضبط النموذج بدقة، وتعليمه كيف يكون مهذباً وواضحاً للغاية.

هل ينجح الأمر حقاً؟

اختبر الباحثون الذكاء الاصطناعي لمعرفة ما إذا كان بإمكانه "إبقاء الكرة في الملعب" أثناء المحادثة. وهذا ما وجدوه:

يبدو بشرياً: في الاختبارات، قيم الناس طبيعية الذكاء الاصطناعي بدرجة عالية جداً. ورغم أنه ليس بشرياً تماماً بعد، إلا أنه يقترب من ذلك كثيراً.
يفهم "الإيقاع": اختبروا ما إذا كان الذكاء الاصطناعي يعرف متى يصمت أو متى يتدخل. وجدوا أنه إذا تم ضبط مستوى "الإبداع" بشكل صحيح، فإن الذكاء الاصطناعي يحاكي التوقيت البشري—بمعرفة متى ينتظر ومتى يستجيب.
إنه فعال: على الرغم من أن نموذج اللغة الإنجليزية الأصلي استخدم 7 ملايين ساعة من البيانات، إلا أن هذا النموذج الهندي حقق نتائج رائعة باستخدام 26,000 ساعة فقط. وهذا يثبت أن الجودة أهم من الكمية.

الخلاصة

يعد Human-1 خطوة هائلة نحو مستقبل يمكنك فيه التحدث إلى هاتفك باللغة الهندية تماماً كما تتحدث إلى شخص في الشارع—تقاطعه، تضحك، وتتدفق في الحديث بشكل طبيعي، دون ذلك "الصمت الآلي" المربك في المنتصف.

ملخص تقني: Human-1 من Josh Talks

العنوان: Human-1 من Josh Talks: إطار عمل للنمذجة الحوارية ثنائية الاتجاه (Full-Duplex) باللغة الهندية باستخدام محادثات من العالم الحقيقي

1. بيان المشكلة

تعتمد أنظمة الحوار المنطوق الحالية بشكل أساساً على نظام نصف مزدوج (half-duplex)، مما يعني أنها تعمل بآلية تعتمد على تبادل الأدوار حيث يجب على المتحدث أن ينهي كلامه قبل أن يبدأ الآخر. هذا الإجراء يفشل في التقاط الفروق الدقيقة للتفاعل البشري الطبيعي، مثل المقاطعات، والتداخلات، والاستجابات القصيرة (backchannels). وبينما قدمت النماذج المتطورة مثل Moshi قدرات ثنائية الاتجاه (full-duplex) (نمذجة تدفقات المتحدثين المتوازية)، إلا أن هذه التطورات تركزت بشكل حصري تقريباً على اللغة الإنجليزية.

يتطلب تكييف هذه النماذج مع اللغة الهندية مواجهة ثلاث عقبات تقنية رئيسية:

عدم توافق الترميز (Tokenization): تتسبب أجهزة الترميز المتمحورة حول الإنجليزية في تفتت مفرط عند معالجة خط "ديفاناغاري" (Devanagari).
إعادة تهيئة المعاملات (Parameter Reinitialization): يتطلب استبدال جهاز الترميز إعادة تعلم المعاملات المعتمدة على النص من الصفر، مما يحول المهمة من مجرد ضبط دقيق (fine-tuning) إلى إعادة تدريب جزئية.
ندرة البيانات: تتطلب نماذج الـ full-duplex كميات هائلة من التسجيلات الستيريو (قناتين) لتعلم أنماط تبادل الأدوار، وهو مورد غير متوفر بشكل كبير للغات الهندية.

2. المنهجية

قام الباحثون بتكييف بنية Moshi لتناسب اللغة الهندية باستخدام نهج تدريب يتكون من مرحلتين.

أ. تكييف البنية:

النموذج الأساسي: استخدموا بنية Moshi المكونة من ثلاثة أجزاء: الترميز الصوتي العصبي Mimi، ومحول RQ-Transformer (الذي يتكون من محول زمني بـ 7 مليارات معلمة ومحول عمق)، ونموذج لغوي كبير (LLM) للنصوص.
تجميد الترميز (Codec Freezing): اكتشفوا أن ترميز Mimi يعمم بشكل جيد على اللغة الهندية دون الحاجة لإعادة التدريب. وبناءً عليه، قاموا بتجميد Mimi لتقليل التكاليف الحسابية والتركيز فقط على تدريب RQ-Transformer.
ترميز اللغة الهندية: استبدلوا ترميز SentencePiece الإنجليزي بنموذج SentencePiece مخصص للغة الهندية (بمفردات تبلغ 30,000 كلمة). وقد استلزم ذلك إعادة تهيئة جداول تضمين النصوص وطبقة الإسقاط الخطي للنص (Text Linear projection layer).

ب. وصفة التدريب:

المرحلة الأولى: ما قبل التدريب واسع النطاق: تم تدريب النموذج على مجموعة بيانات ضخمة مكونة من 26,000 ساعة من المحادثات العفوية باللغة الهندية. استخدموا معدل تعلم مرتفع ( $3 \times 10^{-5}$ ) للتعامل مع الجداول المتمحورة حول إعادة التهيئة.
المرحلة الثانية: الضبط الدقيق (Fine-tuning): تم ضبط النموذج بدقة باستخدام مجموعة بيانات مختارة بجودة عالية تبلغ 1,000 ساعة باستخدام معدلات تعلم منقسمة لموازنة التكيف الصوتي والحفاظ على تمثيل النص.

ج. جمع البيانات (الابتكار الجوهري):
جمع الفريق 26,000 ساعة من المحادثات العفوية غير المكتوبة من 14,695 متحدثاً فريداً. والأهم من ذلك، تم تسجيل هذه المحادثات بنظام ستيريو (قنوات منفصلة لكل متحدث)، مما سمح للنموذج بتعلم التداخلات الطبيعية وتبادل الأدوار مباشرة من الإشارة الخام دون آثار ناتجة عن عملية تقسيم المتحدثين الاصطناعية (diarization).

3. المساهمات الرئيسية

نموذج Human-1: أول نظام حواري صوتي مفتوح وقابل لإعادة الإنتاج بنظام full-duplex للغة الهندية.
مجموعة بيانات هندية ضخمة: إنشاء مجموعة بيانات محادثات ستيريو تبلغ 26,000 ساعة، وهي الأكبر من نوعها لأي لغة هندية.
إطار عمل التكييف: منهجية مثبتة لتكييف بنيات الـ duplex مع لغات جديدة عبر استبدال الترميز وإعادة التدريب الجزئي.

4. النتائج والتقييم

تم تقييم النموذج باستخدام استمرار الحوار الموجه، والارتباك (perplexity)، والتقييم البشري.

جودة الترميز واللغة: حافظ Mimi على وضوح عالٍ (STOI: 0.878). وأظهرت اختبارات الارتباك باستخدام نموذج Sarvam-1 أن درجات الحرارة المنخفضة ( $\tau = 0.8$ ) أنتجت لغة هندية أكثر تماسكاً من الناحية اللغوية.
الإدراك البشري: في المقارنات الزوجية، حقق النموذج درجة طبيعية بلغت 4.10/5.0، حيث أسفرت 66.9% من المقارنات عن تعادل مع الكلام البشري، مما يشير إلى جودة تقترب من المستوى البشري.
ديناميكيات الحوار:
- نجح النموذج في تعلم تبادل الأدوار. عند درجة حرارة $\tau = 0.9$ ، طابقت إحصائيات "الفجوة" و"الوقفات" لدى النموذج بيانات الحقيقة الأرضية البشرية (human ground-truth) بشكل وثيق.
- بينما حقق النموذج تفاعلاً "شبيهًا بالبشر" في 85% من الحالات، إلا أنه واجه صعوبة في الصلة السياقية (53%) وإكمال الردود (42%)، مما يمثل مجالات للعمل المستقبلي.

5. الأهمية

يثبت هذا العمل أن بيانات المحادثة الستيريو عالية الجودة والمطابقة للمجال هي أكثر أهمية لنماذج الـ full-duplex من مجرد الحجم الهائل وحده. فبينما تطلب نموذج Moshi الأصلي 7 ملايين ساعة من البيانات، حقق Human-1 حواراً متماسكاً بـ 26,000 ساعة فقط. يوفر هذا مخططاً قابلاً للتوسع لجلب تفاعل ذكاء اصطناعي طبيعي وفوري بنظام full-duplex للغة الهندية ولغات هندية أخرى، متجاوزاً بذلك قيود المساعدات الصوتية القائمة على تبادل الأدوار.