Robust Multi-Tier Infant-Centered Audio Understanding with Whisper via Structured Speaker Conditioning

تخيل أنك تحاول فهم حفلة فوضوية وصاخبة حيث يتحدث الجميع، ويضحكون، ويبكون في نفس الوقت. الآن، تخيل أن هذه الحفلة هي منزل به طفل رضيع، ومهمتك هي تدوين من يصدر كل صوت بالضبط، ونوع هذا الصوت، ثانية بثانية. هذا هو عالم فهم الصوت المتمحور حول الرضيع. إنه فرع من علوم الحاسوب حيث تحاول الآلات الاستماع إلى العالم الحقيقي، وليس فقط التسجيلات النظيفة من الاستوديو.

للقيام بذلك، يستخدم العلماء حيلتين رئيسيتين. أولاً، يستخدمون التعلم الخاضع للإشراف الذاتي، وهو يشبه تعليم روبوت الاستماع إلى آلاف الساعات من الضوضاء والموسيقى العشوائية فقط ليعتاد على كيفية عمل الصوت، قبل أن تعرض عليه مهمة محددة. ثانياً، يستخدمون تكييف المتحدث، وهو يشبه إعطاء الروبوت "أذناً" خاصة لشخص معين، مما يساعده على تجاهل الثرثرة في الخلفية والتركيز على الصوت الذي من المفترض أن يتتبعه. لماذا يهم هذا؟ لأن فهم كيفية تفاعل الأطفال وعائلاتهم يمكن أن يساعد الأطباء والباحثين في التعلم عن التطور، لكن التسجيلات فوضوية، ومليئة بالأصوات المتداخلة، وتختلف بشكل كبير من منزل إلى آخر.

آلة الاستماع للعائلة

يقدم هذا البحث طريقة ذكية وجديدة لبناء آلة يمكنها الاستماع ليوم كامل من حياة الأسرة وفرز ما يحدث بالضبط. أراد الباحثون حل مشكلة محددة: عندما يبكي الطفل بينما تغني الأم ويتحدث الأب، تصاب معظم أجهزة الكمبيوتر بالارتباك. فهي إما تفقد الطفل، أو تخلط بين الأصوات، أو تتعثر لأن التسجيل يبدو مختلفاً في كل منزل.

بنى الفريق "موسماً صوتياً متعدد المستويات" (multi-tier audio tagger). فكر في الأمر كفريق من أربعة محققين متخصصين يعملون على نفس ملف القضية في نفس الوقت. لكل محقق وظيفة محددة:

1. محقق الطفل: يستمع للمناغاة، أو البكاء، أو التذمر.
2. محقق الأم: يستمع إلى الكلام الموجه للبالغين، أو لغة الأطفال، أو الغناء، أو الضحك.
3. محقق الأب: يستمع إلى الكلام الموجه للبالغين أو لغة الأطفال.
4. محقق الأشقاء: يستمع إلى أصوات الأشقاء.

على عكس الأنظمة القديمة التي قد تحاول اختيار "فائز" واحد فقط لكل ثانية من الصوت، يسمح هذا النظام لجميع المحققين الأربعة بأن يكونوا نشطين في وقت واحد. إذا كان الطفل يبكي بينما يتحدث الأب، فسيقوم النظام بتحديد الحدثين في آن واحد.

كيف يعمل السحر

دماغ هذه الآلة هو نموذج ذكاء اصطناعي شهير يسمى Whisper، وهو بارع جداً بالفعل في فهم الكلام. ومع ذلك، تم تدريب Whisper غالباً على أصوات البالغين الواضحة. ولجعله يعمل مع الأطفال والمنازل الصاخبة، منح الباحثون النموذج ترقية "LoRA". تخيل LoRA كأنها نظارات مخصصة وخفيفة الوزن يرتديها الروبوت. هذه النظارات لا تغير دماغ الروبوت بالكامل؛ بل تقوم فقط بضبط أجزاء محددة لمساعدته على رؤية الأنماط الفريدة لأصوات الأطفال وضوضاء المنزل دون الحاجة إلى إعادة تدريب النموذج بالكامل من الصفر.

لكن السر الحقيقي يكمن في كيفية تعاملهم مع "مشكلة العائلة". فكل عائلة لها صوت مختلف. قد يكون أحد المنازل صدى صوته عالياً، وآخر هادئاً، وقد يمتلك الآباء أصواتاً مختلفة. إذا حفظ الروبوت صوت "الأم" في العائلة (أ)، فقد يفشل عندما يقابل "الأم" في العائلة (ب).

لحل هذه المشكلة، ابتكر الباحثون تصميماً لرموز المتحدث الموزعة (factorized speaker-token design). تخيل أن الروبوت لديه "بطاقة رئيسية" لكل دور (طفل، أم، أب، شقيق) تحمل الفكرة العامة لما يبدو عليه هذا الشخص. ولكنه يمتلك أيضاً "قسيمة عائلية" لكل أسرة محددة.

• البطاقة الرئيسية (رمز المستوى - Tier Token) تقول: "هذا هو الشكل العام لما يبدو عليه صوت الرضيع".
• القسيمة العائلية (إزاحة المتحدث - Speaker Offset) تقول: "لكن في هذا المنزل، يبدو صوت الرضيع بنبرة أعلى قليلاً بسبب السجادة".

أثناء التدريب، يتعلم الروبوت البطاقات الرئيسية والقسائم. ولكن عندما يذهب إلى منزل جديد لم يره من قبل، فإنه يتخلص من القسائم ويعتمد فقط على البطاقات الرئيسية. هذا يجبر الروبوت على تعلم السمات "العالمية" للرضيع أو الوالد، مما يجعله أفضل بكثير في تخمين ما يحدث في منزل غريب.

خدعة السلاسة

مشكلة أخرى حلها الفريق هي "الارتجاف" (jitter). أحياناً، يصبح الكمبيوتر متوتراً ويغير إجابته ذهاباً وإياباً كل ميلي ثانية — يقول "بكاء" لجزء من الثانية، ثم "مناغاة"، ثم "بكاء" مرة أخرى، رغم أن الطفل يبكي باستمرار. لإيقاف ذلك، أضاف الباحثون خسارة التنعيم الزمني (temporal smoothing loss). فكر في هذا كيد لطيفة على كتف الروبوت، تخبره: "مهلاً، إذا قلت للتو إنه يبكي، فمن المرجح أنه لا يزال يبكي بعد ثانية. لا تغير رأيك بسرعة كبيرة". هذا يساعد الروبوت على إنتاج قصة مستقرة ومنطقية لليوم بدلاً من مجموعة من التوقعات المرتجفة.

ماذا وجدوا

اختبر الفريق نظامهم على حوالي 17 ساعة من الصوت من 52 عائلة مختلفة. قاموا بتقسيم العائلات إلى ثلاث مجموعات: واحدة للتدريب، وواحدة للتحقق، وواحدة للاختبار النهائي. والأهم من ذلك، أن العائلات في مجموعة الاختبار كانت جديدة تماماً؛ لم يسمعها الروبوت من قبل.

كانت النتائج واعدة. حقق نظامهم الجديد Macro-F1 بنسبة 74.88% و Cohen's kappa بنسبة 68.14% عبر جميع الأدوار. وهذا يعني أنه كان أفضل في تحديد الأصوات والحفاظ على اتساق الجدول الزمني مقارنة بالطرق السابقة التي استخدمت نماذج ذكاء اصطناعي مختلفة (مثل Wav2Vec) أو حاولت تكييف Whisper بدون خدعة "القسيمة العائلية" الخاصة بهم.

أظهرت التجارب أن:

• كانت LoRA ضرورية: بدون تلك النظارات الخفيفة، انخفض أداء الروبوت بشكل كبير.
• ساعدت القسائم العائلية: إزالة التعديلات الخاصة بالعائلة جعلت الروبوت أسوأ في التعامل مع المنازل المختلفة، خاصة بالنسبة للوالدين.
• ساعد التنعيم: إزالة "اليد الثابتة" جعلت توقعات الروبوت تقفز ذهاباً وإياباً، خاصة في أدوار الطفل والأب.

حاول الباحثون أيضاً خدعة "التكيف في وقت الاختبار"، حيث حاولوا جعل الروبوت يتعلم قليلاً عن العائلة الجديدة أثناء الاستماع. وبينما أعطى ذلك دفعة صغيرة، إلا أن التحسن كان متواضعاً. وهذا يشير إلى أنه بينما من الممكن تعليم الروبوت أثناء العمل، إلا أنه ليس بعد "علاجاً سحرياً"، وأن أفضل النتائج تأتي من نموذج قوي بما يكفي للتعامل مع العائلات الجديدة دون مساعدة إضافية.

الخلاصة

يشير هذا البحث إلى أنه من خلال الجمع بين عقل استماع قوي ومدرب مسبقاً وطريقة ذكية للفصل بين "القواعد العامة" و"السمات العائلية الغريبة"، يمكننا بناء آلات تفهم الأصوات المتداخلة والفوضوية للحياة العائلية الحقيقية. هي لا تحل كل المشكلات — فالأطفال لا يزالون صعبين، والمنازل الجديدة لا تزال غير متوقعة — لكنها تشير إلى مسار واضح لجعل تحليل الصوت أكثر موثوقية للباحثين الذين يدرسون كيفية نمو الأطفال وتفاعلهم.