Investigating the Representation of Backchannels and Fillers in Fine-tuned Language Models

فيما يلي ملخص تقني مفصل لورقة البحث بعنوان "تقصي تمثيل الردود التفاعلية والكلمات الحشوية في النماذج اللغوية الضبطية (Fine-tuned)".

1. بيان المشكلة

تُدرب النماذج اللغوية الكبيرة (LLMs) القائمة على تقنية "ترانسفورمر" (Transformer) عادةً على مجموعات نصوص تُعامل فيها الردود التفاعلية (Backchannels) (مثل: "أها"، "نعم") والكلمات الحشوية (Fillers) (مثل: "آه"، "إمم") كضجيج ويتم حذفها أثناء المعالجة المسبقة. وبناءً على ذلك، تفتقر هذه النماذج إلى القدرة على تمثيل أو توليد هذه العناصر اللغوية الجوهرية.

• الفجوة: الردود التفاعلية والكلمات الحشوية ليست مجرد كلمات "فارغة دلالياً"؛ بل تحمل وظائف تداولية غنية (مثل: الحفاظ على الدور في الحديث، إظهار الموافقة، الإشارة إلى الحمل المعرفي، وإدارة تدفق المحادثة).
• النتيجة: تنتج النماذج اللغوية الحالية مخرجات تشبه النصوص المكتوبة وتفتقر إلى السلاسة والإشارات الاجتماعية الموجودة في الحوار البشري الطبيعي، مما يجعلها تفشل في العمل كوكلاء محادثة أكفاء.
• الهدف البحثي: التحقيق فيما إذا كانت استراتيجيات الضبط الدقيق (Fine-tuning) يمكن أن تمكّن النماذج اللغوية من تعلم وتحسين التمثيلات الدلالية للردود التفاعلية والكلمات الحشوية، وبالتالي تحويل النماذج اللغوية العامة إلى وكلاء محادثة أكثر شبهاً بالبشر.

2. المنهجية

اختيار البيانات

استخدمت الدراسة ثلاث مجموعات بيانات للحوار تحتوي على ردود تفاعلية وكلمات حشوية محفوظة:

• الإنجليزية: Switchboard (Godfrey & Holliman, 1993) و MapTask (Anderson et al., 1991).
• اليابانية: مجموعة بيانات BTSJ 1000 Person Japanese Natural Conversation Corpus (Usami, 2023).
• التركيز: تم اختيار أكثر 15 ردًا تفاعلياً/كلمة حشوية تكراراً في كل لغة للتحليل (مثل: uh, yeah, uh-huh في الإنجليزية؛ un, hai, a في اليابانية).

النماذج التي تم تقييمها

تم استخدام أربعة نماذج قائمة على "ترانسفورمر"، تتراوح من البنى الصغيرة إلى الكبيرة:

• BERT (النسختان الإنجليزية واليابانية).
• GPT-2 (النسختان الإنجليزية واليابانية).
• LLaMA-3 8B (متعدد اللغات).
• Qwen-3 8B (متعدد اللغات).

استراتيجيات الضبط الدقيق (Fine-Tuning)

تم توظيف ثلاث مهام فرعية متميزة لتعليم النماذج سياق هذه الوحدات اللغوية:

1. القناع (MASK): مستوحى من التدريب المسبق لنموذج BERT. يتم إخفاء ردود تفاعلية/كلمات حشوية محددة (80% تُستبدل بـ [MASK]، 10% رموز عشوائية، 10% دون تغيير)، ويُدرب النموذج على التنبؤ بالرموز الأصلية باستخدام السياق ثنائي الاتجاه.
2. التنبؤ بالرمز التالي (NTP): مهمة تلقائية قياسية حيث يتنبأ النموذج بالرمز التالي (والذي قد يكون كلمة حشوية/رد تفاعلي أو كلمة محتوى) بناءً على السياق السابق.
3. التنبؤ بتبادل الأدوار (TTP): باستخدام إطار عمل TurnGPT، يتنبأ النموذج باحتمالية حدوث انتقال في الدور بعد رمز معين. تستفيد هذه المهمة من الارتباط القوي بين الردود التفاعلية وإدارة الأدوار.

ملاحظة: بالنسبة لمهامي MASK و NTP، تم دمج عبارات كلا المتحدثين في تسلسل واحد مع معرفات المتحدثين (<s1>, <s2>) للحفاظ على السياق.

إعدادات السياق

لتحليل دور السياق، تم استخراج التضمينات (Embeddings) تحت ثلاثة ظروف:

• بدون سياق: فقط العبارة التي تحتوي على الرد التفاعلي/الكلمة الحشوية.
• سياق واحد: العبارة المستهدفة بالإضافة إلى العبارة السابقة واللاحقة مباشرة.
• السياق الكامل: جميع العبارات السابقة في الحوار (ينطبق هذا فقط على LLaMA-3 و Qwen-3 بسبب حدود نافذة السياق).

مقاييس التقييم

• جودة التمثيل (غير خاضعة للإشراف):
  • التحليل العنقودي (Clustering Analysis): تم تطبيق خوارزمية K-means على تضمينات الكلمات الـ 15 المستهدفة.
  • درجة السيلويت (SC): استُخدمت لقياس جودة التجميع (تشير الدرجات الأعلى إلى فصل أفضل بين أنواع الردود التفاعلية المختلفة).
  • مصفوفات الارتباك (Confusion Matrices): تم استخدامها لتصور المسافات بين التضمينات لإظهار مدى التمايز.
• جودة التوليد (خاضعة للإشراف/توليدية):
  • كُلفت النماذج بمواصلة حوار ما.
  • المقاييس: تكرار وتنوع الردود التفاعلية/الكلمات الحشوية المولدة، والارتباك المرجح بالتكرار (PPL)، ودرجة BERTScore (F1)، ودرجة BLEU مقابل الحقيقة الأرضية (Ground Truth).

3. المساهمات الرئيسية

1. دليل تجريبي على تعلم التمثيل: تقدم الدراسة أول دليل منهجي على أن الضبط الدقيق يحسن بشكل كبير التمثيل الداخلي للردود التفاعلية والكلمات الحشوية في النماذج اللغوية، مما ينقلها من متجهات "عشوائية" أو "فارغة" إلى تمثيلات متميزة ومتجمعة وظيفياً.
2. التحليل المقارن للاستراتيجيات: تقارن الدراسة بين استراتيجيات MASK و NTP و TTP، وتجد أنه بينما تعمل جميعها على تحسين التمثيل، فإن NTP تعطي عموماً أعلى درجات السيلويت، رغم أن MASK تؤدي أداءً استثنائياً لنموذج BERT الياباني.
3. تحليل تأثير السياق: تكشف الورقة عن علاقة دقيقة بين حجم السياق وجودة التمثيل. وبينما يساعد بعض السياق، فإن السياق المفرط (السياق الكامل) يمكن أن يؤدي أحياناً إلى "تمييع" التمثيل المحدد للكلمات الوظيفية عبر ضغطها في مناطق دلالية محدودة، مما يؤدي إلى انخواع درجات السيلويت في بعض الحالات.
4. رؤى بنية النموذج: توضح الدراسة أن النماذج الأكبر (LLaMA-3, Qwen-3) تحقق عموماً تجميعاً أفضل، ولكن النماذج الأصغر (BERT) يمكنها أيضاً تعلم هذه التمثيلات بفعالية مع المهمة المناسبة للضبط الدقيق (MASK).

4. النتائج

• درجات السيلويت: عبر جميع النماذج واللغات، أدى الضبط الدقيق باستمرار إلى زيادة متوسط درجات السيلويت.
  • مثال: بالنسبة لـ LLaMA-3 (الإنجليزية)، ارتفع متوسط SC من ~0.45 (قبل التدريب) إلى ~0.59 (بعد ضبط NTP).
  • يشير هذا إلى أن النماذج التي خضعت للضبط الدقيق تميز بين الردود التفاعلية ذات الوظائف التداولية المختلفة (مثل: "uh" للتردد مقابل "yeah" للموافقة) بشكل أفضل بكثير من النماذج المدربة مسبقاً.
• سلوك التجميع:
  • أظهرت النماذج المدربة مسبقاً تداخلاً عالياً (SC منخفض) وتجميعاً عشوائياً.
    olarak، أظهرت النماذج التي خضعت للضبط الدقيق حدوداً أوضح في تصورات t-SNE وتجمعات أكثر تميزاً في تحليل K-means.
• أداء التوليد:
  • ولدت النماذج التي خضعت للضبط الدقيق ردوداً تفاعلية/كلمات حشوية بـ تكرار أعلى و تنوع أكبر مقارنة بالنماذج الأساسية المدربة مسبقاً.
  • انخفض الارتباك (Perplexity) في الكلمات الحشوية المولدة بشكل كبير (على سبيل المثال، انخفض PPL لنموذج LLaMA-3 الإنجليزي من 197.67 إلى 5.30)، مما يشير إلى أن النموذج تعلم الاحتمالية الإحصائية لهذه الرموز في السياق.
  • تحسنت القدرة على التشابه: أظهرت درجات BERTScore و BLEU تحسناً، مما يدل على أن الحوارات المولدة كانت أقرب إلى الحقيقة الأرضية البشرية.
• النتائج النوعية: أظهرت النماذج التي خضعت للضبط الدقيق القدرة على استخدام الكلمات الحشوية للإشارة إلى الحمل المعرفي (مثل: "um" قبل كلمة صعبة) والردود التفاعلية للتأسيس (مثل: "uh-huh" لتأكيد الفهم)، مما يحاكي تدفق المحادثة البشرية.

5. الأهمية والآثار المترتبة

• ما وراء "الضجيج": تتحدى الورقة العرف السائد في معالجة اللغات الطبيعية (NLP) الذي يعامل الردود التفاعلية والكلمات الحشوية كضجيج يجب تنظيفه. فهي تثبت أنها وحدات لغوية قابلة للتعلم والتمثيل ولها أدوار دلالية وتداولية متميزة.
• الذكاء الاصطناهضي للمحادثة: تشير النتائج إلى مسار لبناء وكلاء حوار أكثر طبيعية وانتباهاً ووعياً اجتماعياً. من خلال الضبط الدقيق على بيانات الحوار، يمكن للنماذج اللغوية تعلم إدارة تبادل الأدوار وتقديم تغذية راجعة مناسبة، وهو أمر ضروري للتفاعل بين الإنسان والحاسوب.
• الرموز غير الممثلة كفاية: يعد هذا دراسة حالة لكيفية تعلم النماذج اللغوية تمثيل الرموز النادرة أو ضعيفة التمثيل في مجموعات البيانات العامة، بشرط تعرضها لبيانات سياقية غنية عبر الضبط الدقيق.
• الاتجاهات المستقبلية: يسلط المؤلفون الضوء على الحاجة لاستكشاف الإشارات الصوتية (النبرة، طبقة الصوت) في نماذج الكلام، وإمكانية استخدام تقنيات ضبط دقيق متقدمة (مثل الضبط الدقيق الجراحي) لتعزيز هذه التمثيلات بشكل أكبر دون المساس بالقدرات اللغوية العامة.

في الختام، تثبت الدراسة أن الضبط الدقيق هو آلية حاسمة لتحويل النماذج اللغوية العامة إلى وكلاء محادثة قادرين على إنتاج حوار غني تداولياً ويشبه حوار البشر من خلال تعلم التمثيلات الفعالة للردود التفاعلية والكلمات الحشوية.