RAG-HAR: Retrieval Augmented Generation-based Human Activity Recognition
يُعد RAG-HAR إطار عمل يعتمد على الاسترجاء المعزز ولا يتطلب تدريباً، حيث يسخر النماذج اللغوية الكبيرة وهندسة الأوامر المُحسّنة لتحقيق أداء رائد في التعرف على الأنشطة البشرية عبر معايير متنوعة، مع تمكين تحديد الأنشطة غير المرئية دون الحاجة إلى ضبط دقيق للنموذج أو مجموعات بيانات ضخمة موسومة.
تخيل أن لديك ساعة ذكية تتبع حركاتك. عادةً، لتعليم الكمبيوتر ما تفعله (مثل المشي، أو الجري، أو الجلوس)، يتعين عليك بناء "معلم" مخصص لكل شخص ولكل نشاط جديد. تقوم بتغذية النظام بآلاف الساعات من البيانات، فيدرس بجد، ثم يصبح جيداً في التخمين. ولكن إذا غيرت الساعة، أو الشخص، أو النشاط، يصاب المعلم بالارتباك وعليك البدء من جديد.
RAG-HAR هي طريقة جديدة للقيام بذلك تتخطى مرحلة "الدراسة" تماماً. فبدلاً من تدريب معلم جديد، تستخدم "خبيراً" ذكياً جداً وموجوداً مسبقاً (نموذج لغوي كبير، أو LLM) وتمنحه ورقة غش قبل أن يضع تخميناً.
إليك كيف يعمل الأمر، باستخدام تشبيهات بسيطة:
1. المشكلة: الخبير "ذو الصفحة البيضاء"
فكر في الذكاء الاصطناعي القياسي كطالب قرأ كل الكتب في العالم ولكنه لم يرَ قط نوعاً معيناً من الحركة. إذا عرضت عليه قراءة مستشعر لشخص يركض، قد يخمن أنه "يمشي" لأنه لا يملك مرجعاً محدداً لركضة هذا الشخص. الأمر يشبه سؤال طاهٍ عن كيفية طهي طبق لم يره من قبل، بمجرد وصف المكونات له.
2. الحل: نهج "المكتبة" (RAG)
يغير RAG-HAR قواعد اللعبة. فبدلاً من مطالبة الخبير بالتخمين من ذاكرته، فإنه يمنحه مكتبة من الأمثلة بجانبه مباشرة.
ورقة الغش (قاعدة بيانات متجهة - Vector Database): قبل أن يقوم الذكاء الاصطناعي بتخمين ما يحدث، يبحث النظام في الحركة الحالية (مثل مقطع مدته ثانيتان من حركتك). يقوم بتفكيك هذه الحركة إلى حقائق رياضية بسيطة (مثل "ما هي متوسط السرعة؟" أو "كم مقدار الاهتزاز؟"). ثم يذهب إلى مكتبة رقمية ضخمة ويجد أكثر 10 أمثلة سابقة تشبهها.
السياق: يقدم هذه الأمثلة العشرة إلى خبير الذكاء الاصطنا المستند إلى هذه الأمثلة ويقول له: "هذه الحركة الجديدة تشبه كثيراً هذه الأشياء العشرة. بناءً على ذلك، ما هي؟"
3. العملية المكونة من خطوتين
تصف الورقة البحثية حدوث هذا في مرحلتين رئيسيتين:
المرحلة الأولى: الخط الأساسي (النظرة السريعة) يقوم النظام بأخذ حركتك، وتحويلها إلى قائمة من الأرقام (إحصائيات)، ويجد قوائم مماثلة لها في المكتبة. ثم يسأل الذكاء الاصطناعي: "إليك 10 حركات سابقة مشابهة وتصنيفاتها. ما هي هذه الحركة الجديدة؟"
النتيجة: هذا وحده يعد بالفعل أفضل من العديد من الأنظمة المعقدة التي يتم تدريبها، لأن الذكاء الاصطناعي يمكنه "الاستنتاج" باستخدام أمثلة حقيقية بدلاً من مجرد التخمين.
المرحلة الثانية: التحسين (اللمسة الخبيرة) أدرك الباحثون أن الذكاء الاصطناعي يمكنه القيام بعمل أفضل حتى لو كُتبت "ورقة الغش" بشكل أكثر وضوحاً وطُرحت الأسئلة بطريقة أكثر ذكاءً.
أوصاف أفضل: بدلاً من مجرد إعطاء الذكاء الاصطناعي أرقاماً خام، يستخدمون الذكاء الاصطناعي نفسه لكتابة قصة قصيرة بلغة طبيعية عن الحركة (على سبيل المثال: "هذا يبدو كحركة إيقاعية عالية الكثوة ذات نبض ثابت"). هذا يساعد الذكاء الاصطناعي على فهم شعور الحركة، وليس فقط الرياضيات الخاصة بها.
هندسة الأوامر (Prompt Engineering): استخدموا أداة خاصة لكتابة التعليمات المثالية للذكاء الاصطناعي تلقائياً، حيث اختبروا آلاف الطرق المختلفة لطرح السؤال حتى وجدوا الطريقة التي تعطي أفضل الإجابات.
4. لماذا يعد هذا أمراً هاماً
تسلط الورقة البحثية الضوء على ثلاث قدرات خارقة لـ RAG-HAR:
لا يتطلب أي تدريب: لست بحاجة لقضاء أسابيع في تعليم الذكاء الاصطناي. ما عليك سوى إضافة أمثلة جديدة إلى المكتبة. إذا كنت تريد للذكاء الاصطناعي أن يتعرف على "الرقص"، فما عليك سوى إضافة بعض أمثلة الرقص إلى المكتبة، وسيعرف الذكاء الاصطناعي فوراً كيفية القيام بذلك.
يمكنه تخمين المجهول: تتعثر أنظمة الذكاء الاصطناعي التقليدية إذا رأت شيئاً لم يتم تدريبها عليه (مثل نوع جديد من التمارين). أما RAG-HAR، فيمكنه النظر إلى حركة غريبة، وقول: "لم أرَ هذا الشيء بالضبط، لكنه يبدو كمزيج من الجري والقفز"، ويعطيه اسماً ذا معنى. إنه لا يكتفي بالقول "لا أعرف".
رخيص وسريع: نظرًا لأنه لا يحتاج إلى كمبيوتر ضخم لـ "تدريب" النموذج، فإنه يوفر الكثير من المال والوقت. الأمر يشبه استئجار مستشار يعرف كل شيء بالفعل، بدلاً من توظيف طالب وقضاء سنوات في تعليمه.
ملخص التشبيه
تخيل أنك تحاول تحديد نوع طائر لم تره من قبل.
الطريقة القديمة (التعلم العميق): تقضي 10 سنوات في حفظ صور 50 طيراً محدداً. إذا رأيت طيراً ليس في قائمتك، فستفشل.
طريقة RAG-HAR: لديك صديق خبير في مراقبة الطيور. تريه الطائر، وتمنحه أيضاً كتاباً يحتوي على الـ 10 طيور الأكثر شبهاً به. ينظر صديقك إلى الكتاب، ويقارن بين الطائر والكتاب، ثم يقول: "آه، هذا يبدو كمزيج من العصفور والشرشور، لكنه بالتأكيد نوع جديد من العصافير".
تثبت الورقة البحثية أن نهج "المستشار مع كتاب مرجعي" يعمل بشكل أفضل من نهج "الطالب الذي يعتمد على الذاكرة" في التعرف على الأنشطة البشرية، دون الحاجة إلى أي تدريب إضافي.
ملخص تقني: RAG-HAR
بيان المشكلة
يعد التعرف على النشاط البشري (HAR) من بيانات المستشعرات القابلة للارتداء أمراً بالغ الأهمية في مجالات الرعاية الصحية، وإعادة التأهيل، والبيئات الذكية. ومع ذلك، تواجه أساليب التعلم العميق (DL) الحالية ثلاثة قيود رئيسية:
كثافة الموارد: تتطلب تدريباً وضبطاً دقيقاً مكلفاً ومستهلكاً للوقت لكل مجموعة بيانات على حدة.
مشكلات التعميم: يتدهور الأداء تحت تأثير تحولات النطاق (مثل اختلاف الأشخاص، أو مواضع المستشعرات، أو الأجهزة).
الاعتماد على البيانات: تعتمد بشكل كبير على مجموعات بيانات ضخمة وموسومة.
علاوة على ذلك، بينما توفر النماذج اللغوية الكبيرة (LLMs) معرفة واسعة بالعالم وقدرات استدلالية، فإن تطبيقها المباشر على بيانات المستشعرات غالباً ما يفشل. تعاني النماذج اللغوية الكبيرة في التمييز بين الأنشطة الدقيقة وتفتقر إلى التجذر في أنماط نشاط محددة، مما يؤدي إلى تصنيفات خاطئة عند تقديم إشارات مستشعرات خام أو ضعيفة السياق.
المنهجية: RAG-HAR
يقدم البحث إطار عمل RAG-HAR، وهو إطار عمل لا يتطلب تدريباً يعتمد على التوليد المعزز بالاسترجاع (RAG) لتمكين النماذج اللغوية الكبيرة من أداء مهام التعرف على النشاط البشري دون الحاجة إلى تدريب النموذج أو ضبطه بدقة. يعمل إطار العمل في مرحلتين: مرحلة الأساس (Baseline) ومرحلة التحسين (Optimization).
1. معالجة البيانات واستخراج الميزات
التطبيع (Normalization): يتم توحيد قنوات المستشعرات الخام (مثل مقياس التسارع، والجيروسكوب، والمغناطيسية) باستخدام تطبيع الدرجة المعيارية (Z-score).
النافذة المنزلقة والتقسيم: يتم تقسيم بيانات السلاسل الزمنية إلى نوافذ ثابتة الحجم. ومن الأهمية بمكان أن يتم تقسيم كل نافذة أيضاً إلى أربعة أجزاء فرعية: الجزء الكامل (Full)، وثلاثة أجزاء متساوية (البداية، المنتصف، النهاية).
المؤشرات الإحصائية: لكل جزء وكل جزء فرعي، يتم حساب ثماني ميزات إحصائية عبر جميع القنوات: المتوسط، والحد الأقصى، والحد الأدنى، والنسب المئوية 25 و75، والانحراف المعياري، والوسيط، وعدد الذروة. وهذا يلتقط الاتجاهات العالمية والأحداث العابرة المحلية.
2. مرحلة الأساس (الاستدلال المعزز بالاسترجاع)
توليد التضمين (Embedding Generation): يتم تسلسل ناقلات الميزات الإحصائية إلى نصوص مهيكلة (مثل mean=0.12, std=0.34). يتم تضمين هذه النصوص باستخدام نموذج تضمين نصي عام مدرب مسبقاً (مثل text-embedding-3-small).
فهرسة قاعدة بيانات المتجهات: يتم تخزين التضمينات من بيانات التدريب في قاعدة بيانات متجهة مع البيانات الوصفية (تسميات الأنشطة، معرفات المستخدمين).
الاستدلال والاسترجاع:
بالنسبة لعينة اختبار، يتم توليد التضمينات لأجزائها وأجزائها الفرعية.
تقوم عملية البحث عن أقرب جار تقريبي (ANN) باسترجاع أعلى k من عينات التدريب الأكثر تشابهاً بناءً على تشابه جيب التمام (cosine similarity).
تعمل آلية إعادة ترتيب موزونة على دمج الدرجات من الأجزاء الفرعية المختلفة لاختيار مجموعة السياق النهائية.
تصنيف النموذج اللغوي الكبير (LLM): يتم تنسيق العينات المسترجعة (مع تسمياتها وميزاتها الإحصائية) وعينة الاستعلام في "مطالبة" (prompt). يقوم نموذج لغوي كبير مدرب مسبقاً (مثل gpt-5-mini) بتحليل الأدلة السياقية والاستعلام للتنبؤ بتسمية النشاط وتقديم مبرر.
3. مرحلة التحسين
لتعزيز الأداء بشكل أكبر، تم تقديم استراتيجيتين:
تحسين المطالبة (Prompt Optimization): تقوم حلقة تحسين ميتا (meta-optimization) بتوليد وتكرار صياغة المطالبات النظامية. باستخدام استراتيجية اختيار عجلة الروليت بناءً على درجات F1 للتحقق من الصحة، يستكشف النظام صياغات واستراتيجيات متنوعة للمطالبات (مثل تعليمات استخراج الميزات المحددة) لزيادة دقة التصنيف لمجموعة بيانات معينة.
واصفات النشاط القائمة على النماذج اللغوية الكبيرة: بدلاً من استخدام قوالب إحصائية بسيطة للتضمين، تقوم مطالبة متخصصة في النموذج اللغوي الكبير بتوليد أوصاف غنية باللغة الطبيعية لأنماط الحركة (مثل "حركة مستمرة ومتكررة"، "المحور المهيمن X"). يتم بعد ذلك تضمين هذه الأوصاف الأكثر ثراءً دلالياً وفهرستها، مما يحسن جودة السياق المسترجع.
المساهمات الرئيسية
أداء SOTA بدون تدريب: يعد RAG-HAR أول إطار عمل معزز بالاسترجاع للتعرف على النشاط البشري يحقق أداءً هو الأفضل في فئته (SOTA) عبر ستة معايير متنوعة دون أي تدريب أو ضبط دقيق للنموذج خاص بمجموعة بيانات معينة.
إطار عمل ثنائي المراحل: يقترح البحث بنية مبتكرة تجمع بين نظام استرجاع أساسي مع مرحلة تحسين تتميز بـ تحسين المطالبة وواصفات النشاط القائمة على النماذج اللغوية الكبيرة، مما يوفر توازناً قابلاً للتحكم بين الكفاءة والدقة.
التعرف في العالم المفتوح: على عكس نماذج التعلم العميق التقليدية المقيدة بتصنيفات ثابتة، يمكن لـ RAG-HAR اكتشاف وتوليد تسميات ذات معنى للأنشطة غير المرئية. فهو يتجاوز مجرد دمج المدخلات المجهولة في فئة واحدة "مجهولة"، بدلاً من ذلك يستخدم المعرفة الدلالية للنموذج اللغوي الكبير لتصنيف السلوكيات الجديدة.
تقييم شامل: تم التحقق من صحة إطار العمل على ست مجموعات بيانات (HHAR, PAMAP2, MHEALTH, GOTOV, SKODA, USC-HAD) تغطي من 6 إلى 60 قناة مستشعر وأنواعاً مختلفة من الأنشطة (الحركة، الأنشطة اليومية، مهام التجميع).
النتائج
أداء المعايير القياسية: يتفوق RAG-HAR على نماذج التعلم العميق الرائدة (بما في ذلك CNNs وLSTMs وTransformers) عبر خمس من مجموعات البيانات الست.
في PAMAP2، حقق درجة F1 بلغت 91.12%، متفوقاً على أفضل نموذج سابق (Triplet LSTM) بنسبة ~0.5%.
في MHEALTH، وصل إلى 96.74%، متفوقاً على مستخرجي الميزات الخصوميين.
في GOTOV وSKODA، حسن درجات F1 بمقدار 1-2% عن أقوى النماذج السابقة.
في HHAR، أظهر تحسناً كبيراً بأكثر من 7% في درجة F1 مقارنة بنماذج SimCLR وDeepConvLSTM الأساسية.
القدرة على التعامل مع المجموعات المفتوحة: في تجارب المجموعة المفتوحة (حيث تم حجب 30-70% من فئات الأنشطة من قاعدة البيانات)، تفوق RAG-HAR باستمرار على نموذج MTMD بمقدار 3-7% في درجة F1.
تسمية الأنشطة غير المرئية: أظهر النظام القدرة على توليد تسميات متماسكة دلالياً للأنشطة الجديدة. بالنسبة لفئة مجهولة واحدة، حقق دقة بنسبة 96.47% في مطابقة التسميات المتوقعة مع الحقيقة الأرضية؛ وظل هذا قوياً (88.90%) حتى مع حجب ثلاث فئات مجهولة.
التكلفة والكفاءة: يلغي إطار العمل وقت التدريب. تكاليف الاستدلال ضئيلة (حوالي 0.0006 دولار لكل عينة في MHEALTH)، ويتجنب النظام الحاجة إلى خطوط أنابيب تدريب كثيفة الاستهلاك لمعالجات الرسوميات (GPU).
الأهمية والادعاءات
يزعم البحث أن RAG-HAR يغير بشكل جذري نموذج التعرف على النشاط البشري من التعلم المرتكز على النموذج إلى الاستدلال المعزز بالاسترجاع. تكمن أهميته الأساسية في:
إزالة عبء التدريب: فهو يلغي الحاجة إلى دورات تدريبية مكلفة وخاصة بكل مجموعة بيانات، مما يجعل التعرف على النشاط البشري أكثر سهولة وقابلية للتوسع.
التعامل مع البيانات غير المرئية: يعالج مشكلة "العالم المفتوح" من خلال تمكين التعرف والتسمية ذات المعنى للأنشطة غير الموجودة في بيانات التدريب، وهي قدرة تتطلب تقليدياً تسمية بشرية واسعة النطاق.
المتانة: من خلال ترسيخ التنبؤات في الأمثلة المسترجعة والاستفادة من المعرفة العالمية المدربة مسبقاً للنموذج اللغوي الكبير، يحقق النظام تعميماً عالياً عبر مختلف الأشخاص وتكوينات المستشعرات دون إعادة تدريب.
العملية: يوفر إطار العمل بديلاً خفيف الوزن ومنخفض التكلفة للتعلم العميق، وهو مناسب للنشر في البيئات محدودة الموارد حيث يكون إعادة التدريب غير عملي.