🤖 machine learning

RAG-HAR+: Towards Cost-Efficient LLM-Based Human Activity Recognition for Edge Deployment

El artículo presenta RAG-HAR+, un marco de trabajo optimizado en costos y basado primero en la recuperación para el Reconocimiento de Actividad Humana que aprovecha un agente fuera de línea para diseñar características específicas del conjunto de datos y emplea votación por mayoría para minimizar el uso de LLM manteniendo un rendimiento competitivo a través de diversos bancos de pruebas.

Autores originales: Hansi Karunarathna, Nirhoshan Sivaroopan, Chamara Madarasingha, Anura Jayasumana, Kanchana Thilakarathna

Publicado 2026-07-30

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hansi Karunarathna, Nirhoshan Sivaroopan, Chamara Madarasingha, Anura Jayasumana, Kanchana Thilakarathna

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tu cuerpo es una orquesta concurrida, y que unos diminutos sensores en tu muñeca o en tu ropa son los directores, escuchando constantemente el ritmo de tus pasos, el balanceo de tus brazos y el latido de tu corazón. Este campo, llamado Reconocimiento de Actividad Humana (HAR, por sus siglas en inglés), es cómo las computadoras aprenden a distinguir si estás trotando, durmiendo o escribiendo a máquina. Durante mucho tiempo, la mejor manera de enseñar esto a las computadoras era obligarlas a memorizar enormes bibliotecas de ejemplos etiquetados, como un estudiante que estudia intensamente para un examen leyendo cada uno de los libros de la biblioteca. Pero esto es costoso, lento y se rompe si cambias el sensor o la actividad. Recientemente, surgió una nueva idea: en lugar de memorizar, ¿por qué no dejar que la computadora "busque" ejemplos pasados similares en una base de datos gigante y le pida a una IA superinteligente (un Modelo de Lenguaje Grande, o LLM) que ayude a descifrar qué está pasando? Es como tener un bibliotecario genio que puede encontrar instantáneamente las historias más similares para ayudarte a resolver un misterio. Pero incluso este nuevo método tiene un inconveniente: pedirle ayuda al bibliotecario genio por cada paso que das es lento, cuesta mucho dinero y requiere una conexión constante a internet.

Este artículo presenta una mejora ingeniosa llamada RAG-HAR+ que resuelve este problema cambiando cuándo y cómo pedimos ayuda. Los autores descubrieron que el método anterior era como llamar a un consultor para cada pregunta, incluso para las fáciles. RAG-HAR+ actúa más como una agencia de detectives inteligente. Primero, utiliza la IA de forma offline (antes de que siquiera empieces a moverte) para diseñar un mejor "sistema de archivo" para la base de datos, eligiendo las pistas específicas que más importan para tu actividad particular. Luego, cuando te estás moviendo, el sistema intenta resolver el misterio simplemente mirando los ejemplos pasados más similares en la base de datos. Solo llama al costoso consultor de IA si las pistas son confusas y la base de datos no logra ponerse de acuerdo sobre una respuesta. Al hacer esto, el sistema se vuelve increíblemente rápido, barato y funciona incluso cuando el internet es inestable, manteniendo una precisión igual a la de los métodos antiguos y más lentos.

El Problema: El Detective que "Llama Demasiado"

Imagina que tienes un asistente de IA superinteligente que lo sabe todo sobre el movimiento humano. En el sistema original (RAG-HAR), cada vez que das un paso, el sistema se detiene, envía un mensaje a la IA y pregunta: "¿Qué estoy haciendo?". La IA lee el mensaje, busca algunos ejemplos pasados y responde. Esto funciona, pero es como contratar a un detective de fama mundial para resolver cada caso, desde "¿Quién se robó la galleta?" hasta "¿Quién asesinó al mayordomo?". Es un desperdicio del tiempo y el dinero del detective para el robo de la galleta. Además, si el detective está en otro país (la nube), tienes que esperar a que un mensaje viaje de ida y vuelta cada vez, lo que hace que todo el proceso sea lento.

Los investigadores se dieron cuenta de que, para la mayoría de los pasos, la respuesta es obvia si solo miras los ejemplos pasados adecuados. No necesitas a un genio para que te diga que caminar se parece a caminar; solo necesitas encontrar algunos otros ejemplos de caminar en la base de datos. El problema con el sistema antiguo era que utilizaba una forma de describir el movimiento de "talla única", que a veces perdía las pistas sutiles que hacen que una actividad sea única.

La Solución: El Sistema de Archivo Inteligente y el "Resolutor de Ambigüedad"

RAG-HAR+ cambia las reglas del juego con dos trucos principales.

1. El Diseñador del "Sistema de Archivo" Offline
Antes de que siquiera comiences tu entrenamiento, el sistema utiliza la IA una sola vez para diseñar un sistema de archivo personalizado para tu conjunto de datos específico. Piensa en esto como si la IA actuara como un bibliotecario que estudia tu biblioteca y decide: "Bien, para esta colección de libros, debería organizarlos por color y autor, no por género y número de páginas". La IA observa miles de formas diferentes de describir un movimiento (como qué tan rápido es, qué tan accidentado es o su ritmo) y elige los tres mejores grupos de pistas que mejor funcionen para tus sensores y actividades específicas. Esto ocurre solo una vez, de forma offline, por lo que no te ralentiza después.

2. El "Resolutor de Ambigüedad" (El Respaldo Inteligente)
Ahora, cuando te estás moviendo, el sistema no llama a la IA inmediatamente. En su lugar, toma tu movimiento actual, lo traduce a esas pistas personalizadas y busca en la base de datos los 10 ejemplos pasados más similares.

El Voto de la Mayoría: Si 8 de 10 de esos ejemplos pasados dicen "Estás corriendo", el sistema simplemente dice: "Bien, estás corriendo", y continúa. ¡No se necesita IA!
El Respaldo: Si la base de datos está confundida —por ejemplo, 5 ejemplos dicen "corriendo" y 5 dicen "trotando"— entonces el sistema llama a la IA. Esta IA, ahora llamada "Resolutor de Ambigüedad", observa las pistas confusas y los ejemplos pasados para tomar la decisión final e inteligente.

Esto significa que la costosa IA solo se llama para los momentos difíciles y confusos. Para los momentos fáciles y obvios, el sistema funciona por su cuenta, utilizando matemáticas simples para contar votos.

Los Resultados: Velocidad, Ahorros e Inteligencia

Los investigadores probaron este nuevo sistema en seis conjuntos de datos diferentes, que van desde personas caminando y corriendo hasta tareas complejas de ensamblaje industrial. Los resultados fueron impresionantes:

Precisión: El nuevo sistema fue tan bueno, o incluso mejor, que el método anterior al reconocer actividades. En algunos conjuntos de datos, mejoró la precisión significativamente (por ejemplo, en el conjunto de datos MHEALTH, pasó de un 96.91% a un 98.35% de precisión).
Ahorro de Costos: Debido a que dejó de llamar a la IA por cada muestra, redujo la cantidad de datos enviados a la IA entre un 89.3% y un 99.9%. En un caso (MHEALTH), ¡solo tuvo que llamar a la IA para una sola muestra de entre 666!
Velocidad: El sistema se volvió mucho más rápido. En el conjunto de datos MHEALTH, el tiempo para reconocer una actividad cayó de 18.25 segundos a solo 0.41 segundos. ¡Eso es una aceleración de más de 44 veces! Incluso en el conjunto de datos más lento, fue aproximadamente 5.7 veces más rápido.

Por Qué Esto Importa para el Futuro

El artículo también construyó un prototipo funcional en un smartphone real para demostrar que esto no es solo una teoría. Lo convirtieron en un widget en una aplicación de fitness. Cuando lo probaron en un teléfono real, la aceleración fue aún más dramática, aproximadamente 15 veces más rápido, porque el teléfono no tenía que esperar a que el internet hablara con la IA por cada paso.

Los autores sugieren que este enfoque es un gran paso para hacer aplicaciones de salud y fitness inteligentes que funcionen en todas partes, incluso sin una conexión a internet perfecta, y sin que cueste una fortuna ejecutarlo. Demuestra que no necesitas pedir ayuda al "genio" para cada pequeña cosa; a veces, un sistema de archivo inteligente y un simple voto son todo lo que necesitas. El artículo concluye que al cambiar el papel de la IA de un trabajador constante en línea a un diseñador inteligente y un experto de respaldo, podemos hacer que el reconocimiento de actividades sea más barato, más rápido y esté listo para el mundo real.

Resumen Técnico: RAG-HAR+ hacia un Reconocimiento de Actividad Humana basado en LLM con Eficiencia de Costos para el Despliegue en el Borde (Edge)

Declaración del Problema

El Reconocimiento de Actividad Humana (HAR) a partir de sensores portátiles es crítico para la atención médica, el fitness y los entornos inteligentes. Sin embargo, los enfoques actuales de aprendizaje profundo (DL) enfrentan barreras significativas para su despliegue práctico en el borde: requieren entrenamiento específico para cada conjunto de datos, grandes corpus etiquetados y sufren de degradación del rendimiento bajo cambios de dominio (por ejemplo, cambios en la colocación del sensor o en el sujeto). Aunque los Modelos de Lenguaje de Gran Escala (LLMs) ofrecen una alternativa sin entrenamiento con un fuerte razonamiento semántico, su aplicación directa al HAR se ve obstaculizada por la naturaleza continua y multicanal de los datos de los sensores, lo que agota los presupuestos de contexto e incurre en altos costos computacionales y latencia.

El trabajo previo de los autores, RAG-HAR, abordó esto enmarcando el HAR como una tarea de recuperación aumentada, utilizando descripciones estadísticas de ventanas de sensores para recuperar ejemplos etiquetados similares para guiar la clasificación del LLM. Sin embargo, RAG-HAR mantuvo dos limitaciones críticas para el despliegue continuo en el borde:

Representación de Recuperación Fija: Utilizaba un conjunto estático de estadísticas básicas (media, máximo, mínimo, etc.) en todos los conjuntos de datos, fallando en capturar pistas discriminativas específicas de cada conjunto de datos (por ejemplo, periodicidad para locomoción frente a magnitud para posturas).
Inferencia de LLM Obligatoria: El LLM era invocado para cada muestra de prueba, lo que incurría en viajes de ida y vuelta a la red, altos costos de tokens y latencia variable, incluso cuando los vecinos recuperados ya proporcionaban una respuesta confiable.

Metodología: RAG-HAR+

RAG-HAR+ introduce un marco de trabajo de recuperación primero y optimización de costos, que reestructura el rol del LLM de un clasificador por muestra a un recurso especializado y condicional. El marco consta de dos etapas distintas:

1. Agente Diseñador de Recuperación (Offline)

Antes de la inferencia, un agente basado en LLM actúa como un Diseñador de Recuperación para optimizar la representación de recuperación para un conjunto de datos específico.

Pool de Características: El agente recibe un pool diverso de descriptores que abarcan categorías estadísticas, temporales, espectrales, de intensidad de movimiento y de forma de señal.
Diseño Iterativo: A través de un proceso iterativo, el agente selecciona y particiona las características en tres grupos de características compactos y no superpuestos ( $G^*_1, G^*_2, G^*_3$ ).
Bucle de Retroalimentación: El agente propone grupos, los evalúa en un conjunto de validación utilizando F1 de Recuperación (rendimiento del voto por mayoría en los vecinos recuperados) y Tasa de Acierto de RAG (presencia de la etiqueta correcta en los $q$ mejores vecinos), y refina los grupos mediante "prompts de mejora" para abordar clases débiles o redundancias.
Resultado: Esto resulta en representaciones multivectoriales específicas de cada conjunto de datos que se alinean mejor con los patrones de movimiento únicos de la taxonomía de actividades objetivo.

2. Pipeline de Inferencia (Online)

Durante la inferencia en tiempo real, el sistema opera de la siguiente manera:

Búsqueda Multivectorial: Una ventana de consulta se procesa utilizando los grupos de características seleccionados para generar tres vectores de consulta. Estos se buscan contra un índice multivectorial (donde cada muestra de entrenamiento se almacena como tres campos vectoriales separados).
Re-clasificación Ponderada: Los resultados de los tres campos vectoriales se fusionan y se vuelven a clasificar utilizando pesos optimizados para seleccionar los $q$ mejores vecinos.
Enrutamiento Determinista (Voto por Mayoría): El sistema aplica un voto por mayoría sin parámetros sobre las etiquetas de los $q$ $q$ mejores vecinos.
- Mayoría Clara: Si una sola etiqueta gana, la actividad se predice directamente. No se invoca el LLM.
- Ambigüedad: Si dos o más etiquetas empatan por el voto más alto, la muestra se envía al Agente de Resolución de Ambigüedad.
Agente de Resolución de Ambigüedad: Para casos ambiguos, el LLM se invoca en línea. Recibe un prompt estructurado que contiene las descripciones estadísticas de la ventana de consulta (calculadas sobre segmentos inicial, medio, final y completo) y los ejemplos recuperados, lo que le permite razonar sobre el contexto específico para resolver el empate.

Contribuciones Clave

Uso de LLM en Dos Etapas: El artículo redefine el uso del LLM en el HAR en una etapa de Diseñador de Recuperación fuera de línea (offline) y una etapa de Resolución de Ambigüedad condicionada en línea (online). Esto desplaza el costo de inferencia de escalar con el número de muestras a escalar con la ambigüedad de la predicción.
Agrupación de Características Adaptativa: La introducción de un agente guiado por LLM que construye grupos de recuperación multivectoriales compactos y específicos de cada conjunto de datos, reemplazando los descriptores estadísticos genéricos y fijos de métodos anteriores.
Prototipo Móvil: Implementación de un prototipo basado en smartphone (app Flutter) que demuestra la viabilidad práctica de este enfoque de recuperación primero en un entorno de borde móvil real, incluyendo mediciones de latencia en el dispositivo y actualizaciones incrementales del índice.
Evaluación Exhaustiva: Una evaluación extendida a través de seis benchmarks de HAR (USC-HAD, PAMAP2, MHEALTH, GOTOV, HHAR, Skoda) con estudios de ablación que aíslan las contribuciones del diseñador de recuperación, la agrupación de características y las estrategias de enrutamiento.

Resultados

Rendimiento: RAG-HAR+ logra un rendimiento competitivo o mejorado en comparación con RAG-HAR y los baselines de estado del arte que no utilizan LLM. Mejoró las puntuaciones F1 en cuatro de los seis conjuntos de datos (USC-HAD, MHEALTH, HHAR, Skoda) mientras se mantuvo competitivo en los demás.
Reducción de Costos: El marco reduce drásticamente el uso de LLM en línea. A través de los seis conjuntos de datos, el consumo de tokens en línea se redujo entre un 89.3% y un 99.9%. Por ejemplo, en el conjunto de datos MHEALTH, solo una muestra requirió una llamada al LLM de entre 666 muestras de prueba.
Latencia: La latencia de inferencia se redujo de 5.7x a 44.5x en comparación con RAG-HAR. En el prototipo móvil, la latencia cayó de ~5.4 segundos a ~0.36 segundos por muestra (una aceleración de ~15x), principalmente porque la mayoría de las muestras evitan el viaje de ida y vuelta a la red hacia el LLM.
Calidad de la Recuperación: Los grupos de características adaptativos mejoraron significamente el F1 de Recuperación (rendimiento de la votación por sí sola), cerrando la brecha entre las predicciones de solo recuperación y las predicciones finales asistidas por LLM. Esto indica que el paso de recuperación proporciona evidencia más sólida, reduciendo la necesidad de recurrir al fallback.

Significado y Reivindicaciones

El artículo afirma que RAG-HAR+ demuestra la viabilidad práctica del HAR aumentado por recuperación y sin entrenamiento para el despliegue en el borde. Al desacoplar el LLM del camino crítico de cada inferencia, el sistema logra un punto de operación escalable donde:

El costo de inferencia escala con la ambigüedad, no con el volumen de datos.
La calidad de la recuperación se mejora mediante representaciones de características multivectoriales diseñadas por LLM y específicas de cada conjunto de datos, sin necesidad de realizar un ajuste fino (fine-tuning) de un clasificador.
El despliegue en el borde es viable para el monitoreo continuo, ya que el sistema minimiza la dependencia de la red y los costos de tokens manteniendo una alta precisión.

Los autores posicionan este trabajo como un paso hacia sistemas de HAR escalables y generalizables que aprovechan las capacidades de razonamiento de los LLM sin incurrir en costos computacionales o financieros prohibitivos, haciéndolos adecuados para entornos de dispositivos portátiles y móviles con recursos limitados.