🤖 AI

RAG-HAR: Retrieval Augmented Generation-based Human Activity Recognition

RAG-HAR es un marco de aumento de recuperación sin entrenamiento que aprovecha los modelos de lenguaje grandes y la ingeniería de prompts optimizada para lograr un rendimiento de vanguardia en el reconocimiento de actividades humanas en diversos puntos de referencia, al tiempo que permite la identificación de actividades no vistas sin requerir ajuste fino del modelo ni grandes conjuntos de datos etiquetados.

Autores originales: Nirhoshan Sivaroopan, Hansi Karunarathna, Chamara Madarasingha, Anura Jayasumana, Kanchana Thilakarathna

Publicado 2026-05-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nirhoshan Sivaroopan, Hansi Karunarathna, Chamara Madarasingha, Anura Jayasumana, Kanchana Thilakarathna

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un reloj inteligente que rastrea tus movimientos. Por lo general, para enseñarle a una computadora lo que estás haciendo (como caminar, correr o sentarte), tienes que construir un "profesor" personalizado para cada persona y para cada nueva actividad. Le alimentas miles de horas de datos, estudia arduamente y luego se vuelve buena adivinando. Pero si cambias el reloj, la persona o la actividad, el profesor se confunde y tienes que empezar de nuevo.

RAG-HAR es una nueva forma de hacer esto que omite por completo la parte de "estudiar". En lugar de entrenar a un nuevo profesor, utiliza un "experto" preexistente superinteligente (un Modelo de Lenguaje Grande, o LLM) y le entrega una chuleta justo antes de que haga una predicción.

Así es como funciona, usando analogías simples:

1. El problema: El experto "pizarra en blanco"

Piensa en una IA estándar como un estudiante que ha leído todos los libros del mundo pero nunca ha visto un tipo específico de movimiento. Si le muestras una lectura de sensor de una nueva persona corriendo, podría adivinar "caminando" porque no tiene una referencia específica para la carrera de esa persona. Es como pedirle a un chef que cocine un plato que nunca ha visto, solo describiéndole los ingredientes.

2. La solución: El enfoque de "biblioteca" (RAG)

RAG-HAR cambia el juego. En lugar de pedirle al experto que adivine desde la memoria, le proporciona una biblioteca de ejemplos justo al lado.

La chuleta (Base de datos vectorial): Antes de que la IA haga una predicción, el sistema observa el movimiento actual (como un clip de 2 segundos de tu movimiento). Descompone este movimiento en hechos matemáticos simples (como "¿cuál fue la velocidad promedio?" o "¿cuánto tembló?"). Luego, va a una gigantesca biblioteca digital y encuentra los 10 ejemplos pasados más similares.
El contexto: Entrega estos 10 ejemplos a la IA experta y dice: "Mira, este nuevo movimiento se parece mucho a estas 10 cosas. Basado en eso, ¿qué es?".

3. El proceso de dos pasos

El artículo describe que esto ocurre en dos fases principales:

Fase 1: La línea base (La mirada rápida)
El sistema toma tu movimiento, lo convierte en una lista de números (estadísticas) y encuentra listas similares en la biblioteca. Luego le pregunta a la IA: "Aquí hay 10 movimientos pasados similares y sus etiquetas. ¿Qué es este nuevo?".
- Resultado: Esto por sí solo ya es mejor que muchos sistemas complejos y entrenados, porque la IA puede "razonar" usando ejemplos reales en lugar de solo adivinar.
Fase 2: La optimización (El pulido del experto)
Los investigadores se dieron cuenta de que la IA podría hacerlo aún mejor si la "chuleta" estuviera escrita con más claridad y las preguntas se hicieran con más astucia.
- Mejores descripciones: En lugar de solo darle a la IA números crudos, utilizan la propia IA para escribir una breve historia en lenguaje natural sobre el movimiento (por ejemplo, "Esto parece un movimiento rítmico de alta intensidad con un ritmo constante"). Esto ayuda a la IA a entender la sensación del movimiento, no solo las matemáticas.
- Ingeniería de prompts: Utilizaron una herramienta especial para escribir automáticamente las instrucciones perfectas para la IA, probando miles de formas diferentes de plantear la pregunta hasta encontrar la que obtenía las mejores respuestas.

4. Por qué esto es un gran avance

El artículo destaca tres superpoderes principales de RAG-HAR:

No requiere entrenamiento: No necesitas pasar semanas enseñándole a la IA. Solo agregas nuevos ejemplos a la biblioteca. Si quieres que la IA reconozca "bailar", solo agregas unos pocos ejemplos de baile a la biblioteca. La IA sabe instantáneamente cómo hacerlo.
Puede adivinar lo desconocido: La IA tradicional se atasca si ve algo en lo que no fue entrenada (como un nuevo tipo de ejercicio). RAG-HAR puede observar un movimiento nuevo y extraño, decir: "No he visto exactamente esto, pero parece una mezcla de trote y salto", y darle un nombre significativo. No solo dice "no lo sé".
Es barato y rápido: Como no necesita una computadora masiva para "entrenar" el modelo, ahorra mucho dinero y tiempo. Es como contratar a un consultor que ya lo sabe todo, en lugar de contratar a un estudiante y pasar años enseñándole.

Analogía de resumen

Imagina que estás tratando de identificar un pájaro que nunca has visto.

Antigua forma (Aprendizaje profundo): Pasas 10 años memorizando imágenes de 50 pájaros específicos. Si ves un pájaro que no está en tu lista, fallas.
Forma RAG-HAR: Tienes un amigo que es un experto observador de aves. Les muestras el pájaro y también les entregas un libro con los 10 pájaros que más se le parecen. Tu amigo mira el libro, lo compara con el pájaro en tu mano y dice: "Ah, esto parece una mezcla de un gorrión y un pinzón, pero definitivamente es un nuevo tipo de gorrión".

El artículo demuestra que este enfoque de "consultor con libro de referencia" funciona mejor que el enfoque de "estudiante memorizado" para reconocer actividades humanas, sin necesidad de ningún entrenamiento adicional.

Resumen Técnico: RAG-HAR

Enunciado del Problema

El Reconocimiento de Actividades Humanas (HAR) a partir de datos de sensores portátiles es fundamental para la atención sanitaria, la rehabilitación y los entornos inteligentes. Sin embargo, los enfoques actuales de aprendizaje profundo (DL) enfrentan tres limitaciones significativas:

Intensidad de Recursos: Requieren entrenamiento y ajuste fino específicos del conjunto de datos, costosos y que consumen mucho tiempo.
Problemas de Generalización: El rendimiento se degrada ante cambios de dominio (por ejemplo, diferentes sujetos, colocaciones de sensores o dispositivos).
Dependencia de Datos: Dependen en gran medida de grandes corpus etiquetados.

Además, aunque los Modelos de Lenguaje Grandes (LLM) ofrecen amplios conocimientos del mundo y capacidades de razonamiento, su aplicación directa a datos de sensores a menudo falla. Los LLM tienen dificultades con distinciones de actividad de alta granularidad y carecen de fundamentación en patrones de actividad específicos, lo que conduce a clasificaciones erróneas cuando se presentan señales de sensores sin procesar o mal contextualizadas.

Metodología: RAG-HAR

El artículo introduce RAG-HAR, un marco libre de entrenamiento que aprovecha la Generación Aumentada por Recuperación (RAG) para permitir que los LLM realicen HAR sin entrenamiento ni ajuste fino del modelo. El marco opera en dos etapas: una etapa de Línea Base y una etapa de Optimización.

1. Procesamiento de Datos y Extracción de Características

Normalización: Los canales de sensores sin procesar (por ejemplo, acelerómetro, giroscopio, magnetómetro) se estandarizan utilizando normalización Z-score.
Ventana Deslizante y Particionamiento: Los datos de series temporales se segmentan en ventanas de tamaño fijo. Crucialmente, cada ventana se divide además en cuatro subsegmentos: el segmento Completo y tres partes iguales (Inicio, Medio, Fin).
Descriptores Estadísticos: Para cada segmento y subsegmento, se calculan ocho características estadísticas a través de todos los canales: media, máximo, mínimo, percentiles 25/75, desviación estándar, mediana y recuento de picos. Esto captura tanto tendencias globales como eventos transitorios locales.

2. Etapa de Línea Base (Razonamiento Aumentado por Recuperación)

Generación de Incrustaciones: Los vectores de características estadísticas se serializan en cadenas de texto estructuradas (por ejemplo, media=0.12, desv=0.34). Estas cadenas se incrustan utilizando un modelo de incrustación de texto generalista preentrenado (por ejemplo, text-embedding-3-small).
Indexación en Base de Datos Vectorial: Las incrustaciones de los datos de entrenamiento se almacenan en una base de datos vectorial junto con metadatos (etiquetas de actividad, IDs de usuario).
Inferencia y Recuperación:
- Para una muestra de prueba, se generan incrustaciones para sus segmentos y subsegmentos.
- Una búsqueda de Vecino Más Cercano Aproximado (ANN) recupera las $k$ muestras de entrenamiento más similares basándose en la similitud del coseno.
- Un mecanismo de reordenamiento ponderado combina las puntuaciones de los diferentes subsegmentos para seleccionar el conjunto de contexto final.
Clasificación por LLM: Las muestras recuperadas (con sus etiquetas y características estadísticas) y la muestra de consulta se formatean en un prompt. Un LLM preentrenado (por ejemplo, gpt-5-mini) analiza la evidencia contextual y la consulta para predecir la etiqueta de actividad y proporcionar una justificación.

3. Etapa de Optimización

Para mejorar aún más el rendimiento, se introducen dos estrategias:

Optimización de Prompts: Un bucle de meta-optimización genera y refina iterativamente los prompts del sistema. Utilizando una estrategia de selección por rueda de ruleta basada en puntuaciones F1 de validación, el sistema explora diversas formulaciones y estrategias de prompts (por ejemplo, instrucciones específicas de extracción de características) para maximizar la precisión de clasificación para un conjunto de datos dado.
Descriptores de Actividad Basados en LLM: En lugar de utilizar plantillas estadísticas simples para la incrustación, un prompt especializado de LLM genera descripciones ricas en lenguaje natural de los patrones de movimiento (por ejemplo, "movimiento sostenido y repetitivo", "eje dominante X"). Estas descripciones semánticamente más ricas se incrustan e indexan posteriormente, mejorando la calidad del contexto recuperado.

Contribuciones Clave

Rendimiento SOTA Libre de Entrenamiento: RAG-HAR es el primer marco aumentado por recuperación para HAR que logra un rendimiento de última generación (SOTA) en seis benchmarks diversos sin ningún entrenamiento o ajuste fino de modelo específico del conjunto de datos.
Marco de Dos Etapas: El artículo propone una arquitectura novedosa que combina un sistema de recuperación de línea base con una etapa de optimización que presenta optimización de prompts y descriptores de actividad basados en LLM, ofreciendo un equilibrio controlable entre eficiencia y precisión.
Reconocimiento en Mundo Abierto: A diferencia de los modelos DL tradicionales limitados a taxonomías fijas, RAG-HAR puede detectar y generar etiquetas significativas para actividades no vistas. Va más allá de colapsar entradas desconocidas en una única clase "desconocida", utilizando en su lugar el conocimiento semántico del LLM para categorizar comportamientos novedosos.
Evaluación Exhaustiva: El marco se valida en seis conjuntos de datos (HHAR, PAMAP2, MHEALTH, GOTOV, SKODA, USC-HAD) que cubren de 6 a 60 canales de sensores y diversos tipos de actividades (locomoción, vida diaria, tareas de ensamblaje).

Resultados

Rendimiento en Benchmarks: RAG-HAR supera a los principales baselines de DL (incluyendo CNN, LSTM y Transformers) en cinco de los seis conjuntos de datos.
- En PAMAP2, logró una puntuación F1 de 91.12%, superando al mejor anterior (Triplet LSTM) en ~0.5%.
- En MHEALTH, alcanzó 96.74%, superando a los extractores de características adversarios.
- En GOTOV y SKODA, mejoró las puntuaciones F1 entre 1 y 2% sobre los modelos anteriores más fuertes.
- En HHAR, mostró una mejora significativa de más del 7% en puntuación F1 en comparación con los baselines SimCLR y DeepConvLSTM.
Capacidad de Conjunto Abierto: En experimentos de conjunto abierto (donde se retienen del 30% al 70% de las clases de actividad de la base de datos), RAG-HAR superó consistentemente al baseline MTMD entre 3 y 7% en puntuación F1.
Etiquetado de Actividades No Vistas: El sistema demostró la capacidad de generar etiquetas semánticamente coherentes para actividades novedosas. Para clases desconocidas individuales, logró una precisión del 96.47% en la asignación de etiquetas predichas a la verdad fundamental; esto se mantuvo robusto (88.90%) incluso con tres clases desconocidas retenidas.
Costo y Eficiencia: El marco elimina el tiempo de entrenamiento. Los costos de inferencia son mínimos (aprox. $0.0006 por muestra en MHEALTH) y el sistema evita la necesidad de pipelines de entrenamiento intensivos en GPU.

Significado y Afirmaciones

El artículo afirma que RAG-HAR cambia fundamentalmente el paradigma de HAR del aprendizaje centrado en el modelo al razonamiento aumentado por recuperación. Su significado principal radica en:

Eliminación de la Sobrecarga de Entrenamiento: Elimina la necesidad de ciclos de entrenamiento costosos y específicos del conjunto de datos, haciendo que el HAR sea más accesible y escalable.
Manejo de Datos No Vistos: Aborda el problema del "mundo abierto" permitiendo el reconocimiento y el etiquetado significativo de actividades no presentes en los datos de entrenamiento, una capacidad que tradicionalmente requería una extensa anotación humana.
Robustez: Al fundamentar las predicciones en ejemplos recuperados y aprovechar el conocimiento del mundo preentrenado del LLM, el sistema logra una alta generalización entre diferentes sujetos y configuraciones de sensores sin reentrenamiento.
Practicidad: El marco ofrece una alternativa ligera y rentable al aprendizaje profundo, adecuada para su implementación en entornos con recursos limitados donde el reentrenamiento es impráctico.