🤖 AI

RAG-HAR: Retrieval Augmented Generation-based Human Activity Recognition

RAG-HAR é um framework de aumento por recuperação sem necessidade de treinamento que aproveita modelos de linguagem de grande escala e engenharia de prompts otimizada para alcançar desempenho de última geração no reconhecimento de atividades humanas em diversos benchmarks, ao mesmo tempo que permite a identificação de atividades não vistas sem exigir ajuste fino do modelo ou grandes conjuntos de dados rotulados.

Autores originais: Nirhoshan Sivaroopan, Hansi Karunarathna, Chamara Madarasingha, Anura Jayasumana, Kanchana Thilakarathna

Publicado 2026-05-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nirhoshan Sivaroopan, Hansi Karunarathna, Chamara Madarasingha, Anura Jayasumana, Kanchana Thilakarathna

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um relógio inteligente que rastreia seus movimentos. Geralmente, para ensinar a um computador o que você está fazendo (como caminhar, correr ou sentar), é preciso construir um "professor" personalizado para cada pessoa e para cada nova atividade. Você alimenta o sistema com milhares de horas de dados, ele estuda intensamente e, então, torna-se bom em adivinhar. Mas, se você trocar o relógio, a pessoa ou a atividade, o professor fica confuso e você precisa começar do zero.

RAG-HAR é uma nova forma de fazer isso que elimina completamente a parte de "estudar". Em vez de treinar um novo professor, ele utiliza um "especialista" superinteligente e pré-existente (um Modelo de Linguagem Grande, ou LLM) e fornece a ele uma cola imediatamente antes de ele fazer uma previsão.

Veja como funciona, usando analogias simples:

1. O Problema: O Especialista "Tábula Rasa"

Pense em uma IA padrão como um estudante que leu todos os livros do mundo, mas nunca viu um tipo específico de movimento antes. Se você mostrar a ele uma leitura de sensor de uma nova pessoa correndo, ele pode adivinhar "caminhando", porque não tem uma referência específica para a corrida desta pessoa. É como pedir a um chef que prepare um prato que ele nunca viu, apenas descrevendo os ingredientes.

2. A Solução: A Abordagem "Biblioteca" (RAG)

O RAG-HAR muda o jogo. Em vez de pedir ao especialista para adivinhar a partir da memória, oferece a ele uma biblioteca de exemplos logo ao seu lado.

A Cola (Base de Dados Vetorial): Antes da IA fazer uma previsão, o sistema analisa o movimento atual (como um clipe de 2 segundos do seu movimento). Ele decompõe esse movimento em fatos matemáticos simples (como "qual foi a velocidade média?" ou "quanto ele tremeu?"). Em seguida, vai a uma biblioteca digital gigantesca e encontra os 10 exemplos passados mais similares.
O Contexto: O sistema entrega esses 10 exemplos à IA especialista e diz: "Olhe, esse novo movimento se parece muito com essas 10 coisas. Com base nisso, o que é?"

3. O Processo de Dois Passos

O artigo descreve isso acontecendo em duas fases principais:

Fase 1: A Linha de Base (O Olhar Rápido)
O sistema pega seu movimento, transforma-o em uma lista de números (estatísticas) e encontra listas similares na biblioteca. Em seguida, pergunta à IA: "Aqui estão 10 movimentos passados similares e seus rótulos. O que é este novo?"
- Resultado: Isso sozinho já é melhor do que muitos sistemas complexos e treinados, porque a IA pode "raciocinar" usando exemplos reais em vez de apenas adivinhar.
Fase 2: A Otimização (O Polimento do Especialista)
Os pesquisadores perceberam que a IA poderia fazer ainda melhor se a "cola" fosse escrita de forma mais clara e as perguntas fossem feitas de maneira mais inteligente.
- Melhores Descrições: Em vez de apenas fornecer números brutos à IA, eles usam a própria IA para escrever uma breve história em linguagem natural sobre o movimento (por exemplo: "Isso parece um movimento rítmico, de alta intensidade, com um ritmo constante"). Isso ajuda a IA a entender a sensação do movimento, não apenas a matemática.
- Engenharia de Prompt: Eles usaram uma ferramenta especial para escrever automaticamente as instruções perfeitas para a IA, testando milhares de maneiras diferentes de fazer a pergunta até encontrar aquela que gerava as melhores respostas.

4. Por Que Isso é Importante

O artigo destaca três superpoderes principais do RAG-HAR:

Sem Treinamento Necessário: Você não precisa passar semanas ensinando a IA. Basta adicionar novos exemplos à biblioteca. Se você quiser que a IA reconheça "dança", basta adicionar alguns exemplos de dança à biblioteca. A IA sabe instantaneamente como fazer isso.
Ela Pode Adivinhar o Desconhecido: A IA tradicional fica travada se vir algo para o qual não foi treinada (como um novo tipo de exercício). O RAG-HAR pode olhar para um movimento novo e estranho e dizer: "Não vi exatamente isso antes, mas parece uma mistura de trote e pulo", e dar a ele um nome significativo. Não diz apenas "não sei".
É Barato e Rápido: Como não precisa de um computador massivo para "treinar" o modelo, economiza muito dinheiro e tempo. É como contratar um consultor que já sabe tudo, em vez de contratar um estudante e passar anos ensinando-o.

Analogia de Resumo

Imagine que você está tentando identificar um pássaro que nunca viu.

Jeito Antigo (Aprendizado Profundo): Você passa 10 anos memorizando fotos de 50 pássaros específicos. Se vir um pássaro que não está na sua lista, você falha.
Jeito RAG-HAR: Você tem um amigo que é um observador de pássaros especialista. Você mostra o pássaro a ele e também entrega a ele um livro com os 10 pássaros que mais se parecem com aquele. Seu amigo olha para o livro, compara com o pássaro em sua mão e diz: "Ah, isso parece uma mistura de pardal e tentilhão, mas é definitivamente um novo tipo de pardal".

O artigo prova que essa abordagem de "consultor com um livro de referência" funciona melhor do que a abordagem de "estudante memorizado" para reconhecer atividades humanas, sem necessidade de nenhum treinamento extra.

Resumo Técnico: RAG-HAR

Declaração do Problema

O Reconhecimento de Atividades Humanas (HAR) a partir de dados de sensores vestíveis é crítico para saúde, reabilitação e ambientes inteligentes. No entanto, as abordagens existentes de aprendizado profundo (DL) enfrentam três limitações significativas:

Intensidade de Recursos: Elas exigem treinamento e ajuste fino específicos do conjunto de dados, que são custosos e consomem muito tempo.
Problemas de Generalização: O desempenho degrada-se sob mudanças de domínio (por exemplo, diferentes sujeitos, posicionamentos de sensores ou dispositivos).
Dependência de Dados: Elas dependem fortemente de grandes corpora rotulados.

Além disso, embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam amplo conhecimento de mundo e capacidades de raciocínio, sua aplicação direta a dados de sensores frequentemente falha. Os LLMs lutam com distinções de atividades de alta granularidade e carecem de fundamentação em padrões de atividade específicos, levando a classificações incorretas quando apresentados com sinais de sensores brutos ou mal contextualizados.

Metodologia: RAG-HAR

O artigo apresenta o RAG-HAR, um framework sem treinamento que aproveita a Geração Aumentada por Recuperação (RAG) para permitir que LLMs realizem HAR sem treinamento ou ajuste fino do modelo. O framework opera em duas etapas: uma etapa de Linha de Base e uma etapa de Otimização.

1. Processamento de Dados e Extração de Características

Normalização: Os canais brutos de sensores (por exemplo, acelerômetro, giroscópio, magnetômetro) são padronizados usando normalização Z-score.
Janela Deslizante e Particionamento: Os dados de séries temporais são segmentados em janelas de tamanho fixo. Crucialmente, cada janela é ainda particionada em quatro subsegmentos: o segmento Completo e três partes iguais (Início, Meio, Fim).
Descritores Estatísticos: Para cada segmento e subsegmento, oito características estatísticas são computadas em todos os canais: média, máximo, mínimo, percentis 25º/75º, desvio padrão, mediana e contagem de picos. Isso captura tanto tendências globais quanto eventos transitórios locais.

2. Etapa de Linha de Base (Raciocínio Aumentado por Recuperação)

Geração de Embeddings: Os vetores de características estatísticas são serializados em strings de texto estruturadas (por exemplo, media=0.12, desvio_padrao=0.34). Essas strings são incorporadas usando um modelo de embedding de texto pré-treinado e de propósito geral (por exemplo, text-embedding-3-small).
Indexação de Banco de Dados Vetorial: Os embeddings dos dados de treinamento são armazenados em um banco de dados vetorial juntamente com metadados (rótulos de atividade, IDs de usuário).
Inferência e Recuperação:
- Para uma amostra de teste, são gerados embeddings para seus segmentos e subsegmentos.
- Uma busca de Vizinho Mais Próximo Aproximado (ANN) recupera as $k$ amostras de treinamento mais similares com base na similaridade cosseno.
- Um mecanismo de reclassificação ponderada combina pontuações dos diferentes subsegmentos para selecionar o conjunto de contexto final.
Classificação por LLM: As amostras recuperadas (com seus rótulos e características estatísticas) e a amostra de consulta são formatadas em um prompt. Um LLM pré-treinado (por exemplo, gpt-5-mini) analisa a evidência contextual e a consulta para prever o rótulo de atividade e fornecer uma justificativa.

3. Etapa de Otimização

Para aprimorar ainda mais o desempenho, duas estratégias são introduzidas:

Otimização de Prompt: Um loop de meta-otimização gera e refina iterativamente prompts de sistema. Usando uma estratégia de seleção de roda de roleta baseada em pontuações F1 de validação, o sistema explora formulações e estratégias diversas de prompts (por exemplo, instruções específicas de extração de características) para maximizar a precisão de classificação para um determinado conjunto de dados.
Descritores de Atividade Baseados em LLM: Em vez de usar modelos estatísticos simples para embedding, um prompt especializado de LLM gera descrições ricas em linguagem natural dos padrões de movimento (por exemplo, "movimento sustentado e repetitivo", "eixo dominante X"). Essas descrições semanticamente mais ricas são então incorporadas e indexadas, melhorando a qualidade do contexto recuperado.

Principais Contribuições

Desempenho SOTA Sem Treinamento: O RAG-HAR é o primeiro framework aumentado por recuperação para HAR que alcança desempenho state-of-the-art (SOTA) em seis benchmarks diversos sem qualquer treinamento ou ajuste fino de modelo específico do conjunto de dados.
Framework de Duas Etapas: O artigo propõe uma arquitetura inovadora que combina um sistema de recuperação de linha de base com uma etapa de otimização que apresenta otimização de prompt e descritores de atividade baseados em LLM, oferecendo um trade-off controlável entre eficiência e precisão.
Reconhecimento em Mundo Aberto: Diferentemente dos modelos de DL tradicionais restritos a taxonomias fixas, o RAG-HAR pode detectar e gerar rótulos significativos para atividades não vistas. Ele vai além de colapsar entradas desconhecidas em uma única classe "desconhecida", utilizando em vez disso o conhecimento semântico do LLM para categorizar comportamentos novos.
Avaliação Abrangente: O framework é validado em seis conjuntos de dados (HHAR, PAMAP2, MHEALTH, GOTOV, SKODA, USC-HAD) cobrindo de 6 a 60 canais de sensores e vários tipos de atividades (locomoção, vida diária, tarefas de montagem).

Resultados

Desempenho em Benchmark: O RAG-HAR supera as principais linhas de base de DL (incluindo CNNs, LSTMs e Transformers) em cinco dos seis conjuntos de dados.
- No PAMAP2, alcançou uma pontuação F1 de 91,12%, superando o melhor anterior (Triplet LSTM) em ~0,5%.
- No MHEALTH, atingiu 96,74%, superando extratores de características adversariais.
- No GOTOV e SKODA, melhorou as pontuações F1 em 1–2% sobre os modelos anteriores mais fortes.
- No HHAR, mostrou uma melhoria significativa de mais de 7% na pontuação F1 em comparação com as linhas de base SimCLR e DeepConvLSTM.
Capacidade de Conjunto Aberto: Em experimentos de conjunto aberto (onde 30–70% das classes de atividade são retidas do banco de dados), o RAG-HAR superou consistentemente a linha de base MTMD em 3–7% na pontuação F1.
Rotulagem de Atividades Não Vistas: O sistema demonstrou a capacidade de gerar rótulos semanticamente coerentes para atividades novas. Para classes desconhecidas únicas, alcançou 96,47% de precisão ao mapear rótulos previstos para a verdade fundamental; isso permaneceu robusto (88,90%) mesmo com três classes desconhecidas retidas.
Custo e Eficiência: O framework elimina o tempo de treinamento. Os custos de inferência são mínimos (aproximadamente $0,0006 por amostra no MHEALTH), e o sistema evita a necessidade de pipelines de treinamento intensivos em GPU.

Significado e Alegações

O artigo afirma que o RAG-HAR muda fundamentalmente o paradigma do HAR do aprendizado centrado no modelo para o raciocínio aumentado por recuperação. Seu significado principal reside em:

Eliminação de Sobrecarga de Treinamento: Remove a necessidade de ciclos de treinamento caros e específicos do conjunto de dados, tornando o HAR mais acessível e escalável.
Tratamento de Dados Não Vistos: Aborda o problema do "mundo aberto" permitindo o reconhecimento e rotulagem significativa de atividades não presentes nos dados de treinamento, uma capacidade que tradicionalmente exigia extensa anotação humana.
Robustez: Ao fundamentar previsões em exemplos recuperados e aproveitar o conhecimento de mundo pré-treinado do LLM, o sistema alcança alta generalização entre diferentes sujeitos e configurações de sensores sem retreinamento.
Praticidade: O framework oferece uma alternativa leve e econômica ao aprendizado profundo, adequada para implantação em ambientes com recursos limitados onde o retreinamento é impraticável.