🤖 machine learning

RAG-HAR+: Towards Cost-Efficient LLM-Based Human Activity Recognition for Edge Deployment

O artigo apresenta o RAG-HAR+, um framework de recuperação prioritária e otimizado em termos de custo para o Reconhecimento de Atividade Humana que utiliza um agente offline para projetar características específicas do conjunto de dados e emprega votação majoritária para minimizar o uso de LLM enquanto mantém um desempenho competitivo em diversos benchmarks.

Autores originais: Hansi Karunarathna, Nirhoshan Sivaroopan, Chamara Madarasingha, Anura Jayasumana, Kanchana Thilakarathna

Publicado 2026-07-30

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hansi Karunarathna, Nirhoshan Sivaroopan, Chamara Madarasingha, Anura Jayasumana, Kanchana Thilakarathna

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que o seu corpo é uma orquestra movimentada, e pequenos sensores no seu pulso ou nas suas roupas são os maestros, ouvindo constantemente o ritmo dos seus passos, o balanço dos seus braços e a batida do seu coração. Este campo, chamado Reconhecimento de Atividade Humana (HAR - Human Activity Recognition), é como os computadores aprendem a diferenciar se você está correndo, dormindo ou digitando. Durante muito tempo, a melhor maneira de ensinar os computadores isso era forçá-los a memorizar enormes bibliotecas de exemplos rotulados, como um aluno estudando intensamente para uma prova ao ler cada livro da biblioteca. Mas isso é caro, lento e falha se você mudar o sensor ou a atividade. Recentemente, surgiu uma nova ideia: em vez de memorizar, por que não deixar o computador "consultar" exemplos passados semelhantes em um enorme banco de dados e pedir a ajuda de uma IA superinteligente (um Grande Modelo de Linguagem, ou LLM) para entender o que está acontecendo? É como ter um bibliotecário genial que pode encontrar instantaneamente as histórias mais semelhantes para ajudar você a resolver um mistério. Mas mesmo este novo método tem um problema: pedir ajuda ao bibliotecário genial para cada passo que você dá é lento, custa muito dinheiro e exige uma conexão constante com a internet.

Este artigo apresenta uma atualização inteligente chamada RAG-HAR+ que resolve esse problema mudando quando e como pedimos ajuda. Os autores descobriram que o método anterior era como chamar um consultor para cada pergunta, mesmo as fáceis. O RAG-HAR+ age mais como uma agência de detetives inteligente. Primeiro, utiliza a IA offline (antes mesmo de você começar a se mover) para projetar um melhor "sistema de arquivamento" para o banco de dados, escolhendo as pistas específicas que mais importam para a sua atividade particular. Depois, quando você está se movendo, o sistema tenta resolver o mistério apenas olhando para os exemplos passados mais semelhantes no banco de dados. Ele só chama o consultor de IA caro se as pistas forem confusas e o banco de dados não conseguir chegar a um consenso sobre uma resposta. Ao fazer isso, o sistema torna-se incrivelmente rápido, barato e funciona mesmo quando a internet está instável, mantendo-se tão preciso quanto os métodos antigos e mais lentos.

O Problema: O Detetive que "Chama Demais"

Imagine que você tem um assistente de IA superinteligente que conhece tudo sobre o movimento humano. No sistema original (RAG-HAR), toda vez que você dá um passo, o sistema para, envia uma mensagem para a IA e pergunta: "O que estou fazendo?". A IA lê a mensagem, consulta alguns exemplos passados e responde. Isso funciona, mas é como contratar um detetive de renome mundial para resolver cada caso, desde "Quem roubou o biscoito?" até "Quem assassinou o mordomo?". É um desperdício do tempo e do dinheiro do detetive para o roubo do biscoito. Além disso, se o detetive estiver em outro país (na nuvem), você tem que esperar uma mensagem viajar de ida e volta toda vez, tornando todo o processo lento.

Os pesquisadores perceberam que, para a maioria dos passos, a resposta é óbvia se você apenas olhar para os exemplos certos. Você não precisa de um gênio para lhe dizer que caminhar se parece com caminhar; você só precisa encontrar alguns outros exemplos de caminhada no banco de dados. O problema com o sistema antigo era que ele usava uma forma de descrever o movimento que era "tamanho único", o que às vezes perdia as pistas sutis que tornam uma atividade única.

A Solução: O Sistema de Arquivamento Inteligente e o "Resolvedor de Ambiguidade"

O RAG-HAR+ muda o jogo com dois truques principais.

1. O Designer de "Sistema de Arquivamento" Offline
Antes mesmo de você começar seu treino, o sistema usa a IA uma única vez para projetar um sistema de arquivamento personalizado para o seu conjunto de dados específico. Pense nisso como a IA atuando como um bibliotecário que estuda sua biblioteca e decide: "Ok, para esta coleção de livros, devo organizá-los por cor e autor, não por gênero e número de páginas". A IA analisa milhares de maneiras diferentes de descrever um movimento (como a velocidade, o quão irregular é ou seu ritmo) e escolhe os três melhores grupos de pistas que funcionam melhor para os seus sensores e atividades específicas. Isso acontece apenas uma vez, offline, para não te atrasar depois.

2. O "Resolvedor de Ambiguidade" (O Backup Inteligente)
Agora, quando você está se movendo, o sistema não chama a IA imediatamente. Em vez disso, ele pega o seu movimento atual, traduz para essas pistas personalizadas e pesquisa no banco de dados os 10 exemplos passados mais semelhantes.

A Votação da Maioria: Se 8 de 10 desses exemplos passados dizem "Você está correndo", o sistema apenas diz: "Ok, você está correndo" e segue em frente. Sem necessidade de IA!
O Backup (Fallback): Se o banco de dados estiver confuso — por exemplo, 5 exemplos dizem "correndo" e 5 dizem "trotando" — então o sistema chama a IA. Esta IA, agora chamada de "Resolvedor de Ambiguidade", analisa as pistas confusas e os exemplos passados para tomar a decisão final e inteligente.

Isso significa que a IA cara é chamada apenas para os momentos difíceis e confusos. Para os momentos fáceis e óbvios, o sistema roda por conta própria, usando matemática simples para contar votos.

Os Resultados: Velocidade, Economia e Inteligência

Os pesquisadores testaram este novo sistema em seis conjuntos de dados diferentes, variando de pessoas caminhando e correndo a tarefas complexas de montagem industrial. Os resultados foram impressionantes:

Precisão: O novo sistema foi tão bom, ou até melhor, ao reconhecer atividades do que o método antigo. Em alguns conjuntos de dados, a precisão melhorou significamente (por exemplo, no conjunto de dados MHEALTH, a precisão subiu de 96,91% para 98,35%).
Economia de Custo: Como parou de chamar a IA para cada amostra, reduziu a quantidade de dados enviados para a IA em 89,3% a 99,9%. Em um caso (MHEALTH), teve que chamar a IA para uma única amostra de 666!
Velocidade: O sistema tornou-se muito mais rápido. No conjunto de dados MHEALTH, o tempo para reconhecer uma atividade caiu de 18,25 segundos para apenas 0,41 segundos. Isso é uma aceleração de mais de 44 vezes! Mesmo no conjunto de dados mais lento, ainda foi cerca de 5,7 vezes mais rápido.

Por Que Isso Importa para o Futuro

O artigo também construiu um protótipo funcional em um smartphone real para mostrar que isso não é apenas uma teoria. Eles o transformaram em um widget em um aplicativo de fitness. Quando testaram em um telefone real, a aceleração foi ainda mais dramática — cerca de 15 vezes mais rápido — porque o telefone não precisava esperar a internet para falar com a IA a cada passo.

Os autores sugerem que esta abordagem é um grande passo para tornar os aplicativos de saúde e fitness inteligentes capazes de funcionar em qualquer lugar, mesmo sem uma conexão de internet perfeita e sem custar uma fortuna para operar. Eles provam que você não precisa pedir ajuda ao "gênio" para cada pequena coisa; às vezes, um sistema de arquivamento inteligente e uma votação simples são tudo o que você precisa. O artigo conclui que, ao mudar o papel da IA de um trabalhador online constante para um designer inteligente e um especialista de suporte, podemos tornar o reconhecimento de atividades mais barato, rápido e pronto para o mundo real.

Resumo Técnico: RAG-HAR+ Rumo ao Reconhecimento de Atividade Humana Baseado em LLM com Eficiência de Custo para Implantação em Edge

Definição do Problema

O Reconhecimento de Atividade Humana (HAR) a partir de sensores vestíveis é crítico para cuidados de saúde, fitness e ambientes inteligentes. No entanto, as abordagens existentes de aprendizado profundo (DL) enfrentam barreções significativas para a implantação prática em dispositivos de borda (edge): elas exigem treinamento específico para o conjunto de dados, grandes corpora rotulados e sofrem degradação de desempenho sob mudanças de domínio (ex: mudanças no posicionamento do sensor ou no sujeito). Embora os Grandes Modelos de Linguagem (LLMs) ofereçam uma alternativa livre de treinamento com forte raciocínio semântico, sua aplicação direta ao HAR é dificultada pela natureza contínua e multicanal dos dados de sensores, o que exaure os orçamentos de contexto e acarreta altos custos computacionais e latência.

O trabalho anterior dos autores, RAG-HAR, abordou isso enquadrando o HAR como uma tarefa de recuperação aumentada, usando descrições estatísticas de janelas de sensores para recuperar exemplos rotulados semelhantes para guiar a classificação por LLM. No entanto, o RAG-HAR manteve duas limitações críticas para a implantação contínua em edge:

Representação de Recuperação Fixa: Utilizava um conjunto estático de estatísticas básicas (média, máximo, mínimo, etc.) para todos os conjuntos de dados, falhando em capturar pistas discriminativas específicas de cada dataset (ex: periodicidade para locomoção vs. magnitude para posturas).
Inferência de LLM Obrigatória: O LLM era invocado para cada amostra de teste, acarretando idas e voltas na rede, altos custos de tokens e latência variável, mesmo quando os vizinhos recuperados já forneciam uma resposta confiante.

Metodologia: RAG-HAR+

O RAG-HAR+ introduz um framework de recuperação prioritária e custo otimizado que reestrutura o papel do LLM de um classificador por amostra para um recurso especializado e condicional. O framework consiste em dois estágios distintos:

1. Agente Projetista de Recuperação Offline (Offline Retrieval Designer Agent)

Antes da inferência, um agente baseado em LLM atua como um Projetista de Recuperação para otimizar a representação de recuperação para um conjunto de dados específico.

Pool de Características: O agente recebe um pool diversificado de descritores abrangendo categorias estatísticas, temporais, espectrais, de intensidade de movimento e de forma de sinal.
Design Iterativo: Através de um processo iterativo, o agente seleciona e particiona características em três grupos de características compactos e não sobrepostos ( $G^*_1, G^*_2, G^*_3$ ).
Loop de Feedback: O agente propõe grupos, avalia-os em um conjunto de validação usando F1 de Recuperação (desempenho de votação majoritária nos vizinhos recuperados) e Taxa de Acerto de RAG (presença do rótulo correto nos top- $q$ vizinhos) e refina os grupos via "prompts de melhoria" para abordar classes fracas ou redundâncias.
Resultado: Isso resulta em representações multi-vetoriais específicas de cada dataset que se alinham melhor aos padrões de movimento únicos da taxonomia de atividades alvo.

2. Pipeline de Inferência Online

Durante a inferência em tempo real, o sistema opera da seguinte forma:

Busca Multi-Vetorial: Uma janela de consulta é processada usando os grupos de características selecionados para gerar três vetores de consulta. Estes são pesquisados contra um índice multi-vetorial (onde cada amostra de treinamento é armazenada como três campos vetoriais separados).
Reclassificação Ponderada: Os resultados dos três campos vetoriais são fundidos e reclassificados usando pesos otimizados para selecionar os top- $q$ vizinhos.
Roteamento Determinístico (Votação Majoritária): O sistema aplica uma votação majoritária livre de parâmetros nos rótulos dos top- $q$ $q$ vizinhos.
- Maioria Clara: Se um único rótulo vencer, a atividade é prevista diretamente. Nenhum LLM é invocado.
- Ambiguidade: Se dois ou mais rótulos empatarem na votação mais alta, a amostra é roteada para o Agente de Resolução de Ambiguidade.
Agente de Resolução de Ambiguidade: Para casos ambíguos, o LLM é invocado online. Ele recebe um prompt estruturado contendo as descrições estatísticas da janela de consulta (computadas sobre segmentos inicial, médio, final e total) e os exemplos recuperados, permitindo que raciocine sobre o contexto específico para resolver o empate.

Principais Contribuições

Uso de LLM em Dois Estágios: O artigo redefine o uso de LLM no HAR em um estágio de Projetista de Recuperação offline (uma única vez) e um estágio de Resolução de Ambiguidade online condicional. Isso desloca o custo de inferência de escalar com o número de amostras para escalar com a ambiguidade da predição.
Agrupamento de Características Adaptativo: A introdução de um agente guiado por LLM que constrói grupos de recuperação multi-vetoriais compactos e específicos de cada dataset, substituindo os descritores estatísticos genéricos e fixos de métodos anteriores.
Protótipo Móvel: Implementação de um protótipo baseado em smartphone (app Flutter) demonstrando a viabilidade prática desta abordagem de prioridade de recuperação em um ambiente edge móvel real, incluindo medições de latência no dispositivo e atualizações incrementais de índice.
Avaliação Abrangente: Uma avaliação estendida através de seis benchmarks de HAR (USC-HAD, PAMAP2, MHEALTH, GOTOV, HHAR, Skoda) com estudos de ablação isolando as contribuições do projetista de recuperação, agrupamento de características e estratégias de roteamento.

Resultados

Desempenho: O RAG-HAR+ alcança um desempenho competitivo ou superior em comparação ao RAG-HAR e aos baselines de estado da arte não baseados em LLM. Melhorou os escores F1 em quatro dos seis datasets (USSC-HAD, MHEALTH, HHAR, Skoda) enquanto permaneceu competitivo nos outros.
Redução de Custo: O framework reduz drasticamente o uso de LLM online. Em todos os seis datasets, o consumo de tokens online foi reduzido entre 89,3% e 99,9%. Por exemplo, no dataset MHEALTH, apenas uma amostra exigiu uma chamada de LLM em 666 amostras de teste.
Latência: A latência de inferência foi reduzida de 5,7x a 44,5x em comparação ao RAG-HAR. No protótipo móvel, a latência caiu de ~5,4 segundos para ~0,36 segundos por amostra (uma aceleração de ~15x), principalmente porque a maioria das amostras evita a ida e volta na rede para o LLM.
Qualidade de Recuperação: Os grupos de características adaptativos melhoraram significamente o F1 de Recuperação (desempenho apenas da votação), diminuindo a lacuna entre as predições de apenas recuperação e as predições finais assistidas por LLM. Isso indica que a etapa de recuperação fornece evidências mais fortes, reduzindo a necessidade de fallback.

Significância e Alegações

O artigo afirma que o RAG-HAR+ demonstra a viabilidade prática de um HAR aumentado por recuperação e livre de treinamento para implantação em edge. Ao desacoplar o LLM do caminho crítico de cada inferência, o sistema atinge um ponto operacional escalável onde:

O custo de inferência escala com a ambiguidade, não com o volume de dados.
A qualidade da recuperação é aumentada através de representações de características multi-vetoriais projetadas por LLM e específicas de cada dataset, sem a necessidade de fine-tuning de um classificador.
A implantação em edge é viável para monitoramento contínuo, pois o sistema minimiza a dependência de rede e os custos de tokens enquanto mantém alta precisão.

Os autores posicionam este trabalho como um passo em direção a sistemas de HAR escaláveis e generalizáveis que aproveitam as capacidades de raciocínio dos LLMs sem incorrer em custos computacionais ou financeiros proibitivos, tornando-os adequados para ambientes de dispositivos vestíveis e móveis com recursos limitados.