🤖 machine learning

Efficient and Adaptive Human Activity Recognition via LLM Backbones

Este artigo propõe um framework eficiente e adaptativo de Reconhecimento de Atividades Humanas que aproveita Modelos de Linguagem Grandes pré-treinados e congelados como espinhas dorsais temporais, interligados por uma projeção convolucional estruturada e adaptados via Adaptação de Baixo Rango (LoRA) para alcançar alto desempenho, eficiência de dados e transferência robusta entre conjuntos de dados, reduzindo significativamente os custos computacionais.

Autores originais: Aleksandr Bredikhin, Philippe Lalanda, German Vega

Publicado 2026-05-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Aleksandr Bredikhin, Philippe Lalanda, German Vega

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um bibliotecário superinteligente que leu todos os livros do mundo. Este bibliotecário é especialista em entender histórias, como as frases fluem e como os personagens mudam ao longo do tempo. Agora, imagine que você quer ensinar esse bibliotecário a reconhecer atividades humanas — como caminhar, correr ou subir escadas — apenas observando dados de um smartwatch.

O problema é que o bibliotecário fala "Linguagem", mas seu smartwatch fala "Movimento". Eles falam dialetos diferentes.

Este artigo propõe uma solução inteligente: Não construa um novo bibliotecário do zero. Em vez disso, ensine o bibliotecário superinteligente existente a entender o movimento.

Veja como os autores fizeram isso, dividido em conceitos simples:

1. O Jeito Antigo vs. O Jeito Novo

O Jeito Antigo: Geralmente, para reconhecer atividades, os engenheiros constroem um cérebro de computador totalmente novo e especializado, do zero. Eles precisam alimentá-lo com milhares de horas de dados de exercícios rotulados, e o treinamento consome muito tempo e dinheiro. É como contratar um novo estagiário e ensinar tudo a partir do zero.
O Jeito Novo (Este Artigo): Os autores dizem: "Por que começar do zero?" Eles pegam um Modelo de Linguagem de Grande Escala (LLM) — uma IA massiva já treinada em toda a internet para entender texto — e o reutilizam. Eles tratam essa IA não como uma leitora de livros, mas como uma mestre de sequências. Como uma história é uma sequência de palavras e uma atividade é uma sequência de movimentos, o cérebro da IA já está conectado para lidar com a lógica de "o que vem a seguir".

2. O Tradutor (O "Adaptador")

Você não pode simplesmente alimentar dados brutos de smartwatch (números representando velocidade e direção) em uma IA baseada em texto. Seria como tentar explicar o enredo de um filme gritando números aleatórios para o bibliotecário.

Os autores construíram um tradutor (um "módulo de projeção convolucional").

O que faz: Ele pega os dados brutos e bagunçados de movimento do acelerômetro e giroscópio e os converte em um formato que a IA pode entender.
A Analogia: Pense nos dados do smartwatch como um idioma estrangeiro. O tradutor não apenas traduz palavra por palavra; ele resume a "vibe" de um curto impulso de movimento em um único conceito claro que a IA pode digerir.

3. O Cérebro "Congelado" e os "Post-its"

Treinar uma IA gigante do zero é caro e lento. É como tentar reescrever todo o dicionário toda vez que você quer aprender uma nova palavra.

Os autores usaram um truque chamado LoRA (Adaptação de Baixo Rango):

O Cérebro Congelado: Eles mantiveram o cérebro principal da IA congelado. Eles não alteraram seu conhecimento central. É como manter as prateleiras da biblioteca do bibliotecário exatamente como estão.
Os Post-its: Em vez de reescrever os livros, eles adicionaram uma camada minúscula de "post-its" treináveis (LoRA) à IA. Esses bilhetes ensinam a IA a aplicar sua inteligência geral de sequências especificamente aos dados de movimento.
O Resultado: Eles precisaram treinar apenas uma fração minúscula do modelo (menos de 1%). Isso tornou o processo incrivelmente rápido, barato e energeticamente eficiente.

4. Como Eles Testaram

Eles testaram esse sistema em conjuntos de dados padrão (como UCI, HHAR e RealWorld), que contêm dados de pessoas usando sensores enquanto realizavam várias atividades.

Desempenho: O sistema funcionou tão bem quanto, ou melhor do que, os modelos especializados construídos do zero.
Eficiência de Dados: Este é o grande ganho. O sistema aprendeu muito bem mesmo quando receberam apenas uma quantidade minúscula de dados (como 1% ou 10% do conjunto de treinamento usual). Como a IA já entendia "sequências" de seu treinamento em linguagem, ela não precisou ser ensinada tudo do zero.
Adaptabilidade: Ela podia saltar de um conjunto de dados para outro com muita facilidade, o que é crucial para uso no mundo real, onde as condições mudam.

5. O Problema (O Problema da "Posição do Sensor")

O artigo encontrou uma limitação específica. A IA é ótima em entender a história do movimento (por exemplo: "primeiro eu caminhei, depois parei"). No entanto, ela tem dificuldade se o sensor for usado em um lugar estranho (como no tornozelo em vez do pulso), pois isso muda o "som" bruto dos dados.

A Lição: O "Tradutor" (a parte convolucional) precisa ser inteligente o suficiente para lidar com as peculiaridades físicas de onde o sensor está posicionado. A IA (o LLM) lida com a lógica de longo prazo, mas o Tradutor lida com os detalhes físicos locais. Eles funcionam melhor como uma equipe.

Resumo

O artigo mostra que você não precisa reinventar a roda para o reconhecimento de atividades. Ao pegar uma IA de linguagem poderosa e pré-treinada e dar a ela um tradutor simples e alguns "post-its" para aprender os detalhes específicos, você pode construir um sistema que é:

Mais inteligente (entende padrões de longo prazo melhor).
Mais barato (precisa de menos poder de computação).
Mais rápido de treinar (precisa de menos dados).

É uma mudança de "construir um novo motor" para "colocar uma nova transmissão em um motor existente e poderoso".

Resumo Técnico: Reconhecimento Eficiente e Adaptativo de Atividades Humanas via Backbones de LLM

Declaração do Problema

O Reconhecimento de Atividades Humanas (HAR) é uma tarefa crítica na computação ubíqua, exigindo que modelos interpretem dados de sensores inerciais (acelerômetros e giroscópios) sob restrições rigorosas de computação, energia e dados. Embora arquiteturas baseadas em Transformers recentes tenham melhorado o desempenho de reconhecimento, elas geralmente dependem do projeto de modelos específicos para a tarefa, treinados do zero. Essa abordagem incorre em altos custos de treinamento, exige grandes volumes de dados rotulados e enfrenta dificuldades com a adaptabilidade a mudanças de domínio (por exemplo, alterações em usuários, dispositivos ou posicionamento do sensor). Soluções existentes para adaptação de domínio frequentemente introduzem complexidade adicional ou permanecem sensíveis à escassez de dados em domínios alvo.

Metodologia

O artigo propõe HARLLM, uma mudança de paradigma que reaproveita Grandes Modelos de Linguagem (LLMs) pré-treinados como backbones temporais genéricos para HAR baseada em sensores, em vez de treinar Transformers específicos para domínio do zero. O framework aborda a lacuna de modalidade entre séries temporais inerciais multivariadas contínuas e tokens linguísticos discretos através de três princípios de design centrais:

Projeção Alinhada à Modalidade (Frontend Convolucional):
- Dados brutos do sensor (6 canais: 3 acelerômetro, 3 giroscópio) são processados em janelas de comprimento fixo ( $W=128$ ).
- Um módulo de projeção convolucional estruturado mapeia esses sinais contínuos para o espaço latente do LLM.
- O módulo processa os sinais do acelerômetro e do giroscópio independentemente antes de fundi-los. Emprega uma arquitetura multibranco com convoluções temporais 1D para extrair padrões de movimento invariantes localmente e dinâmicas temporais de médio alcance.
- A saída é projetada em embeddings compatíveis com a dimensão de embedding do LLM ( $d_{LLM}$ ), preservando a ordem temporal.
Backbone Congelado com Adaptação Eficiente em Parâmetros:
- O LLM pré-treinado (por exemplo, GPT-2 Small, GPT-2 Medium ou Qwen-1.8B) serve como codificador de sequência e é mantido congelado durante o treinamento para preservar seu conhecimento pré-treinado e minimizar o custo computacional.
- A adaptação é alcançada exclusivamente via Adaptação de Baixo Rango (LoRA). Matrizes de baixo rango treináveis são injetadas nas projeções de consulta, chave e valor das camadas de autoatenção.
- Isso reduz o número de parâmetros treináveis para menos de 1% do tamanho total do modelo (por exemplo, ~1,2M parâmetros para GPT-2 Small), diminuindo drasticamente a pegada de memória e o tempo de treinamento.
Representação e Raciocínio Desacoplados:
- O frontend convolucional lida com propriedades no nível do sinal (amostragem, ruído, padrões locais) e impõe vieses indutivos específicos para sensoriamento inercial.
- O backbone LLM opera nos embeddings resultantes no nível da janela para capturar dependências temporais de longo alcance, transições de atividade e estrutura global da sequência.

Contribuições Principais

Mudança de Paradigma: Os autores introduzem uma abordagem inovadora para HAR que reaproveita LLMs pré-treinados como backbones temporais, afastando-se da prática convencional de projetar Transformers específicos para a tarefa do zero.
Framework de Alinhamento: Eles propõem um framework de projeção convolucional e adaptação baseada em LoRA que permite um alinhamento eficiente entre séries temporais inerciais e espaços latentes de LLMs, sem depender de estratégias de prompt inadequadas para sinais contínuos.
Análise de Papéis Complementares: O trabalho analisa e demonstra os papéis complementares de codificadores convolucionais e LLMs: o primeiro lida com invariantes locais e processamento no nível do sinal, enquanto o segundo captura dependências temporais de longo alcance.
Eficiência e Transferibilidade: A abordagem demonstra alcançar forte desempenho com significativamente menos recursos de treinamento, exibindo robustez em cenários de poucos dados e transferência entre conjuntos de dados.

Resultados Experimentais

O framework foi avaliado em três benchmarks padrão: UCI HAR, HHAR e RealWorld.

Desempenho Absoluto: O HARLLM alcançou o maior F1-score ponderado no conjunto de dados HHAR (98,43%), superando CNNs clássicas, DeepConvLSTM e baselines recentes baseadas em Transformers (incluindo HART). No UCI HAR, atingiu desempenho competitivo (95,78%), e no RealWorld, manteve-se competitivo (94,16%), embora ligeiramente abaixo do HART, que codifica explicitamente a invariância de posicionamento do sensor.
Eficiência de Dados: Quando treinado com dados rotulados limitados no HHAR, o HARLLM manteve forte desempenho. Alcançou um F1-score ponderado acima de 95 com apenas 20% dos dados de treinamento e permaneceu competitivo até 10%. A degradação do desempenho foi significativa apenas no regime extremo de 1%.
Transferência entre Conjuntos de Dados (LODO): Em um cenário Leave-One-Dataset-Out onde o modelo foi pré-treinado em múltiplos conjuntos de dados fonte (MotionSense, UCI, PAMAP2, RealWorld) e ajustado finamente no HHAR com dados alvo mínimos:
- O modelo pré-treinado alcançou 87,67% de F1 sem quaisquer dados do HHAR.
- Com apenas 1% dos dados do HHAR para ajuste fino, o desempenho saltou para 80,89%.
- Com 10% dos dados, atingiu 93,68%, demonstrando adaptação eficaz com poucos exemplos.
Eficiência de Treinamento: Todo o processo de treinamento foi concluído em menos de uma hora em uma única GPU comercial (nível gratuito do Google Colab), utilizando menos de 1% dos parâmetros do backbone para adaptação.

Significado e Alegações

O artigo alega que LLMs podem servir como uma base prática, econômica e escalável para sistemas de HAR adaptativos. O significado deste trabalho reside em:

Eficiência de Recursos: Ao congelar o backbone e usar LoRA, a abordagem reduz drasticamente os custos de treinamento e o consumo de energia, tornando-a adequada para cenários ubíquos e embutidos onde os recursos computacionais são limitados.
Robustez à Escassez de Dados: O forte prior representacional fornecido pelo pré-treinamento de LLMs permite convergência rápida e aprendizado eficaz em configurações de poucos dados e poucos exemplos, abordando um grande gargalo em implantações reais de HAR.
Clarificação de Papéis Arquiteturais: Os resultados destacam que, embora LLMs se destaquem no raciocínio temporal e transferência, eles não aprendem naturalmente invariantes de posicionamento do sensor. Portanto, um frontend convolucional especializado é necessário para lidar com a variabilidade local do sinal. Isso sugere uma estratégia de design onde vieses indutivos específicos de domínio (convolucionais) complementam o pré-treinamento em grande escala (LLM) em vez de serem substituídos por ele.

Os autores concluem que este trabalho abre novas direções para reutilizar modelos fundamentais além de seu domínio linguístico original, oferecendo um plano geral para integrar LLMs em pipelines de modelagem de séries temporais ubíquas.