FED-HARGPT: A Hybrid Centralized-Federated Approach of a Transformer-based Architecture for Human Context Recognition

Este estudo propõe uma abordagem híbrida centralizada-federada baseada em Transformers para Reconhecimento de Atividades Humanas (HAR) que, ao utilizar dados de sensores móveis no framework Flower, demonstra eficácia em melhorar a precisão e robustez do modelo preservando a privacidade em cenários de dados não-IID.

O essencial

Imagine que você quer ensinar um robô a entender o que você está fazendo o dia todo: se você está correndo, dormindo, trabalhando ou apenas descansando. Para isso, o robô precisa "olhar" para os dados do seu celular e do seu relógio inteligente (como o acelerômetro e o giroscópio).

O problema é que esses dados são privados. Você não quer enviar seus dados de sono ou localização para uma nuvem central onde qualquer um possa vê-los. É aqui que entra a ideia genial deste artigo, chamado FED-HARGPT.

Vamos explicar como eles resolveram isso usando uma analogia simples: A Escola de Culinária.

1. O Problema: A Receita Secreta

Imagine que cada pessoa tem uma receita secreta de bolo (seus dados de movimento).

• A abordagem antiga (Centralizada): Todos mandam suas receitas para um grande chef em um restaurante central. Ele mistura tudo, cria um "super bolo" e ensina a todos.
  • Problema: Você teve que entregar sua receita secreta. Se o restaurante for invadido, sua receita vaza.
• A abordagem Federada (O que o artigo propõe): O chef não pede as receitas. Ele manda um livro de instruções básico para cada cozinheiro (seu celular). Cada cozinheiro pratica em sua própria cozinha, com sua própria receita, e depois manda apenas dicas de como melhorar o livro de volta para o chef. O chef junta todas as dicas, atualiza o livro e manda de novo.
  • Vantagem: Ninguém vê a receita do outro, mas todos aprendem a fazer um bolo melhor juntos.

2. A Solução: Um "GPT" Leve e Híbrido

Os autores usaram uma tecnologia chamada Transformer (a mesma família de modelos que criou o ChatGPT), mas fizeram duas adaptações inteligentes:

• O "GPT" Leve: Em vez de usar um "cérebro" gigante e pesado (que não caberia no seu celular), eles usaram uma versão menor e mais ágil do GPT-2. É como trocar um caminhão de carga por uma moto elétrica: faz o mesmo trabalho, mas é mais rápido e consome menos energia.
• A Estratégia Híbrida (O Pulo do Gato):
  1. Treino Centralizado (A Base): Primeiro, eles treinaram o modelo com dados de 48 pessoas em um computador potente. Isso serviu como uma "base sólida", como se o chef já soubesse fazer um bolo decente antes de começar a aula.
  2. Treino Federado (O Refinamento): Depois, eles enviaram esse modelo "já treinado" para os celulares de 12 pessoas diferentes. Cada pessoa treinou o modelo com seus próprios dados (sua rotina única) e enviou apenas as melhorias de volta.

3. O Desafio: A "Sala de Aula" Bagunçada

Um dos maiores problemas nesse tipo de estudo é que as pessoas não agem igual.

• Alguns participantes correram muito, outros dormiram muito, e alguns quase não usaram o celular.
• Isso é chamado de dados não-IID (não independentes e não idênticos). É como se a sala de aula tivesse alunos que só estudam matemática e outros que só estudam história.
• O modelo precisa aprender a reconhecer todos os movimentos, mesmo que um aluno só tenha dados de "corrida" e outro só de "dormir".

4. O Resultado: O Que Eles Descobriram?

O experimento foi um sucesso!

• Privacidade Preservada: Os dados sensíveis nunca saíram dos celulares dos participantes.
• Desempenho: O modelo final ficou quase tão bom quanto se todos os dados tivessem sido misturados em um único lugar (o método tradicional).
• Personalização: O modelo aprendeu a lidar com a bagunça da vida real. Alguns "alunos" (celulares) ficaram incrivelmente bons (atingindo 90% de precisão em alguns casos), provando que o sistema se adapta bem a rotinas diferentes.

Resumo em uma frase

Os pesquisadores criaram um sistema onde o celular de cada pessoa aprende a reconhecer atividades humanas (como caminhar ou dormir) usando uma inteligência artificial leve, treinando localmente para proteger a privacidade, mas compartilhando apenas o "conhecimento" (não os dados) para melhorar o sistema para todos.

Por que isso importa?
Isso abre portas para que, no futuro, seu relógio inteligente possa monitorar sua saúde ou detectar quedas de idosos, aprendendo com a experiência de milhões de pessoas, sem que ninguém precise saber o que você fez ontem à noite. É a inteligência artificial aprendendo comunitariamente, mas com sigilo total.

Resumo técnico

1. Problema e Contexto

O artigo aborda o desafio de realizar Reconhecimento de Atividade Humana (HAR) em dispositivos de borda (como smartphones e wearables) de forma que preserve a privacidade dos dados.

• Desafio Principal: A geração massiva de dados privados de sensores (acelerômetros, giroscópios) exige monitoramento discreto, mas o treinamento centralizado tradicional viola a privacidade ao exigir o envio de dados brutos para servidores.
• Complexidade dos Dados: O estudo foca em cenários de dados não-IID (Não Independentes e Identicamente Distribuídos), onde a distribuição de atividades varia drasticamente entre usuários e contextos reais (ex: dataset ExtraSensory), tornando o treinamento de modelos globais difícil e propenso a viés.
• Limitação de Hardware: A necessidade de modelos leves o suficiente para rodar em dispositivos móveis, mas complexos o suficiente para capturar padrões temporais e contextuais.

2. Metodologia

Os autores propõem uma abordagem híbrida que combina Aprendizado Federado (FL) com uma arquitetura baseada em Transformers, utilizando o framework Flower.

• Arquitetura do Modelo (FED-HARGPT):

  • Baseado no GPT-2, mas com modificações para HAR.
  • Adaptações: Remoção da camada de embedding padrão (substituída por uma camada linear treinável para lidar com dados contínuos de sensores) e adição de camadas finais (linear + ativação tanh) para mapeamento de saída multilabel.
  • Objetivo: Resolver um problema de classificação multilabel com 51 rótulos (ex: "correndo", "deitado", "estressado"), onde as atividades podem ocorrer simultaneamente.

• Estratégia de Treinamento Híbrida:

  1. Pré-treinamento Centralizado: Um modelo base é treinado centralmente com dados de 48 participantes (80% dos dados) para estabelecer uma linha de base robusta.
  2. Ajuste Fino Federado: O modelo pré-treinado é distribuído para 12 clientes (os 12 participantes restantes em cada fold de validação cruzada). Cada cliente treina localmente com seus dados privados.
  3. Agregação: O servidor central agrega os pesos usando o algoritmo FedAvg (Federated Averaging).
  4. Configuração Experimental: Utilização de 5 folds de validação cruzada, onde cada fold atua como um cenário de FL distinto. O modelo foi otimizado via Random Search para hiperparâmetros como tamanho do hidden layer (384), número de camadas de Transformer (4) e taxa de aprendizado.

• Dataset: Utilização do ExtraSensory, um conjunto de dados rico e desbalanceado coletado em ambientes não controlados, contendo mais de 300.000 minutos de gravações de sensores.

3. Contribuições Principais

1. Modelo Leve Baseado em Transformer: Apresentação de um modelo GPT-2 adaptado e fine-tuned para problemas de HAR sem restrições, demonstrando a viabilidade de usar arquiteturas de linguagem em dados de sensores.
2. Abordagem Híbrida Centralizada-Federada: Proposta de um fluxo de trabalho que equilibra desempenho, privacidade e personalização, especificamente validado em cenários de dados não-IID.
3. Análise em Dataset Não Controlado: Validação comparativa em um dataset onde os participantes usaram os dispositivos livremente (sem instruções rígidas), simulando condições do mundo real, algo raro na literatura de HAR.
4. Demonstração de Privacidade: Prova de conceito de que é possível atingir desempenho competitivo sem centralizar dados sensíveis de sensores.

4. Resultados

• Desempenho Geral: O modelo FED-HARGPT alcançou uma Acurácia Balanceada (Balanced Accuracy - BA) média de 0,747 em todos os folds.
• Comparação com o Estado da Arte (SotA):
  • A média do FED-HARGPT ficou ligeiramente abaixo dos melhores modelos MLP (Multilayer Perceptron) anteriores (que alcançaram ~0,773).
  • No entanto, o melhor cliente individual do estudo federado atingiu uma BA de 0,909, superando significativamente os resultados anteriores.
  • Cerca de 1/3 dos clientes (19 de 60) alcançaram desempenho igual ou superior ao estado da arte estabelecido.
• Variabilidade: Houve uma variação significativa entre os folds (de 0,718 a 0,779), o que é esperado em dados não-IID. A distribuição dos resultados seguiu uma curva gaussiana, indicando consistência na maioria dos casos, embora a diversidade de dados de cada usuário impacte diretamente a precisão.
• Eficiência: A estratégia de pré-treino centralizado seguido de fine-tuning federado reduziu o número de épocas necessárias para adaptação, crucial para dispositivos com recursos limitados.

5. Significado e Conclusão

O estudo demonstra que uma abordagem híbrida, combinando o poder de representação de Transformers com a privacidade do Aprendizado Federado, é viável e eficaz para HAR em cenários do mundo real.

• Privacidade vs. Desempenho: O trabalho valida que é possível manter a privacidade dos dados (sem sair do dispositivo do usuário) sem sacrificar drasticamente a precisão do modelo, especialmente quando se utiliza uma estratégia de inicialização inteligente (pré-treino centralizado).
• Aplicabilidade: Os resultados são promissores para áreas sensíveis à privacidade, como saúde (monitoramento de pacientes, detecção de quedas, estresse) e finanças, além de cidades inteligentes.
• Futuro: Os autores sugerem que o uso de Pequenos Modelos de Linguagem (Small LLMs) em tarefas complexas de HAR é uma direção fértil. Trabalhos futuros podem explorar estratégias de agregação mais avançadas (como FedPer) para lidar ainda melhor com a heterogeneidade dos dados não-IID e técnicas de privacidade diferencial.

Em suma, o FED-HARGPT estabelece uma base sólida para a próxima geração de sistemas de reconhecimento de atividades que respeitam a soberania dos dados do usuário enquanto oferecem insights contextuais precisos.