FedBPrompt: Federated Domain Generalization Person Re-Identification via Body Distribution Aware Visual Prompts

O artigo apresenta o FedBPrompt, um método de generalização de domínio federado para reidentificação de pessoas que utiliza prompts visuais conscientes da distribuição corporal para guiar a atenção do Transformer e uma estratégia de ajuste fino baseada em prompts para reduzir custos de comunicação, melhorando assim a discriminação de características e a generalização entre domínios.

O essencial

Imagine que você é um detetive tentando identificar pessoas em uma cidade gigante, mas com um problema: você não pode olhar para todas as câmeras de segurança ao mesmo tempo porque os dados são privados e estão espalhados em diferentes bairros (ou "clientes"). Cada bairro tem suas próprias características: alguns têm muita luz, outros são escuros; alguns têm fundos de prédios cinzas, outros de árvores verdes; e as pessoas aparecem de ângulos diferentes (de cima, de lado, de frente).

O artigo que você enviou apresenta uma solução inteligente para esse problema chamada FedBPrompt. Vamos descomplicar como funciona, usando analogias do dia a dia.

O Grande Problema: O Detetive Distraído

Atualmente, os computadores usam uma tecnologia chamada "Vision Transformer" (ViT) para reconhecer pessoas. Pense nisso como um detetive muito inteligente, mas que tem um defeito: ele é muito distraído.

1. O Fundo Enganoso: Se o detetive vê uma pessoa de camisa vermelha em frente a um fundo vermelho, ele pode achar que a pessoa é o fundo e se confundir. Em vez de focar na pessoa, ele olha para o cenário.
2. O Ângulo Confuso: Se você vê a mesma pessoa de cima (de um drone) e de baixo (da rua), as partes do corpo parecem diferentes. O detetive pode achar que são duas pessoas diferentes porque a "cabeça" de cima não bate com a "cabeça" de baixo.

No mundo real, cada câmera (cliente) tem um "cenário" e um "ângulo" diferentes. Quando tentamos treinar um modelo único para todos, o computador fica confuso e erra muito.

A Solução: FedBPrompt (O Detetive com Lentes Especiais)

Os autores criaram um sistema chamado FedBPrompt. A ideia principal é ensinar o computador a usar "lentes especiais" (chamadas de Prompts Visuais) para focar no que importa.

1. As Duas Lentes Mágicas (BAPM)

O sistema usa dois tipos de "lentes" ou dicas para guiar a atenção do computador:

• Lente do Corpo Inteiro (Holistic Full Body Prompts): Imagine um filtro que diz ao computador: "Ei, ignore o fundo! Olhe apenas para a pessoa inteira!". Isso ajuda a evitar que o computador se distraia com paredes, carros ou árvores. Ele foca no "pacote" completo da pessoa.
• Lente das Partes do Corpo (Body Part Alignment Prompts): Imagine que o computador tem três óculos diferentes: um para a cabeça/torço, um para o meio do corpo e um para as pernas.
  • Se a pessoa está de lado, o óculo do "meio" sabe que deve procurar o tronco ali, mesmo que a posição mude.
  • Isso ajuda a alinhar as partes do corpo. É como se o computador dissesse: "Não importa se a pessoa está deitada ou em pé, a cabeça sempre fica acima do tronco. Vamos conectar essas partes corretamente."

Essas duas lentes trabalham juntas: uma garante que o computador não olhe para o fundo, e a outra garante que ele entenda a estrutura da pessoa, não importa o ângulo.

2. A Economia de Energia (PFTS)

Treinar um computador desses é caro e gasta muita internet (comunicação). Normalmente, para atualizar o modelo, você teria que enviar o "cérebro" inteiro (que é gigante) de volta para o servidor.

O FedBPrompt usa uma estratégia inteligente chamada PFTS:

• O Cérebro Congelado: Eles congelam o "cérebro" principal do computador (a parte que já sabe ver imagens). Ele não muda.
• Anotações Leves: Em vez de enviar o cérebro inteiro, cada cliente envia apenas as "anotações" ou "dicas" (os prompts) que aprenderam.
• Analogia: Imagine que você tem um livro de receitas gigante (o modelo). Em vez de enviar uma cópia inteira do livro para o chef central, você envia apenas um post-it com uma dica nova: "Adicione um pouco de sal na receita do bolo". O chef central junta todos os post-its de todos os cozinheiros e cria uma receita melhor, sem precisar enviar livros inteiros pela internet. Isso economiza 99% da internet!

Por que isso é incrível?

O artigo mostra que, ao usar essas "lentes" e essa "economia de anotações":

1. O computador se torna muito melhor em identificar pessoas, mesmo em cenários onde ele nunca treinou antes.
2. Ele não se confunde com fundos diferentes ou ângulos estranhos.
3. Tudo isso acontece sem gastar uma fortuna em internet ou tempo de processamento.

Resumo da Ópera:
O FedBPrompt é como dar a um detetive de inteligência artificial um mapa mental (os prompts) que diz exatamente onde olhar (no corpo, não no fundo) e como conectar as peças (cabeça, tronco, pernas), tudo isso enquanto ele envia apenas bilhetes curtos para o chefe, em vez de relatórios gigantescos. O resultado é um sistema de segurança mais inteligente, justo e eficiente.

Resumo técnico

1. Problema Abordado

O artigo foca no desafio da Re-Identificação de Pessoas em Aprendizado Federado com Generalização de Domínio (FedDG-ReID). O objetivo é treinar um modelo global capaz de generalizar para domínios não vistos (novas câmeras/cidades) sem compartilhar dados brutos entre os clientes (preservando a privacidade).

Os autores identificam duas falhas críticas nos modelos existentes, especialmente aqueles baseados em Vision Transformers (ViT) neste contexto federado:

1. Defocus Induzido por Fundo (Background-Induced Defocusing): Em cenários federados, os clientes possuem distribuições de fundo heterogêneas. O mecanismo de atenção global do ViT tende a se distrair com fundos complexos ou similares, levando a falsas correspondências entre indivíduos diferentes.
2. Desalinhamento Induzido por Ponto de Vista (Viewpoint-Induced Misalignment): Diferentes clientes capturam pessoas de ângulos variados. Isso causa um desalinhamento severo das partes do corpo (cabeça, tronco, pernas) no espaço de características, reduzindo a similaridade entre imagens da mesma pessoa e resultando em falhas de correspondência.

Além disso, a atualização completa de modelos ViT grandes em ambientes federados gera custos de comunicação proibitivos, limitando a escalabilidade.

---

2. Metodologia Proposta: FedBPrompt

Os autores propõem o FedBPrompt, um framework que introduz prompts visuais aprendíveis para guiar a atenção do Transformer e uma estratégia de ajuste fino eficiente.

A. Mecanismo de Prompts Visuais Conscientes da Distribuição Corporal (BAPM)

O núcleo da proposta é o BAPM, que divide os prompts aprendíveis em dois grupos funcionais para atacar os problemas de fundo e alinhamento simultaneamente:

1. Prompts de Alinhamento de Partes do Corpo (Body Part Alignment Prompts):
   • Divididos em três subconjuntos: Superior, Médio e Inferior.
   • Utilizam um mecanismo de atenção local restrita (máscaras de atenção). Cada prompt de parte só pode interagir com os tokens de imagem correspondentes àquela região espacial.
   • Objetivo: Garantir que o modelo aprenda características estruturadas e robustas a variações de pose e ponto de vista, corrigindo o desalinhamento.
2. Prompts de Corpo Inteiro Holístico (Holistic Full Body Prompts):
   • Um grupo de prompts que pode atender a todos os tokens de imagem globalmente.
   • Objetivo: Capturar a aparência geral da pessoa e suprimir a atenção para fundos irrelevantes, mitigando o viés de fundo.

Interação: Ambos os grupos de prompts podem se comunicar entre si via atenção mútua, permitindo que o modelo aprenda características estruturadas (partes) dentro de um contexto global coerente.

B. Estratégia de Ajuste Fino Baseada em Prompts (PFTS)

Para resolver o problema de custo de comunicação:

• O backbone do ViT (a rede principal) é congelado em todos os clientes.
• Apenas os prompts leves e aprendíveis são inicializados e atualizados localmente.
• Apenas as atualizações desses prompts (que representam uma fração mínima do modelo, ~1% dos parâmetros) são enviadas ao servidor para agregação.
• Isso reduz drasticamente a sobrecarga de comunicação sem sacrificar o desempenho.

---

3. Contribuições Principais

1. FedBPrompt: Um novo framework para FedDG-ReID que utiliza prompts visuais para guiar explicitamente a atenção do Transformer para características centradas no pedestre, mitigando o viés de fundo.
2. Mecanismo BAPM: Uma inovação que divide os prompts em grupos funcionais (partes vs. corpo inteiro) com atenção restrita. Isso resolve o problema de desalinhamento de partes do corpo causado pela heterogeneidade de pontos de vista entre clientes, garantindo consistência de características.
3. Estratégia PFTS: Uma abordagem de ajuste fino eficiente que congela o backbone e atualiza apenas os prompts, reduzindo o volume de comunicação em mais de 99% enquanto mantém alta performance.
4. Integração Flexível: Tanto o BAPM quanto o PFTS podem ser facilmente integrados em frameworks FedDG-ReID existentes baseados em ViT.

---

4. Resultados Experimentais

Os experimentos foram realizados em quatro conjuntos de dados populares (CUHK02, CUHK03, Market1501, MSMT17) sob dois protocolos de avaliação federada.

• Desempenho Superior: O FedBPrompt superou consistentemente os métodos state-of-the-art (como SSCU, FedProx, DACS).
  • No cenário desafiador "Market1501 + CUHK02 + CUHK03 → MSMT17", a estratégia BAPM melhorou a linha de base SSCU em 3,4% no mAP e 5,8% no Rank-1.
  • Para bases mais fracas (ex: FedProx), os ganhos foram ainda mais expressivos (até +13,9% no mAP).
• Eficiência de Comunicação: A estratégia PFTS alcançou ganhos notáveis de desempenho (mAP e Rank-1) em apenas algumas rodadas de agregação, comunicando apenas ~0,46M de parâmetros (prompts) em vez de ~86M (modelo completo).
• Ablação e Visualização:
  • Estudos de ablação confirmaram que a combinação de prompts de partes e holísticos é superior ao uso isolado de qualquer um deles.
  • Mapas de atenção (Figura 3) mostraram que, ao contrário dos modelos base que se dispersam no fundo, o FedBPrompt foca nitidamente no corpo da pessoa.
  • Visualizações t-SNE (Figura 4) demonstraram que o método produz distribuições de características mais compactas dentro do domínio e mais separadas entre domínios, especialmente em dados difíceis como o MSMT17.

---

5. Significado e Impacto

O trabalho é significativo por abordar simultaneamente os desafios de privacidade (via Aprendizado Federado), generalização (via Generalização de Domínio) e eficiência (via Prompt Tuning) em uma tarefa crítica de segurança (Re-ID).

Ao demonstrar que é possível superar as limitações de atenção global do ViT e os custos de comunicação em ambientes federados heterogêneos, o FedBPrompt oferece uma solução prática e escalável para a implementação de sistemas de vigilância inteligente em redes de câmeras distribuídas, onde os dados não podem ser centralizados e as condições de captura variam drasticamente.