FedBPrompt: Federated Domain Generalization Person Re-Identification via Body Distribution Aware Visual Prompts

Il paper propone FedBPrompt, un metodo per il Re-Identificazione delle Persone in ambito Federato che utilizza prompt visivi consapevoli della distribuzione corporea per guidare l'attenzione del Transformer verso regioni rilevanti e riduce i costi di comunicazione aggiornando solo i prompt leggeri invece dell'intero backbone.

L'essenziale

Immagina di dover organizzare una grande festa di benvenuto per riconoscere i tuoi amici, ma con un problema enorme: i tuoi amici sono sparsi in città diverse e non possono mai incontrarsi tutti insieme nella stessa stanza. Inoltre, ognuno di loro vive in un quartiere molto diverso dagli altri.

Il Problema: La Festa Disordinata (Federated Domain Generalization)

In questo scenario, il "sistema di riconoscimento" è come un guardia del corpo (l'Intelligenza Artificiale) che deve imparare a riconoscere le persone.

• Il contesto: Ogni amico (o "Cliente") ha le sue foto scattate nel proprio quartiere.
  • Il quartiere A ha molti muri rossi e cieli blu.
  • Il quartiere B ha molti negozi grigi e strade affollate.
  • Le persone sono fotografate da angolazioni diverse: alcune dall'alto, altre dal basso, alcune di profilo.
• Il problema: Se addestriamo il guardia del corpo solo con le foto del quartiere A, quando vedrà un amico nel quartiere B (con sfondi grigi e angolazioni strane), si confonderà. Potrebbe pensare che due persone diverse siano la stessa (perché hanno lo stesso sfondo rosso) o che la stessa persona sia due persone diverse (perché è vista da un'angolazione strana).

Inoltre, per privacy, nessuno può inviare le foto originali al centro. Il sistema deve imparare "a distanza", ricevendo solo piccoli aggiornamenti matematici. Questo rende il processo lento e costoso (come inviare pacchi pesanti per posta).

La Soluzione: FedBPrompt (Il "Promemoria Visivo")

Gli autori propongono una soluzione intelligente chiamata FedBPrompt. Immagina di dare al guardia del corpo non solo le foto, ma anche dei post-it magici (chiamati "Visual Prompts") che si attaccano alle immagini. Questi post-it non sono fissi, ma imparano a spostarsi e a concentrarsi dove serve.

Il sistema si basa su due idee geniali:

1. BAPM: I Post-it Specializzati (Il Meccanismo Consapevole del Corpo)

Invece di avere un solo post-it che dice "Guarda tutto", il sistema usa due tipi di post-it che lavorano insieme:

• I Post-it "Corpo Intero" (Holistic Full Body Prompts):
  • L'analogia: Immagina un post-it gigante che copre tutta la figura della persona.
  • Cosa fa: Dice al sistema: "Ehi, ignora lo sfondo! Non guardare quel muro rosso o quel negozio grigio. Concentrati solo sulla persona intera." Questo aiuta a non farsi distrarre da ambienti diversi.
• I Post-it "Parti del Corpo" (Body Part Alignment Prompts):
  • L'analogia: Immagina tre piccoli post-it che si attaccano specificamente alla testa, al busto e alle gambe.
  • Cosa fa: Questi post-it dicono: "Se la testa è girata di lato, guarda comunque il busto. Se le gambe sono nascoste, guarda la testa." Aiutano il sistema a capire che, anche se la persona è vista da angolazioni diverse, la testa è sempre sopra le gambe. Questo risolve il problema della "disallineamento" quando le persone sono fotografate in modo diverso.

Questi post-it "parlano" tra loro: quelli delle parti del corpo si coordinano con quello del corpo intero per creare un'immagine mentale chiara e completa della persona, indipendentemente da dove è stata scattata la foto.

2. PFTS: Il Metodo "Leggero" (Strategia di Sintonizzazione)

Di solito, per aggiornare un sistema di intelligenza artificiale così potente, bisogna inviare al centro un "pacchetto" enorme (tutti i pesi del modello), come se dovessimo spedire un intero camion pieno di libri ogni volta che impariamo qualcosa. Questo è lento e costoso.

FedBPrompt usa una strategia diversa:

• Congeliamo il cervello: Il "cervello" principale del sistema (la parte che già sa riconoscere le forme di base) viene bloccato e non viene mai modificato.
• Inviamo solo i post-it: I clienti aggiornano e inviano al centro solo i piccoli post-it (i "prompt") che hanno imparato a usare.
• Il risultato: Invece di spedire un camion intero, spediamo solo un foglietto di carta. Questo riduce il traffico di dati del 99%, rendendo tutto velocissimo ed economico, senza perdere in precisione.

Perché è Geniale? (I Risultati)

Gli autori hanno fatto degli esperimenti su dataset reali (come Market1501 e MSMT17) e hanno scoperto che:

1. Il sistema non si distrae più: Grazie ai post-it "Corpo Intero", il sistema ignora gli sfondi confusi.
2. Il sistema non si perde: Grazie ai post-it "Parti del Corpo", riconosce la stessa persona anche se è vista da angolazioni strane o se è parzialmente nascosta.
3. È veloce ed economico: Grazie al metodo "Leggero", si può addestrare questo sistema su molti computer diversi senza intasare la rete.

In Sintesi

FedBPrompt è come dare a un detective un set di occhiali magici (i prompt) che gli permettono di:

1. Ignorare i muri e i negozi dietro le persone (sfondi diversi).
2. Riconoscere che la testa e le gambe appartengono alla stessa persona, anche se la foto è storta o tagliata (angolazioni diverse).
3. Fare tutto questo senza dover inviare milioni di foto al quartier generale, ma solo piccoli appunti (aggiornamenti leggeri).

È una soluzione elegante che rende l'intelligenza artificiale più intelligente, più rispettosa della privacy e molto più efficiente.

Sommario tecnico

1. Il Problema: Re-Identificazione Personale Federata (FedDG-ReID)

Il lavoro affronta le sfide critiche nella Re-Identificazione Personale (ReID) in un contesto di Apprendimento Federato per la Generalizzazione del Dominio (FedDG-ReID).

• Contesto: L'obiettivo è addestrare un modello globale capace di generalizzare su domini target non visti, utilizzando dati decentralizzati da più clienti (es. diverse istituzioni o telecamere) senza condividere i dati grezzi per motivi di privacy.
• Sfide Principali:
  1. Distrazione dallo Sfondo: I modelli basati su Vision Transformer (ViT) utilizzano un'attenzione globale che spesso fallisce nel distinguere il pedone da sfondi altamente simili o dominanti, portando a falsi positivi (match errati tra persone diverse).
  2. Disallineamento delle Parti del Corpo: La grande eterogeneità nelle distribuzioni dei punti di vista (viewpoint) tra i clienti causa un grave disallineamento delle parti del corpo della stessa persona, riducendo la similarità delle caratteristiche e causando falsi negativi.
• Limitazioni Attuali: I metodi esistenti richiedono spesso l'aggiornamento completo del modello (alto costo di comunicazione) o non affrontano specificamente la combinazione di rumore di sfondo e disallineamento strutturale in ambienti federati.

2. Metodologia: FedBPrompt

Gli autori propongono FedBPrompt, un framework che introduce Visual Prompts (segnali visivi apprendibili) per guidare l'attenzione del Transformer verso le caratteristiche rilevanti del pedone. Il framework si basa su due pilastri principali:

A. Meccanismo di Prompt Visivi Consapevoli della Distribuzione del Corpo (BAPM)

Il BAPM divide i prompt apprendibili in due gruppi funzionali distinti per gestire le due sfide principali:

1. Prompt di Allineamento delle Parti del Corpo (Body Part Alignment Prompts):
   • Divisi in tre sottoinsiemi: P_upper (parte superiore), P_mid (parte centrale), P_lower (parte inferiore).
   • Utilizzano un meccanismo di attenzione locale vincolata. Ogni prompt può interagire solo con le patch dell'immagine corrispondenti alla sua regione anatomica specifica.
   • Obiettivo: Garantire un allineamento robusto delle parti del corpo indipendentemente dal punto di vista, catturando dettagli fini.
2. Prompt del Corpo Intero Olistico (Holistic Full Body Prompts):
   • Un insieme di prompt (P_full) che può interagire con tutte le patch dell'immagine.
   • Obiettivo: Catturare l'aspetto globale della persona e sopprimere il rumore di sfondo, mantenendo un contesto coerente.

• Interazione: Tutti i prompt possono comunicare tra loro tramite l'attenzione, permettendo al modello di apprendere caratteristiche strutturate (parti) all'interno di un contesto globale coerente.

B. Strategia di Sintonizzazione Fine basata sui Prompt (PFTS)

Per mitigare l'alto costo di comunicazione tipico degli ambienti federati:

• Congelamento del Backbone: Il backbone ViT pre-addestrato viene mantenuto congelato (non aggiornato).
• Aggiornamento Selettivo: Vengono aggiornati e comunicati al server centrale solo i parametri dei prompt leggeri.
• Efficienza: Questo riduce il volume dei parametri trasmessi a circa l'1% del modello completo (es. da ~86M a ~0.46M parametri), mantenendo alte prestazioni.

3. Contributi Chiave

1. FedBPrompt: Un nuovo framework per la generalizzazione del dominio federata che utilizza prompt visivi per indirizzare esplicitamente l'attenzione del Transformer verso le caratteristiche del pedone, mitigando il bias verso lo sfondo.
2. BAPM: Un meccanismo innovativo che risolve il problema del disallineamento delle persone causato dall'eterogeneità dei punti di vista. La partizione funzionale dei prompt e la loro comunicazione reciproca assicurano coerenza delle caratteristiche su dati eterogenei.
3. PFTS: Una strategia di addestramento efficiente che riduce drasticamente l'overhead di comunicazione (fino al 99% in meno) congelando il backbone e aggiornando solo i prompt, rendendo il sistema scalabile per ambienti con risorse limitate.
4. Integrabilità: Sia BAPM che PFTS possono essere integrati facilmente in framework FedDG-ReID esistenti basati su ViT.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro dataset ReID su larga scala (CUHK02, CUHK03, Market1501, MSMT17) utilizzando due protocolli di valutazione.

• Performance Superiori: FedBPrompt ha superato lo stato dell'arte (SOTA), incluso il metodo SSCU, in entrambi gli scenari di addestramento (parametri completi e fine-tuning dei prompt).
  • Nel compito difficile "M+C2+C3 → MS", BAPM ha migliorato il baseline SSCU del 3.4% in mAP e del 5.8% in Rank-1.
  • Su baseline più deboli (es. FedProx), i guadagni sono stati ancora più significativi (fino al +13.9% in mAP).
• Generalizzazione e Robustezza: Il modello dimostra un'eccellente capacità di generalizzazione cross-dominio e mantiene alta accuratezza anche sui domini sorgente.
• Analisi di Ablazione: Lo studio conferma che la combinazione di prompt olistici e prompt di allineamento delle parti (BAPM completo) è cruciale. I prompt di allineamento delle parti sono il driver principale per risolvere il problema del disallineamento.
• Visualizzazione: Le mappe di attenzione mostrano che FedBPrompt si concentra correttamente sul corpo della persona e sulle sue parti, a differenza dei baseline che si disperdono sullo sfondo. Le visualizzazioni t-SNE confermano una maggiore compattezza intra-dominio e separabilità inter-dominio.

5. Significato e Impatto

Questo lavoro è significativo perché:

• Risolve un collo di bottiglia fondamentale: Affronta direttamente le limitazioni dei ViT nell'ambiente federato (distrazione dallo sfondo e disallineamento), problemi spesso ignorati dai metodi precedenti.
• Efficienza Pratica: Dimostra che è possibile ottenere prestazioni SOTA in scenari federati con costi di comunicazione minimi, rendendo la tecnologia ReID più praticabile per applicazioni reali su larga scala (es. città intelligenti) dove la larghezza di banda e la privacy sono vincoli critici.
• Nuovo Paradigma: Introduce l'uso strutturato di prompt visivi non solo per l'adattamento, ma per la gestione attiva della distribuzione dei dati eterogenei in ambito federato.

In sintesi, FedBPrompt offre una soluzione flessibile ed efficace che combina l'efficienza dei prompt learning con la robustezza necessaria per la ReID in ambienti distribuiti e eterogenei.