FedBPrompt: Federated Domain Generalization Person Re-Identification via Body Distribution Aware Visual Prompts

Dit artikel introduceert FedBPrompt, een federatieve methode voor persoonsherkenningsgeneralisatie die gebruikmaakt van lichaamsspecifieke visuele prompts om de aandacht van Vision Transformers te richten op de persoon en zo achtergrondruis en domeinverschuivingen effectief aanpakt met minimale communicatiekosten.

De kern

Stel je voor dat je een super-rechercheur bent die mensen moet herkennen op camerabeelden. Je werkt niet alleen, maar samen met collega's in verschillende steden (of "klanten" in de techniek). Elk team heeft zijn eigen camera's, met verschillende achtergronden (soms een drukke markt, soms een leeg park) en verschillende hoeken (soms van bovenaf, soms van opzij).

Het probleem is dat deze teams hun foto's niet mogen delen vanwege privacywetten. Ze moeten samenwerken zonder hun eigen dossiers te tonen. Dit heet Federated Learning.

De uitdaging is dubbel:

1. Achtergrondruis: De rechercheur raakt afgeleid door de achtergrond (bijv. een rode muur) en denkt dat twee verschillende mensen hetzelfde zijn omdat ze dezelfde achtergrond hebben.
2. Hoekprobleem: Als iemand van een andere kant wordt gefotografeerd, ziet de rechercheur de benen, het hoofd of de romp niet goed uitgelijnd. Hij denkt dan dat het een ander persoon is, terwijl het dezelfde is.

Deze paper, FedBPrompt, introduceert een slimme oplossing om dit op te lossen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Slimme "Sticky Notes" (De Visual Prompts)

Stel je voor dat de computer die de foto's bekijkt (een Vision Transformer) een beetje slordig is. Hij kijkt naar het hele plaatje, inclusief de achtergrond, en raakt in de war.

De auteurs plakken leerbare "sticky notes" (de Visual Prompts) op het scherm voordat de computer kijkt. Deze notes zeggen tegen de computer: "Kijk hierheen! Vergeet de achtergrond niet, en let specifiek op de benen, de romp en het hoofd."

2. De Twee Soorten "Sticky Notes" (BAPM)

De paper introduceert een speciaal systeem voor deze notes, genaamd BAPM. Het verdeelt de notes in twee teams:

• Team "Lijm op de delen" (Body Part Alignment Prompts):
  Deze notes zijn als drie gespecialiseerde detectives. Eén kijkt alleen naar het hoofd, één naar de romp en één naar de benen. Ze zijn zo getraind dat ze de persoon herkennen, zelfs als de camera schuin staat of de persoon gebogen loopt. Ze zorgen ervoor dat de "delen" van het lichaam altijd op de juiste plek blijven, ongeacht de hoek.
• Team "De Grote Foto" (Holistic Full Body Prompts):
  Deze note kijkt naar het geheel. Hij zegt: "Vergeet niet dat dit één persoon is!" en helpt de computer om te negeren wat er op de achtergrond gebeurt (zoals een rode auto of een groene muur).

Door deze twee teams samen te laten werken, krijgt de computer een perfect beeld: hij ziet de details van het lichaam én hij negeert de rommel op de achtergrond.

3. De Slimme Postbode (PFTS)

Normaal gesproken moet je, als je met collega's samenwerkt, de hele nieuwe kennis van de rechercheur (het hele zware model) naar elkaar sturen. Dat is als een vrachtwagen vol boeken versturen. Dat kost veel tijd en internetbandbreedte.

De auteurs bedachten een slimme truc: PFTS.
In plaats van de hele vrachtwagen te sturen, sturen ze alleen de kleine sticky notes (de prompts) naar elkaar. De zware kennis (de "rugzak" van de rechercheur) blijft op de computer staan en wordt niet bewogen.

• Resultaat: In plaats van 100% van de data te sturen, sturen ze maar 1%. Het is alsof je alleen de instructies stuurt in plaats van het hele kantoor. Dit gaat razendsnel en bespaart enorm veel energie, terwijl de resultaten net zo goed blijven.

Waarom is dit belangrijk?

• Privacy: Teams hoeven hun eigen foto's niet te delen.
• Snelheid: Het kost veel minder tijd om samen te werken omdat er minder data wordt verstuurd.
• Betrouwbaarheid: De computer wordt niet meer afgeleid door achtergronden en herkent mensen beter, zelfs als ze van een vreemde hoek worden gefotografeerd.

Kortom: FedBPrompt is als het geven van een slimme set instructies (sticky notes) aan een team van detectives. Ze leren samen om beter te kijken naar de mensen en minder naar de achtergrond, en ze doen dit zo efficiënt dat ze maar een klein briefje hoeven te posten in plaats van een hele lading boeken.

Technische samenvatting

Probleemstelling

Het paper adresseert de uitdagingen van Federated Domain Generalization voor Persoon Re-Identificatie (FedDG-ReID). In dit scenario trainen meerdere clients (bijv. verschillende camera-netwerken) gezamenlijk een model zonder hun lokale data te delen, om een model te creëren dat goed generaliseert naar onbekende doel-domeinen.

De auteurs identificeren twee kritieke problemen die het gebruik van Vision Transformers (ViT) in deze context beperken:

1. Afwijkende Achtergrondverdelingen: ViT-modellen gebruiken globale attention-mechanismen die vaak worden afgeleid door dominante maar irrelevante achtergronden. In een federale setting met heterogene clients leidt dit tot "false matches" tussen verschillende personen.
2. Afwijkende Zichtpunten (Viewpoints): Verschillende clients hebben verschillende camera-hoeken. Dit veroorzaakt misalignement van lichaamsdelen van dezelfde persoon, wat de feature-similariteit verlaagt en leidt tot mismatches.

Bestaande methoden falen vaak omdat ze deze twee uitdagingen niet gelijktijdig aanpakken en omdat het updaten van volledige ViT-modellen in een federale setting onacceptabel hoge communicatiekosten met zich meebrengt.

Methodologie: FedBPrompt

De auteurs stellen FedBPrompt voor, een raamwerk dat twee kerncomponenten combineert:

1. Body Distribution Aware Visual Prompts Mechanism (BAPM)

Dit is een nieuw mechanisme dat leerbare visuele prompts introduceert om de attention van de Transformer te sturen. In plaats van de hele ViT te hertrainen, worden prompts toegevoegd aan de inputsequentie. BAPM verdeelt deze prompts in twee functionele groepen:

• Body Part Alignment Prompts: Deze zijn opgedeeld in drie subsets die corresponderen met het bovenlichaam, middenlichaam en onderlichaam ($P_{upper}, P_{mid}, P_{lower}$). Ze gebruiken een beperkte lokale attention-mechanisme (via een attention-mask) zodat ze alleen interageren met de corresponderende beeldpatches. Dit zorgt voor robuuste uitlijning van lichaamsdelen, ongeacht het gezichtspunt.
• Holistic Full Body Prompts: Een groep prompts ($P_{Full}$) die de algehele verschijning van de persoon vastlegt en interageert met alle beeldpatches om globale context te behouden.

Cruciaal: Alle prompts kunnen met elkaar communiceren via self-attention, waardoor het model gestructureerde, deelvrije features leert binnen een coherent globale context. Dit lost het probleem van misalignement en achtergrondafleiding op.

2. Prompt-based Fine-Tuning Strategy (PFTS)

Om de hoge communicatiekosten van het updaten van een groot ViT-backbone te vermijden, stelt de auteurs een efficiënte fine-tuning strategie voor:

• De ViT-backbone wordt bevroren (geen updates).
• Clients "implanteren" alleen een kleine set van willekeurig geïnitieerde prompts.
• Tijdens het trainingsproces worden alleen de parameters van deze prompts bijgewerkt en naar de server gestuurd voor aggregatie.
• Dit reduceert het volume aan te updaten parameters met meer dan 99% (van ~86M naar ~0.46M parameters), terwijl de prestaties behouden blijven.

Kernbijdragen

1. FedBPrompt Framework: Een nieuw raamwerk dat learnable visuele prompts gebruikt om ViT-attention expliciet te sturen naar pedester-centrische cues, waardoor de achtergrondbias wordt verminderd.
2. BAPM Mechanisme: Een innovatief mechanisme dat het probleem van misalignement door heterogene gezichtspunten aanpakt door prompts te partitioneren in lichaamsdelen en een globale context, met een beperkte attention-mechanisme.
3. PFTS Strategie: Een communicatie-efficiënte aanpak die de backbone bevriest en alleen lichte prompts updatet, wat de federale kosten drastisch verlaagt zonder in te leveren op prestaties.
4. Integratie: Beide componenten kunnen eenvoudig worden geïntegreerd in bestaande ViT-gebaseerde FedDG-ReID frameworks.

Resultaten

De auteurs hebben hun methode getest op vier grote datasets (CUHK02, CUHK03, Market1501, MSMT17) onder twee protocollen:

• Protocol-1 (Leave-One-Out): Testen op een onzichtbaar doel-domein.
  • FedBPrompt verbeterde de sterke baseline SSCU met 3.4% mAP en 5.8% Rank-1 op de uitdagende taak "Market1501+CUHK02+CUHK03 → MSMT17".
  • Zelfs voor zwakkere baselines (zoals FedProx) werden aanzienlijke verbeteringen geboekt (bijv. +13.9% mAP).
• Protocol-2 (Source-Domain Performance): Testen op de bron-domeinen zelf.
  • Het model behaalde niet alleen betere cross-domein generalisatie, maar ook optimale herkenningsnauwkeurigheid op de oorspronkelijke bron-domeinen.
• Ablatie Studies: Toonden aan dat zowel de "Holistic Prompts" als de "Body Part Alignment Prompts" essentieel zijn, maar dat de structuur van de lichaamsdelen (BAPM) de belangrijkste drijver is voor het oplossen van misalignement.
• Visualisatie: Attention maps tonen aan dat FedBPrompt de focus verlegt van de achtergrond naar de persoon, en dat de features in de feature space compacter en beter gescheiden zijn dan bij baselines.

Betekenis en Impact

Dit paper biedt een oplossing voor de fundamentele beperkingen van ViT-modellen in federale leeromgevingen voor beveiliging en slimme steden.

• Privacy & Efficiëntie: Het maakt privacy-bewuste samenwerking mogelijk tussen verschillende instanties (bijv. busmaatschappijen, politie) zonder data-uitwisseling en met minimale bandbreedtegebruik dankzij PFTS.
• Robuustheid: Het lost het specifieke probleem op dat ViT-modellen vaak "vergeten" wie ze moeten volgen in heterogene omgevingen, door de attention mechanisch te forceren om op lichaamsdelen te focussen.
• Toepasbaarheid: De modulariteit van de aanpak maakt het een flexibele oplossing die direct kan worden toegepast op bestaande ViT-architecturen, wat de adoptie in de praktijk vergemakkelijkt.

Samenvattend biedt FedBPrompt een krachtige, schaalbare en privacy-vriendelijke oplossing voor persoonherkenning in complexe, gedistribueerde omgevingen.