AttriBE: Quantifying Attribute Expressivity in Body Embeddings for Recognition and Identification

1. Enunciato del Problema

I sistemi di Re-identificazione delle persone (ReID) sono fondamentali per la sorveglianza e la sicurezza, ma spesso codificano involontariamente attributi latenti non intenzionali (ad esempio, genere, posa, Indice di Massa Corporea) insieme alle informazioni sull'identità. Sebbene i metodi esistenti si concentrino sul miglioramento dell'accuratezza, manca un quadro principiato per quantificare quanto fortemente questi attributi ausiliari siano codificati nelle rappresentazioni di caratteristiche profonde.

• Il Divario: Le tecniche tradizionali di "sondaggio" (ad esempio, regressione logistica) misurano solo la prevedibilità e potrebbero trascurare dipendenze non lineari. Inoltre, la maggior parte delle analisi è limitata a immagini nello spettro visibile, lasciando un vuoto nella comprensione di come la codifica degli attributi si comporti sotto spostamenti di dominio cross-spettrali (ad esempio, da Visibile a Infrarosso).
• L'Obiettivo: Quantificare sistematicamente l'"espressività" (informazione reciproca) tra gli embedding corporei appresi e attributi specifici attraverso diverse profondità di rete, fasi di addestramento e modalità di rilevamento (Visibile, SWIR, MWIR, LWIR).

2. Metodologia

Gli autori propongono AttriBE, un framework basato sulla Stima Neurale dell'Informazione Reciproca (MINE) per misurare la dipendenza statistica tra le caratteristiche apprese e gli attributi.

• Metrica Principale: Il framework utilizza l'Informazione Reciproca (MI), definita come $I(X; Z) = D_{KL}(P_{XZ} \| P_X \otimes P_Z)$, per quantificare quanto la conoscenza di un attributo $Z$ riduca l'incertezza sulla rappresentazione delle caratteristiche $X$.
• Tecnica di Stima: Poiché la MI è intrattabile per dati ad alta dimensionalità, gli autori impiegano MINE (Mutual Information Neural Estimation). Una rete neurale secondaria (un MLP a due livelli) viene addestrata per massimizzare un limite inferiore della MI tra le caratteristiche estratte e i vettori degli attributi.
• Dataset:
  • BRIAR: Un dataset su larga scala nello spettro visibile con oltre 1 milione di immagini, utilizzato per analizzare l'evoluzione gerarchica e temporale degli attributi.
  • IJB-MDF: Un benchmark multi-dominio contenente immagini a infrarossi Visibili, a Onde Corte (SWIR), a Onde Medie (MWIR) e a Onde Lunghe (LWIR), utilizzato per l'analisi cross-spettrale.
• Modelli Analizzati:
  • BRIAR: Tre architetture basate su transformer: SemReID, DCFormer e PFD.
  • IJB-MDF: Focus su SemReID (a causa delle sue prestazioni superiori), confrontando un modello base (pre-addestrato su dati visibili) con un modello fine-tuned cross-spettrale.
• Attributi Analizzati: Genere, BMI, Pitch (inclinazione della testa) e Yaw (rotazione della testa). Anche l'età è stata inclusa nell'analisi MDF.

3. Contributi Chiave

1. Primo Framework Basato su MI per ReID: Introduzione della prima quantificazione sistematica, livello per livello, della codifica degli attributi corporei in modelli ReID basati su transformer utilizzando l'Informazione Reciproca.
2. Analisi Cross-Spettrale: Estensione dell'analisi dell'espressività dalla luce visibile a molteplici domini infrarossi (SWIR, MWIR, LWIR), rivelando come le gerarchie degli attributi si spostino (o persistano) sotto spostamenti di dominio spettrale.
3. Caratterizzazione Gerarchica e Temporale: Mappatura di come l'espressività degli attributi evolva attraverso i livelli di rete (dai primi agli ultimi) e le epoche di addestramento, distinguendo tra segnali transitori (posa) e segnali persistenti (morfometria).
4. Benchmarking: Stabilimento di nuovi baseline per l'espressività degli attributi sul dataset IJB-MDF, dimostrando che gli embedding basati sul corpo superano quelli basati sul viso negli scenari cross-spettrali.

4. Risultati Chiave

A. Spettro Visibile (Dataset BRIAR)

• Tendenze Gerarchiche:
  • BMI: Mostra la più alta espressività e aumenta monotonicamente con la profondità della rete. È l'attributo più persistente, suggerendo che le informazioni morfometriche sono profondamente intrecciate con l'identità.
  • Posa (Yaw/Pitch): Mostra una tendenza non monotona. L'espressività raggiunge il picco nei livelli intermedi (dove vengono costruiti i segnali strutturali) ma diminuisce negli strati finali mentre il modello si concentra su caratteristiche specifiche dell'identità. Lo Yaw viene soppresso in modo più aggressivo.
  • Genere: Rimane moderatamente codificato e relativamente stabile attraverso la profondità, ma è meno dominante rispetto al BMI o alla posa.
  • Classifica Finale: Nella rappresentazione finale, l'ordine di espressività è coerentemente BMI > Pitch > Genere > Yaw.
• Differenze tra Modelli: PFD ha mostrato la più alta perdita di attributi (espressività più forte), mentre SemReID ha mostrato la più bassa, indicando che apprende rappresentazioni più focalizzate sull'identità e disaccoppiate.
• Evoluzione Temporale: Man mano che l'addestramento procede, lo Yaw viene progressivamente soppresso, mentre il BMI rimane stabile o aumenta, confermando che i modelli filtrano naturalmente la posa ma mantengono la forma del corpo.

B. Analisi Cross-Spettrale (Dataset IJB-MDF)

• Persistenza delle Morfometrie: Il dominio del BMI persiste attraverso tutte le modalità infrarosse (SWIR, MWIR, LWIR), anche quando il modello è addestrato solo su dati visibili. Ciò indica che la forma del corpo è un segnale agnostico rispetto alla modalità.
• Comportamento della Posa: A differenza dello spettro visibile, dove la posa raggiunge un picco e poi scende, nel dataset MDF gli attributi di posa (Pitch/Yaw mostrano una crescita monotona attraverso la profondità. Ciò è attribuito alla variabilità della posa vincolata nel dataset MDF (principalmente viste frontali), che porta a una minore competizione tra fattori di identità e posa.
• Allineamento Cross-Spettrale: Il fine-tuning su dati multispettrali allinea le traiettorie di espressività dei domini infrarossi più vicino al dominio visibile.
• Specifiche Infrarosse:
  • MWIR: Mostra una rapida crescita negli strati iniziali, mantenendo una forte struttura geometrica/termica.
  • LWIR: Inizia con bassa espressività (a causa della mancanza di texture) ma recupera forti correlazioni negli strati più profondi, dimostrando che le sagome termiche contengono segnali strutturali sufficienti per BMI e posa.
• Identità vs. Attributi: L'espressività dell'identità è costantemente più alta (range 4–6) rispetto agli attributi ausiliari (range 2–2.5), confermando che, sebbene gli attributi siano codificati, l'identità rimane il segnale primario.

5. Significato e Implicazioni

• Diagnosi del Bias: Il framework fornisce uno strumento quantitativo per rilevare la "perdita di attributi", aiutando gli sviluppatori a identificare se un modello si basa eccessivamente su correlazioni spurie (ad esempio, BMI o posa) piuttosto che su vere caratteristiche di identità.
• Robustezza: La scoperta che il BMI è l'attributo più persistente suggerisce che la morfologia corporea è un segnale fondamentale e robusto per il ReID, anche attraverso spostamenti spettrali. Tuttavia, ciò evidenzia anche un potenziale rischio di equità se il BMI è correlato a classi protette.
• Linee Guida per la Progettazione:
  • Posa: Poiché la posa è fortemente codificata negli strati intermedi ma soppressa negli strati finali, le caratteristiche intermedie potrebbero essere utili per compiti invarianti alla posa, mentre gli strati finali sono migliori per il matching puro dell'identità.
  • Disaccoppiamento: I risultati suggeriscono che l'addestramento standard non disaccoppia completamente il BMI dall'identità. Il lavoro futuro dovrebbe concentrarsi sulla regolarizzazione consapevole degli attributi per mitigare i bias non intenzionali senza sacrificare la robustezza dei segnali morfometrici.
• Generalizzabilità: L'approccio basato su MINE è applicabile sia ad attributi discreti (genere) che continui (BMI, posa), offrendo uno strumento di analisi unificato superiore ai metodi basati su concetti come TCAV per variabili continue.

In conclusione, AttriBE rivela che i modelli ReID basati su transformer codificano una gerarchia strutturata di attributi impliciti. Sebbene riescano a sopprimere con successo la posa (yaw) nelle rappresentazioni finali, codificano persistentemente la massa corporea (BMI), una tendenza che rimane valida anche colmando il divario tra le modalità di rilevamento visibili e infrarossi.