Sintesi Tecnica: Apprendimento di Rappresentazioni di Embedding Congiunto Stocastico Ispirato al Cervello (PhiNet v2)

Definizione del Problema

L'apprendimento auto-supervisionato (SSL) ha rivoluzionato la visione artificiale attraverso framework come SimCLR, MoCo, DINO e i Masked Autoencoders (MAE). Tuttavia, questi approcci trascurano ampiamente le intuizioni derivanti dai sistemi di elaborazione visiva biologica, specificamente la capacità del cervello umano di apprendere rappresentazioni robuste da flussi continui di informazioni visive senza fare affidamento su pesanti aumenti di dati (data augmentation).

I modelli ispirati al cervello esistenti, come l'originale PhiNet (v1), hanno compiuto passi avanti combinando l'Ipotesi della Predizione Temporale con la teoria dei Sistemi di Apprendimento Complementare (CLS). Tuttavia, PhiNet v1 presenta tre limitazioni primarie:

1. Elaborazione Sequenziale: Non elabora nativamente l'input visivo sequenziale (video); simula le differenze temporali utilizzando l'augmentation dei dati su immagini statiche.
2. Architettura: Si basa su backbone ResNet, mentre la neuroscienza moderna suggerisce che i Transformer somiglino maggiormente ai modelli ippocampali.
3. Dipendenza dall'Augmentation: Come molti metodi SSL, si affida a una forte data augmentation, il che limita la generalizzabilità quando si apprende da input sequenziali dove le augmentation efficaci sono difficili da definire.

Il documento affronta la necessità di un modello capace di apprendere rappresentazioni visive robuste da input sequenziali (video) senza una forte data augmentation, sfruttando sia architetture Transformer che l'inferenza variazionale per colmare il divario tra meccanismi ispirati al cervello e apprendimento probabilistico.

Metodologia: PhiNet v2

PhiNet v2 è un'architettura basata su Transformer progettata per apprendere da sequenze di immagini (video) allineandosi con la circuitazione biologica presente nella corteccia entorinale (EC), l'ippocampo (CA3 e CA1) e la neocorteccia.

1. Interpretazione Biologica e Architettura

Il modello mappa i suoi componenti su specifiche regioni cerebrali:

• Corteccia Entorinale (EC) / Encoder $f$: Codifica l'input sensoriale (frame video $x_t$) in rappresentazioni a bassa dimensionalità ($Z_t$). PhiNet v2 utilizza un Vision Transformer (ViT) come encoder.
• Regione CA3 / Predittore $h$: Basato sull'Ipotesi della Predizione Temporale, questo modulo predice l'attività neurale futura. Esso prevede la rappresentazione di un frame futuro ($\hat{Z}_{t+k}$) a partire dal frame corrente ($Z_t$).
• Regione CA1 / Predittore $g$ e Funzioni di Perdita:
  • Sim-1 (Errore di Predizione): CA1 confronta il segnale predetto $\hat{Z}_{t+k}$ con il segnale futuro effettivo (elaborato con rumore $\epsilon$). Questa discrepanza è modellata come una divergenza di probabilità (divergenza KL) tra un prior e un'approssimata posterior, guidando una plasticità rapida.
  • Sim-2 (Apprendimento Lento): CA1 emette un segnale verso la neocorteccia. Un secondo predittore $g$ genera una rappresentazione target $Y_{t+k}$ basata sulla predizione e su una variabile casuale latente $r$.
• Neocorteccia / Slow Encoder $f_{long}$: Mimica il sistema neocorticale a apprendimento lento. I suoi parametri vengono aggiornati tramite una Media Mobile Esponenziale (EMA) dei parametri dell'encoder principale, garantendo coerenza a lungo termine e prevenendo il collasso rappresentazionale.

2. Derivazione Probabilistica

L'obiettivo di apprendimento è derivato dall'inferenza variazionale. Gli autori mirano a massimizzare la verosimiglianza dei frame video codificati. Applicando la regola della catena e introducendo un modello di miscela uniforme con una variabile latente $r$ per catturare la stocasticità, derivano un Evidence Lower Bound (ELBO).

• La perdita Sim-1 corrisponde alla divergenza KL tra l'approssimata posterior $q(r|\hat{Z}_{t+k}, Z^{(\epsilon)}_{t+k})$ e il prior $p(r|\hat{Z}_{t+k})$.
• La perdita Sim-2 corrisponde all'errore di ricostruzione tra la rappresentazione predetta $Y_{t+k}$ e la rappresentazione target $f_{long}(x_{t+k})$.
• L'obiettivo totale è una somma simmetrica delle perdite cronologiche e reverse-cronologiche per promuovere la coerenza temporale bidirezionale.

3. Dinamiche di Addestramento e Stabilizzazione

Per prevenire il collasso rappresentazionale e garantire un addestramento stabile senza una forte data augmentation, PhiNet v2 impiega meccanismi specifici:

• Stop-Gradients (SG): I gradienti diretti sono bloccati per il percorso del prior (SG-prior) e per lo slow encoder (SG-2), costringendo il modello a imparare attraverso gli aggiornamenti guidati dall'errore dei percorsi veloci.
• KL Balancing: Viene applicato un bias ai termini prior e posterior durante il calcolo della divergenza KL.
• EMA: Lo slow encoder $f_{long}$ viene aggiornato tramite EMA, disaccoppiando la sua dinamica di apprendimento da quella dell'encoder principale.
• Iniezione di Rumore: Il rumore Gaussiano $\epsilon$ viene aggiunto ai frame futuri per prevenire l'apprendimento di scorciatoie (es. copiare i pixel), sebbene il modello apprenda rappresentazioni piuttosto che ricostruire i pixel.

Contributi Chiave

1. Architettura PhiNet v2: Il primo modello di apprendimento di rappresentazioni visive ispirato al cervello basato su Transformer, capace di elaborare input visivi sequenziali.
2. Apprendimento Senza Augmentation: Il modello apprende rappresentazioni robuste da input sequenziali senza dipendere dalla forte data augmentation e dal masking richiesti dalla maggior parte degli esistenti modelli foundation (es. MAE, DINO).
3. Formulazione Variazionale: Una derivazione probabilistica formale che unisce la modellazione ispirata al cervello (Predizione Temporale e CLS) con l'inferenza variazionale, fornendo una base matematica rigorosa.
4. Performance: Il modello raggiunge prestazioni competitive o superiori rispetto a forti metodi di pre-training (DINO, SiamMAE, CropMAE, RSP) mantenendo un'architettura più semplice (senza moduli MAE ausiliari).

Risultati Sperimentali

Gli autori pre-addestrano PhiNet v2 sul dataset Kinetics-400 e lo valutano su compiti di propagazione di etichette video (DAVIS, VIP, JHMDB).

• Prestazioni nei Benchmark: PhiNet v2 supera RSP, CropMAE e un baseline di tipo JEPA in tutti i dataset testati.
  • Su DAVIS (Segmentazione Video), PhiNet v2 raggiunge un punteggio J&Fm di 60.1, rispetto a 58.4 per RSP e 57.0 per CropMAE.
  • Su VIP (Segmentazione di Parti) e JHMDB (Pose Tracking), PhiNet v2 raggiunge anch'esso i punteggi più alti (33.1 mIoU e 73.6 PCK@0.2, rispettivamente).
• Robustezza al Rumore: Negli esperimenti aggiungendo rumore Gaussiano ai frame di input, PhiNet v2 dimostra una maggiore robustezza rispetto a RSP, particolarmente sul dataset DAVIS, validando l'ipotesi che l'apprendimento nello spazio delle rappresentazioni sia meno sensibile al rumore a livello di pixel rispetto ai metodi di ricostruzione dei pixel.
• Studi di Ablazione:
  • EMA: Rimuovere l'EMA porta al collasso delle rappresentazioni e a scarse prestazioni (26.8 vs 60.1).
  • Symmetric Loss: L'uso della perdita simmetrica migliora le prestazioni di 0.4–0.9 punti.
  • Predictor $h$: L'inclusione del predittore $h$ (CA3) è cruciale per evitare il collasso.
  • Dimensione del Batch: Il modello rimane stabile attraverso varie dimensioni di batch (da 192 a 1536), permettendo l'addestramento su hardware limitato (es. GPU V100).
  • Architettura: Sostituire semplicemente la ResNet di PhiNet v1 con un Transformer senza le specifiche modifiche architettoniche di PhiNet v2 risulta in scarse prestazioni (22.2), evidenziando la necessità del design specifico.

Significato e Rivendicazioni

Il documento posiziona PhiNet v2 come un passo verso sistemi di visione artificiale più biologicamente plausibili. Il suo significato risiede in:

• Plausibilità Biologica: Integra con successo l'Ipotesi della Predizione Temporale e la teoria CLS in un moderno framework basato su Transformer, andando oltre l'elaborazione di immagini statiche di PhiNet v1.
• Efficienza e Semplicità: A differenza di RSP, che richiede un modulo MAE ausiliario per potenziare le prestazioni, PhiNet v2 ottiene risultati superiori attraverso l'allineamento delle rappresentazioni, eliminando la necessità di componenti ausiliari complessi e un esteso tuning degli iperparametri.
• Scalabilità: Sebbene gli esperimenti attuali siano condotti su scale ridotte per garantire un confronto equo con i metodi esistenti, gli autori osservano che l'architettura è intrinsecamente legata ai framework JEPA e DINO, suggerendo la possibilità di scalare a contesti più ampi e competere con modelli su larga scala come V-JEPA o DINOv3.

Il lavoro dimostra che combinare meccanismi ispirati alle neuroscienze con obiettivi di apprendimento probabilistico può generare rappresentazioni video robuste e allo stato dell'arte, senza la pesante dipendenza dalla data augmentation tipica degli attuali paradigmi SSL.