Sintesi Tecnica: Fondare la Similitudine Funzionale tramite il Model Stitching Consapevole dell'Invarianza

Definizione del Problema

La valutazione della similitudine funzionale mira a quantificare l'estensione in cui reti neurali addestrate indipendentemente apprendono relazioni input-output simili. Un metodo prominente per questo è il model stitching (cucitura di modelli), in cui gli strati iniziali (modello frontale) di una rete vengono collegati agli strati successivi (modello finale) di un'altra tramite uno strato di allineamento addestrabile. Se la composizione cucita risultante mantiene alte prestazioni, i modelli sono considerati funzionalmente simili.

Tuttavia, studi recenti (ad es., Smith et al., 2025) hanno identificato un limite critico nel model stitching standard: esso si basa esclusivamente sulla compatibilità forward (in avanti). Ciò significa che valuta solo se le rappresentazioni del modello frontale possono essere allineate per risolvere il compito del modello finale. Di conseguenza, modelli che si affidano a indizi informativi fondamentalmente diversi (ad es., colore vs forma, o caratteristiche robuste vs non robuste) possono comunque produrre rappresentazioni compatibili, portando a valutazioni "fuorvianti" di similitudine. Inoltre, lo stitching standard può sfruttare indizi predittivi precedentemente non visti (scorciatoie o shortcuts) per ottenere l'allineamento, oscurando ulteriormente le reali discrepanze funzionali.

Gli autori sostengono che lo stitching standard sia intrinsecamente cieco rispetto alle proprietà di invarianza dei modelli. Nello specifico, esso non tiene conto della direzione backward (all'indietro): ovvero se il modello finale elabora le rappresentazioni cucite in modo coerente con il modo in cui elabora le proprie rappresentazioni native, particolarmente per quanto riguarda le invarianti condivise.

Metodologia

1. Requisito di Compatibilità Forward–Backward

Per affrontare i limiti della valutazione solo forward, gli autori introducono un requisito di compatibilità forward–backward. Questo framework postula che, affinché due modelli siano funzionalmente simili, debbano soddisfare due condizioni:

• Compatibilità Forward: Le rappresentazioni del modello frontale possono essere allineate al modello finale per risolvere il compito.
• Compatibilità Backward: Per input che il modello frontale rappresenta in modo identico (Rappresentazioni Identiche, Indistinguishable Representations), il modello finale deve elaborare queste rappresentazioni in modo simile, sia che esse originino dal modello frontale sia dal proprio percorso nativo.

Questo requisito assicura che la composizione cucita rispetti le classi di invarianza indotte dal modello frontale.

2. Invariance-Aware Model Stitching (Stitching di Modelli Consapevole dell'Invarianza)

Gli autori operazionalizzano questo requisito attraverso l'Invariance-Aware Model Stitching. Il meccanismo centrale prevede:

• Input Rappresentati Identicamente (IRI): Utilizzando un modello frontale $f_{\le i}$, generano un dataset $D_{IRIs}$ dove gli input $x'$ sono ottimizzati per produrre rappresentazioni quasi identiche agli input originali $x$ allo strato di stitching ($||f_{\le i}(x') - f_{\le i}(x)|| \approx 0$).
• Protocollo di Addestramento: Lo strato di stitching viene addestrato su $D_{IRIs}$ (utilizzando le rappresentazioni del modello frontale) ma valutato sul dataset di test standard $D_{test}$.
• Logica: Se i modelli sono realmente funzionalmente simili, l'allineamento di stitching appreso su IRI dovrebbe generalizzare al set di test standard. Se l'allineamento si basa su indizi specifici della generazione degli IRI o non rispetta le invarianti del modello finale, le prestazioni caleranno, rivelando le discrepanze funzionali.

3. Obiettivi di Allineamento dello Stitching

Il paper valuta diversi obiettivi di allineamento per stabilire la trasformazione di stitching $T_\theta$:

• Hard Label Matching (HLM): Minimizza la cross-entropy tra l'output cucito e le etichette di ground truth.
• Soft Label Matching (SLM): Minimizza la cross-entropy tra l'output cucito e le predizioni soft del modello finale autonomo.
• Direct Matching (DM): Minimizza la distanza $L_2$ tra l'output del modello frontale e le caratteristiche intermedie del modello finale al livello di stitching.
• Functional Latent Alignment (FuLA): Un nuovo obiettivo proposto dagli autori. Esso minimizza la distanza tra le caratteristiche interne della composizione cucita e le caratteristiche del modello finale attraverso molteplici strati (dallo strato di stitching fino allo strato pre-penultimo), mimando efficacementamente il flusso di elaborazione interna del modello finale senza fare affidamento sulle etichette di output.

Contributi Chiave

1. Identificazione dei Failure Modes: Gli autori dimostrano che lo stitching di modelli standard (anche sotto SLM e DM, non solo HLM) fallisce nel distinguere tra modelli che si affidano a diversi indizi informativi. Mostrano come questi metodi possano produrre punteggi di similitudine elevati anche quando i modelli utilizzano indizi visivi distinti (ad es., scorciatoie di pixel) o quando un modello è robusto e l'altro no.
2. Framework Consapevole dell'Invarianza: Propongono e validano l'invariance-aware model stitching come un approccio più rigoroso. Imponendo la compatibilità forward-backward, questo metodo rivela le discrepanze funzionali che lo stitching standard oscura.
3. Rivalutazione della Robustezza: Il paper rivisita la similitudine funzionale tra reti robuste (addestrate con avversari) e non robuste. Mentre lavori precedenti suggerivano che fossero funzionalmente simili, gli autori mostrano che, sotto lo stitching consapevole dell'invarianza, esse esibiscono significative incompatibilità funzionali, particolarmente riguardo a come gestiscono le perturbazioni avversarie.
4. Analisi degli Obiettivi di Allineamento: Lo studio analizza l'interazione tra diversi obiettivi di stitching. Trova che, mentre FuLA e SLM generalmente producono una maggiore similitudine funzionale, il Direct Matching (DM) spesso rivela un disallineamento a livello latente. Gli autori evidenziano un compromesso: gli obiettivi che impongono un allineamento latente più stretto (come DM) possono essere meno inclini a sfruttare indizi non visti, ma potrebbero produrre punteggi di similitudità complessiva inferiori.

Risultati Sperimentali

Gli autori hanno condotto esperimenti su compiti di classificazione di immagini utilizzando CIFAR-10, LS-ImageNet-10 e ImageNet-100 con architetture tra cui ResNet-18, VGG-16, ViT-Tiny e ViT-Base.

• Diversi Indizi Informativi: Quando si cucivano modelli addestrati su diverse varianti di CIFAR-10 (ad es., uno addestrato con scorciatoie di pixel), lo stitching standard mostrava un'alta similitudine negli strati profondi. Al contrario, lo stitching consapevole dell'invarianza mostrava un brusco calo della similitudine per la configurazione cross-bias, identificando correttamente la mancanza di similitudine funzionale.
• Informazioni Predittive Non Viste: Le formulazioni di stitching standard sono state trovate capaci di sfruttare "scorciatoie" (indizi predittivi non presenti nei dati di addestramento originali) per allineare i modelli. Lo stitching consapevole dell'invarianza ha mitigato sostanzialmente questo comportamento, riducendo l' "accordo eccessivo" quasi a zero quando tali indizi non erano disponibili.
• Modelli Robusti vs Non Robusti: Lo stitching standard suggeriva che i modelli robusti e non robusti fossero funzionalmente simili. Lo stitching consapevole dell'invarianza ha rivelato che i modelli robusti condividono una struttura di rappresentazione più coerente tra loro, mentre i modelli non robusti sviluppano invarianti idiosincratiche che non sono condivise con i modelli robusti.
• Confronto tra Obiettivi: FuLA e SLM hanno generalmente ottenuto una similitudine funzionale comparabile, mentre DM ha spesso prodotto punteggi di similitudine inferiori, suggerendo che il disallineamento esiste a livello di rappresentazione delle caratteristiche anche prima dello strato di output.

Significato e Rivendicazioni

Il paper sostiene che lo stitching consapevole dell'invarianza fornisca una metrica più fondata e rigorosa per la similitudine funzionale. Passando dalla sola compatibilità forward all'inclusione della compatibilità backward, il metodo impedisce conclusioni fuorvianti in cui i modelli sembrano simili semplicemente perché possono essere allineati per risolvere un compito, nonostante si affidino a meccanismi sottostanti differenti.

Gli autori sottolineano che il loro approccio rivela "discrepanze funzionali precedentemente oscurate", offrendo una comprensione più fine di come operano internamente le reti neurali profonde. Concludono che valutare la similitudine da più prospettive (forward e backward) è essenziale per valutare accuratamente il funzionamento interno delle reti neurali profonde, particolarmente in contesti che coinvolgono la robustezza e diversi obiettivi di addestramento.

Limitazioni: Gli autori riconoscono l'assenza di una nozione "oracle" di similitudine funzionale, il che significa che trarre conclusioni definitive su quale impostazione sia la "più fedele" rimanga una sfida. Inoltre, lo studio è attualmente limitato ai modelli di classificazione di immagini.