Riepilogo Tecnico: Inversioni di Preferenza nelle Reti Neurali sotto Incompatibilità di Gram

1. Definizione del Problema

Le reti neurali si affidano sempre più a dati aggregati da fonti eterogenee (popolazioni diverse, periodi temporali o condizioni operative differenti) per migliorare la generalizzazione. Tuttavia, esiste una lacuna critica di affidabilità: sebbene l'aggregazione espanda la base di evidenze, essa può sovvertire gli ordinamenti di azione che sono costantemente supportati dalle singole fonti.

Le metriche standard di accuratezza aggregata non riescono a rilevare questo problema perché misurano la performance predittiva piuttosto che la coerenza dei ranking relativi delle azioni. Un modello riadestrato su dati aggregati può invertire una preferenza concordata da tutti i modelli sorgente senza che si verifichi un calo dell'accuratezza complessiva. Questo articolo affronta le condizioni in cui la preservazione della preferenza composizionale fallisce. Nello specifico, investiga perché e quando un modello aggregato, addestrato con rappresentazioni fisse e testate di output OLS (Ordinary Least Squares), inverte una stretta preferenza a coppia supportata da entrambi i dataset sorgente.

Il problema è formalizzato attraverso la Teoria delle Decisioni Basata su Casi (CBDT), specificamente il suo assioma di composizione (A2), che richiede che un ordinamento supportato da entrambe le memorie sorgente sopravviva alla loro unione. L'articolo postula che il fallimento di questo assioma nelle reti neurali sia guidato dall'incompatibilità di Gram — il disallineamento geometrico delle matrici di Gram inverse utilizzate per pesare l'evidenza delle sorgenti.

2. Metodologia

Framework Teorico

Gli autori analizzano reti neurali a rappresentazione fissa in cui l'estrattore di caratteristiche $\phi$ è congelato e solo le testate di lettura OLS vengono adattate.

• Margini Sorgente: Per una sorgente $j$, il margine di preferenza tra le azioni $a$ e $b$ è definito come $\Delta_{j}(x) = \phi(x)^\top G_j^{-1} \Phi_j^\top d_j(a,b)$, dove $G_j$ è la matrice di Gram non centrata della sorgente $j$.
• Margine Aggregato: Quando si aggregano le sorgenti, la matrice di Gram diventa $G_1 + G_2$ e i vettori di evidenza si sommano. Il margine aggregato è $\Delta_{12}(x) = \phi(x)^\top (G_1 + G_2)^{-1} (\Phi_1^\top d_1 + \Phi_2^\top d_2)$.
• Meccanismo di Inversione: L'articolo dimostra che anche se $\Delta_1 > 0$ e $\Delta_2 > 0$, la geometria inversa ricalcolata $(G_1 + G_2)^{-1}$ può ruotare o ripesare l'evidenza combinata in modo tale che $\Delta_{12} < 0$. Ciò accade quando $G_1$ e $G_2$ non sono multipli scalari l'uno dell'altro (incompatibilità di Gram).

Risultati Analitici

• Preservazione Esatta: Se $G_1 = \kappa_1 G_0$ e $G_2 = \kappa_2 G_0$ (allineamento scalare), il margine aggregato è una combinazione convessa dei margini sorgente, garantendo la preservazione dell'ordinamento.
• Preservazione Approssimativa: Per allineamenti non scalari, gli autori derivano una garanzia dipendente dal margine. Definiscono una misura di mismatch di Gram invariante per scala, $\delta_{norm}(G_1, G_2) = \|\tilde{G}_1 - \tilde{G}_2\|_F$, dove $\tilde{G}$ è la matrice di Gram normalizzata in Frobenius.
• Certificato di Stabilità: Una condizione sufficiente per la preservazione è derivata (Corollario 1), collegando il mismatch normalizzato, i margini sorgente, le norme di evidenza e il condizionamento. Se il margine ponderato della sorgente supera un termine di penalità proporzionale al mismatch, l'ordinamento è preservato.

Strumenti Operativi

1. Screening: Viene introdotta una misura di mismatch di Gram invariante per la scala per dare priorità ai pool candidati per l'audit prima del riaddestramento.
2. Regolarizzazione: Sono proposte due funzioni obiettivo orientate alla geometria per l'addestramento:
   • Gram Whitening (Biancheggiamento di Gram): Incoraggia i batch sorgente ad allinearsi con un riferimento di identità condiviso.
   • Allineamento Diretto: Incoraggia la direzione di Gram di una sorgente ad allinearsi con un riferimento congelato di una fase sorgente a minore domanda.
3. Audit a Tre Stadi: Un framework per tracciare l'impatto delle inversioni:
   • Stadio 1: Tasso di inversione rigorosa a coppie (coerenza A2).
   • Stadio 2: Tasso di cambiamento decisionale (query in cui il modello aggregato seleziona un'azione diversa rispetto al consenso delle sorgenti).
   • Stadio 3: Perdita di utilità definita dal task (decisioni dannose vs beneficihe).

3. Contributi Chiave

1. Formalizzazione della Affidabilità Composizionale: L'articolo formalizza l'affidabilità del riaddestramento aggregato come preservazione della preferenza composizionale per reti OLS a rappresentazione fissa, provando che la ricomposizione della Gram inversa può invertire le preferenze condivise.
2. Caratterizzazione Geometrica: Identifica l'incompatibilità di Gram come la causa radice delle inversioni e deriva le condizioni di preservazione esatta (allineamento scalare) e approssimativa (dipendente dal margine).
3. Framework Operativo: Introduce una misura di mismatch di Gram invariante per la scala per lo screening e regolarizzatori orientati alla geometria per l'addestramento.
4. Audit delle Conseguenze: Sviluppa un audit a tre stadi che separa le inversioni rigorose a coppie dai reali cambiamenti decisionali e dalle perdite di utilità specifiche del task, dimostrando che non tutte le inversioni sono dannose, ma esiste una classe misurabile di decisioni dannose.

4. Risultati Sperimentali

Studio del Meccanismo Controllato

In un ambiente controllato, gli autori mostrano una forte correlazione negativa ($-0,903$) tra il mismatch di Gram normalizzato e la coerenza rigorosa A2. All'aumentare del mismatch, la coerenza rigorosa scende drasticamente, con un punto di transizione osservato intorno a un valore di mismatch di 1,07–1,27, confermando che l'incompatibilità di Gram induce inversioni di preferenza.

Proxy di Offerta Basata sul Carico

Utilizzando un proxy di offerta basato sul carico, lo studio traccia la catena delle conseguenze:

• Tasso di Inversione: Il 1,80% delle coppie query-azione idonee ha subito inversioni rigorose a coppia.
• Cambiamento Decisionale: L'1,12% delle query del consenso sorgente ha portato a un cambiamento nella decisione aggregata.
• Danno: Di queste decisioni cambiate, il 53,64% erano dannose rispetto al consenso della sorgente. Ciò stabilisce una classe misurabile e non nulla di decisioni dannose derivanti dal fallimento composizionale.

Punti di Operatività Geometria-Decisione

Gli esperimenti che confrontano i metodi di regolarizzazione (Nessuna regolarizzazione, Gram Whitening, Allineamento Diretto, Weight decay) rivelano distinti punti operativi:

• Gram Whitening ($\lambda_{reg}=0,01$) ha ottenuto l'accuratezza e la coerenza A2 rigorosa più elevate, ma non ha ridotto significativamente il tasso di danno rispetto al baseline.
• Allineamento Diretto ($\lambda_{reg}=0,1$) ha mostrato il tasso di danno più basso ma un'accuratezza leggermente inferiore.
• Conclusione: Un minore mismatch geometrico non garantisce automaticamente un minor danno decisionale; diversi obiettivi scambiano accuratezza, coerenza, geometria e danno.

Ambito Cross-Domain (Medico e Finanziario)

Gli audit sui dataset UCI Heart Disease e Credit Card Default hanno mostrato che mismatch di Gram comparabili possono portare a tassi di preservazione drasticamente diversi (es. 99,91% vs 8\% di coerenza). Ciò conferma che il mismatch è uno strumento utile per dare priorità agli audit, ma è insufficiente come predittore autonomo di fallimento senza considerare i margini sorgente e il condizionamento.

5. Significato e Rivendicazioni

L'articolo sostiene di rendere la affidabilità composizionale misurabile e operativa. Collegando l'astratta geometria delle matrici di Gram alle concrete conseguenze decisionali, gli autori forniscono un framework per:

• Screening: Identificare pool di dati ad alto rischio prima del riaddestramento utilizzando la metrica $\delta_{norm}$.
• Certificazione: Utilizzare condizioni analitiche per certificare la preservazione per specifiche coppie query-azione.
• Addestramento: Modellare la geometria della sorgente durante l'addestramento per mitigare l'incompatibilità.
• Audit: Tracciare l'intera catena dal mismatch geometrico alla perdita di utilità.

Gli autori affermano con modestia che il loro framework non elimina tutti i fallimenti, ma fornisce gli strumenti necessari per rilevare, quantificare e mitigare la specifica classe di "inversioni di preferenza" causate dall'incompatibilità di Gram in sistemi decisionali neurali aggregati. Sottolineano che l'accuratezza aggregata è una proxy inadeguata per la coerenza composizionale e che l'audit a livello decisionale è essenziale per un'integrazione multi-sorgente affidabile.