Dual-Channel Tensor Neural Networks: Finite-Sample Theory and Conformal Structure Selection

Sintesi Tecnica: Reti Neurali a Tensori a Doppio Canale

Enunciato del Problema
Le applicazioni moderne di machine learning fanno sempre più affidamento su dati strutturati ad alta dimensionalità, come neuroimmagini, genomica e reti spazio-temporali, che esistono naturalmente come tensori. Una sfida centrale nell'apprendimento da tali dati è la loro struttura eterogenea: i tensori reali spesso esibiscono una combinazione di pattern multilinear globali a bassa dimensionalità e variazioni localizzate, irregolari o sparse che trasportano segnali predittivi critici. Gli approcci esistenti affrontano un compromesso fondamentale:

• I modelli a basso rango (ad es. CP, Tucker, Tensor-Train) riassumono efficacemente le dipendenze globali ma soffrono di un pregiudizio di rappresentazione quando i segnali localizzati non si allineano con il sottospazio assunto.
• I modelli sparsi o non parametrici ad alta dimensionalità catturano gli effetti localizzati ma ignorano la geometria sottostante del tensore, portando a dimensioni effettive gonfiate e a un'efficienza statistica ridotta.
  Inoltre, i metodi standard di quantificazione dell'incertezza (ad es. bootstrap o previsione conforme standard) trattano spesso gli input tensoriali come vettori non strutturati, producendo stime eccessivamente conservative che non sfruttano la geometria intrinseca dei dati. Infine, la selezione tra decomposizioni tensoriali candidate (ad es. CP vs. Tucker) si basa tipicamente su validazioni euristica senza validità statistica per campioni finiti.

Metodologia
Gli autori propongono la Rete Neurale a Tensore a Doppio Canale (DC-TNN), un framework progettato per apprendere funzioni predittive su input tensoriali con struttura eterogenea.

1. Trasformazione delle Caratteristiche Strutturate:
   Il tensore di input $X$ viene decomposto in un nucleo globale a basso rango $C$ e in un componente di raffinamento sparso $V$. La trasformazione $X \mapsto (C, V_J)$ mappa il tensore ad alta dimensionalità in un tensore di nucleo a bassa dimensionalità $C$ (che cattura le interazioni multilinear dominanti) e in un vettore sparso $V_J$ (che cattura le deviazioni localizzate), dove $J$ è un insieme di indici selezionato. Questo è trattato come un pregiudizio induttivo strutturato piuttosto che come un vincolo generativo rigoroso.

2. Architettura a Doppio Canale:
   Il modello elabora $C$ e le caratteristiche locali raffinate $U$ (derivate da $V_J$) attraverso due canali neurali paralleli e accoppiati:

   • Canale di Nucleo ($H_c$): Opera sul tensore di nucleo a bassa dimensionalità per apprendere le dipendenze multilinear globali.
   • Canale di Rifinamento ($H_u$): Opera sulla rappresentazione densa del tensore delle caratteristiche locali selezionate.
   • Accoppiamento: I canali interagiscono tramite tensori di pesi inter-canale ($W_{cu}, W_{uc}$) a ogni livello, permettendo al modello di combinare adattivamente informazioni globali strutturate con aggiustamenti locali flessibili. L'architettura è agnostica rispetto al tipo specifico di decomposizione, accogliendo nuclei CP, Tucker e Tensor-Train.

3. Procedura di Addestramento:
   Il documento descrive una procedura di addestramento in due fasi:

   • Fase 1: Stima del tensore di nucleo $\hat{C}_i$ al di fuori della rete utilizzando stimatori standard (ad es. HOSVD per Tucker, ALS per CP).
   • Fase 2: Ottimizzazione congiunta dei pesi della rete e di un tensore di selezione sparso $W_u$ (che estrae $V_J$ da $X$) per minimizzare il rischio empirico più una penalità di sparsità (ad es. clipped-$\ell_1$). Un'alternativa end-to-end è discussa anche nel materiale supplementare.

4. Inferenza Conforme Consapevole della Struttura:
   Per quantificare l'incertezza, gli autori sviluppano una procedura di inferenza conforme che opera nello spazio latente nucleo-rifinamento piuttosto che nello spazio del tensore ambientale.

   • Calibrazione Locale: Per ogni punto di test, viene costruito un insieme di calibrazione locale utilizzando i $K$-vicini più prossimi basati su una metrica di distanza che combina le rappresentazioni di nucleo e rifinamento.
   • Bande ROC/AUC: Questa procedura genera bande di confidenza senza distribuzione per le curve ROC e i valori AUC, che sono più nitide e informative di quelle derivate da approcci vettoriali non strutturati.

5. Selezione della Struttura Conforme:
   Il documento introduce una procedura fondata statisticamente per selezionare tra strutture tensoriali concorrenti (ad es. Tucker vs. CP). Costruendo bande ROC di differenza conformi per la differenza di prestazioni tra due modelli candidati, il metodo fornisce un test senza distribuzione e per campioni finiti per determinare se una struttura è significativamente migliore di un'altra o se sono statisticamente indistinguibili.

Contributi Chiave

• Framework di Modellazione Strutturata: Un'architettura neurale a doppio canale che modella congiuntamente strutture globali a basso rango e raffinamenti locali sparsi, generalizzando sia i modelli puri a basso rango sia i modelli sparsi ad alta dimensionalità.
• Prospettiva Unificata: Una nuova classe di funzioni che colma il divario tra modelli tensoriali a basso rango e modelli sparsi, offrendo una visione razionale dell'apprendimento di rappresentazioni sotto incertezza strutturale.
• Quantificazione dell'Incertezza: Un metodo di inferenza conforme consapevole della struttura che produce regioni di confidenza più nitide per le metriche ROC e AUC mantenendo la validità senza distribuzione.
• Selezione del Modello: La prima procedura nota senza distribuzione con validità per campioni finiti per la selezione tra decomposizioni tensoriali candidate.
• Garanzie Teoriche: Limiti di rischio non asintotici che mostrano come la dimensione effettiva dipenda dal rango del nucleo e dalla sparsità del rifinamento ($d_{eff} = \prod R_m + |J|$) piuttosto che dalla dimensione del tensore ambientale, evitando la maledizione della dimensionalità.

Risultati
Gli autori validano il framework attraverso simulazioni e un'analisi su dati reali del dataset proteico DD (TUDataset).

• Accuratezza Predittiva: In esperimenti sintetici con verità fondamentali sia Tucker che CP, la DC-TNN ha costantemente superato le reti neurali tensoriali di base (Low-rank TRL, TNN a pesi impilati) in termini di accuratezza di test e Errore Quadratico Medio (MSE).
• Quantificazione dell'Incertezza: Le bande ROC conformi hanno raggiunto i tassi di copertura nominali (ad es. intervalli di confidenza al 90%), dimostrando una stima dell'incertezza affidabile.
• Selezione della Struttura: Il selettore proposto ha correttamente identificato la struttura sottostante reale (Tucker o CP) nei regimi sintetici. Nel dataset reale DD, la procedura ha selezionato statisticamente la DC-TNN basata su CP rispetto alla variante basata su Tucker, una decisione supportata dalle bande di differenza-ROC che giacciono al di sotto della diagonale per l'ipotesi nulla secondo cui Tucker è superiore.

Significato e Affermazioni
Il documento afferma che il framework DC-TNN affronta il limite fondamentale dei metodi esistenti bilanciando il pregiudizio strutturale e la flessibilità locale. Decomponendo l'input in un nucleo e un rifinamento, il modello raggiunge tassi di convergenza ottimali e riduce la dimensionalità effettiva del problema di apprendimento.

Crucialmente, gli autori sottolineano che il loro lavoro fornisce garanzie senza distribuzione e per campioni finiti sia per l'inferenza sia per la selezione del modello. A differenza dei metodi precedenti che si basano su assunzioni asintotiche o validazioni euristica, le procedure conformi proposte offrono una validità statistica rigorosa per la scelta delle strutture tensoriali e la quantificazione dell'incertezza in contesti ad alta dimensionalità. Gli autori posizionano questo come un passo verso un principio organizzativo generale per l'apprendimento statistico su dati di valore tensoriale, dove l'inferenza aumentata dal nucleo permette una modellazione adattiva e consapevole della struttura senza impegnarsi a priori in una singola assunzione strutturale.