Dual-Channel Tensor Neural Networks: Finite-Sample Theory and Conformal Structure Selection

Technische Samenvatting: Dual-Channel Tensor Neural Networks

Probleemstelling
Moderne machine learning-toepassingen vertrouwen steeds vaker op hoogdimensionale gestructureerde data, zoals neurobeeldvorming, genomica en spatiotemporale netwerken, die van nature bestaan als tensoren. Een centrale uitdaging bij het leren van dergelijke data is hun heterogene structuur: echte tensoren vertonen vaak een combinatie van globale, laagdimensionale multilineaire patronen en gelokaliseerde, onregelmatige of schaarse variaties die kritieke voorspellende signalen dragen. Bestaande benaderingen staan voor een fundamenteel compromis:

• Laag-rang modellen (bijv. CP, Tucker, Tensor-Train) vatten globale afhankelijkheden effectief samen, maar lijden onder representatiebias wanneer gelokaliseerde signalen niet overeenkomen met de veronderstelde deelruimte.
• Schaarse of hoogdimensionale niet-parametrische modellen vangen gelokaliseerde effecten op, maar negeren de onderliggende tensorgeometrie, wat leidt tot opgeblazen effectieve dimensies en verminderde statistische efficiëntie.
  Bovendien behandelen standaard methoden voor kwantificering van onzekerheid (bijv. bootstrap of standaard conformale voorspelling) tensorinvoer vaak als ongestructureerde vectoren, wat resulteert in te conservatieve schattingen die de intrinsieke geometrie van de data niet benutten. Tot slot berust de selectie tussen kandidaat-tensorontbindingen (bijv. CP versus Tucker) doorgaans op heuristische validatie zonder statistische geldigheid voor eindige steekproeven.

Methodologie
De auteurs stellen de Dual-Channel Tensor Neural Network (DC-TNN) voor, een kader ontworpen om voorspellende functies te leren over tensorinvoer met heterogene structuur.

1. Gestructureerde Feature-transformatie:
   De invoertensor $X$ wordt ontbonden in een globale laag-rang kern $C$ en een schaarse verfijningcomponent $V$. De transformatie $X \mapsto (C, V_J)$ beeldt de hoogdimensionale tensor af op een laagdimensionale kerntensor $C$ (die dominante multilineaire interacties vastlegt) en een schaarse vector $V_J$ (die gelokaliseerde afwijkingen vastlegt), waarbij $J$ een geselecteerde indexset is. Dit wordt behandeld als een gestructureerde inductieve bias in plaats van een strikte generatieve beperking.

2. Dual-Channel Architectuur:
   Het model verwerkt $C$ en de verfijnde lokale features $U$ (afgeleid van $V_J$) via twee parallelle, gekoppelde neurale kanalen:

   • Kernkanaal ($H_c$): Werkt op de laagdimensionale kerntensor om globale multilineaire afhankelijkheden te leren.
   • Verfijningskanaal ($H_u$): Werkt op de dichte tensorrepresentatie van geselecteerde lokale features.
   • Koppeling: De kanalen interageren via kruiskanaal gewichtstensors ($W_{cu}, W_{uc}$) op elke laag, waardoor het model gestructureerde globale informatie adaptief kan combineren met flexibele lokale aanpassingen. De architectuur is agnostisch ten opzichte van het specifieke ontbindingstype en ondersteunt CP-, Tucker- en Tensor-Train-kernen.

3. Trainingsprocedure:
   Het artikel beschrijft een tweestaps trainingsprocedure:

   • Fase 1: Schatting van de kerntensor $\hat{C}_i$ buiten het netwerk met behulp van standaard schatters (bijv. HOSVD voor Tucker, ALS voor CP).
   • Fase 2: Gezamenlijke optimalisatie van de netwerkgewichten en een schaarse selectietensor $W_u$ (die $V_J$ uit $X$ extrahert) om de empirische risicofunctie te minimaliseren, plus een schaarsheidstraf (bijv. afgeknipt-$\ell_1$). Een end-to-end alternatief wordt ook besproken in het supplementaire materiaal.

4. Structuurbewuste Conformale Inferentie:
   Om onzekerheid te kwantificeren, ontwikkelen de auteurs een conformale inferentieprocedure die werkt binnen de kern-verfijning latentruimte in plaats van de omringende tensorruimte.

   • Lokale Kalibratie: Voor elk testpunt wordt een lokale kalibratieset geconstrueerd met behulp van $K$-naaste buren, gebaseerd op een afstandsmetriek die de kern- en verfijningsrepresentaties combineert.
   • ROC/AUC-banden: Deze procedure genereert distributievrije betrouwbaarheidsbanden voor ROC-curves en AUC-waarden, die scherper en informatiever zijn dan die afgeleid uit ongestructureerde vectorbenaderingen.

5. Conformale Structuurselectie:
   Het artikel introduceert een statistisch onderbouwde procedure om te kiezen tussen concurrerende tensorstructuren (bijv. Tucker versus CP). Door conformale verschil-ROC-banden te construeren voor het prestatieverschil tussen twee kandidaatmodellen, biedt de methode een distributievrije test voor eindige steekproeven om te bepalen of één structuur significant beter is dan een andere of dat ze statistisch niet van elkaar te onderscheiden zijn.

Belangrijkste Bijdragen

• Gestructureerd Modelleringkader: Een dual-channel neurale architectuur die gezamenlijk laag-rang globale structuren en schaarse lokale verfijningen modelleert, en zowel pure laag-rang als hoogdimensionale schaarse modellen generaliseert.
• Gedifferentieerd Perspectief: Een nieuwe functieklassen die laag-rang tensormodellen en schaarse modellen overbrugt, en een principiële visie biedt op representatieleren onder structurele onzekerheid.
• Kwantificering van Onzekerheid: Een structuurbewuste conformale inferentiemethode die scherpere betrouwbaarheidsregio's voor ROC- en AUC-metrics produceert, terwijl distributievrije geldigheid behouden blijft.
• Modelselectie: De eerste bekende distributievrije procedure met geldigheid voor eindige steekproeven voor het selecteren tussen kandidaat-tensorontbindingen.
• Theoretische Garanties: Niet-asymptotische risicobounden die aantonen dat de effectieve dimensie afhangt van de kernrang en de schaarsheid van de verfijning ($d_{eff} = \prod R_m + |J|$) in plaats van de omringende tensorgrootte, waardoor de vervloeking van de dimensie wordt vermeden.

Resultaten
De auteurs valideren het kader door middel van simulaties en een analyse van reële data van de DD-proteïnedataset (TUDataset).

• Voorspellende Nauwkeurigheid: In synthetische experimenten met zowel Tucker- als CP-waarheden presteerde de DC-TNN consistent beter dan baselijn tensorneuronale netwerken (Low-rank TRL, Stacked-weight TNN) wat betreft testnauwkeurigheid en gemiddelde kwadratische fout (MSE).
• Kwantificering van Onzekerheid: De conformale ROC-banden bereikten de nominale dekkingpercentages (bijv. 90% betrouwbaarheidsintervallen), wat betrouwbare onzekerheidsschatting aantoont.
• Structuurselectie: De voorgestelde selector identificeerde correct de ware onderliggende structuur (Tucker of CP) in synthetische regimes. In de reële DD-dataset selecteerde de procedure statistisch de op CP gebaseerde DC-TNN boven de op Tucker gebaseerde variant; een beslissing die wordt ondersteund door verschil-ROC-banden die onder de diagonaal liggen voor de nulhypothese dat Tucker superieur is.

Betekenis en Claims
Het artikel claimt dat het DC-TNN-kader de fundamentele beperking van bestaande methoden aanpakt door structurele bias en lokale flexibiliteit in evenwicht te brengen. Door de invoer te ontbinden in een kern en een verfijning, bereikt het model optimale convergentiesnelheden en verlaagt het de effectieve dimensionaliteit van het leerverstrekking.
Cruciaal benadrukken de auteurs dat hun werk distributievrije garanties voor eindige steekproeven biedt voor zowel inferentie als modelselectie. In tegenstelling tot eerdere methoden die vertrouwen op asymptotische aannames of heuristische validatie, bieden de voorgestelde conformale procedures strikte statistische geldigheid voor het kiezen van tensorstructuren en het kwantificeren van onzekerheid in hoogdimensionale settings. De auteurs positioneren dit als een stap naar een algemeen organiserend principe voor statistisch leren op tensorwaarde data, waarbij kern-aangevulde inferentie adaptief, structuurbewust modellering mogelijk maakt zonder zich a priori vast te leggen op één structurele aanname.