Dual-Channel Tensor Neural Networks: Finite-Sample Theory and Conformal Structure Selection

Resumen Técnico: Redes Neuronales de Tensores de Canal Dual

Enunciado del Problema
Las aplicaciones modernas de aprendizaje automático dependen cada vez más de datos estructurados de alta dimensión, como imágenes neuronales, genómica y redes espacio-temporales, que naturalmente existen como tensores. Un desafío central en el aprendizaje a partir de tales datos es su estructura heterogénea: los tensores del mundo real suelen exhibir una combinación de patrones multilineales globales de baja dimensión y variaciones localizadas, irregulares o dispersas que portan señales predictivas críticas. Los enfoques existentes enfrentan un compromiso fundamental:

• Los modelos de rango bajo (por ejemplo, CP, Tucker, Tensor-Train) resumen eficazmente las dependencias globales, pero sufren de sesgo de representación cuando las señales localizadas no se alinean con el subespacio asumido.
• Los modelos no paramétricos dispersos o de alta dimensión capturan efectos localizados, pero ignoran la geometría subyacente del tensor, lo que conduce a dimensiones efectivas infladas y a una eficiencia estadística reducida.
  Además, los métodos estándar de cuantificación de la incertidumbre (por ejemplo, bootstrap o predicción conforme estándar) a menudo tratan las entradas tensoriales como vectores no estructurados, generando estimaciones excesivamente conservadoras que no aprovechan la geometría intrínseca de los datos. Finalmente, la selección entre descomposiciones tensoriales candidatas (por ejemplo, CP frente a Tucker) depende típicamente de una validación heurística sin validez estadística para muestras finitas.

Metodología
Los autores proponen la Red Neuronal de Tensores de Canal Dual (DC-TNN), un marco diseñado para aprender funciones predictivas sobre entradas tensoriales con estructura heterogénea.

1. Transformación de Características Estructuradas:
   El tensor de entrada $X$ se descompone en un núcleo global de rango bajo $C$ y un componente de refinamiento disperso $V$. La transformación $X \mapsto (C, V_J)$ mapea el tensor de alta dimensión a un tensor núcleo de baja dimensión $C$ (que captura las interacciones multilineales dominantes) y un vector disperso $V_J$ (que captura desviaciones localizadas), donde $J$ es un conjunto de índices seleccionado. Esto se trata como un sesgo inductivo estructurado en lugar de una restricción generativa estricta.

2. Arquitectura de Canal Dual:
   El modelo procesa $C$ y las características locales refinadas $U$ (derivadas de $V_J$) a través de dos canales neuronales paralelos y acoplados:

   • Canal Núcleo ($H_c$): Opera sobre el tensor núcleo de baja dimensión para aprender dependencias multilineales globales.
   • Canal de Refinamiento ($H_u$): Opera sobre la representación tensorial densa de las características locales seleccionadas.
   • Acoplamiento: Los canales interactúan mediante tensores de peso de canal cruzado ($W_{cu}, W_{uc}$) en cada capa, permitiendo que el modelo combine adaptativamente la información global estructurada con ajustes locales flexibles. La arquitectura es agnóstica al tipo específico de descomposición, acomodando núcleos CP, Tucker y Tensor-Train.

3. Procedimiento de Entrenamiento:
   El artículo detalla un procedimiento de entrenamiento en dos etapas:

   • Etapa 1: Estimar el tensor núcleo $\hat{C}_i$ fuera de la red utilizando estimadores estándar (por ejemplo, HOSVD para Tucker, ALS para CP).
   • Etapa 2: Optimizar conjuntamente los pesos de la red y un tensor de selección disperso $W_u$ (que extrae $V_J$ de $X$) para minimizar el riesgo empírico más una penalización de dispersión (por ejemplo, $\ell_1$ recortado). También se discute una alternativa de extremo a extremo en el material suplementario.

4. Inferencia Conforme Sensible a la Estructura:
   Para cuantificar la incertidumbre, los autores desarrollan un procedimiento de inferencia conforme que opera dentro del espacio latente núcleo-refinamiento en lugar del espacio tensorial ambiental.

   • Calibración Local: Para cada punto de prueba, se construye un conjunto de calibración local utilizando $K$ vecinos más cercanos basados en una métrica de distancia que combina las representaciones del núcleo y del refinamiento.
   • Bandas ROC/AUC: Este procedimiento genera bandas de confianza libres de distribución para las curvas ROC y los valores AUC, las cuales son más nítidas e informativas que las derivadas de enfoques de vectores no estructurados.

5. Selección de Estructura Conforme:
   El artículo introduce un procedimiento fundamentado estadísticamente para seleccionar entre estructuras tensoriales en competencia (por ejemplo, Tucker frente a CP). Mediante la construcción de bandas ROC de diferencia conforme para la diferencia de rendimiento entre dos modelos candidatos, el método proporciona una prueba de muestras finitas y libre de distribución para determinar si una estructura es significativamente mejor que otra o si son estadísticamente indistinguibles.

Contribuciones Clave

• Marco de Modelado Estructurado: Una arquitectura neuronal de canal dual que modela conjuntamente estructuras globales de rango bajo y refinamientos locales dispersos, generalizando tanto los modelos puramente de rango bajo como los modelos dispersos de alta dimensión.
• Perspectiva Unificada: Una nueva clase de funciones que conecta los modelos de tensores de rango bajo y los modelos dispersos, ofreciendo una visión principista del aprendizaje de representaciones bajo incertidumbre estructural.
• Cuantificación de la Incertidumbre: Un método de inferencia conforme sensible a la estructura que produce regiones de confianza más nítidas para las métricas ROC y AUC, manteniendo al mismo tiempo la validez libre de distribución.
• Selección de Modelos: El primer procedimiento conocido libre de distribución con validez para muestras finitas para seleccionar entre descomposiciones tensoriales candidatas.
• Garantías Teóricas: Límites de riesgo no asintóticos que muestran que la dimensión efectiva depende del rango del núcleo y la dispersión del refinamiento ($d_{eff} = \prod R_m + |J|$) en lugar del tamaño del tensor ambiental, evitando la maldición de la dimensionalidad.

Resultados
Los autores validan el marco mediante simulaciones y un análisis de datos reales del conjunto de datos de proteínas DD (TUDataset).

• Precisión Predictiva: En experimentos sintéticos con verdades terrenales tanto de Tucker como de CP, la DC-TNN superó consistentemente a las redes neuronales tensoriales de referencia (TRL de rango bajo, TNN de pesos apilados) en términos de precisión de prueba y Error Cuadrático Medio (MSE).
• Cuantificación de la Incertidumbre: Las bandas ROC conformes alcanzaron las tasas de cobertura nominales (por ejemplo, intervalos de confianza del 90%), demostrando una estimación de incertidumbre fiable.
• Selección de Estructura: El selector propuesto identificó correctamente la estructura subyacente real (Tucker o CP) en regímenes sintéticos. En el conjunto de datos DD del mundo real, el procedimiento seleccionó estadísticamente la DC-TNN basada en CP sobre la variante basada en Tucker, una decisión respaldada por las bandas de diferencia-ROC que se sitúan por debajo de la diagonal para la hipótesis nula de que Tucker es superior.

Significado y Afirmaciones
El artículo afirma que el marco DC-TNN aborda la limitación fundamental de los métodos existentes al equilibrar el sesgo estructural y la flexibilidad local. Al descomponer la entrada en un núcleo y un refinamiento, el modelo logra tasas de convergencia óptimas y reduce la dimensionalidad efectiva del problema de aprendizaje.

Crucialmente, los autores enfatizan que su trabajo proporciona garantías de muestras finitas y libres de distribución tanto para la inferencia como para la selección de modelos. A diferencia de los métodos anteriores que dependen de suposiciones asintóticas o validación heurística, los procedimientos conformes propuestos ofrecen validez estadística rigurosa para elegir estructuras tensoriales y cuantificar la incertidumbre en entornos de alta dimensión. Los autores posicionan esto como un paso hacia un principio organizador general para el aprendizaje estadístico en datos de valor tensorial, donde la inferencia aumentada con núcleo permite un modelado adaptativo y sensible a la estructura sin comprometerse con una única suposición estructural a priori.