Dual-Channel Tensor Neural Networks: Finite-Sample Theory and Conformal Structure Selection

Resumo Técnico: Redes Neurais de Tensores de Canal Duplo

Enunciação do Problema
Aplicações modernas de aprendizado de máquina dependem cada vez mais de dados estruturados de alta dimensão, como neuroimagem, genômica e redes espaço-temporais, que naturalmente existem como tensores. Um desafio central no aprendizado a partir desses dados é sua estrutura heterogênea: tensores do mundo real frequentemente exibem uma combinação de padrões multilinear globais de baixa dimensão e variações localizadas, irregulares ou esparsas que carregam sinais preditivos críticos. Abordagens existentes enfrentam um compromisso fundamental:

• Modelos de baixo posto (e.g., CP, Tucker, Tensor-Train) resumem efetivamente dependências globais, mas sofrem de viés de representação quando sinais localizados não se alinham com o subespaço assumido.
• Modelos esparsos ou não paramétricos de alta dimensão capturam efeitos localizados, mas ignoram a geometria subjacente do tensor, levando a dimensões efetivas infladas e eficiência estatística reduzida.
  Além disso, métodos padrão de quantificação de incerteza (e.g., bootstrap ou previsão conformal padrão) frequentemente tratam entradas tensoriais como vetores não estruturados, gerando estimativas excessivamente conservadoras que falham em explorar a geometria intrínseca dos dados. Finalmente, a seleção entre decomposições tensoriais candidatas (e.g., CP vs. Tucker) tipicamente depende de validação heurística sem validade estatística em amostras finitas.

Metodologia
Os autores propõem a Rede Neural de Tensores de Canal Duplo (DC-TNN), um framework projetado para aprender funções preditivas sobre entradas tensoriais com estrutura heterogênea.

1. Transformação de Características Estruturadas:
   O tensor de entrada $X$ é decomposto em um núcleo global de baixo posto $C$ e um componente de refinamento esparso $V$. A transformação $X \mapsto (C, V_J)$ mapeia o tensor de alta dimensão para um tensor núcleo de baixa dimensão $C$ (capturando interações multilinear dominantes) e um vetor esparso $V_J$ (capturando desvios localizados), onde $J$ é um conjunto de índices selecionado. Isso é tratado como um viés indutivo estruturado, e não como uma restrição gerativa estrita.

2. Arquitetura de Canal Duplo:
   O modelo processa $C$ e as características locais refinadas $U$ (derivadas de $V_J$) através de dois canais neurais paralelos e acoplados:

   • Canal Núcleo ($H_c$): Opera sobre o tensor núcleo de baixa dimensão para aprender dependências multilinear globais.
   • Canal de Refinamento ($H_u$): Opera sobre a representação densa do tensor de características locais selecionadas.
   • Acoplamento: Os canais interagem através de tensores de peso de canal cruzado ($W_{cu}, W_{uc}$) em cada camada, permitindo que o modelo combine adaptativamente informações globais estruturadas com ajustes locais flexíveis. A arquitetura é agnóstica ao tipo específico de decomposição, acomodando núcleos CP, Tucker e Tensor-Train.

3. Procedimento de Treinamento:
   O artigo detalha um procedimento de treinamento em duas etapas:

   • Etapa 1: Estimar o tensor núcleo $\hat{C}_i$ fora da rede usando estimadores padrão (e.g., HOSVD para Tucker, ALS para CP).
   • Etapa 2: Otimizar conjuntamente os pesos da rede e um tensor de seleção esparso $W_u$ (que extrai $V_J$ de $X$) para minimizar o risco empírico mais uma penalidade de esparsidade (e.g., clipped-$\ell_1$). Uma alternativa de ponta a ponta também é discutida no material suplementar.

4. Inferência Conformal Consciente da Estrutura:
   Para quantificar a incerteza, os autores desenvolvem um procedimento de inferência conformal que opera dentro do espaço latente núcleo-refinamento, e não no espaço tensorial ambiente.

   • Calibração Local: Para cada ponto de teste, um conjunto de calibração local é construído usando $K$-vizinhos mais próximos baseados em uma métrica de distância que combina as representações de núcleo e refinamento.
   • Bandas ROC/AUC: Este procedimento gera bandas de confiança livres de distribuição para curvas ROC e valores de AUC, que são mais nítidas e informativas do que aquelas derivadas de abordagens de vetores não estruturados.

5. Seleção de Estrutura Conformal:
   O artigo introduz um procedimento fundamentado estatisticamente para selecionar entre estruturas tensoriais concorrentes (e.g., Tucker vs. CP). Ao construir bandas conformes de diferença-ROC para a diferença de desempenho entre dois modelos candidatos, o método fornece um teste livre de distribuição e em amostras finitas para determinar se uma estrutura é significativamente melhor que a outra ou se são estatisticamente indistinguíveis.

Contribuições Principais

• Framework de Modelagem Estruturada: Uma arquitetura neural de canal duplo que modela conjuntamente estruturas globais de baixo posto e refinamentos locais esparsos, generalizando tanto modelos puramente de baixo posto quanto modelos esparsos de alta dimensão.
• Perspectiva Unificada: Uma nova classe de funções que une modelos de tensores de baixo posto e modelos esparsos, oferecendo uma visão principista do aprendizado de representação sob incerteza estrutural.
• Quantificação de Incerteza: Um método de inferência conformal consciente da estrutura que produz regiões de confiança mais nítidas para métricas ROC e AUC, mantendo validade livre de distribuição.
• Seleção de Modelo: O primeiro procedimento conhecido livre de distribuição com validade em amostras finitas para selecionar entre decomposições tensoriais candidatas.
• Garantias Teóricas: Limites de risco não assintóticos mostrando que a dimensão efetiva depende do posto do núcleo e da esparsidade do refinamento ($d_{eff} = \prod R_m + |J|$) em vez do tamanho do tensor ambiente, evitando a maldição da dimensionalidade.

Resultados
Os autores validam o framework através de simulações e uma análise de dados reais do conjunto de dados de proteínas DD (TUDataset).

• Precisão Preditiva: Em experimentos sintéticos com verdades fundamentais tanto de Tucker quanto de CP, a DC-TNN superou consistentemente redes neurais tensoriais de base (TRL de baixo posto, TNN de peso empilhado) em termos de precisão de teste e Erro Quadrático Médio (MSE).
• Quantificação de Incerteza: As bandas conformes ROC alcançaram as taxas de cobertura nominais (e.g., intervalos de confiança de 90%), demonstrando estimativa confiável de incerteza.
• Seleção de Estrutura: O seletor proposto identificou corretamente a estrutura subjacente verdadeira (Tucker ou CP) em regimes sintéticos. No conjunto de dados DD do mundo real, o procedimento selecionou estatisticamente a DC-TNN baseada em CP sobre a variante baseada em Tucker, uma decisão apoiada pelas bandas de diferença-ROC situadas abaixo da diagonal para a hipótese nula de que Tucker é superior.

Significado e Alegações
O artigo alega que o framework DC-TNN aborda a limitação fundamental dos métodos existentes ao equilibrar viés estrutural e flexibilidade local. Ao decompor a entrada em um núcleo e um refinamento, o modelo alcança taxas de convergência ótimas e reduz a dimensionalidade efetiva do problema de aprendizado.

Crucialmente, os autores enfatizam que seu trabalho fornece garantias de amostra finita e livres de distribuição tanto para inferência quanto para seleção de modelo. Diferentemente de métodos anteriores que dependem de suposições assintóticas ou validação heurística, os procedimentos conformais propostos oferecem validade estatística rigorosa para escolher estruturas tensoriais e quantificar incerteza em configurações de alta dimensão. Os autores posicionam isso como um passo em direção a um princípio organizador geral para aprendizado estatístico em dados de valor tensorial, onde a inferência aumentada por núcleo permite modelagem adaptativa e consciente da estrutura, sem comprometer-se com uma única suposição estrutural a priori.