iStructTab: Structured Feature Sequencing for Multimodal Learning of Image and Tabular Data

Resumo Técnico do iStructTab: Sequenciamento Estruturado de Características para Aprendizado Multimodal de Dados de Imagem e Tabulares

1. Declaração do Problema

O aprendizado multimodal envolvendo imagens e dados tabulares enfrenta desafios significativos devido ao desajuste estrutural entre as modalidades. As imagens possuem estruturas espaciais fortes, enquanto as características tabulares são inerentemente não ordenadas. Essa falta de ordenação em dados tabulares frequentemente leva a representações ineficazes caracterizadas por redundância, dispersão de características e baixa generalização. Embora os métodos de fusão existentes utilizem mecanismos de atenção, embeddings contextuais e pré-treinamento contrastivo, eles tratam majoritariamente os descritores fundidos como vetores não ordenados, negligenciando o impacto potencial do sequenciamento de características no alinhamento cross-modal e no desempenho de predição. Os autores postulam que determinar uma ordem de características ideal é um fator crítico, porém negligenciado, em configurações híbridas de imagem-tabular.

2. Metodologia

O framework proposto, iStructTab, aborda este desafio formulando o sequenciamento de características multimodais como um Problema de Permutação de Colunas (CPP - Column Permutation Problem). A arquitetura consiste em dois componentes primários:

A. Sequenciamento de Descritores com Refinamento por Grafo (GEDS)
O GEDS é um algoritmo de sequenciamento de características estruturadas projetado para determinar uma permutação ótima ($\pi$) de características que minimize a dispersão inter-características. O processo envolve:

1. Extração de Características: As imagens são codificadas em vetores usando uma CNN (ex: ResNet), e os dados tabulares são codificados via um Transformer. Estes são concatenados para formar uma matriz de características unificada $F \in \mathbb{R}^{N \times m}$.
2. Computação de Descritores: Para cada coluna de característica, descritores estatísticos (média e variância) são computados.
3. Refinamento por Grafo: Estes descritores são normalizados, e uma matriz de similaridade de cosseno é construada. Uma operação de convolução de grafo é aplicada para refinar os descritores, propagando informações de similaridade através do grafo de características.
4. Sequenciamento: Um escore de ordenação é derivado da norma euclidiana dos descritores refinados. As características são ordenadas com base nesses escores para gerar a permutação otimizada $\pi_{GEDS}$. Este processo trata efetivamente a tarefa de sequenciamento como um CPP aprendível, buscando uma permutação que reduza a dispersão e aumente a coerência estrutural.

B. Transformer Eficiente com Consciência de Ordem e Augmentação de Memória (OEMT)
O OEMT é a rede principal projetada para processar as características reordenadas enquanto preserva sua sequência estrutural:

1. Pooling com Consciência de Ordem: As características de entrada reordenadas são projetadas em embeddings de tokens e comprimidas em um conjunto menor de tokens de resumo ($k \ll m$) usando uma matriz de pooling aprendível. Este passo impõe a estrutura de sequenciamento de características.
2. Augmentação de Memória: Tokens de memória aprendíveis são prefixados aos tokens agrupados para facilitar o raciocínio global e capturar interações entre as características ordenadas.
3. Codificação Eficiente: Um codificador baseado em Linformer processa a sequência, reduzindo a complexidade computacional de quadrática para linear em relação ao comprimento da sequência.
4. Perda de Sequenciamento: Uma função de perda dedicada é introduzida para alinhar as representações aprendidas com a permutação alvo. Esta perda penaliza desvios entre os escores de sequenciamento preditos e a sequência alvo derivada do GEDS, incentivando a consistência semântica e a interpretabilidade das características.

O modelo é treinado de ponta a ponta usando uma função de perda combinada, composta por entropia cruzada para classificação e o termo de regularização de sequenciamento.

3. Principais Contribuições

O artigo delineia quatro contribuições primárias:

• Formulação de CPP no Aprendizado Multimodal: Os autores enquadram a fusão multimodal como um Problema de Permutação de Colunas, demonstrando como a ordenação de características impacta o aprendizado de representação em configurações híbridas de tabela-imagem.
• Introdução do GEDS: Um novo algoritmo de sequenciamento de descritores com refinamento por grafo que utiliza propagação de similaridade para gerar permutações de características conscientes da tarefa.
• Design do OEMT: Uma arquitetura de transformer eficiente que impõe explicitamente o sequenciamento de características através de tokens de memória aprendíveis e uma função de perda consciente de sequenciamento.
• Validação Empírica: Experimentos extensos em diversos benchmarks mostram que o framework GEDS-OEMT melhora significativamente a precisão da classificação, a robustez e a eficiência em comparação com baselines de estado da arte.

4. Resultados Experimentais

Os autores avaliaram o iStructTab em seis datasets de imagem-tabular, incluindo DVM (imagens de carros com atributos), Deep Lesion, HAM10000, CheXpert, Pokémon e Pet Finder.

• Desempenho: O iStructTab alcançou o melhor desempenho geral em todos os benchmarks, garantindo o melhor ranking médio (1.50) e o menor regret médio (2.21). Superou baselines multimodais fortes como STiL e TIP, bem como classificadores de apenas imagem ou apenas tabular.
• Robustez: O modelo demonstrou robustez superior ao ruído de rótulos, superando métodos anteriores (ex: CUFIT) em várias taxas de ruído, particularmente sob corrupção severa (60% de ruído).
• Eficiência: No dataset DVM, o iStructTab alcançou o melhor equilíbrio entre precisão e eficiência, situando-se na fronteira de Pareto de baixa complexidade/alta precisão. Utilizou menos FLOPs e parâmetros enquanto mantinha uma precisão próxima da máxima em comparação com outros métodos multimodais.
• Estudos de Ablação:
  • A remoção do sequenciamento de características causou uma queda significativa no desempenho (de ~99% para ~81%), confirmando a necessidade do sinal de ordenação.
  • A remoção dos tokens de memória resultou em um declínio substancial, destacando seu papel na captura do contexto global.
  • A perda de sequenciamento forneceu uma regularização útil, embora sua remoção tenha tido um impacto menor do que a remoção do próprio sequenciamento.
• Qualidade da Representação: Visualizações t-SNE indicaram que o iStructTab aprende variedades (manifolds) coerentes onde casos semanticamente relacionados se agrupam, com um claro alinhamento cross-modal, particularmente no dataset HAM10000.

5. Significância e Alegações

O artigo alega que o sequenciamento estruturado de características é um fator crítico e anteriormente negligenciado no aprendizado multimodal. Ao tratar a ordenação de características como um problema de otimização solucionável (CPP) em vez de uma suposição arbitrária, o iStructTab minimiza efetivamente a dispersão de características e melhora o alinhamento entre as modalidades de imagem e tabular.

Os autores enfatizam que sua abordagem não apenas funde dados, mas os organiza estruturalmente antes do processamento. Este prior estrutural mostra ser essencial para um aprendizado profundo estável e robusto em configurações híbridas. O trabalho sugere que futuros sistemas multimodais devem considerar o sequenciamento explícito de características para aumentar o desempenho preditivo e a generalização, indo além das estratégias padrão de fusão não ordenada. O artigo conclui que o iStructTab oferece uma solução escalável, eficiente e altamente eficaz para o aprendizado imagem-tabular, com potencial para extensão para pré-treinamento de maior escala e modalidades adicionais.