Statistical Embeddings for Similarity, Retrieval, and Interpretable Alignment of Numeric Tabular Datasets

Resumo Técnico: Incorporações Estatísticas para Similaridade, Recuperação e Alinhamento Interpretável de Conjuntos de Dados Tabulares Numéricos

Declaração do Problema
Conjuntos de dados tabulares numéricos são o formato de dados dominante na prática científica, no entanto, organizar e compará-los através de espaços de características heterogêneos permanece um desafio significativo. Ferramentas existentes de busca de conjuntos de dados geralmente dependem de correspondência de esquemas (nomes de variáveis compartilhados) ou produzem resumos legíveis por humanos que carecem das representações vetoriais necessárias para sistemas de recuperação modernos. Modelos de Linguagem de Grande Escala (LLMs) e seus espaços de incorporação oferecem um caminho para similaridade entre domínios, mas carecem de mecanismos nativos para representar conjuntos de dados numéricos de forma significativa sem definições de variáveis compartilhadas. Abordagens atuais ou se concentram em modelagem preditiva dentro de um único conjunto de dados ou falham em fornecer alinhamento interpretável entre conjuntos de dados com espaços de características disjuntos.

Metodologia
O framework proposto aborda essas limitações através de um pipeline de três etapas: Impressão Digital Estatística, Incorporação Semântica e Alinhamento Interpretável.

1. Impressão Digital Estatística via EDA:
   A metodologia começa caracterizando um conjunto de dados tabular numérico $D$ através de um pipeline estruturado de Análise Exploratória de Dados (EDA). Este processo gera um conjunto abrangente de descritores sem exigir acesso a observações brutas no momento da comparação, apoiando a recuperação que preserva a privacidade.

   • Pré-processamento: Valores ausentes são imputados usando limiarização suave na Decomposição em Valores Singulares (SVD) para preservar a estrutura de posto.
   • Privacidade Diferencial (Opcional): Para proteger dados sensíveis, ruído de Laplace é adicionado a descritores escalares com base em sua sensibilidade global antes da serialização.
   • Cálculo de Descritores: O pipeline calcula:
     • Descritores multivariados: Normas de matriz, quantidades espectrais (valores singulares) e importância de variáveis via regressão penalizada SCAD (Desvio Absolutamente Recortado Suavemente).
     • Descritores univariados: Limites, momentos centrais, quantis, entropia e estatísticas robustas (mediana, MAD).
     • Análise estrutural: Detecção de pontos de mudança (via PELT) para identificar não estacionariedade, e análise de frequência via FFT.
     • Tratamento de categóricas: Distribuições de frequência e análise ao nível de partição para colunas categóricas.
   • Serialização: Cada descritor numérico é emparelhado com um modelo de frase em linguagem natural (por exemplo, "A curtose é 2,4103; a distribuição é platicúrtica..."). Nomes de variáveis ou o token "matriz" são adicionados no início para fornecer contexto, resultando em uma coleção ordenada de frases $S$.

2. Incorporação Semântica:
   A coleção de frases descritivas $S$ é codificada em um espaço vetorial de comprimento fixo usando um transformador de frases pré-treinado (especificamente all-MiniLM-L6-v2). Para um conjunto de dados $D_i$, isso produz uma matriz de incorporação $V_i \in \mathbb{R}^{d_E \times M_i}$, onde $M_i$ é o número de frases descritivas. Isso transforma o conjunto de dados em um conjunto de vetores compatíveis com os espaços semânticos de LLMs.

3. Similaridade e Interpretabilidade via CCA:
   A similaridade entre conjuntos de dados é quantificada usando Análise de Correlação Canônica (CCA) entre as matrizes de incorporação de dois conjuntos de dados.

   • Métrica de Similaridade: A pontuação de similaridade $s_{ij}$ é definida como a média das correlações canônicas entre os dois espaços de incorporação.
   • Recuperação e Agrupamento: Distâncias pares ($1 - s_{ij}$) são usadas para construir uma matriz de distância para agrupamento hierárquico (ligação Ward $D^2$) e recuperação por vizinho mais próximo.
   • Alinhamento Interpretável: Para identificar quais descritores específicos impulsionam a similaridade, é empregada uma formulação de CCA penalizada. Ao impor uma penalidade de norma $\ell_1$ nos vetores de peso canônicos, o método produz soluções esparsas. As entradas não nulas nesses vetores esparsos mapeiam diretamente de volta para frases descritivas específicas e quantidades ao nível de variável, revelando as propriedades estatísticas responsáveis pelo alinhamento entre conjuntos de dados sem exigir nomes de variáveis compartilhados.

Principais Contribuições

• Pipeline de EDA Estruturado: Um mapeamento formalizado de dados tabulares brutos para uma coleção de vetores de incorporação via descritores estatísticos serializados em frases, com integração opcional de privacidade diferencial.
• Framework de Similaridade entre Conjuntos de Dados: Um sistema de recuperação baseado em correlação canônica média que opera efetivamente através de conjuntos de dados com espaços de características heterogêneos e disjuntos.
• CCA Penalizada Interpretável: Uma aplicação novel de decomposição matricial penalizada à CCA, produzindo cargas canônicas esparsas que identificam os descritores estatísticos específicos que impulsionam o alinhamento, uma capacidade ausente na CCA padrão.
• Validação Empírica: Avaliação em 15 conjuntos de dados abrangendo benchmarks de propósito geral (UCI), informática de materiais e caracterização de grafite de grau nuclear.

Resultados
O framework foi avaliado em 15 conjuntos de dados com domínios e espaços de características variados.

• Precisão de Recuperação: O sistema alcançou uma pontuação total de $P@1$ (Precisão em 1) de 0,9 para recuperação por vizinho mais próximo. Essa alta precisão foi mantida em várias condições de incorporação, incluindo ablações apenas multivariadas e incorporações com privacidade diferencial com orçamentos de privacidade $\epsilon \in \{0,1, 1, 10\}$.
• Robustez: Os resultados do agrupamento hierárquico demonstraram que a estrutura ampla de agrupamentos permaneceu robusta mesmo sob alta injeção de ruído ou quando detalhes univariados foram removidos, embora nomes de variáveis e valores estatísticos tenham melhorado a resolução dos agrupamentos.
• Interpretabilidade: A CCA penalizada recuperou com sucesso correspondências fisicamente significativas. Por exemplo, alinhou elementos de liga entre conjuntos de dados usando unidades diferentes (porcentagem atômica vs. porcentagem em peso) e combinou medidas de resistência mecânica (por exemplo, resistência à fadiga vs. resistência ao escoamento) entre conjuntos de dados de aço independentes, apesar da ausência de nomes de variáveis compartilhados.

Significância
O artigo postula que este framework fornece um caminho principiado para integrar dados numéricos heterogêneos em pipelines de Geração Aumentada por Recuperação (RAG) enquanto preserva o contexto estatístico. Ao converter dados tabulares em incorporações fundamentadas estatisticamente e semanticamente interpretáveis, o método permite:

1. Seleção de Algoritmos Orientada por Dados: Identificar abordagens de modelagem candidatas para conjuntos de dados desconhecidos com base em sua similaridade estatística com conjuntos de dados catalogados com resultados conhecidos (conectando-se a meta-aprendizado e AutoML).
2. Inicialização de Simulação: Informar a seleção de modelos constitutivos ou parâmetros de simulação com base nas características estatísticas de dados de calibração empíricos.
3. Descoberta que Preserva a Privacidade: Permitir comparações de similaridade em dados sensíveis sem expor observações brutas, já que a comparação depende exclusivamente de descritores estatísticos com privacidade diferencial.

Os autores concluem que impressões digitais estatísticas derivadas de EDA oferecem uma base compacta e semanticamente interpretável para organizar dados numéricos heterogêneos dentro de espaços compatíveis com LLMs, abordando uma lacuna crítica na gestão de dados científicos onde definições de variáveis e esquemas são frequentemente incompatíveis.