Statistical Embeddings for Similarity, Retrieval, and Interpretable Alignment of Numeric Tabular Datasets

Resumen Técnico: Incrustaciones Estadísticas para Similitud, Recuperación y Alineación Interpretable de Conjuntos de Datos Tabulares Numéricos

Enunciado del Problema
Los conjuntos de datos tabulares numéricos son el formato de datos dominante en la práctica científica, sin embargo, organizarlos y compararlos a través de espacios de características heterogéneos sigue siendo un desafío significativo. Las herramientas existentes de búsqueda de conjuntos de datos suelen depender de la coincidencia de esquemas (nombres de variables compartidos) o producen resúmenes legibles por humanos que carecen de las representaciones vectoriales necesarias para los sistemas de recuperación modernos. Los Modelos de Lenguaje Grande (LLM) y sus espacios de incrustación ofrecen una vía para la similitud interdominio, pero carecen de mecanismos nativos para representar conjuntos de datos numéricos de manera significativa sin definiciones de variables compartidas. Los enfoques actuales se centran bien en el modelado predictivo dentro de un único conjunto de datos o no logran proporcionar una alineación interpretable entre conjuntos de datos con espacios de características disjuntos.

Metodología
El marco propuesto aborda estas limitaciones mediante una tubería de tres etapas: Huella Digital Estadística, Incrustación Semántica y Alineación Interpretable.

1. Huella Digital Estadística mediante EDA:
   La metodología comienza caracterizando un conjunto de datos tabular numérico $D$ mediante una tubería estructurada de Análisis Exploratorio de Datos (EDA). Este proceso genera un conjunto comprehensivo de descriptores sin requerir acceso a las observaciones crudas en el momento de la comparación, apoyando la recuperación que preserva la privacidad.

   • Preprocesamiento: Los valores faltantes se imputan utilizando umbralización suave sobre la Descomposición en Valores Singulares (SVD) para preservar la estructura de rango.
   • Privacidad Diferencial (Opcional): Para proteger datos sensibles, se añade ruido de Laplace a los descriptores escalares basándose en su sensibilidad global antes de la serialización.
   • Cálculo de Descriptores: La tubería calcula:
     • Descriptores multivariados: Normas de matriz, cantidades espectrales (valores singulares) e importancia de variables mediante regresión penalizada SCAD (Desviación Absolutamente Recortada Suavemente).
     • Descriptores univariados: Límites, momentos centrales, cuantiles, entropía y estadísticas robustas (mediana, MAD).
     • Análisis estructural: Detección de puntos de cambio (mediante PELT) para identificar no estacionariedad, y análisis de frecuencia mediante FFT.
     • Manejo de categorías: Distribuciones de frecuencia y análisis a nivel de partición para columnas categóricas.
   • Serialización: Cada descriptor numérico se empareja con una plantilla de oración en lenguaje natural (por ejemplo, "La curtosis es 2.4103; la distribución es platicúrtica..."). Los nombres de variables o el token "matriz" se antepone para proporcionar contexto, resultando en una colección ordenada de oraciones $S$.

2. Incrustación Semántica:
   La colección de oraciones de descriptores $S$ se codifica en un espacio vectorial de longitud fija utilizando un transformador de oraciones preentrenado (específicamente all-MiniLM-L6-v2). Para un conjunto de datos $D_i$, esto produce una matriz de incrustación $V_i \in \mathbb{R}^{d_E \times M_i}$, donde $M_i$ es el número de oraciones de descriptores. Esto transforma el conjunto de datos en un conjunto de vectores compatibles con los espacios semánticos de los LLM.

3. Similitud e Interpretabilidad mediante CCA:
   La similitud entre conjuntos de datos se cuantifica utilizando el Análisis de Correlación Canónica (CCA) entre las matrices de incrustación de dos conjuntos de datos.

   • Métrica de Similitud: La puntuación de similitud $s_{ij}$ se define como la media de las correlaciones canónicas entre los dos espacios de incrustación.
   • Recuperación y Agrupamiento: Las distancias pareadas ($1 - s_{ij}$) se utilizan para construir una matriz de distancias para el agrupamiento jerárquico (enlace Ward $D^2$) y la recuperación de vecinos más cercanos.
   • Alineación Interpretable: Para identificar qué descriptores específicos impulsan la similitud, se emplea una formulación de CCA penalizada. Al imponer una penalización de norma $\ell_1$ sobre los vectores de peso canónico, el método produce soluciones dispersas. Las entradas no nulas en estos vectores dispersos se mapean directamente de vuelta a oraciones de descriptores específicas y cantidades a nivel de variable, revelando las propiedades estadísticas responsables de la alineación entre conjuntos de datos sin requerir nombres de variables compartidos.

Contribuciones Clave

• Tubería de EDA Estructurada: Un mapeo formalizado desde datos tabulares crudos hasta una colección de vectores de incrustación mediante descriptores estadísticos serializados en oraciones, con integración opcional de privacidad diferencial.
• Marco de Similitud entre Conjuntos de Datos: Un sistema de recuperación basado en la correlación canónica media que opera efectivamente a través de conjuntos de datos con espacios de características heterogéneos y disjuntos.
• CCA Penalizada Interpretable: Una aplicación novedosa de la descomposición de matrices penalizada al CCA, produciendo cargas canónicas dispersas que identifican los descriptores estadísticos específicos que impulsan la alineación, una capacidad ausente en el CCA estándar.
• Validación Empírica: Evaluación en 15 conjuntos de datos que abarcan benchmarks de propósito general (UCI), informática de materiales y caracterización de grafito de grado nuclear.

Resultados
El marco fue evaluado en 15 conjuntos de datos con diversos dominios y espacios de características.

• Precisión de Recuperación: El sistema logró una puntuación total de $P@1$ (Precisión en 1) de 0.9 para la recuperación de vecinos más cercanos. Esta alta precisión se mantuvo a través de diversas condiciones de incrustación, incluidas ablaciones solo multivariadas e incrustaciones con privacidad diferencial con presupuestos de privacidad $\epsilon \in \{0.1, 1, 10\}$.
• Robustez: Los resultados del agrupamiento jerárquico demostraron que la estructura general de los grupos permaneció robusta incluso bajo alta inyección de ruido o cuando se eliminaron detalles univariados, aunque los nombres de variables y los valores estadísticos mejoraron la resolución de los grupos.
• Interpretabilidad: El CCA penalizado recuperó exitosamente correspondencias físicamente significativas. Por ejemplo, alineó elementos de aleación entre conjuntos de datos que utilizan diferentes unidades (porcentaje atómico vs. porcentaje en peso) y coincidió medidas de resistencia mecánica (por ejemplo, resistencia a la fatiga vs. límite elástico) entre conjuntos de datos de acero independientes, a pesar de la ausencia de nombres de variables compartidos.

Significado
El artículo postula que este marco proporciona una vía fundamentada para integrar datos numéricos heterogéneos en tuberías de Generación Aumentada por Recuperación (RAG) mientras se preserva el contexto estadístico. Al convertir datos tabulares en incrustaciones semánticamente interpretables basadas en estadísticas, el método permite:

1. Selección de Algoritmos Basada en Datos: Identificar enfoques de modelado candidatos para conjuntos de datos desconocidos basándose en su similitud estadística con conjuntos de datos catalogados con resultados conocidos (conectando con el meta-aprendizaje y AutoML).
2. Inicialización de Simulaciones: Informar la selección de modelos constitutivos o parámetros de simulación basándose en las características estadísticas de los datos de calibración empírica.
3. Descubrimiento que Preserva la Privacidad: Habilitar comparaciones de similitud en datos sensibles sin exponer observaciones crudas, ya que la comparación depende únicamente de descriptores estadísticos con privacidad diferencial.

Los autores concluyen que las huellas digitales estadísticas derivadas de EDA ofrecen una base compacta y semánticamente interpretable para organizar datos numéricos heterogéneos dentro de espacios compatibles con LLM, abordando una brecha crítica en la gestión de datos científicos donde las definiciones de variables y los esquemas a menudo son incompatibles.