📊 statistics

Statistical Embeddings for Similarity, Retrieval, and Interpretable Alignment of Numeric Tabular Datasets

Dieser Beitrag stellt ein Framework vor, das strukturierte statistische Deskriptoren numerischer tabellarischer Datensätze unter Verwendung von Sentence-Transformern und einer penalisierten kanonischen Korrelationsanalyse in einen gemeinsamen Vektorraum einbettet, um interpretierbare, datensatzübergreifende Ähnlichkeitsretrieval-, Alignierungs- und datenschutzkonforme Integrationsverfahren zu ermöglichen, ohne dass gemeinsame Variablendefinitionen erforderlich sind.

Ursprüngliche Autoren: M. Ross Kunz, John Merickel, Keith Wilson

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: M. Ross Kunz, John Merickel, Keith Wilson

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind Bibliothekar in einer riesigen, chaotischen Bibliothek. Doch statt Bücher sind diese Bibliothek mit Tausenden verschiedener Tabellenkalkulationen (Tabellen von Zahlen) aus der ganzen Welt gefüllt. Manche Tabellenkalkulationen verfolgen die Weinqualität, andere die Stahlfestigkeit, und einige verfolgen nuklearen Graphit.

Das Problem? Diese Tabellenkalkulationen sprechen unterschiedliche „Sprachen". Eine listet möglicherweise den „Alkoholgehalt" in Prozenten auf, während eine andere den „Zucker" in Gramm auflistet. Sie haben unterschiedliche Spaltennamen, unterschiedliche Größen und unterschiedliche Einheiten. Wenn Sie einen Standardcomputer fragen: „Finden Sie mir eine Tabellenkalkulation, die dieser Wein-ähnlich ist", gerät der Computer in Verwirrung, weil er die Spaltennamen nicht zusammenführen kann. Es ist, als würde man versuchen, ein Buch zu finden, indem man nach einem Titel fragt, der in den anderen Büchern nicht existiert.

Dieser Artikel schlägt einen klugen neuen Weg vor, diese Bibliothek so zu organisieren, dass ein Computer (speziell ein Large Language Model, oder KI) ähnliche Tabellenkalkulationen verstehen und finden kann, selbst wenn sie auf den ersten Blick völlig unterschiedlich aussehen.

Hier ist, wie sie es getan haben, aufgeschlüsselt in einfache Schritte:

1. Der „Fingerabdruck" statt der Rohdaten

Anstatt die rohen Zahlen direkt in die KI einzuspeisen (was unübersichtlich und schwer zu vergleichen ist), erstellen die Autoren zunächst einen „Fingerabdruck" jeder Tabellenkalkulation.

Die Analogie: Stellen Sie sich vor, Sie haben einen Sack voller Murmeln. Anstatt der KI den Sack zu zeigen, schreiben Sie eine kurze Geschichte, die den Sack beschreibt: „Es gibt 150 Murmeln. Die meisten sind rot. Die durchschnittliche Größe beträgt 2 Zoll. Es gibt keine riesigen Murmeln, aber einige sind sehr klein."
Die Methode: Der Computer führt eine Standard-Statistikprüfung (genannt Explorative Datenanalyse) an den Zahlen durch. Er zählt die Zeilen, findet den Durchschnitt, prüft auf Muster und sieht, wie sich die Zahlen verteilen. Er verwandelt all diese mathematischen Fakten in eine Liste von Sätzen in natürlicher Sprache.

2. Mathematik in Geschichten verwandeln

Sobald der Computer diese Beschreibungen hat, verwandelt er sie in Sätze.

Die Analogie: Es ist, als würde man einen Geheimscode ins Englische übersetzen.
- Mathematik: „Kurtosis = 2,4."
- Satz: „Die Verteilung ist flach mit leichten Schwänzen, wie eine normale Kurve, aber flacher."
Die Magie: Da dies nun Sätze sind, kann die KI (die sehr gut darin ist, Sprache zu verstehen), sie lesen. Die KI verwandelt jeden Satz in einen „Vektor" (einen mathematischen Punkt im Raum). Denken Sie daran, als würden Sie für jede Tabellenkalkulation einen Punkt auf einer Karte setzen. Wenn zwei Tabellenkalkulationen ähnliche „Geschichten" (ähnliche Statistiken) haben, landen ihre Punkte auf der Karte nahe beieinander, selbst wenn die eine über Wein und die andere über Stahl handelt.

3. Die Übereinstimmung finden (Der „Ähnlichkeits"-Test)

Jetzt, da jede Tabellenkalkulation einen Punkt auf der Karte hat, wie wissen wir, welche wirklich ähnlich sind?

Die Analogie: Stellen Sie sich zwei Gruppen von Menschen in einem Raum vor. Sie wollen wissen, ob Gruppe A und Gruppe B verwandt sind. Anstatt nur eine Person aus jeder Gruppe anzusehen, betrachten Sie die gesamte Gruppe in ihrer Haltung und Bewegung zusammen.
Die Methode: Die Autoren verwenden eine Technik namens Canonical Correlation Analysis (CCA). Es ist eine ausgefeilte Art zu fragen: „Passen die Muster in den Punkten von Gruppe A mit den Mustern in den Punkten von Gruppe B überein?" Wenn ja, sind die Tabellenkalkulationen ähnlich.

4. Das „Röntgenbild" für Interpretierbarkeit

Normalerweise ist es, wenn die KI sagt „Diese beiden sind ähnlich", eine Blackbox – Sie wissen nicht, warum. Dieser Artikel fügt eine spezielle Funktion hinzu: Penalized CCA.

Die Analogie: Es ist wie ein Röntgenbild, das genau hervorhebt, welche Knochen übereinstimmen. Anstatt nur zu sagen „Diese beiden Menschen sehen ähnlich aus", sagt es: „Sie sehen ähnlich aus, weil sie beide die gleiche Größe und die gleiche Augenfarbe haben, aber ihr Haar ist unterschiedlich."
Das Ergebnis: Das System kann Ihnen genau sagen, welche statistischen Fakten die Übereinstimmung ausgemacht haben. Zum Beispiel könnte es sagen: „Diese beiden Stahldatensätze sind ähnlich, weil sie beide eine hohe 'Ermüdungsfestigkeit' und einen hohen 'Mangan-Gehalt' haben, obwohl ein Datensatz es 'Mn%' nannte und der andere 'Mangan-Gewicht'."

5. Datenschutz

Die Autoren zeigten auch, dass man den mathematischen Fakten vor dem Umwandeln in Sätze ein wenig „Rauschen" oder Störung hinzufügen kann.

Die Analogie: Es ist wie das Tragen einer Verkleidung. Man kann immer noch die allgemeine Form und den Gang der Person erkennen, aber man kann keine spezifischen Gesichtsdetails sehen.
Der Vorteil: Dies ermöglicht dem System, sensible Daten (wie Daten von Kernkraftwerken) zu vergleichen, ohne jemals die tatsächlichen Rohzahlen zu sehen, und schützt so die Privatsphäre, während es dennoch Übereinstimmungen findet.

Was haben sie herausgefunden?

Sie testeten dies an 15 verschiedenen Datensätzen, die von allgemeinen Benchmarks bis hin zu sehr spezifischen nuklearen und materialwissenschaftlichen Daten reichten.

Die Punktzahl: Als sie das System aufforderten, den „nächsten Nachbarn" (den ähnlichsten Datensatz) für eine gegebene Tabellenkalkulation zu finden, lag es 90 % der Zeit richtig.
Robustheit: Selbst wenn sie Datenschutz-Rauschen hinzufügten oder einige Details entfernten, fand das System immer noch die richtigen Übereinstimmungen.
Beweis aus der Praxis: Es ordnete einen Datensatz über „Rotwein" erfolgreich „Weißwein" zu (obwohl es separate Tabellen waren) und unterschiedliche Arten der Messung der Stahlfestigkeit, was beweist, dass es das Konzept der Daten versteht und nicht nur die Beschriftungen.

Zusammenfassung

Dieser Artikel bietet uns eine neue Möglichkeit, die numerischen Daten der Welt zu organisieren. Indem er Mathematik in Geschichten verwandelt, ermöglicht er der KI zu verstehen, dass eine Tabellenkalkulation über „Stahl" und eine über „Legierungen" Cousins sind, selbst wenn sie unterschiedliche Wörter verwenden. Es hilft Wissenschaftlern, die richtigen Daten zu finden, um ihre Arbeit zu vergleichen, und tut dies auf eine Weise, die privat ist und erklärt, warum die Übereinstimmungen gemacht wurden.

Technische Zusammenfassung: Statistische Einbettungen für Ähnlichkeit, Retrieval und interpretierbare Ausrichtung numerischer tabellarischer Datensätze

Problemstellung
Numerische tabellarische Datensätze sind das vorherrschende Datenformat in der wissenschaftlichen Praxis, doch die Organisation und der Vergleich dieser Datensätze über heterogene Merkmalsräume hinweg bleiben eine erhebliche Herausforderung. Bestehende Werkzeuge zur Datensatzsuche verlassen sich typischerweise auf Schema-Matching (gemeinsame Variablennamen) oder erzeugen für Menschen lesbare Zusammenfassungen, denen die für moderne Retrieval-Systeme notwendigen Vektordarstellungen fehlen. Große Sprachmodelle (LLMs) und deren Einbettungsräume bieten einen Weg für domänenübergreifende Ähnlichkeit, ihnen fehlen jedoch native Mechanismen, um numerische Datensätze ohne gemeinsame Variablendefinitionen sinnvoll darzustellen. Aktuelle Ansätze konzentrieren sich entweder auf prädiktive Modellierung innerhalb eines einzelnen Datensatzes oder versagen darin, eine interpretierbare Ausrichtung zwischen Datensätzen mit disjunkten Merkmalsräumen zu liefern.

Methodik
Der vorgeschlagene Rahmen adressiert diese Einschränkungen durch eine dreistufige Pipeline: Statistischer Fingerabdruck, Semantische Einbettung und Interpretierbare Ausrichtung.

Statistischer Fingerabdruck via EDA:
Die Methodik beginnt mit der Charakterisierung eines numerischen tabellarischen Datensatzes $D$ durch eine strukturierte Pipeline der explorativen Datenanalyse (EDA). Dieser Prozess erzeugt eine umfassende Menge von Deskriptoren, ohne dass zum Zeitpunkt des Vergleichs Zugriff auf Rohbeobachtungen erforderlich ist, was eine datenschutzkonforme Suche unterstützt.
- Vorverarbeitung: Fehlende Werte werden durch Soft-Thresholding der Singulärwertzerlegung (SVD) imputiert, um die Rangstruktur zu erhalten.
- Differential Privacy (Optional): Zum Schutz sensibler Daten wird Laplace-Rauschen basierend auf ihrer globalen Sensitivität zu skalaren Deskriptoren hinzugefügt, bevor sie serialisiert werden.
- Berechnung von Deskriptoren: Die Pipeline berechnet:
  - Multivariate Deskriptoren: Matrixnormen, spektrale Größen (Singulärwerte) und Variablenwichtigkeit durch SCAD (Smoothly Clipped Absolute Deviation) bestrafte Regression.
  - Univariate Deskriptoren: Grenzen, zentrale Momente, Quantile, Entropie und robuste Statistiken (Median, MAD).
  - Strukturelle Analyse: Change-Point-Erkennung (via PELT) zur Identifizierung von Nicht-Stationarität und Frequenzanalyse via FFT.
  - Umgang mit kategorialen Daten: Häufigkeitsverteilungen und Analyse auf Partitionsebene für kategoriale Spalten.
- Serialisierung: Jeder numerische Deskriptor wird mit einer natürlichen Sprach-Satzvorlage gepaart (z. B. „Die Kurtosis beträgt 2,4103; die Verteilung ist plattkurtisch..."). Variablennamen oder das Token „matrix" werden vorangestellt, um Kontext zu liefern, was zu einer geordneten Sammlung von Sätzen $S$ führt.
Semantische Einbettung:
Die Sammlung der Deskriptorsätze $S$ wird unter Verwendung eines vortrainierten Sentence Transformers (speziell all-MiniLM-L6-v2) in einen festgelegten Vektorraum kodiert. Für einen Datensatz $D_i$ ergibt dies eine Einbettungsmatrix $V_i \in \mathbb{R}^{d_E \times M_i}$ , wobei $M_i$ die Anzahl der Deskriptorsätze ist. Dies transformiert den Datensatz in eine Menge von Vektoren, die mit LLM-semantischen Räumen kompatibel sind.
Ähnlichkeit und Interpretierbarkeit via CCA:
Die Ähnlichkeit zwischen Datensätzen wird mittels kanonischer Korrelationsanalyse (CCA) zwischen den Einbettungsmatrizen zweier Datensätze quantifiziert.
- Ähnlichkeitsmetrik: Der Ähnlichkeitswert $s_{ij}$ ist definiert als der Mittelwert der kanonischen Korrelationen zwischen den beiden Einbettungsräumen.
- Retrieval und Clustering: Pairwise-Abstände ( $1 - s_{ij}$ ) werden verwendet, um eine Distanzmatrix für hierarchisches Clustering (Ward $D^2$ -Verknüpfung) und die Suche nach nächsten Nachbarn zu konstruieren.
- Interpretierbare Ausrichtung: Um zu identifizieren, welche spezifischen Deskriptoren die Ähnlichkeit antreiben, wird eine bestrafte CCA-Formulierung eingesetzt. Durch Auferlegung einer $\ell_1$ -Norm-Strafe auf die kanonischen Gewichtungsvektoren liefert die Methode spärliche Lösungen. Die von Null verschiedenen Einträge in diesen spärlichen Vektoren bilden direkt auf spezifische Deskriptorsätze und mengenmäßige Größen auf Variablenebene ab und offenbaren so die statistischen Eigenschaften, die für die ausrichtung zwischen Datensätzen verantwortlich sind, ohne dass gemeinsame Variablennamen erforderlich sind.

Hauptbeiträge

Strukturierte EDA-Pipeline: Eine formalisierte Abbildung von rohen tabellarischen Daten zu einer Sammlung von Einbettungsvektoren über satzserialisierte statistische Deskriptoren, mit optionaler Integration von Differential Privacy.
Rahmen für Ähnlichkeit zwischen Datensätzen: Ein auf der mittleren kanonischen Korrelation basierendes Retrieval-System, das effektiv über Datensätze mit heterogenen und disjunkten Merkmalsräumen hinweg funktioniert.
Interpretierbare bestrafte CCA: Eine neuartige Anwendung der bestraften Matrixzerlegung auf CCA, die spärliche kanonische Ladungen erzeugt, welche die spezifischen statistischen Deskriptoren identifizieren, die die Ausrichtung antreiben – eine Fähigkeit, die bei der Standard-CCA fehlt.
Empirische Validierung: Evaluation über 15 Datensätze hinweg, die allgemeine Benchmarks (UCI), Materialinformatik und die Charakterisierung von graphitischen Werkstoffen nuklearer Qualität abdecken.

Ergebnisse
Der Rahmen wurde an 15 Datensätzen mit unterschiedlichen Domänen und Merkmalsräumen evaluiert.

Retrieval-Genauigkeit: Das System erreichte einen Gesamtwert von $P@1$ (Precision at 1) von 0,9 für die Suche nach dem nächsten Nachbarn. Diese hohe Genauigkeit wurde unter verschiedenen Einbettungsbedingungen beibehalten, einschließlich Ablationen nur mit multivariaten Daten und differentialprivaten Einbettungen mit Privatsphäre-Budgets $\epsilon \in \{0,1, 1, 10\}$ .
Robustheit: Ergebnisse des hierarchischen Clusterings zeigten, dass die breite Clusterstruktur auch bei hoher Rauschinjektion oder beim Entfernen univariater Details robust blieb, obwohl Variablennamen und statistische Werte die Clusterauflösung verbesserten.
Interpretierbarkeit: Die bestrafte CCA stellte erfolgreich physikalisch sinnvolle Korrespondenzen wieder her. Beispielsweise richtete sie Legierungselemente über Datensätze hinweg aus, die unterschiedliche Einheiten verwendeten (Atom- vs. Gewichtsprozent), und verglich mechanische Festigkeitsmaße (z. B. Ermüdungsfestigkeit vs. Streckgrenze) zwischen unabhängigen Stahldatensätzen, trotz des Fehlens gemeinsamer Variablennamen.

Bedeutung
Die Autoren gehen davon aus, dass dieser Rahmen einen prinzipiellen Weg zur Integration heterogener numerischer Daten in Retrieval-Augmented Generation (RAG)-Pipelines bietet, wobei der statistische Kontext erhalten bleibt. Durch die Umwandlung tabellarischer Daten in statistisch fundierte, semantisch interpretierbare Einbettungen ermöglicht die Methode:

Datengetriebene Algorithmusauswahl: Identifikation von Kandidaten-Modellierungsansätzen für unbekannte Datensätze basierend auf ihrer statistischen Ähnlichkeit zu katalogisierten Datensätzen mit bekannten Ergebnissen (Verbindung zu Meta-Learning und AutoML).
Initialisierung von Simulationen: Informierte Auswahl von konstitutiven Modellen oder Simulationsparametern basierend auf den statistischen Eigenschaften empirischer Kalibrierungsdaten.
Datenschutzkonforme Entdeckung: Ermöglichung von Ähnlichkeitsvergleichen bei sensiblen Daten ohne Offenlegung von Rohbeobachtungen, da der Vergleich ausschließlich auf differentialprivaten statistischen Deskriptoren beruht.

Die Autoren schließen, dass statistische Fingerabdrücke, die aus der EDA abgeleitet sind, eine kompakte, semantisch interpretierbare Basis für die Organisation heterogener numerischer Daten innerhalb LLM-kompatibler Räume bieten und damit eine kritische Lücke im wissenschaftlichen Datenmanagement schließen, in der Variablendefinitionen und Schemata oft inkompatibel sind.