Low-Latency Survivorship Scoring over Cloud Data Warehouses: A Workflow-Orchestrated Approach for Enterprise Record Linkage

Die große digitale Reinigung: Warum Ihre Daten einen Super-Organisator brauchen

Stellen Sie sich vor, Sie versuchen, einen bestimmten Freund in einer riesigen, chaotischen Menschenmenge zu finden, in der alle schreien, verschiedene Kostüme tragen und leicht unterschiedliche Versionen desselben Namensschilds halten. Einige sagen „Bob“, andere sagen „Robert“, und einige halten Schilder hoch, die wie „Rob“ aussehen, aber eigentlich für eine ganz andere Person bestimmt sind. Dies ist die tägliche Realität für Unternehmen, die versuchen, ihre Kundendaten zu verwalten. In der Informatik wird dies als Entity Resolution (oder Datensatzverknüpfung) bezeichnet, und es ist die Kunst zu erkennen, dass zwei unterschiedlich aussehende Informationen tatsächlich zu derselben Person gehören.

Wenn Unternehmen diese Daten in riesigen digitalen Lagern in der Cloud speichern, wird das Problem noch komplizierter. Es ist, als würde man versuchen, diese Menge aufzuräumen, während das Lager brennt, und man muss es in einem Wimpernschlag erledigen. Wenn man einen Fehler macht, schickt man vielleicht eine Geburtstagskarte an die falsche Person oder verliert im schlimmsten Fall den Kontakt zu einem Kunden vollständig. Das Ziel ist es, die „wahre“ Version eines Datensatzes unter vielen Duplikaten zu finden, ohne stundenlang darauf warten zu müssen, dass ein Computer alles sortiert. Hier setzt das Papier ein, das Sie gleich lesen werden, und bietet einen neuen Weg, das Chaos durch eine Mischung aus intelligentem Scheduling und blitzschneller Mathematik zu ordnen.

---

Die große Idee des Papers: Der „Super-Organisator“-Workflow

Dieses Paper stellt ein neues System namens WOASS (Workflow-Orchestrated Adaptive Survivorship Scoring) vor. Stellen Sie sich das wie einen hocheffizienten, superintelligenten Bibliothekar vor, der Bücher nicht einfach wahllos stapelt, sondern ein komplexes, automatisiertes Förderbandsystem nutzt, um die eine wahre Version jedes Buches in einer Bibliothek mit Millionen von Büchern zu finden.

Die Autoren, Venkatesh Alamuri und sein Team, haben sich mit dem Problem der „schlechten Daten“ in Unternehmenssystemen befasst. Sie stellten fest, dass die alten Methoden, wenn Unternehmen versuchen, doppelte Kundendatensätze zu bereinigen (zum Beispiel, wenn sich jemand zweimal mit leicht unterschiedlichen E-Mail-Adressen anmeldet), entweder zu langsam oder nicht intelligent genug sind. Sie entwickelten eine Lösung, die auf Google BigQuery (einem massiven Cloud-Data-Warehouse) läuft und von Apache Airflow (einem Werkzeug, das wie ein Dirigent fungiert und verschiedenen Teilen des Computers sagt, wann sie arbeiten und wann sie ruhen sollen) gesteuert wird.

So funktioniert ihr „Super-Organisator“, unterteilt in einfache Schritte:

1. Das „Gruppierungs“-Spiel (Blocking)

Bevor der Computer versucht, jeden einzelnen Datensatz mit jedem anderen zu vergleichen (was ewig dauern würde), nutzt WOASS einen Trick namens Blocking. Stellen Sie sich vor, Sie suchen eine bestimmte Person in einem Stadion. Anstatt jeden Sitzplatz zu überprüfen, schauen Sie nur in den Abschnitt, in dem der Nachname dieser Person mit „S“ beginnt. Das System gruppiert zuerst ähnliche Datensätze mithilfe cleverer Tricks wie phonetischer Schreibweise (wie ein Name klingt) und Sortierung. Dies reduziert die Anzahl der notwendigen Vergleiche erheblich und macht den Prozess viel schneller.

2. Der „Survivorship“-Score (Wer gewinnt?)

Sob wenn das System eine Gruppe von Datensätzen gefunden hat, die dieselbe Person sein könnten, muss es entscheiden, welcher die „wahre“ Version ist. Dies wird als Survivorship Scoring bezeichnet.

• Der alte Weg: Einfach die neueste Version wählen oder diejenige, die am häufigsten vorkommt.
• Der WOASS-Weg: Es verwendet eine „zusammengesetzte Ähnlichkeitsfunktion“. Denken Sie an einen Preisrichter in einer Talentshow, der die Datensätze basierend auf mehreren Kriterien bewertet:
  • Aktualität (Recency): Ist dies die neueste Information?
  • Autorität (Authority): Stammt diese Information aus einer vertrauenswürdigen Quelle (wie einer Bank) oder von einer dubiosen Website?
  • Häufigkeit (Frequency): Wie oft ist diese Information aufgetaucht?
  • Konfidenz (Confidence): Wie sicher ist sich das System?

Das System kombft diese Scores, um den „Gewinner“ zu ermitteln – die einzelne, beste Version des Kundendatensatzes, die behalten werden soll.

3. Der „Dirigent“ (Workflow Orchestration)

Der gesamte Prozess wird von Apache Airflow verwaltet, das wie ein Verkehrspolizist fungiert. Es teilt die massive Aufgabe in kleinere Stücke auf und sendet sie an 20 verschiedene Computer-Worker, die gleichzeitig daran arbeiten (Parallelverarbeitung). Dies stellt sicher, dass das System nicht stecken bleibt und riesige Datenmengen verarbeiten kann, ohne abzustürzen.

Was sie herausgefunden haben: Geschwindigkeit und Intelligenz

Das Team testete sein neues System mit einem massiven Datensatz von 662.763 Kundendatensätzen eines globalen Unternehmens. Sie verglichen WOASS mit älteren Methoden wie dem einfachen „Exakten Abgleich“ (der streng ist, aber Dinge übersieht) und „Random Forest“ (einer Art von maschinellem Lernen).

Hier sind die Ergebnisse, die das Paper als sehr vielversprechend darstellt:

• Genauigkeit: Das neue System erreichte einen F1-Score von 0,970. In der Welt des Datenabgleichs ist dies ein sehr hoher Wert, was bedeutet, dass es extrem gut darin war, die richtigen Übereinstimmungen zu finden, ohne Fehler zu machen. Dies war höher als die Random-Forest-Methode, die einen Wert von 0,925 erreichte.
• Geschwindigkeit: Das System war unglaublich schnell und erreichte eine Latenz von unter 10 Sekunden (speziell 8,3 Sekunden) und eine nahezu sofortige Auflösung. Während andere Methoden zwischen 14,7 und 29,4 Sekunden zur Verarbeitung der Daten benötigten, erledigte WOASS dies in nur 8,3 Sekunden.
• Skalierbarkeit: Als sie das System mit mehr Arbeitern testeten (bis zu 20), erhöhte sich die Geschwindigkeit signifikant. Mit 20 Arbeitern war das System 13,56-mal schneller als bei der schrittweisen Abarbeitung.
• Governance: Das System führte auch eine perfekte „Audit-Spur“. Es verfolgte jeden Schritt des Prozesses und erreichte eine Audit-Abdeckung von 9‌7 %. Das bedeutet, wenn ein Regulator fragte: „Wie sind Sie zu der Entscheidung gekommen, dass dieser Datensatz der richtige ist?“, konnte das System den exakten Weg aufzeigen, den es genommen hat.

Was das Paper explizit nicht behauptet

Es ist wichtig zu beachten, was dieses Paper nicht beansprucht. Die Autoren stellen ausdrücklich klar, dass ihr System kein Zauberstab ist, der jedes Problem sofort löst.

• Sie räumen ein, dass das System zwar eine nahezu sofortige Auflösung und eine Latenz von unter 10 Sekunden erreicht, aber derzeit für seinen Hauptbetriebszyklus auf nächtliche Batch-Verarbeitung angewiesen ist. Sie schlagen vor, dass zukünftige Arbeiten die Integration von Streaming-Technologien wie Kafka beinhalten könnten, um es vollständig echtzeitfähig zu machen.
• Sie merken an, dass das System zwar schnell ist, aber immer noch mit „Slot Contention“ in BigQuery konfrontiert ist (wenn zu viele Aufgaben um dieselben Computerressourcen kämpfen), was die Dinge manchmal etwas verlangsamen kann.
• Die Ergebnisse basieren auf spezifischen Tests mit 662.763 Datensätzen und einem synthetischen Test mit 1,2 Millionen Datensätzen. Das Paper legt nahe, dass diese Ergebnisse stark sind, impliziert aber auch, dass sie spezifisch für die getestete Cloud-Umgebung (Google Cloud Platform) gelten.

Warum das wichtig ist

Vereinfacht ausgedrückt legt dieses Paper nahe, dass Unternehmen durch die Kombination einer intelligenten „Gruppierungsstrategie“, eines Multi-Kriterien-Bewertungssystems und eines leistungsstarken Workflow-Dirigenten ihre unordentlichen Daten viel schneller und genauer als bisher bereinigen können.

Die Autoren fanden heraus, dass Unternehmen durch diesen Ansatz des Workflow-Orchestrierten adaptiven Survivorship Scoring die Zeit zur Identifizierung doppelter Datensätze von fast 30 Sekunden auf unter 9 Sekunden reduzieren und gleichzeitig die Qualität ihrer Daten verbessern können. Sie deuten an, dass dies zu besseren Kundenerlebnissen, weniger regulatorischen Problemen und einem klareren Bild davon führt, wer ihre Kunden tatsächlich sind.

Obwohl das Paper nicht behauptet, das Problem des Datenmanagements für immer gelöst zu haben, präsentiert es eine starke, getestete Methode, die darauf hindeutet, dass ein bedeutender Fortschritt in der Art und Weise erzielt wurde, wie wir die riesigen, unordentlichen Datenberge bewältigen, mit denen moderne Unternehmen täglich konfrontiert sind.