A Catalog of Data Errors

Dieses Paper stellt einen umfassenden Katalog mit 35 formal definierten und in drei Kategorien eingeteilten Datentypen für tabellarische Daten vor, der bestehende Lücken in der Fehlerklassifikation schließt und eine systematische Grundlage für die Erkennung und Bereinigung von Datenfehlern bietet.

Das Wesentliche

Stellen Sie sich vor, Ihre Datenbank ist wie ein riesiges, gut organisiertes Kochbuch für ein Restaurant. Wenn das Kochbuch perfekt ist, können die Köche (die Computerprogramme oder KI-Modelle) köstliche Gerichte (Ergebnisse, Vorhersagen, Geschäftsentscheidungen) zaubern.

Aber was passiert, wenn im Kochbuch Fehler stecken? Vielleicht fehlt eine Zutat, die Menge ist falsch geschrieben, oder es steht doppelt dasselbe Rezept drin? Dann wird das Essen verdorben. Genau darum geht es in diesem Papier: Die Autoren haben einen großen Katalog aller möglichen Fehler erstellt, die in solchen digitalen "Kochbüchern" (Datenbanken) vorkommen können.

Hier ist die Erklärung in einfachen Worten, unterteilt in drei große Kategorien, wie ein Hausmeister, der sein Haus aufräumt:

1. Das Haus ist unvollständig (Fehlende Daten)

Stellen Sie sich vor, Sie gehen in Ihr Haus und merken, dass ganze Räume fehlen oder Möbel weg sind.

• Leere Lücken: Ein Wert fehlt einfach (z. B. das Geburtsdatum eines Mitarbeiters ist nicht eingetragen). Das ist wie ein leeres Regal.
• Getarnte Lücken: Das ist tückischer. Es sieht aus, als wäre etwas da, aber es ist eigentlich "leer". Zum Beispiel steht bei der Telefonnummer "000-000-0000" oder "Unbekannt". Das System denkt, es sei eine echte Nummer, aber es ist nur ein Platzhalter für "fehlt".
• Verzerrte Sicht (Bias): Wenn in Ihrem Kochbuch nur Rezepte für vegetarische Gerichte stehen, aber Sie eigentlich Fleischgerichte kochen wollen, ist das Buch "verzerrt". Es fehlen ganze Gruppen von Daten, was zu falschen Schlussfolgerungen führt.

2. Das Haus ist in Unordnung (Falsche Daten)

Hier sind die Möbel da, aber sie stehen im falschen Raum oder sind kaputt.

• Schreibfehler & Verwechslungen: Jemand hat "Müller" als "Moller" geschrieben oder den Vornamen und Nachnamen vertauscht ("Bond James" statt "James Bond"). Das ist wie wenn Sie im Rezept "Zimt" statt "Zimt" (aber falsch geschrieben) lesen – der Koch weiß nicht, was gemeint ist.
• Falsche Einheiten: Jemand trägt das Gehalt in Euro ein, aber das System erwartet Dollar. Das ist, als würde man in einem Rezept "Tassen" statt "Gramm" angeben – das Ergebnis wird katastrophal.
• Veraltete Infos: Ein Mitarbeiter ist umgezogen, aber im Adressbuch steht noch die alte Adresse. Das ist wie ein Kochbuch, das Rezepte aus den 90ern enthält, aber keine modernen Zutaten kennt.
• Regelbrüche: Jeder Mitarbeiter muss genau einem Chef unterstellt sein. Wenn jemand zwei Chefs hat, bricht er die Regel. Oder wenn zwei Mitarbeiter die gleiche E-Mail-Adresse haben – das ist verboten!
• Ausreißer: Ein Mitarbeiter verdient 200.000 €, alle anderen 50.000 €. Ist das ein Fehler (Tippfehler) oder ist er wirklich so reich? Das System muss das erst prüfen.

3. Das Haus ist überfüllt (Überflüssige Daten)

Hier haben Sie Dinge doppelt oder dreifach, die Sie gar nicht brauchen.

• Doppelte Einträge: Sie haben zwei Einträge für denselben Mitarbeiter, einmal als "Sara Müller" und einmal als "Sara Moller". Das verwirrt den Koch, der denkt, es wären zwei verschiedene Leute.
• Unpassende Daten: Im Kochbuch für deutsche Gerichte steht plötzlich ein Rezept für Sushi, das hier gar nicht hingehört. Das ist "irrelevantes" Datenmaterial, das nur Platz wegnimmt.

Warum ist dieser Katalog wichtig?

Früher haben Forscher nur grobe Begriffe wie "Daten sind schlecht" verwendet. Das ist wie zu sagen: "Das Haus ist kaputt." Aber welche Art von Reparatur braucht man? Muss ein Fenster getauscht werden (Schreibfehler) oder muss ein ganzer Raum neu gebaut werden (fehlende Daten)?

Dieser Katalog ist wie ein Werkzeugkasten für Daten-Reinigung:

1. Erkenntnis: Er hilft Daten-Experten genau zu sagen: "Aha, das ist ein 'versteckter fehlender Wert' und kein normaler Fehler."
2. Lösung: Wenn man den genauen Fehler kennt, kann man die richtige Reparaturmethode wählen. Man kann nicht das Gleiche tun, um einen Tippfehler zu korrigieren, wie um eine fehlende Adresse zu finden.
3. KI-Sicherheit: Da heute viele Künstliche Intelligenzen (KI) mit diesen Daten lernen, ist es entscheidend, dass das "Kochbuch" sauber ist. Sonst lernt die KI falsche Dinge und trifft schlechte Entscheidungen.

Zusammenfassend:
Die Autoren haben 35 verschiedene Arten von "Daten-Dreck" gesammelt, benannt und definiert. Sie sagen uns: "Schauen Sie nicht nur auf den Dreck, sondern erkennen Sie genau, um welche Art von Dreck es sich handelt, damit Sie ihn richtig wegwischen können." Das hilft Unternehmen, bessere Entscheidungen zu treffen und KI-Systeme zuverlässiger zu machen.

Technische Zusammenfassung

1. Problemstellung

Datenfehler sind in realen Datenbanken allgegenwärtig und beeinträchtigen erheblich nachgelagerte Anwendungen wie Machine-Learning-Pipelines oder Business-Analytics-Berichte. Die Ursachen sind vielfältig und treten sowohl in der Design- als auch in der Betriebsphase von Datenbanksystemen auf.

• Lücken in der aktuellen Forschung: Bestehende Taxonomien zur Klassifizierung von Datenfehlern sind oft informell, unvollständig oder decken nicht das gesamte Spektrum ab. Viele Fehlerarten (z. B. „versteckte fehlende Werte" oder Worttranspositionen) sind untererforscht.
• Neue Herausforderungen durch KI: Mit dem Aufkommen von KI müssen statistische Fehler wie Bias (Verzerrung) und Ausreißer erkannt werden, die in herkömmlichen Fehlerkatalogen oft fehlen.
• Terminologische Inkonsistenzen: Es gibt keine einheitliche Definition und Abgrenzung zwischen verschiedenen Fehlerarten, was die Entwicklung automatischer Erkennungs- und Bereinigungswerkzeuge erschwert.

Das Paper zielt darauf ab, diese Lücke zu schließen, indem es einen umfassenden, formal definierten Katalog von Datenfehlern und Fehlerindikatoren für relationale Datenbanken (RDBs) bereitstellt.

2. Methodik

Die Autoren haben eine systematische Methodik entwickelt, um einen konsolidierten Katalog zu erstellen:

• Quellenanalyse: Die Arbeit basiert auf einer Überprüfung und Synthese von fünf bestehenden Taxonomien [44, 61, 66, 90, 102].
• Erweiterung und Konsolidierung:
  • Identifikation von Subtypen und Varianten bestehender Fehler.
  • Hinzufügen neu entstandener Fehlerarten (insbesondere im Kontext von KI).
  • Bereinigung der Terminologie: Komplexe oder missverständliche Bezeichnungen wurden durch intuitivere Namen ersetzt (z. B. Umbenennung von „Verletzung von Unternehmens- und Regierungsregeln" in „Verletzung gesetzlicher Regeln").
  • Auflösung von Inkonsistenzen, bei denen derselbe Begriff für verschiedene Fehler oder verschiedene Begriffe für denselben Fehler verwendet wurde.
• Klassifikationsdimensionen: Die Fehler werden primär nach ihrer Manifestation in drei disjunkte Kategorien eingeteilt:
  1. Fehlende Daten (Missing): Daten, die vorhanden sein sollten, aber fehlen.
  2. Falsche Daten (Incorrect): Daten, die vorhanden sind, aber nicht der Realität entsprechen.
  3. Redundante Daten (Redundant): Unnötige Wiederholungen oder abgeleitete Daten.
• Granularität und Kontext: Zusätzlich werden Fehler nach ihrer Granularität (Wert, Tupel, Attribut, Relation, Datenbank) und ihrem Kontext (syntaktisch vs. semantisch) klassifiziert.
• Formale Definitionen: Für jeden der 35 identifizierten Fehlertypen wurde eine formale Definition unter Verwendung einer Notation für reale Welt-Elemente und deren Datenbank-Repräsentation erstellt.

3. Wichtige Beiträge

Das Paper liefert drei Hauptbeiträge:

1. Umfassender Katalog: Eine Liste von 35 distincten Fehlertypen und Fehlerindikatoren, die in die drei oben genannten Kategorien (Missing, Incorrect, Redundant) unterteilt sind.
2. Formale Definitionen und Beispiele: Jeder Fehlertyp wird formal definiert und durch praktische Beispiele aus einem durchgehenden Beispiel (einer Beschäftigungsdatenbank) illustriert.
3. Unterscheidung zwischen Fehlern und Indikatoren: Das Paper unterscheidet klar zwischen eigentlichen Datenfehlern (z. B. falsche Werte) und Fehlerindikatoren (z. B. Ausreißer, Bias), die auf potenzielle Probleme hinweisen, aber eine Bewertung erfordern.

Struktur des Katalogs (Auszug):

• Missing Data: Explizite fehlende Werte, versteckte fehlende Werte (z. B. „-99" oder „Unknown"), teilweise leere Tupel/Attribute, fehlende Tupel, leere Attribute, verzerrte Daten (Bias).
• Incorrect Data:
  • Textuelle Fehler: Out-of-Vocabulary-Wörter, Rechtschreibfehler, Tippfehler, OCR-Fehler (Misscan), falsche Kodierung, Synonyme, Worttransposition.
  • Nicht konforme Fehler: Falsche Werte/Tupel, Rauschen, semantisch mehrdeutige Daten, Ausreißer, Syntaxverletzungen, heterogene Formatierung, falsche Einheiten, falsche Referenzen.
  • Regelverletzungen: Constraint-Verletzungen (Domain, Uniqueness, FD, CFD, zyklische Abhängigkeiten), Geschäftsregeln, DBA-Regeln, gesetzliche Regeln.
  • Veraltete Daten: Daten, die nicht mehr dem aktuellen Realzustand entsprechen.
• Redundant Data: Duplizierte Tupel, irrelevante Daten.

4. Ergebnisse

• Der Katalog deckt ein breites Spektrum ab, das von einfachen Syntaxfehlern bis hin zu komplexen semantischen Inkonsistenzen und statistischen Anomalien reicht.
• Es wurden spezifische Lücken in früheren Arbeiten identifiziert und geschlossen, insbesondere bei versteckten fehlenden Werten (Disguised Missing Values), ungültigen Werten und Out-of-Vocabulary-Wörtern.
• Die Arbeit zeigt auf, dass viele bisher als separate Kategorien betrachtete Phänomene (z. B. bestimmte Constraint-Verletzungen) als Untergruppen von übergeordneten Fehlertypen betrachtet werden können, was die Klassifizierung vereinfacht.
• Der Katalog etabliert eine gemeinsame Terminologie, die es Forschern und Praktikern ermöglicht, Fehler präziser zu benennen und zu diskutieren.

5. Bedeutung und Ausblick

• Für die Praxis: Der Katalog ermöglicht Datenwissenschaftlern, Ingenieuren und ML-Experten, spezifische Validierungsprüfungen zu implementieren, Bereinigungsstrategien zu planen und Lücken in der Tool-Unterstützung für bestimmte Fehlertypen zu identifizieren.
• Für die Forschung: Er dient als Referenzrahmen für die Entwicklung neuer Algorithmen zur Fehlererkennung und -korrektur.
• Zukünftige Forschungsrichtungen:
  • Entwicklung automatisierter Klassifizierungswerkzeuge, die nicht nur Fehler erkennen, sondern auch den spezifischen Fehlertyp identifizieren.
  • Formalisierung von Metadaten-Fehlern (Schema-Fehler), die oft die Ursache für Datenfehler sind.
  • Erweiterung des Katalogs auf andere Datenmodalitäten wie Graphen, Text oder Zeitreihen.

Zusammenfassend stellt dieses Paper einen Meilenstein für das Verständnis und die Behandlung von Datenqualität dar, indem es eine strukturierte, formale und umfassende Basis für die Identifikation und Bereinigung von Datenfehlern in relationalen Datenbanken schafft.