A Catalog of Data Errors

Este artículo presenta un catálogo exhaustivo que define y clasifica 35 tipos distintos de errores en datos tabulares (incluyendo errores de datos e indicadores estadísticos) en tres categorías no superpuestas para facilitar su detección y corrección sistemática.

Lo esencial

¡Hola! Imagina que tienes una biblioteca gigante llena de libros (tus datos) que la gente usa para tomar decisiones importantes, como predecir el clima, recomendar películas o gestionar una empresa.

El problema es que, a veces, esta biblioteca está un poco "sucio". Hay libros perdidos, páginas con tinta borrosa, títulos mal escritos o incluso dos copias del mismo libro en estantes diferentes. Si usas esta biblioteca para tomar decisiones, podrías terminar con resultados extraños o costosos.

Este artículo es como un catálogo de "errores de datos". Los autores (un equipo de expertos en informática) han creado una lista definitiva de 35 tipos de errores diferentes que pueden ocurrir en una base de datos. Su objetivo es que, en lugar de decir simplemente "los datos están mal", sepamos exactamente qué tipo de mal están teniendo para poder arreglarlo.

Aquí te explico los conceptos clave usando analogías sencillas:

1. Los Tres Grandes Grupos de "Suciedad"

Los autores dividen todos los errores en tres categorías principales, como si clasificáramos la basura en una cocina:

• 🕳️ Datos Faltantes (Missing): Es como si en una receta de cocina faltara un ingrediente.
  • Ejemplo: Un empleado en la base de datos no tiene fecha de contratación. La información existe en el mundo real, pero en el sistema hay un hueco vacío (o un valor que dice "desconocido" disfrazado).
• 🎭 Datos Incorrectos (Incorrect): Es como si en la receta pusieras "sal" en lugar de "azúcar", o si escribieras el nombre del ingrediente mal.
  • Ejemplo: El salario de un empleado aparece como negativo (-5000), lo cual es imposible en la vida real. O el nombre "Juan Pérez" aparece escrito como "Jua Pérez" (un error de tipeo) o "Juan Peréz" (un error de acento).
• 🔄 Datos Redundantes (Redundant): Es como tener tres copias del mismo libro en la misma estantería, ocupando espacio innecesario.
  • Ejemplo: Tienes dos registros para el mismo empleado, uno con su nombre completo y otro con su apodo, pero ambos se refieren a la misma persona. Esto confunde a quien intenta contar cuántos empleados hay.

2. ¿Qué pasa cuando los datos se "disfrazan"?

Uno de los puntos más interesantes del artículo es hablar de los datos faltantes disfrazados.

• La analogía: Imagina que vas a un restaurante y el camarero te dice que no hay "patatas". Pero en la lista de precios, en lugar de poner "no disponible", escriben "0" o "N/A". Técnicamente, hay un número ahí, pero en realidad, el plato no existe.
• En los datos, esto pasa cuando alguien pone "-99" o "N/A" en un campo de edad. El sistema piensa que es un número válido, pero en realidad es un dato que falta. El catálogo ayuda a detectar estos "disfraces".

3. El "Detective" de Errores

El artículo no solo lista los errores, sino que actúa como un manual para detectives de datos.

• Antes, si un sistema de Inteligencia Artificial fallaba, los expertos decían: "¡Los datos están sucios!".
• Ahora, con este catálogo, pueden decir: "¡Ah! Tenemos un problema de violación de regla de negocio (el empleado tiene dos jefes, lo cual no está permitido) o un error de transposición (el nombre y apellido están al revés)".
• Saber el nombre exacto del error es como tener la llave correcta para abrir la cerradura y arreglarlo.

4. ¿Por qué es importante esto hoy en día?

Vivimos en la era de la Inteligencia Artificial (IA). Imagina que quieres entrenar a un robot para que aprenda a conducir.

• Si le das un mapa con calles que no existen (datos incorrectos) o con agujeros negros (datos faltantes), el robot se chocará.
• Este catálogo ayuda a los ingenieros a limpiar el "mapa" antes de enseñárselo al robot, asegurando que las decisiones que tome la IA sean seguras y precisas.

En resumen

Este artículo es una guía de bolsillo para la calidad de los datos. Los autores dicen: "No podemos arreglar lo que no entendemos". Al definir claramente 35 tipos de errores (desde un simple error de tipeo hasta leyes legales violadas), están dando a los profesionales un lenguaje común y herramientas para limpiar el caos de la información, haciendo que nuestras decisiones, desde negocios hasta la inteligencia artificial, sean mucho más inteligentes y fiables.

Es como pasar de decir "mi cocina está un desastre" a decir "tengo 35 tipos específicos de desorden y aquí está cómo solucionar cada uno".

Resumen técnico

1. Problema

Los errores de datos son omnipresentes en las bases de datos del mundo real y tienen un impacto severo en las aplicaciones posteriores, como los pipelines de aprendizaje automático (ML) y los informes de análisis empresarial. Aunque existen taxonomías existentes para clasificar estos errores, presentan limitaciones significativas:

• Falta de exhaustividad: Las clasificaciones actuales no cubren el espectro completo de tipos de errores, dejando tipos menos comunes (como valores faltantes disfrazados o transposiciones de palabras) poco explorados.
• Inconsistencia terminológica: Existen múltiples nombres para el mismo error o un mismo nombre para errores diferentes, lo que genera confusión.
• Distinción insuficiente: No se distingue claramente entre "errores de datos" (mismatches reales) e "indicadores de error" (patrones estadísticos o lógicos que sugieren un error pero requieren juicio).
• Adaptación a la IA: Con el auge de la IA, es crucial detectar errores estadísticos como sesgos y valores atípicos (outliers), los cuales rara vez se consideran en las taxonomías tradicionales de calidad de datos.
• Impacto económico: La mala calidad de los datos (DQ) causa pérdidas financieras masivas a nivel global (estimadas en 280 mil millones de dólares anuales).

2. Metodología

Los autores desarrollaron un catálogo exhaustivo basándose en una revisión sistemática de cinco taxonomías existentes de errores de datos ([44, 61, 66, 90, 102]). El proceso metodológico incluyó:

1. Revisión y Consolidación: Se analizaron las taxonomías existentes para identificar inconsistencias terminológicas y se simplificaron etiquetas complejas o mal utilizadas (ej. renombrar "Violación de Reglas de la Empresa y del Gobierno" a "Violación de Reglas Legales").
2. Extensión del Catálogo: Se identificaron subtipos y variantes de errores discutidos previamente y se añadieron tipos de errores emergentes que no estaban cubiertos (ej. valores fuera de vocabulario, datos sesgados).
3. Definición Formal: Para cada tipo de error, se proporcionó una definición formal utilizando notación matemática (funciones de mapeo $M(e)$, funciones de conteo, etc.) y ejemplos prácticos basados en una base de datos de ejemplo ("Employment Database").
4. Clasificación Estructural: Se organizaron los 35 tipos de errores en tres categorías no superpuestas basadas en su manifestación en el conjunto de datos: Datos Faltantes, Datos Incorrectos y Datos Redundantes.
5. Delimitación de Alcance: El catálogo se centra en bases de datos relacionales (RDB) y en errores operativos en datos base, diferenciándolos de errores en metadatos y características de datos relacionadas que no son errores en sí mismos.

3. Contribuciones Clave

El artículo presenta tres contribuciones principales:

1. Un Catálogo Exhaustivo de 35 Tipos de Errores: Incluye tanto errores de datos como indicadores de error, clasificados en tres categorías principales:
   • Datos Faltantes (Missing): Valores explícitos (NULL), valores faltantes disfrazados (ej. -99, "Desconocido"), tuplas parcialmente vacías, tuplas faltantes, atributos vacíos y datos sesgados (como indicador).
   • Datos Incorrectos (Incorrect):
     • Errores Textuales: Palabras fuera de vocabulario (OOV), errores ortográficos, typos, escaneos erróneos (OCR) y codificación incorrecta.
     • Errores No Conformantes: Valores inválidos, datos semánticamente ambiguos, valores fuera de rango (outliers), violaciones de sintaxis, formateo heterogéneo y unidades incorrectas.
     • Violaciones de Reglas: Referencias incorrectas, violaciones de restricciones (dominio, unicidad, integridad referencial), violaciones de dependencias funcionales (FD y CFD), violaciones de dependencias cíclicas y violaciones de reglas (de negocio, administrativas y legales).
     • Obsolescencia: Datos desactualizados.
   • Datos Redundantes (Redundant): Tuplas duplicadas (incluyendo duplicados difusos) y datos irrelevantes.
2. Definiciones Formales y Ejemplos: Cada error está definido matemáticamente y ejemplificado con una base de datos de ejemplo, resolviendo ambigüedades terminológicas de trabajos previos.
3. Marco de Discusión: Se discute la conexión entre tipos de errores, errores en metadatos, características de datos relacionadas y la aplicación práctica del catálogo para mejorar la detección y limpieza de errores.

4. Resultados

• Estandarización Terminológica: Se logró unificar la nomenclatura de los errores, aclarando casos donde términos como "contradicción" se usaban de manera ambigua en la literatura previa.
• Identificación de Brechas: Se demostró que las taxonomías anteriores omitían errores críticos para la IA moderna, como el sesgo de datos (bias) y los valores fuera de vocabulario (OOV).
• Estructura Jerárquica: Se presentó una jerarquía clara que organiza los errores por granularidad (valor, tupla, atributo, relación, base de datos) y contexto (sintáctico vs. semántico).
• Diferenciación Crítica: Se estableció una distinción clara entre errores de datos (que pueden ser detectados automáticamente) e indicadores de error (que requieren juicio contextual, como el sesgo o la ambigüedad semántica).

5. Significancia e Impacto

Este catálogo es una referencia fundamental tanto para investigadores como para practicantes en el campo de la Calidad de Datos (DQ) y la Inteligencia Artificial:

• Para Practicionistas: Proporciona una guía para implementar validaciones específicas, planificar técnicas de limpieza y seleccionar herramientas adecuadas para tipos de errores concretos. Ayuda a identificar qué tipos de errores carecen de soporte en herramientas actuales.
• Para Investigadores: Ofrece una base formal para investigar tipos de errores poco explorados y desarrollar nuevos algoritmos de detección y reparación.
• Hacia la IA: Al incluir errores estadísticos (sesgo, outliers) y errores de integración de datos, el catálogo es esencial para garantizar la fiabilidad de los pipelines de ML, donde la calidad de los datos de entrenamiento es determinante para el rendimiento del modelo.
• Futuro: El trabajo sienta las bases para futuras investigaciones en clasificación automática de errores, formalización de errores en metadatos y extensión de estas definiciones a otros modos de datos (texto, gráficos, series temporales).

En resumen, el artículo transforma el panorama fragmentado de la investigación sobre errores de datos en un marco unificado, formal y exhaustivo, esencial para abordar los desafíos de calidad de datos en la era de la IA.