A Catalog of Data Errors

Este artigo apresenta um catálogo abrangente que define e classifica 35 tipos distintos de erros em dados tabulares, divididos nas categorias de dados ausentes, incorretos e redundantes, fornecendo definições formais e exemplos práticos para auxiliar pesquisadores e profissionais na detecção e correção sistemática de falhas de qualidade de dados.

O essencial

Imagine que os dados em um banco de dados são como os ingredientes de uma receita de bolo. Se você quer assinar um bolo perfeito (tomar decisões de negócios, treinar uma Inteligência Artificial, criar relatórios), você precisa de ingredientes frescos, na quantidade certa e sem erros.

Se você colocar sal no lugar do açúcar, o bolo fica estragado. Se esquecer de colocar ovos, ele não cresce. Se colocar duas xícaras de farinha quando a receita pede uma, a massa fica pesada.

Este artigo, escrito por pesquisadores da Alemanha, Holanda e EUA, é essencialmente um "Catálogo de Erros de Dados". É como um livro de receitas de "o que pode dar errado" na sua cozinha de dados, para que você saiba exatamente o que procurar e como consertar.

Aqui está a explicação simples, dividida em três grandes categorias de "desastres culinários":

1. O Que Faltou (Dados Ausentes)

Imagine que você está montando um cardápio para um restaurante, mas esqueceu de anotar o preço de alguns pratos ou o nome de alguns clientes.

• Valores Faltando (Missing Values): É como ter uma linha em branco na receita. O ingrediente existe no mundo real, mas não está escrito no papel.
• Valores Disfarçados (Disguised Missing Values): Isso é mais traiçoeiro. É como escrever "Desconhecido" ou "-99" no lugar do preço. Parece que tem um número ali, mas na verdade é apenas um "placeholder" (um lugar vazio) que está escondendo o fato de que a informação não existe. É um "fantasma" que parece real.
• Linhas ou Colunas Vazias: Imagine que você esqueceu de anotar nenhum telefone de nenhum cliente, ou que uma página inteira do cardápio está em branco.
• Dados Viciados (Biased Data): Imagine que você só perguntou a opinião sobre o bolo apenas para crianças. O resultado dirá que o bolo é ótimo (porque crianças amam açúcar), mas ignorará os adultos. Os dados existem, mas não representam a realidade completa, levando a decisões erradas.

2. O Que Está Errado (Dados Incorretos)

Aqui, os ingredientes estão lá, mas estão estragados, trocados ou escritos de forma confusa.

• Erros de Digitação e Ortografia (Typos & Misspellings): Escrever "Müller" como "Moller" ou "Manager" como "Manger". O computador vê como uma palavra diferente, mas para nós é óbvio que é um erro.
• Palavras Estranhas (Out-of-Vocabulary): Usar uma sigla que ninguém conhece, como "Mgr." em vez de "Gerente", em um sistema que só entende palavras completas.
• Troca de Posição (Word Transposition): Escrever "Bond, James" em vez de "James Bond". As palavras estão certas, mas na ordem errada.
• Dados em Campos Errados (Misfielded Values): Colocar o endereço de casa no campo de "Data de Nascimento". O dado é válido, mas está no lugar errado.
• Ruído (Noise): Imagine que a balança da cozinha está com defeito e pesa 1kg a mais em tudo. Os dados têm um "chiado" ou variação aleatória que não é real.
• Dados Fora de Padrão (Outliers): Se todos os funcionários ganham R$ 5.000 e um ganha R$ 5.000.000, esse número é um "outlier". Pode ser um erro de digitação (um zero a mais) ou um CEO real. É preciso investigar.
• Violação de Regras (Constraint Violations): É como tentar colocar um bolo quadrado em uma forma redonda. O sistema diz: "Isso não pode existir aqui". Exemplo: Um funcionário não pode ter um salário negativo.
• Dados Velhos (Outdated Data): É como usar uma receita de 1990 que pede "margarina" quando hoje usamos "manteiga". O dado existia, mas o mundo mudou e ele não serve mais.

3. O Que Está em Excesso (Dados Redundantes)

Imagine que você tem três copos de água idênticos na mesa. Você não precisa de três, um basta.

• Duplicatas (Duplicate Tuples): É ter o mesmo cliente cadastrado duas vezes, uma vez como "João Silva" e outra como "J. Silva". O sistema acha que são duas pessoas diferentes, inflando os números.
• Dados Irrelevantes: É ter um ingrediente na receita que não faz parte do bolo, como "óleo de motor". O dado está lá, é válido, mas não deveria estar naquele cardápio.

Por que isso importa?

O artigo diz que, na era da Inteligência Artificial, a qualidade dos dados é mais importante do que o próprio modelo de IA. Se você alimenta uma IA com "ingredientes estragados" (dados sujos), ela vai criar um "bolo" (decisão ou previsão) horrível, não importa quão inteligente seja a receita.

Os autores criaram este catálogo para:

1. Dar nomes aos bois: Antes, as pessoas chamavam os erros de nomes diferentes ou misturavam coisas diferentes. Agora, todos falam a mesma língua.
2. Criar ferramentas melhores: Se você sabe exatamente qual é o erro (ex: é um "valor disfarçado" e não apenas "falta de dado"), você pode criar um robô específico para achar e consertar esse erro.
3. Evitar prejuízos: Empresas perdem bilhões de dólares por ano por causa de decisões tomadas com dados ruins.

Em resumo: Dados sujos geram decisões ruins. Este catálogo é o manual de instruções para manter sua cozinha de dados limpa, organizada e pronta para assar os melhores bolos possíveis.

Resumo técnico

Título: Um Catálogo de Erros de Dados

Autores: Divya Bhadauria, Hazar Harmouch, Felix Naumann, Divesh Srivastava e Lisa Ehrlinger.
Contexto: Publicado na ACM Computing Surveys (2026).

---

1. O Problema

Os erros de dados são onipresentes em bancos de dados do mundo real e impactam severamente aplicações downstream, como pipelines de aprendizado de máquina (ML) e relatórios de análise de negócios. As causas desses erros são multifacetadas, surgindo tanto na fase de design (esquema) quanto na fase operacional (coleta e processamento).

Apesar de certos tipos de erros (como valores ausentes, tuplas duplicadas ou violações de restrição) serem bem conhecidos, muitos outros permanecem subexplorados (ex.: valores ausentes disfarçados, transposições de palavras). Além disso, com o avanço da IA, a necessidade de detectar erros estatísticos (como viés e outliers) tornou-se crítica, mas essas categorias raramente são consideradas nas taxonomias existentes.

Os principais desafios identificados são:

• Falta de Consolidação: As tentativas anteriores de definir e classificar erros oferecem taxonomias valiosas, mas limitadas, informais e que não cobrem o espectro completo de tipos de erros.
• Inconsistência Terminológica: Há confusão entre diferentes trabalhos sobre o que constitui um erro específico (ex.: o termo "contradição" é usado de formas diferentes).
• Distinção Não Clara: Não há uma distinção clara entre "erros de dados" (mismatch entre representação e realidade) e "indicadores de erro" (padrões que sugerem erros, mas exigem julgamento).
• Impacto Financeiro: A baixa qualidade de dados (DQ) causa perdas financeiras bilionárias anualmente e é considerada um desafio maior do que o desenvolvimento de modelos de ML no século XXI.

2. Metodologia

Os autores desenvolveram um catálogo abrangente seguindo uma metodologia rigorosa baseada em revisão sistemática e consolidação:

• Base de Trabalho: O catálogo foi construído a partir de cinco taxonomias existentes de erros de dados ([44, 61, 66, 90, 102]).
• Expansão e Refinamento:
  1. Identificação de subtipos e variantes dos erros discutidos nas obras anteriores.
  2. Adição de tipos de erros emergentes, especialmente relevantes para IA (como viés e dados desatualizados).
  3. Consolidação terminológica: Simplificação de rótulos complexos e resolução de inconsistências (ex.: unificar termos como "contradição" sob definições mais precisas).
• Critérios de Inclusão: Apenas erros de dados e indicadores que (1) afetam diretamente a usabilidade dos dados e a tomada de decisão, ou (2) podem ser detectados sistematicamente (via regras, estatística ou ML), foram incluídos.
• Foco: O escopo limita-se a erros em Bancos de Dados Relacionais (RDB) e dados tabulares, excluindo grafos ou documentos de texto não estruturados, embora discuta brevemente erros de metadados.
• Estrutura de Classificação: Os erros foram agrupados em três categorias não sobrepostas baseadas na sua manifestação: Dados Ausentes, Dados Incorretos e Dados Redundantes.

3. Principais Contribuições

O artigo apresenta três contribuições fundamentais:

1. Catálogo Abrangente de 35 Tipos de Erros: Uma lista unificada de 35 tipos distintos de erros de dados e indicadores, classificados em três categorias principais:
   • Dados Ausentes (Missing): Inclui valores ausentes explícitos, valores ausentes disfarçados (ex.: "-99" ou "Desconhecido"), tuplas parcialmente vazias, tuplas ausentes, atributos vazios e dados enviesados (bias).
   • Dados Incorretos (Incorrect): Subdividido em:
     • Erros Textuais: Palavras fora do vocabulário (OOV), erros de ortografia, digitação (typos), varredura incorreta (misscan) e codificação incorreta.
     • Erros Não Conformantes: Valores inválidos, ruído, dados semanticamente ambíguos, outliers, violações de sintaxe, formatação heterogênea e unidades incorretas.
     • Violações de Regras: Violações de dependência de atributos, dependência funcional (FD), FD condicional, dependência cíclica, e violações de regras de negócio, administrativas e legais.
     • Dados Desatualizados: Informações que não refletem mais o estado atual do mundo real.
   • Dados Redundantes (Redundant): Inclui tuplas duplicadas e dados irrelevantes.
2. Definições Formais e Exemplos Práticos: Para cada um dos 35 tipos, os autores fornecem uma definição formal matemática (utilizando notação de banco de dados e funções de mapeamento para o mundo real) e exemplos concretos baseados em um banco de dados de exemplo (Empregados, Certificados e Departamentos).
3. Resolução de Inconsistências Terminológicas: O trabalho clarifica e padroniza a nomenclatura, distinguindo claramente entre erros de dados e indicadores de erro, e mapeando como diferentes taxonomias anteriores se relacionam com o novo catálogo.

4. Resultados e Estrutura do Catálogo

O catálogo organiza os erros em uma hierarquia clara (ilustrada na Figura 3 do artigo):

• Granularidade: Os erros são classificados por nível de detecção: Valor, Tupla, Atributo, Relação, Banco de Dados e Múltiplos Bancos de Dados.
• Contexto: Distingue-se entre erros Sintáticos (formato, sintaxe) e Semânticos (significado, lógica).
• Exemplos de Novos Tipos Incluídos:
  • Valores Ausentes Disfarçados (Disguised Missing Values): Valores que parecem válidos mas representam ausência (ex.: "NA" em um campo numérico).
  • Viés (Bias): Tratado como um indicador de erro, onde a distribuição observada dos dados desvia significativamente da distribuição esperada do mundo real.
  • Palavras Fora do Vocabulário (OOV): Termos que não pertencem ao vocabulário definido para aquele atributo.
  • Violação de Regras Legais: Não conformidade com regulamentos como GDPR ou Sarbanes-Oxley.

O artigo também discute brevemente erros de metadados (esquema, restrições) e características relacionadas aos dados (como dados inacessíveis ou difíceis de agregar), esclarecendo que estes não são erros de dados em si, mas fatores que podem causar ou amplificar erros.

5. Significância e Impacto

Este trabalho é significativo por várias razões:

• Padronização para Pesquisa e Prática: Oferece uma referência unificada para pesquisadores e praticantes (cientistas de dados, engenheiros de ML), permitindo que falem a mesma língua ao discutir qualidade de dados.
• Melhoria em Ferramentas de Limpeza: Permite que ferramentas de qualidade de dados implementem estratégias de detecção e limpeza específicas para cada tipo de erro, em vez de abordagens genéricas.
• Suporte à IA: Ao incluir erros estatísticos (viés, outliers) e tipos emergentes, o catálogo prepara o terreno para a criação de pipelines de ML mais robustos e confiáveis.
• Identificação de Lacunas: O catálogo destaca tipos de erros que ainda carecem de ferramentas de detecção adequadas, guiando futuras pesquisas.
• Definição Formal: A formalização matemática dos erros permite a criação de algoritmos mais precisos para validação e reparo de dados.

Em suma, o artigo preenche uma lacuna crítica na literatura de qualidade de dados, transformando uma coleção fragmentada de conceitos em um catálogo sistemático, formal e abrangente, essencial para a gestão de dados na era da inteligência artificial.