Towards Practical Benchmarking of Data Cleaning Techniques: On Generating Authentic Errors via Large Language Models

Este trabalho apresenta o TableEG, um framework que utiliza modelos de linguagem grandes (LLMs) ajustados para gerar erros sintéticos autênticos em tabelas, preenchendo a lacuna entre dados reais e sintéticos e estabelecendo um benchmark robusto para a avaliação de técnicas de detecção e correção de erros.

O essencial

Imagine que você é um treinador de futebol. Para preparar sua equipe para a Copa do Mundo, você precisa simular jogos difíceis. Mas, e se você só pudesse treinar com jogadores que nunca cometeram erros? Ou, pior, se você inventasse erros que são tão estranhos e irreais (como um jogador chutando a bola para a lua) que eles não ensinariam nada útil?

É exatamente esse o problema que os cientistas de dados enfrentam. Eles precisam criar "dados sujos" (planilhas com erros) para treinar programas de limpeza de dados, mas encontrar erros reais é difícil e caro. Os métodos antigos de criar erros falsos eram como tentar imitar um acidente de carro desenhando riscos aleatórios no papel: funcionavam, mas não pareciam reais.

Aqui está a explicação do artigo TableEG, traduzida para uma linguagem simples e cheia de analogias:

O Grande Problema: A Fábrica de Erros Falsos

Antes, existia uma "fábrica" chamada BART que criava erros para testar sistemas.

• Como funcionava: Seguia regras rígidas. Se a palavra era "Gato", a máquina podia mudar para "Gatx" ou "Gat0".
• O defeito: Era muito robótico. Na vida real, os erros são mais complexos. Às vezes, o erro é um nome de cidade errado que parece real, ou um preço que é um número impossível, mas que alguém poderia ter digitado por distração. O BART não conseguia capturar essa "alma" do erro humano.

A Solução: O TableEG (O "Chef de Cozinha" dos Dados)

Os autores criaram o TableEG. Em vez de apenas seguir regras, eles pegaram um Inteligência Artificial (LLM) — como um cérebro superinteligente que leu quase tudo na internet — e o treinaram especificamente para entender tabelas.

Pense no TableEG como um ator de teatro que foi treinado para imitar perfeitamente um personagem que comete erros.

Como eles fizeram isso? (Os 3 Segredos)

1. Aprendizado com "Professores Reais" (Ajuste Fino):
   Eles não deixaram a IA criar erros do zero. Eles pegaram planilhas reais que já tinham erros marcados por humanos (como um livro de erros reais) e ensinaram a IA: "Olhe, aqui está um erro real. Veja como ele parece. Agora, tente criar um parecido com este."

   • Analogia: É como ensinar um aluno a desenhar um gato mostrando a ele fotos de gatos reais, em vez de apenas dizer "desenhe algo fofinho".

2. Entendendo a Estrutura da Mesa (O Jogo de Tabuleiro):
   Tabelas são complicadas. Elas têm linhas e colunas que se relacionam. Se você muda o "Preço" de um produto, ele precisa fazer sentido com o "Código do Produto". A IA comum costuma tratar texto como uma linha reta, ignorando essa estrutura de grade.
   O TableEG foi treinado para entender que uma tabela é como um tabuleiro de xadrez: mover uma peça (um dado) afeta o jogo inteiro. Ele aprendeu a não cometer erros que quebrariam a lógica da tabela (como colocar uma data de nascimento no futuro).

3. O Tripé Mágico (Entrada, Tarefa, Saída):
   Eles criaram um sistema de três partes para ensinar a IA:

   • O Pedido (I): "Crie um erro de digitação neste nome."
   • O Contexto (T): A tabela limpa.
   • O Resultado (O): A tabela com o erro específico e a explicação de onde ele está.
     Isso permitiu que a IA aprendesse não só a criar o erro, mas também a detectar e consertar (como um professor que ensina o aluno a errar, a achar o erro e a corrigir).

O Resultado: Por que isso é incrível?

O artigo mostra que o TableEG é muito melhor que os antigos métodos (BART) e até melhor que usar uma IA genérica sem treino.

• Realismo: Se você olhar para uma tabela criada pelo TableEG, parece que um humano cansado digitou os dados. Os erros são "críveis".
• Diversidade: Ele cria todos os tipos de erros: números fora do lugar, valores faltantes, regras quebradas e padrões estranhos.
• O Teste Final: Quando eles usaram esses erros para treinar programas de limpeza, os programas funcionaram tão bem quanto se estivessem treinando com dados reais. É como se o TableEG tivesse criado um "simulador de voo" tão perfeito que os pilotos (os algoritmos de limpeza) não conseguem distinguir o treino da realidade.

Resumo em uma frase

O TableEG é um "ator de IA" super treinado que aprendeu a cometer erros humanos perfeitos em planilhas, permitindo que cientistas de dados testem e melhorem seus sistemas de limpeza sem precisar esperar por desastres reais acontecerem.

É como ter uma máquina do tempo que pode simular qualquer tipo de acidente de trânsito para ensinar motoristas autônomos a dirigir com segurança, sem precisar colocar ninguém em perigo na estrada.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Towards Practical Benchmarking of Data Cleaning Techniques: On Generating Authentic Errors via Large Language Models" (Em direção a uma Avaliação Prática de Técnicas de Limpeza de Dados: Sobre a Geração de Erros Autênticos via Grandes Modelos de Linguagem), escrito em português.

---

1. O Problema

A qualidade dos dados é um desafio fundamental em sistemas orientados a dados, pois erros em dados tabulares podem comprometer severamente a análise e o desempenho de modelos de aprendizado de máquina. Embora existam muitos algoritmos de detecção de erros, a avaliação abrangente dessas técnicas é limitada pela falta de conjuntos de dados de erros reais, diversos e rotulados.

• Limitações da Anotação Manual: É extremamente cara, demorada e inconsistente.
• Limitações dos Métodos Atuais (ex: BART): Os métodos baseados em regras (como o framework BART) geram erros artificiais que são muito simples (ex: inserir/deletar caracteres aleatórios) e não capturam a complexidade, a diversidade semântica e as distribuições estatísticas dos erros do mundo real. Eles frequentemente falham em gerar erros semânticos coerentes (ex: substituir um nome de filme por outro filme real) ou valores ausentes que reflitam padrões reais.

O objetivo central deste trabalho é preencher essa lacuna criando um método para gerar erros sintéticos autênticos que sejam indistinguíveis, em termos de distribuição e padrão, dos erros encontrados em dados reais, servindo assim como um benchmark robusto para testar técnicas de limpeza.

2. Metodologia: O Framework TableEG

Os autores propõem o TableEG, um framework que utiliza Grandes Modelos de Linguagem (LLMs) instruídos e ajustados (fine-tuned) para gerar erros realistas em dados tabulares. A abordagem supera as limitações dos LLMs brutos (que não entendem bem a estrutura bidimensional de tabelas) através de duas estratégias principais:

A. Representação em Tripleto (I, T, O)

Para modelar tarefas relacionadas a tabelas, o framework utiliza uma representação estruturada de tripleto:

• I (Instrução): Define a tarefa (ex: "gerar erro", "detectar erro", "corrigir erro") e o tipo de erro específico.
• T (Tabela): A entrada, que é uma subamostra da tabela original (para respeitar limites de tokens), contendo o contexto estrutural.
• O (Saída): A anotação estruturada (JSON) que especifica a localização do erro, o tipo, o valor incorreto gerado e, quando aplicável, o valor correto.

B. Estratégia de Treinamento e Tarefas

O modelo base (LLaMA 3.1-8B) é ajustado com LoRA (Low-Rank Adaptation) utilizando dados de 12 conjuntos de dados reais de 10 domínios diferentes (acadêmico, financeiro, entretenimento, saúde, etc.). O treinamento envolve três tarefas principais inter-relacionadas:

1. Geração de Erros (Task-1): O modelo recebe uma tabela limpa e deve injetar erros realistas (valores ausentes, violações de regra, outliers, violações de padrão).
2. Detecção de Erros (Task-2): O modelo recebe uma tabela suja e deve identificar as células erradas e classificar o tipo de erro.
3. Correção de Erros (Task-3): O modelo recebe uma tabela suja e deve inferir e restaurar os valores corretos.

Essa abordagem de aprendizado multi-tarefa permite que o LLM aprenda não apenas a criar erros, mas também a entender a estrutura da tabela, as dependências entre linhas/colunas e os padrões de corrupção reais, algo que a geração direta via prompting não consegue fazer com eficácia.

3. Contribuições Principais

1. Framework TableEG: Uma nova abordagem baseada em LLMs ajustados para geração de erros em dados tabulares, capaz de capturar dependências bidimensionais complexas.
2. Geração de Erros Autênticos: O sistema gera erros que não apenas violam regras, mas também incluem outliers estatísticos, valores ausentes e inconsistências semânticas que espelham a distribuição real de dados corrompidos.
3. Estratégia de Avaliação Abrangente: Os autores propõem métricas quantitativas para validar a qualidade dos erros gerados:
   • $S_{EPA}$ (Similaridade de Padrão de Erro): Mede a similaridade coseno entre as transformações de erro geradas e reais no espaço de embeddings.
   • $J^w_{col}$ (Similaridade de Jaccard Ponderada): Avalia a similaridade na distribuição de erros entre colunas.
   • $D_{JS}$ (Divergência de Jensen-Shannon): Mede a divergência entre as distribuições de tipos de erro.
4. Benchmarking Robusto: Demonstração de que os erros gerados pelo TableEG são tão eficazes quanto dados reais para treinar e avaliar algoritmos de detecção de erros.

4. Resultados Experimentais

Os experimentos foram conduzidos em 12 conjuntos de dados reais, comparando o TableEG com o método baseado em regras BART e com um LLM não ajustado (GPT-3.5 Turbo).

• Alinhamento de Padrão ($S_{EPA}$): O TableEG alcançou uma pontuação média de 77,76%, superando significativamente o BART (49,36%) e o GPT-3.5 (50,45%). Isso indica que os erros gerados pelo TableEG seguem padrões de transformação muito mais próximos da realidade.
• Alinhamento de Distribuição:
  • Em termos de $J^w_{col}$ (distribuição por coluna), o TableEG obteve 82,3 no conjunto de dados Flight, enquanto o BART e o GPT-3.5 tiveram 34,69 e 44,68, respectivamente.
  • Em termos de $D_{JS}$ (divergência de distribuição), o TableEG apresentou os valores mais baixos (melhor alinhamento), confirmando que a mistura de tipos de erros gerada é estatisticamente similar à real.
• Desempenho em Detecção de Erros: Quando algoritmos de detecção de erros (como Raha, Holistic e Horizon) foram testados em dados com erros gerados pelo TableEG versus dados com erros reais, o desempenho (Precisão, Recall e F1-score) foi altamente consistente. Isso prova que os erros sintéticos são desafiadores o suficiente para testar a robustez dos detectores, ao contrário dos erros artificiais simples do BART.
• Generalização: O modelo demonstrou boa capacidade de generalização em conjuntos de dados não vistos durante o treinamento (como Soccer e Restaurant), mantendo a superioridade sobre as linhas de base.

5. Significado e Impacto

O trabalho TableEG representa um avanço significativo na área de qualidade de dados:

• Ponte entre Sintético e Real: Resolve o problema da escassez de dados de erro rotulados, permitindo a criação de benchmarks padronizados e reprodutíveis.
• Validação de Técnicas de Limpeza: Permite que pesquisadores avaliem algoritmos de detecção e correção de erros em cenários que simulam fielmente a complexidade do mundo real, sem depender de anotação manual cara.
• Avanço no Uso de LLMs para Dados Estruturados: Demonstra que, com o ajuste fino adequado e a modelagem de tarefas estruturadas, os LLMs podem superar suas limitações inerentes em dados tabulares bidimensionais, aprendendo a gerar e entender erros complexos e semanticamente coerentes.

Em suma, o TableEG estabelece um novo padrão para a geração de dados sintéticos sujos, tornando-se uma ferramenta essencial para o desenvolvimento e avaliação futura de técnicas de limpeza de dados.