PrismaDV: Automated Task-Aware Data Unit Test Generation

Resumo Técnico: PrismaDV

1. O Problema

A validação de dados é crucial para a confiabilidade de aplicações empresariais e modelos de ML. No entanto, as abordagens atuais de testes de unidade de dados (como Deequ, Great Expectations e TensorFlow Data Validation) são predominantemente agnósticas à tarefa. Elas geram restrições de dados baseadas apenas em perfis estatísticos de amostras de dados, ignorando o código da tarefa downstream que consome esses dados.

Isso leva a três problemas principais:

1. Falsos Positivos (Alarmes Falsos): Restrições muito rigorosas bloqueiam dados que, na verdade, são seguros para a tarefa específica (ex: uma tarefa de ML robusta a ruídos ou uma tarefa que ignora certas colunas).
2. Falsos Negativos (Falhas Silenciosas): Restrições muito genéricas falham em detectar erros que causam falhas específicas no código da tarefa (ex: dependências implícitas entre colunas ou suposições sobre estatísticas agregadas que não são visíveis apenas nos dados brutos).
3. Manutenção Reativa: A criação e manutenção de testes dependem de correções manuais após incidentes em produção, em vez de uma abordagem proativa.

O artigo define o problema de Geração de Testes de Unidade de Dados Consciente da Tarefa (Task-Aware): criar testes automatizados que analisem simultaneamente o perfil dos dados e o código da tarefa downstream para inferir suposições implícitas e gerar testes executáveis específicos para aquela tarefa.

2. Metodologia: PrismaDV

O PrismaDV é um sistema de IA composto (Compound AI System) que decompõe a geração de testes em quatro módulos principais, utilizando Grandes Modelos de Linguagem (LLMs) para compreensão e síntese de código:

1. Perfilamento e Descoberta (Profiling & Discovery):

   • Coleta estatísticas descritivas dos dados de amostra.
   • Analisa o código da tarefa para identificar quais colunas (e combinações de colunas) são acessadas.
   • Usa métodos como DiscoverColumnAccess para mapear o fluxo de dados no código.

2. Inferência de Suposições (Assumption Inference):

   • O núcleo do sistema. Constrói um grafo bipartido de suposições dados-código.
   • Conecta as colunas acessadas às linhas de código que operam sobre elas.
   • Utiliza LLMs para sintetizar, em linguagem natural, as suposições implícitas do código (ex: "a coluna 'email' não pode ser nula se o status for 'COMPLETED'").

3. Geração de Código de Restrição (Constraint Code Generation):

   • Traduz as suposições inferidas (e o grafo de dados-código) para sintaxe executável de frameworks de validação (ex: PyDeequ).
   • Gera restrições unicoluna e multicoluna.

4. Pós-processamento:

   • Valida a sintaxe das restrições geradas e descarta aquelas que falham na amostra de dados original (garantindo que o teste seja executável e não quebre imediatamente).

3. Adaptação e Otimização: SIFTA

Para melhorar a qualidade dos testes ao longo do tempo, os autores propõem o SIFTA (Selective Informative Feedback for Task Adaptation).

• Desafio: Os sinais de feedback em produção são escassos e binários (sucesso/falha da tarefa).
• Solução: O SIFTA utiliza uma métrica chamada "Precisão de Falha" (Failure Precision). Ele identifica quando uma falha de restrição coincide com uma falha da tarefa downstream.
• Mecanismo: O sistema rastreia as falhas de restrição até as suposições e locais de código originais. Usa esse contexto para otimizar os prompts dos módulos de LLM do PrismaDV, focando apenas nos casos onde a restrição falhou erroneamente (falsos positivos) ou onde a tarefa falhou mas a restrição não pegou (falsos negativos). Isso permite um ajuste fino dos prompts sem necessidade de re-treinamento do modelo base.

4. Benchmarks Propostos

Os autores introduzem dois novos benchmarks para avaliar a geração de testes conscientes da tarefa:

• ICDBench: Focado na descoberta de restrições individuais a partir de pares (Dados, Código). Contém 63 casos com "ground truth" de restrições, cobrindo desde asserts explícitos até dependências complexas em fluxos de controle.
• EIDBench: Um benchmark end-to-end com 60 tarefas downstream distribuídas em 5 datasets públicos. Inclui a injeção de 25 tipos de erros sintéticos para avaliar se o sistema consegue detectar o impacto real dos erros na execução da tarefa, distinguindo entre dados seguros e errôneos.

5. Resultados Experimentais

A avaliação comparativa contra baselines (detecção de outliers, testes agnósticos, zero-shot/few-shot de LLMs e agentes de engenharia de software) mostrou:

• ICDBench: O PrismaDV superou todos os baselines com uma margem significativa, alcançando um F1-score de 87.8% (vs. 66.7% do melhor baseline agnóstico). Isso demonstra que a compreensão do código é essencial para inferir restrições corretas.
• EIDBench: O PrismaDV alcançou um F1-score de 77.4%, superando os baselines em mais de 26 pontos. O sistema foi capaz de reduzir drasticamente os falsos positivos (alarmes desnecessários) e os falsos negativos (erros não detectados) em comparação com métodos que olham apenas para os dados.
• Otimização SIFTA: O uso do SIFTA para otimizar os prompts resultou em ganhos adicionais de desempenho, superando otimizadores genéricos (como GEPA) e prompts manuais, especialmente em cenários de novos dados e novas tarefas.

6. Significado e Contribuições

• Mudança de Paradigma: O trabalho move a validação de dados de uma abordagem reativa e baseada apenas em estatísticas para uma abordagem proativa e consciente do contexto de negócio (código).
• Sistema Híbrido: Demonstra a eficácia de combinar análise estática de código, perfis de dados e capacidades de LLMs para resolver problemas complexos de engenharia de dados.
• Recursos Abertos: Os autores liberaram o código, os benchmarks (ICDBench e EIDBench) e uma implementação prototípica, estabelecendo um padrão para futuras pesquisas em validação de dados automatizada.
• Impacto Prático: Reduz a carga de trabalho das equipes de dados, minimiza incidentes de produção causados por dados corrompidos e evita o cansaço de alertas (alert fatigue) causado por testes excessivamente rigorosos.

Em resumo, o PrismaDV representa um avanço significativo na automação da garantia de qualidade de dados, provando que o código da aplicação é uma fonte rica e subutilizada de conhecimento para validar a integridade dos dados que ela consome.