Resumo Técnico: Avaliação Automatizada da Qualidade de Big Data Usando Incorporações de Grafos de Conhecimento

Declaração do Problema

A avaliação automatizada da qualidade dos dados é essencial para a gestão de big data, contudo, as soluções existentes lutam para realizar avaliações precisas e conscientes do contexto. A inspeção manual tradicional é inviável devido ao volume, velocidade e variedade do big data. Embora frameworks automatizados anteriores, como o trabalho anterior dos autores BIGQA, tenham introduzido uma abordagem consciente do contexto usando aprendizado de máquina (Node2Vec e K-Vizinhos Mais Próximos), eles enfrentaram limitações significativas:

1. Dependência de Correspondência Estrita: O analisador de contexto do BIGQA dependia da seleção do único contexto de dados "mais similar" de um grafo de conhecimento. Essa abordagem arriscava ignorar detalhes valiosos de outros contextos relevantes, levando a planos de avaliação incompletos.
2. Disparidades de Esquema: A correspondência estrita frequentemente falhava quando o esquema do conjunto de dados de entrada diferia ligeiramente do plano recuperado, resultando em atributos ausentes na avaliação final.
3. Falta de Ponderação de Arestas: As incorporações tradicionais de grafos de conhecimento (KGE) geralmente não são projetadas para capturar valores numéricos associados às arestas, que representam incerteza, importância da aresta e conhecimento fora de banda.

Metodologia

O artigo propõe uma abordagem inovadora baseada em conhecimento que aproveita Incorporações de Grafos de Conhecimento (KGE) aprimoradas com injeção de atributos de aresta numérica para prever arestas ausentes e gerar planos abrangentes de avaliação da qualidade dos dados.

1. Construção do Grafo de Conhecimento

Os autores construíram um grafo de conhecimento baseado em Neo4j representando:

• Contextos de Dados: Nós representando características dos dados (tamanho, estrutura, domínio, formato de arquivo, tipo de fonte, etc.) conforme definido em uma revisão de literatura.
• Regras e Dimensões de Qualidade: Nós representando medidas básicas (por exemplo, proporção de valores nulos) e medidas derivadas (por exemplo, completude dos dados).
• Relacionamentos: Arestas ponderadas conectando atributos de contexto específicos a regras e dimensões de qualidade relevantes.

2. O Modelo KGE Aprimorado (FocusE)

Para superar as limitações das KGE tradicionais, os autores utilizaram a arquitetura FocusE (proposta por Pai et al. e avaliada pelos Laboratórios da Accenture). As inovações centrais incluem:

• Injeção Numérica de Arestas: Diferentemente dos modelos padrão, o FocusE injeta atributos de aresta numéricos (pesos) diretamente na camada de pontuação da arquitetura de incorporação. Isso permite que o modelo aprenda a importância e a incerteza dos relacionamentos.
• Pressuposto de Mundo Aberto (OWA): O modelo opera sob OWA, tratando a ausência de um fato não como falsa, mas como desconhecida, permitindo-lhe raciocinar sobre informações incompletas.
• Mecanismo de Pontuação: O modelo usa a função ComplEx (produto escalar hermitiano no espaço complexo) como camada de pontuação, modulada pelos pesos numéricos dos tripletes.

3. Fluxo de Trabalho

1. Entrada: O contexto de um novo conjunto de dados é extraído (esquema, atributos, domínio, tamanho).
2. Incorporação: O contexto de entrada e os dados existentes do grafo de conhecimento são convertidos em uma lista de conjuntos (sujeito, predicado, objeto, peso).
3. Previsão: O modelo KGE prevê links ausentes entre os atributos do conjunto de dados de entrada e as regras/dimensões de qualidade no grafo.
4. Geração de Plano: O modelo gera um plano de avaliação abrangente, incluindo links previstos e seus pesos correspondentes, que são convertidos em código executável para gerar um relatório de qualidade de dados.

Contribuições Principais

• Automação Consciente do Contexto: O artigo introduz um método para gerar planos de avaliação de qualidade de dados personalizados sem exigir correspondência exata de esquema, superando a rigidez das abordagens anteriores baseadas em K-NN.
• Integração de Arestas Numéricas: Ao integrar atributos de aresta numéricos nas KGE, a solução captura a importância e a incerteza das arestas, fornecendo um plano de avaliação ponderado e abrangente, em vez de uma seleção binária.
• Representação Abrangente: A abordagem sintetiza uma ampla revisão de literatura de características de contexto de dados (organizacionais, de recursos e específicas de dados) em uma estrutura unificada de grafo de conhecimento.

Resultados Experimentais

A solução foi avaliada usando um conjunto de dados real de sensores de radiação fornecido pela Comissão Libanesa de Energia Atômica (LAEC-CNRS) e comparada ao analisador de contexto BIGQA original.

• Configuração: Um grafo de conhecimento contendo 41 contextos de dados e 5.877 conjuntos de relacionamentos foi utilizado. O modelo foi treinado usando AmpliGraph (um framework dos Laboratórios da Accenture) com hiperparâmetros otimizados via busca em grade (otimizador Adam, perda em pares, 5000 épocas).
• Métricas de Desempenho: O modelo alcançou uma Reciprocidade Média de Classificação (MRR) de 0,19, Classificação Média (MR) de 38,99 e Hits@10 de 0,66.
• Comparação Qualitativa:
  • Analisador de Contexto BIGQA: Recuperou um plano baseado no contexto existente mais similar. No entanto, devido a diferenças de esquema, falhou em incluir dois atributos críticos do conjunto de dados de entrada (nível da bateria e ID do sensor), resultando em uma avaliação incompleta.
  • Abordagem KGE Proposta: Gerou com sucesso um plano que vinculou todos os atributos de entrada às regras e dimensões de qualidade relevantes. Atribuiu pesos a essas conexões, garantindo uma avaliação mais precisa e abrangente.

Significado e Alegações

O artigo afirma que a abordagem proposta aprimora significativamente a avaliação automatizada da qualidade dos dados ao:

1. Melhorar a Precisão: Gera planos de avaliação mais precisos ao aproveitar uma gama mais ampla de informações contextuais, em vez de depender de uma única correspondência "mais similar".
2. Garantir Completude: Supera incompatibilidades de esquema, garantindo que todos os atributos de um conjunto de dados de entrada sejam considerados na avaliação da qualidade.
3. Reduzir Intervenção Humana: A automação reduz a necessidade de intervenção manual do usuário, minimizando erros humanos e aumentando a eficiência.

Os autores reconhecem limitações, especificamente a perda potencial de interpretabilidade (já que os modelos KGE aprendem representações vetoriais de baixa dimensão que são difíceis de explicar) e a intensidade computacional necessária para o treinamento. Eles concluem que, embora os resultados atuais sejam promissores, trabalhos futuros focarão na escalabilidade para grafos de conhecimento maiores, na melhoria da interpretabilidade do modelo e na otimização do treinamento para aplicação em tempo real.