SeDa: A Unified System for Dataset Discovery and Multi-Entity Augmented Semantic Exploration

O artigo apresenta o SeDa, um sistema unificado que integra mais de 7,6 milhões de conjuntos de dados de diversas fontes para facilitar sua descoberta e exploração semântica por meio de anotação padronizada, verificação de procedência e navegação contextual baseada em entidades.

O essencial

Imagine que o mundo dos dados é como uma gigantesca biblioteca desorganizada, onde milhões de livros (conjuntos de dados) estão espalhados por milhares de bibliotecas diferentes ao redor do mundo. Algumas bibliotecas são governamentais, outras são de universidades, e algumas são de empresas privadas. O problema é que cada uma usa um sistema de catalogação diferente: algumas usam etiquetas em português, outras em inglês, algumas não têm índice, e muitas vezes os livros estão empoeirados ou até mesmo desaparecidos (os links quebrados).

Se você quisesse encontrar um livro específico sobre "previsão do tempo" ou "inteligência artificial", você teria que correr de uma biblioteca para outra, tentando adivinhar onde ele está. É aí que entra o SeDa.

O SeDa é como um super bibliotecário mágico e um detetive que trabalha 24 horas por dia para organizar essa bagunça. Aqui está como ele funciona, explicado de forma simples:

1. O Grande Aglutinador (Integração de Dados)

Pense no SeDa como um tradutor universal e um organizador de arquivos. Ele vai até mais de 200 "bibliotecas" diferentes (plataformas como HuggingFace, Kaggle, portais governamentais) e puxa mais de 7,6 milhões de conjuntos de dados.

• O Truque: Ele usa uma inteligência artificial (um "cérebro" digital) para ler todas essas descrições confusas e transformá-las em um formato padrão. É como se ele pegasse um livro escrito em código binário, outro em grego antigo e outro em emojis, e os reescrevesse todos em uma linguagem clara e uniforme para que todos possam entender.

2. O Etiqueta-Inteligente (Anotação e Tags)

Antes, você só podia procurar por títulos. Se o título fosse "Projeto X", você não saberia do que se tratava.

• A Mágica: O SeDa usa a IA para ler o conteúdo do livro e colar etiquetas inteligentes nele. Em vez de apenas "Projeto X", ele adiciona etiquetas como "Reconhecimento Facial", "Segurança Viária" ou "Medicina".
• O Mapa de Tesouros: Ele cria um "mapa de conexões". Se você procura por "carros autônomos", o SeDa não só mostra os carros, mas também mostra os "vizinhos" desse tema, como "sensores de chuva" ou "tráfego urbano", ajudando você a descobrir coisas que você nem sabia que precisava.

3. O Detetive de Links Quebrados (Proveniência)

Um dos maiores pesadelos da internet é clicar em um link e encontrar uma página de erro (o famoso "404 Not Found").

• O Guarda-Costas: O SeDa tem um sistema que vigia esses links constantemente. Imagine um guarda que verifica semanalmente se as portas das bibliotecas ainda estão abertas. Se um site para de funcionar, o SeDa avisa e esconde aquele livro da busca, garantindo que você nunca gaste tempo tentando acessar algo que não existe mais. Isso traz confiança.

4. A Navegação por "Quem" e "Onde" (Navegação Multi-Entidade)

Geralmente, buscadores mostram apenas o resultado da sua busca. O SeDa vai além. Ele pergunta: "Quem criou isso?" e "Onde isso vive?".

• A Analogia: Se você procura por um filme, o SeDa não só mostra o filme, mas também mostra o estúdio que o produziu, o país onde foi filmado e a empresa que distribui.
• No mundo dos dados, isso significa que, ao buscar um conjunto de dados, você vê também a Universidade que o criou, a Empresa que o vendeu ou o Governo que o liberou. Isso ajuda você a entender o contexto e a qualidade do dado.

Por que isso é importante?

Hoje, existem buscadores como o do Google para dados, mas eles são como uma peneira grossa: deixam passar muitas coisas importantes ou mostram resultados desatualizados. O SeDa é como uma peneira de precisão que:

1. Encontra mais coisas: Capta dados que acabaram de ser publicados, antes mesmo de eles serem citados em artigos científicos.
2. É mais confiável: Garante que o link funciona.
3. É mais inteligente: Entende o significado dos dados, não apenas as palavras-chave.

Em resumo: O SeDa transforma uma floresta escura e cheia de armadilhas (a internet de dados atual) em um parque temático organizado, onde você pode caminhar com segurança, encontrar exatamente o que precisa e descobrir novos caminhos que você nem sabia que existiam. Ele é a ponte entre quem tem os dados e quem precisa deles para criar o futuro.

Resumo técnico

Resumo Técnico: SeDa

1. Problema Definido

O ecossistema de dados abertos expandiu-se rapidamente, resultando em uma fragmentação significativa entre plataformas de dados (governamentais, acadêmicas e industriais). Os principais desafios identificados são:

• Heterogeneidade: Diferenças profundas em formatos de dados, esquemas de metadados e granularidade organizacional entre plataformas.
• Descoberta Limitada: Sistemas existentes (como o Google Dataset Search ou ChatPD) frequentemente falham em fornecer uma visão unificada. Eles dependem excessivamente de metadados superficiais (títulos/descrições), carecem de mecanismos eficazes de navegação e organização por tópicos, e possuem cobertura limitada fora de contextos específicos (ex: apenas artigos científicos).
• Rastreabilidade e Confiabilidade: A "podridão de dados" (data rot), onde links de fontes de dados se tornam inativos, e a falta de garantia de proveniência dificultam a confiança nos resultados de busca.
• Necessidade de Exploração Sistêmica: Os usuários não buscam apenas um dataset específico, mas necessitam explorar recursos relacionados através de entidades contextuais (instituições, empresas, sites de hospedagem).

2. Metodologia e Arquitetura do Sistema

O SeDa (SelectDataset) é um framework unificado projetado para descoberta, anotação semântica e navegação aumentada por múltiplas entidades. A arquitetura é composta por três módulos principais:

A. Integração de Dados Multi-fonte (Inferência de Esquema)

• Coleta: O sistema realiza crawling em mais de 200 plataformas (ex: HuggingFace, Kaggle, DataCite, data.europa) e extrai menções de datasets de artigos científicos (arXiv) e da Common Crawl para capturar dados de cauda longa.
• Normalização: Utiliza Grandes Modelos de Linguagem (LLMs) para realizar a inferência de esquema. O sistema converte descrições brutas e heterogêneas em um esquema unificado, extraindo campos como nome, descrição, URL, tipo de dado e escala.
• Deduplicação: Um pipeline de três estágios elimina redundâncias:
  1. Correspondência de identificadores explícitos (nomes normalizados/URLs).
  2. Blocking baseado em hash (SimHash e LSH) para reduzir o espaço de busca.
  3. Correspondência de similaridade semântica (usando embeddings) para identificar duplicatas com variações lexicais ou estruturais entre plataformas.

B. Etiquetagem de Tópicos e Proveniência

• Grafo de Etiquetas (Tag Graph): Adapta o sistema LLM4Tag para criar um grafo de conhecimento que conecta datasets a tópicos.
  • Utiliza caminhos de recuperação Dataset-to-Tag (D2T), Dataset-to-Dataset-to-Tag (D2D2T) e Tag-to-Tag (T2T) baseado em co-ocorrência.
  • O LLM seleciona e refina duas etiquetas principais representativas para cada dataset, permitindo a evolução contínua do vocabulário de tópicos.
• Detecção de Links Mortos (Dead-link Detection): Um mecanismo adaptativo de nível de site monitora periodicamente a disponibilidade das URLs.
  • Atribui pesos aos sites baseados em escala, estabilidade histórica e atividade recente.
  • Se a taxa de sobrevivência de um site cair abaixo de um limiar, os datasets associados são temporariamente ocultados para garantir a rastreabilidade e confiabilidade.

C. Navegação Aumentada por Múltiplas Entidades

• O sistema expande os resultados de busca iniciais para além do dataset, integrando um espaço de conhecimento de três tipos de entidades: Sites (hospedagem), Instituições (produtores) e Empresas (comercialização).
• Utiliza o Elasticsearch (BM25) para a busca inicial e, em seguida, um LLM para agregar e resumir os datasets relacionados, as entidades de origem e o contexto, fornecendo uma visão estruturada e interpretável ao usuário.

3. Contribuições Principais

1. Integração Padronizada em Escala: Criação de um repositório unificado com mais de 7,6 milhões de registros de mais de 200 plataformas, superando a fragmentação de metadados através de inferência de esquema baseada em LLM.
2. Navegação Aumentada por Entidades: Introdução de um framework de recuperação que não se limita ao conteúdo do dataset, mas explora ativamente as relações com sites, instituições e empresas, permitindo descoberta contextual.
3. Anotação Automatizada e Proveniência: Implementação de um sistema de etiquetagem temática dinâmica e um mecanismo robusto de validação de links que garante a integridade e a rastreabilidade das fontes de dados.

4. Resultados Experimentais

• Integração de Dados: O sistema processou e integrou dados de fontes massivas (ex: 2,1M do DataCite, 1,76M do data.europa), resultando em um índice unificado após deduplicação.
• Avaliação de Relevância (Ablação):
  • A filtragem baseada em tópicos aumentou a relevância para subtemas em 84,40% (vs. 10,14% sem a etapa de refinamento).
  • A detecção de links mortos elevou a taxa de disponibilidade de links para 99,84%, comparado a 94,68% sem o módulo.
  • A navegação multi-entidade aumentou a descoberta de datasets em 10,9% em relação à busca direta.
• Comparação com Plataformas Existentes:
  • Em um teste de datasets recém-descobertos (Março-Agosto de 2025), o SeDa identificou 3.047 novos registros.
  • O ChatPD encontrou apenas 622 (e nenhum nos meses de julho/agosto), e o Google Dataset Search (GDS) encontrou 1.639.
  • O SeDa foi capaz de identificar datasets de fronteira (ex: SDSS-V DR19, LOONGBENCH) que estavam ausentes nas outras plataformas, demonstrando superioridade em atualidade e cobertura.

5. Significado e Impacto

O SeDa estabelece um novo paradigma para a descoberta de dados, transitando de uma busca baseada apenas em palavras-chave para uma exploração semântica e contextual.

• Confiabilidade: Ao integrar a verificação de proveniência e links ativos, o sistema mitiga o problema da desconfiança em dados abertos.
• Escalabilidade: A abordagem baseada em LLMs permite que o sistema se adapte a novas fontes e esquemas sem necessidade de reengenharia manual constante.
• Aplicabilidade: Serve como uma entrada estruturada e global para pesquisadores, engenheiros de dados e empresas, facilitando a localização de recursos para treinamento de modelos de IA, avaliação de tarefas e descoberta científica em diversos domínios.

Em suma, o SeDa preenche a lacuna entre a vasta quantidade de dados disponíveis e a capacidade dos usuários de encontrá-los, interpretá-los e confiar neles, oferecendo uma infraestrutura fundamental para a próxima geração de sistemas de inteligência artificial orientados a dados.