Resumo Técnico: WCXB – Um Benchmark de Extração de Conteúdo Web Multi-Tipo

Declaração do Problema

A extração de conteúdo web — o processo de isolar o conteúdo principal de uma página do ruído circundante (navegação, anúncios, rodapés) — é um pré-requisito crítico para indexação de busca, geração aumentada por recuperação (RAG), construção de conjuntos de dados de PNL e treinamento de modelos de linguagem grandes (LLM). Apesar de sua importância, o progresso neste campo tem sido limitado pelas restrições dos benchmarks de avaliação existentes. Os conjuntos de dados atuais são tipicamente pequenos (100–800 páginas), restritos quase exclusivamente a artigos de notícias, ou baseados em estruturas HTML de mais de uma década atrás.

Crucialmente, os benchmarks existentes falham em considerar a diversidade estrutural da web moderna. Um rastreador web encontra páginas de produto com especificações estruturadas, fóruns com posts de usuários aninhados, documentação com blocos de código e páginas de serviço com seções de conteúdo distribuídas. Heurísticas otimizadas para extração de artigos falham previsivelmente nesses outros tipos, mas nenhum benchmark existente avalia o desempenho de extração através dessas categorias estruturais distintas. Esse viés "apenas artigos" obscurece lacunas de desempenho significativas e pontos cegos nos sistemas de extração atuais.

Metodologia

O Conjunto de Dados WCXB

Os autores introduzem o Benchmark de Extração de Conteúdo Web (WCXB), um conjunto de dados compreendendo 2.008 páginas web de 1.613 domínios únicos. O conjunto de dados é dividido em um conjunto de desenvolvimento de 1.497 páginas e um conjunto de teste retido de 511 páginas, com distribuições de tipo de página correspondentes para garantir validação de generalização.

Taxonomia de Tipos de Página:
Ao contrário de trabalhos anteriores que classificam páginas por conteúdo semântico, o WCXB define sete tipos de página baseados em características estruturais HTML que ditam a estratégia de extração:

1. Artigo: Único container de conteúdo com parágrafos sequenciais.
2. Fórum: Múltiplos posts de usuários com controles de votação e metadados.
3. Produto: Dados estruturados (JSON-LD), especificações e preços.
4. Coleção: Grades de produtos com painéis de filtro e paginação.
5. Listagem: Elementos de cartão repetidos com resumos.
6. Documentação: Blocos de código, navegação na barra lateral e conteúdo versionado.
7. Serviço: Layouts multi-seção (destaque, recursos, depoimentos) distribuídos através de elementos <section> independentes.

Pipeline de Anotação

As anotações de verdade fundamental foram geradas através de um pipeline rigoroso de cinco estágios para garantir alta qualidade:

1. Rascunho assistido por LLM: Um LLM (Claude) gera extrações iniciais, excluindo navegação e ruído.
2. Verificação automatizada: Scripts verificam codificação, validade do esquema JSON e limites de conteúdo.
3. Revisão por modelo de fronteira: Quatro passagens independentes por agentes Claude Opus revisam completude do conteúdo, limites, metadados e consistência.
4. Verificação de snippets e qualidade: Scripts automatizados verificam se os snippets "com" (obrigatórios) aparecem na extração e se os snippets "sem" (ruído) estão ausentes.
5. Revisão humana: Um anotador humano arbitra discordâncias e realiza garantia de qualidade final.

As anotações incluem o conteúdo principal como texto simples, juntamente com snippets de texto específicos "com" (deve-incluir) e "sem" (deve-excluir) para avaliar precisão e recall ao nível da frase.

Sistemas e Métricas de Avaliação

O artigo avalia 13 sistemas de extração: 11 heurísticos (incluindo sistemas baseados em regras e híbridos regra+ML como rs-trafilatura, Resiliparse, Trafilatura) e 2 sistemas neurais (MinerU-HTML e ReaderLM-v2).

Métricas:

• F1 ao nível de palavra: Calculado em bolsas de palavras tokenizadas (minúsculas, divididas por não-alfanuméricos) para medir sobreposição de conteúdo, evitando penalidades por diferenças de espaço em branco ou ordenação de parágrafos.
• Métricas baseadas em snippets: "Recall com" (completude do conteúdo) e "Inclusão sem" (contaminação por ruído).
• Velocidade: Medida em milissegundos por página.

Resultados Principais

Desempenho Geral

No conjunto de desenvolvimento, o rs-trafilatura (um sistema híbrido regra+ML) alcançou a maior pontuação F1 geral de 0,859, processando páginas em 44ms. O sistema neural MinerU-HTML seguiu de perto com 0,827, enquanto o ReaderLM-v2 (1,5B de parâmetros) teve desempenho inferior a vários sistemas heurísticos com um F1 de 0,741.

A Lacuna "Artigo vs. Estrutura"

A descoberta mais significativa é a divergência no desempenho baseada no tipo de página:

• Artigos: O desempenho está saturado. Todos os principais sistemas convergem com pontuações F1 entre 0,871 e 0,932. A lacuna entre o melhor heurístico e o melhor sistema neural é insignificante (0,4 pontos).
• Tipos Estruturados: O desempenho diverge drasticamente.
  • Fóruns: F1 varia de 0,520 a 0,794 (dispersão de 27,4 pontos).
  • Coleções: F1 varia de 0,415 a 0,713 (dispersão de 29,8 pontos).
  • Produtos: F1 varia de 0,464 a 0,670 (dispersão de 20,6 pontos).
  • Páginas de Serviço: F1 varia de 0,708 a 0,843.

Generalização e Validação Cruzada de Benchmark

• Generalização: Quando avaliado no conjunto de teste retido, todos os sistemas mostraram um deslocamento uniforme para cima no desempenho (provavelmente devido a anotações de teste mais limpas e uma proporção ligeiramente maior de artigos), mas o ranking relativo dos principais sistemas permaneceu estável.
• Cruzamento de Benchmark: No benchmark ScrapingHub, focado apenas em artigos, os principais sistemas alcançaram pontuações F1 próximas de 0,96. No entanto, no WCXB, o F1 geral caiu para 0,859. Os autores observam que a lacuna de 7,3 pontos entre o desempenho apenas em artigos e o desempenho multi-tipo quantifica o "ponto cego" dos benchmarks existentes.

Neural vs. Heurístico

Contrariando a suposição de que modelos neurais generalizam melhor, os resultados mostram que os sistemas neurais herdam o mesmo viés de artigo que os sistemas heurísticos. O MinerU-HTML ficou atrás do melhor heurístico em 6 dos 7 tipos de página, e o ReaderLM-v2 teve desempenho inferior a três sistemas heurísticos no geral. O tamanho maior do modelo não correlacionou-se com melhor desempenho em tipos estruturados.

Significado e Alegações

O artigo afirma que a extração de artigos é amplamente um problema resolvido, com tetos de desempenho alcançados para arquiteturas atuais. Consequentemente, o progresso futuro na extração de conteúdo web deve vir do tratamento de tipos de página estruturados (fóruns, produtos, coleções, etc.), que permanecem problemas abertos com lacunas de desempenho de 20–30 pontos entre os sistemas.

Os autores afirmam que:

1. Os benchmarks existentes são insuficientes: Eles mascaram falhas críticas em páginas não-artigo, levando a uma falsa sensação de progresso.
2. Abordagens neurais não resolveram a diversidade: Os extratores baseados em LLM atuais não generalizam melhor para variações estruturais e frequentemente têm desempenho inferior a métodos heurísticos mais rápidos.
3. Taxonomia estrutural é essencial: Estratégias de extração devem ser impulsionadas por propriedades estruturais HTML (por exemplo, tratamento de JSON-LD, mesclagem multi-seção) em vez de categorias de conteúdo semântico.

O conjunto de dados WCXB, lançado sob CC-BY-4.0, fornece a infraestrutura necessária (tipos de página diversos, verdade fundamental e baselines) para impulsionar a pesquisa rumo a sistemas de extração conscientes de tipo que possam lidar com a complexidade total da web moderna.