LiveWeb-IE: A Benchmark For Online Web Information Extraction

1. O Problema

A Extração de Informações da Web (WIE - Web Information Extraction) é uma tarefa crucial para análise de dados e tomada de decisão. No entanto, a avaliação atual de sistemas de WIE enfrenta limitações fundamentais:

• Paradigma Offline e Estático: Os benchmarks existentes (como SWDE, WEIR) baseiam-se em "snapshots" (instantâneos) de HTML capturados em um único momento no tempo.
• Falha de Generalização: A web é um ambiente dinâmico onde layouts e estruturas HTML mudam constantemente. Sistemas que performam bem em snapshots estáticos frequentemente falham em sites ao vivo (live websites) devido a essas mudanças estruturais.
• Dependência Excessiva do HTML: Métodos baseados em LLMs que processam o HTML bruto ou geram wrappers (seletores XPath) baseados apenas na estrutura do DOM tendem a ser frágeis. O HTML é frequentemente verboso e ruidoso, dificultando a extração precisa sem o contexto visual.
• Escopo Limitado: A maioria dos benchmarks foca apenas em extração de texto, ignorando dados não textuais essenciais em cenários reais, como imagens e hiperlinks.

2. Metodologia

O artigo propõe duas contribuições principais para abordar essas lacunas: um novo benchmark e um novo framework de extração.

A. LIVEWEB-IE: O Benchmark

O LIVEWEB-IE é o primeiro benchmark projetado especificamente para avaliar sistemas de WIE diretamente em sites ao vivo.

• Construção Ética e Diversa: Baseia-se em 15 sites com permissão explícita de administração, cobrindo 8 domínios (acadêmico, e-commerce, esportes, etc.).
• Estabilidade de Conteúdo vs. Layout: Os dados são curados para garantir que os valores factuais (o "ground truth") permaneçam estáveis ao longo do tempo, mesmo que o layout visual e a estrutura HTML do site mudem. Isso permite uma avaliação justa da robustez do sistema.
• Consultas Orientadas por NLP: Utiliza consultas em linguagem natural que podem solicitar a extração de texto, imagens e hiperlinks.
• Níveis de Complexidade: As tarefas são categorizadas em quatro níveis baseados no número de atributos e na cardinalidade dos valores:
  • Tipo I: 1 atributo, 1 valor.
  • Tipo II: Múltiplos atributos, 1 valor cada.
  • Tipo III: 1 atributo, lista de valores.
  • Tipo IV: Múltiplos atributos, listas de valores.

B. VGS (Visual Grounding Scraper): O Framework

Para superar as limitações dos métodos baseados puramente em HTML, os autores propõem o VGS, um framework multi-estágio que imita o processo cognitivo humano de busca de informações. O VGS não processa o HTML completo imediatamente; ele usa um modelo de linguagem visual (VLM) para filtrar o ruído.

O fluxo de trabalho do VGS consiste em quatro etapas sequenciais:

1. Identificação de Atributos: Um LLM decompõe a consulta do usuário em uma lista estruturada de atributos alvo.
2. Ancoragem Visual (Visual Grounding): O VLM analisa a página renderizada (captura de tela) dividida em regiões verticais para identificar qual região contém o atributo desejado, ignorando o resto da página.
3. Apontamento de Elementos (Element Pinpointing): Dentro da região relevante, o VLM utiliza Set-of-Mark Prompting (caixas delimitadoras numeradas sobrepostas) para identificar e selecionar os elementos exatos (texto, tags <img>, tags <a>) que contêm os valores.
4. Síntese de XPath: Com base nas caixas delimitadoras validadas e em segmentos locais de HTML (contexto vizinho), o VLM gera seletores XPath robustos e generalizáveis para extrair os dados.

3. Contribuições Principais

1. Novo Benchmark Online (LIVEWEB-IE): Preenche a lacuna entre a avaliação offline estática e a realidade dinâmica da web, oferecendo uma métrica realista para a robustez de sistemas de extração.
2. Framework Baseado em Visão (VGS): Introduz uma mudança metodológica, demonstrando que o uso de contexto visual para filtrar ruído e localizar elementos é superior à análise puramente estrutural do HTML para a geração de wrappers.
3. Avaliação Abrangente: Inclui dados multimodais (texto, imagem, link) e tarefas de complexidade variada, permitindo uma análise granular do desempenho.

4. Resultados Experimentais

Os experimentos foram conduzidos com diversos modelos base (LLMs proprietários como GPT-4o, Gemini e modelos open-source como Qwen e Gemma).

• Desempenho Superior: O VGS superou consistentemente os métodos baselines (CoT, Reflexion, AutoScraper) em todos os tipos de tarefas no LIVEWEB-IE.
  • Em tarefas complexas (Tipo III e IV), a melhoria foi drástica. Por exemplo, com o GPT-4o, o VGS superou o AutoScraper em 36,28% no F1-score para tarefas Tipo III.
• Robustez em Benchmarks Existentes: O VGS também obteve resultados state-of-the-art em benchmarks tradicionais (SWDE, Expanded SWDE), especialmente com modelos menores, provando que a abordagem baseada em visão não prejudica o desempenho em dados estáticos.
• Análise de Degradação: O estudo mostrou que métodos baseados em HTML sofrem uma degradação média de mais de 15% no F1-score quando aplicados a versões evoluídas de sites (ao vivo) em comparação com seus snapshots originais. O VGS reduziu essa degradação para cerca de 8%, demonstrando maior resiliência.
• Limitação Humana: Mesmo o melhor modelo (VGS com GPT-4o) ficou significativamente abaixo do desempenho humano (gap de ~38% no F1-score), indicando que o benchmark é desafiador e que há espaço para avanços futuros.

5. Significância e Impacto

• Mudança de Paradigma de Avaliação: O trabalho estabelece que a avaliação de sistemas de extração web deve ser feita em ambientes ao vivo para refletir a realidade, e não apenas em snapshots estáticos.
• Validação da Abordagem Multimodal: Demonstra que, para tarefas de interação complexa com a web, a integração de visão computacional (para entender o layout renderizado) com modelos de linguagem é superior à análise puramente sintática do código HTML.
• Direção Futura: O benchmark e o framework fornecem uma base sólida para o desenvolvimento de agentes web mais práticos e robustos, capazes de lidar com a evolução contínua da estrutura da web sem necessidade de manutenção manual constante de regras de extração.

Em resumo, o artigo argumenta que a extração de informações da web não pode mais ser tratada como um problema puramente estrutural de HTML, mas sim como um problema multimodal que requer compreensão visual para navegar com sucesso em um ambiente web dinâmico e em constante mudança.