1. 문제 정의 (Problem)

웹 정보 추출 (Web Information Extraction, WIE) 은 웹 페이지에서 자동으로 데이터를 추출하는 작업으로, 다양한 응용 분야에서 필수적입니다. 그러나 기존 WIE 시스템의 평가 방식에는 다음과 같은 근본적인 한계가 존재합니다.

• 오프라인 평가의 비실용성: 기존 벤치마크는 특정 시점에 캡처된 정적 HTML 스냅샷 (Static HTML Snapshots) 을 기반으로 구축되었습니다. 그러나 실제 웹은 시간의 흐름에 따라 레이아웃과 구조가 끊임없이 진화합니다.
• 성능 일반화 실패: 정적 벤치마크에서 높은 성능을 보이는 모델이 실제 동적인 웹 환경 (Live Web) 에 적용될 때 성능이 급격히 저하되는 현상이 발생합니다. 저자들은 이에 대한 실증적 분석을 통해, 구조가 변형된 동일한 웹사이트에 대해 LLM 기반 래퍼 (Wrapper) 생성 방법의 F1 점수가 평균 15% 이상 하락함을 확인했습니다.
• 데이터 범위의 제한: 기존 벤치마크는 주로 텍스트 추출에 집중되어 있으며, 이미지나 하이퍼링크와 같은 비텍스트 데이터 추출을 고려하지 못했습니다. 또한, 단일 속성 추출에 그쳐 복잡한 다중 속성 및 리스트 추출 과제를 다루지 못했습니다.

2. 제안 방법: LIVEWEB-IE 벤치마크 및 VGS 프레임워크

저자들은 이 격차를 해소하기 위해 LIVEWEB-IE라는 새로운 온라인 벤치마크와 이를 해결하기 위한 시각적 그라운딩 스크래퍼 (Visual Grounding Scraper, VGS) 프레임워크를 제안했습니다.

A. LIVEWEB-IE 벤치마크

• 온라인 평가 (Live Web Evaluation): 정적 스냅샷이 아닌, 평가 시점의 실제 라이브 웹사이트 (Live Websites) 에 직접 접근하여 시스템을 평가합니다.
• 신뢰할 수 있는 데이터 소스: 8 개의 다양한 도메인 (학술, 전자상거래, 스포츠 등) 에 속한 15 개의 웹사이트를 선정했습니다. 사이트 운영자의 명시적 동의를 얻었으며, 콘텐츠의 사실적 안정성 (Fact-based stability) 을 확보하여 시간이 지나도 정답 (Ground-truth) 이 변하지 않도록 설계했습니다.
• 다양한 데이터 카테고리: 텍스트뿐만 아니라 이미지와 하이퍼링크 추출을 포함한 자연어 기반의 온디맨드 (On-demand) 정보 추출 태스크를 제공합니다.
• 다차원 복잡도 수준: 추출할 속성의 수와 값의 카디널리티 (단일 항목 vs 리스트) 에 따라 4 가지 복잡도 수준 (Type I ~ IV) 으로 태스크를 분류하여 세밀한 평가를 가능하게 합니다.

B. VGS (Visual Grounding Scraper) 프레임워크

기존의 HTML 파싱에 의존하는 방식의 한계를 극복하기 위해, 인간이 웹 페이지에서 정보를 찾는 인지 과정을 모방한 다단계 에이전트 프레임워크를 제안했습니다.

1. 속성 식별 (Attribute Identification): LLM 을 사용하여 자연어 쿼리를 구조화된 추출 대상 속성 집합으로 변환합니다.
2. 시각적 그라운딩 (Visual Grounding): 렌더링된 웹 페이지의 스크린샷을 세그먼트화하여, 각 속성이 위치할 가능성이 높은 **영역 (Region)**을 시각 언어 모델 (VLM) 로 식별합니다. 이를 통해 불필요한 HTML 노이즈를 제거합니다.
3. 요소 지점 찾기 (Element Pinpointing): 식별된 영역 내에서 구체적인 대상 요소 (Bounding Box) 를 시각적으로 찾아냅니다. Set-of-Mark prompting 기법을 사용하여 후보 요소에 라벨을 붙이고, VLM 이 정확한 값을 가진 요소를 선택하도록 합니다.
4. XPath 합성 (XPath Synthesis): 시각적 증거와 국소화된 HTML 컨텍스트를 기반으로 일반화 가능한 XPath 를 생성하여 재사용 가능한 래퍼를 만듭니다.

3. 주요 기여 (Key Contributions)

1. 온라인 WIE 를 위한 새로운 벤치마크: 정적 스냅샷의 한계를 극복하고, 라이브 웹 환경에서의 시스템 성능을 평가할 수 있는 LIVEWEB-IE 를 최초로 도입했습니다.
2. 비전 기반 스크래핑 프레임워크: HTML 구조에 과도하게 의존하지 않고, 렌더링된 페이지의 시각적 단서를 활용하여 인간과 유사한 방식으로 정보를 필터링하고 추출하는 VGS 를 제안했습니다.
3. 광범위한 평가 및 검증: 다양한 베이스라인 모델 (Proprietary 및 Open-Source LLM) 을 대상으로 실험하여 VGS 의 효과성을 입증했습니다.

4. 실험 결과 (Results)

• LIVEWEB-IE 성능: VGS 는 기존 벤치마크 (SWDE 등) 에서도 최상위 성능을 보였으나, 특히 LIVEWEB-IE 와 같은 복잡한 라이브 웹 환경에서 기존 방법들 (CoT, Reflexion, AutoScraper) 보다 월등히 우수한 성능을 기록했습니다.
  • GPT-4o 를 베이스로 했을 때, Type III 및 Type IV 과제의 F1 점수에서 AutoScraper 대비 각각 36.28%, 34.58% 향상된 결과를 보였습니다.
  • 복잡한 태스크 (다중 속성, 리스트 추출) 일수록 시각적 그라운딩의 이점이 뚜렷하게 나타났습니다.
• 기존 벤치마크에서의 강건성: SWDE 및 Expanded SWDE 와 같은 기존 오프라인 벤치마크에서도 VGS 는 모든 베이스라인 모델을 능가하는 성능을 보여주었으며, 특히 소형 모델 (Gemma-3-4B, Qwen-2.5-7B) 에서 성능 향상이 두드러졌습니다.
• 성능 저하 분석: 라이브 웹 환경으로 전환 시 기존 방법들은 평균 15% 이상의 F1 점수 하락을 보인 반면, VGS 는 약 8% 미만의 하락으로 구조적 진화에 더 강건함을 입증했습니다.
• 한계점: 여전히 인간 전문가의 성능 (F1 약 86~87%) 에는 미치지 못하며, 비텍스트 데이터 (이미지, 링크) 추출 시 성능이 텍스트보다 낮아 향후 개선이 필요한 영역으로 확인되었습니다.

5. 의의 및 결론 (Significance)

이 연구는 웹 정보 추출 분야의 평가 패러다임을 정적 오프라인 평가에서 동적 온라인 평가로 전환하는 계기를 마련했습니다.

• 실용적 시스템 개발: 실제 웹의 구조적 변화를 견딜 수 있는 견고한 (Robust) WIE 시스템 개발의 기초를 제공합니다.
• 방법론적 전환: HTML 텍스트 파싱에만 의존하던 기존 접근법에서, **시각적 컨텍스트 (Visual Context)**를 활용하여 노이즈를 필터링하고 정확한 요소를定位하는 새로운 방법론을 제시했습니다.
• 미래 연구 방향: 비텍스트 데이터 추출 능력 향상, 다국어 지원, 그리고 더 역동적인 데이터 (실시간 주가 등) 를 포함하는 벤치마크 확장 등 향후 연구 방향을 제시했습니다.

결론적으로, LIVEWEB-IE와 VGS는 실제 웹 환경에서 작동하는 신뢰할 수 있고 확장 가능한 정보 추출 시스템 구축을 위한 필수적인 토대를 제공합니다.