기술 요약: PIXELRAG

문제 정의

검색 증강 생성(Retrieval-Augmented Generation, RAG)은 대규모 언어 모델(LLM)을 외부 지식에 접지(grounding)시키기 위한 지배적인 패러다임이 되었으며, 특히 오픈 도메인 질의응답 및 검색 증강 에이전트 분야에서 그러하다. 그러나 현재의 시스템들은 매우 중요함에도 불구하고 종종 간과되는 전처리 단계인 HTML-to-text 파싱에 의존하고 있다.

기존 파이프라인은 파서(예: Trafilatura, mwparserfromhell)를 사용하여 원시 웹 페이지에서 깨끗한 텍스트를 추출한다. 저자들은 이 과정이 본질적으로 **정보 손실이 크고 취약하다(lossy and brittle)**고 주장한다:

1. 정보 손실: 파서는 시각적 단서(강조, 레이아웃), 구조화된 콘텐츠(표, 차트, 인포박스), 그리고 이미지를 버린다.
2. 구조적 퇴화: 2D 레이아웃을 1D 토큰 시퀀스로 변환하는 것은 공간적 그룹화와 계층 구조를 평탄화하여, 검색기가 주변 텍스트와 답변을 포함하는 영역을 구분하기 어렵게 만든다.
3. 파서 가변성: 파서의 선택은 다운스트림 성능에 상당한 영향을 미치며, 서로 다른 추출기는 복구 가능한 다양한 양의 텍스트를 버리게 된다.

본 논문은 웹이 본래 시각적(visual)이기 때문에, RAG는 텍스트 추상화에 의존하는 대신 **픽셀 공간(pixel space)**에서 직접 작동해야 한다고 상정한다.

방법론: PIXELRAG

PIXELRAG는 웹 스케일에서 완전히 픽셀 공간에서 작동하는 최초의 엔드 투 엔드(end-to-end) RAG 시스템이다. 이 시스템은 HTML 파싱을 완전히 우회하여 웹사이트를 렌더링된 스크린샷으로 표현한다. 파이프라인은 세 가지 주요 단계로 구성된다:

1. 데이터 수집 및 타일링(Tiling)

• 오프라인 렌더링: 수백만 페이지(예: 700만 개의 위키피디아 문서)로 확장하기 위해, 시스템은 페칭(fetching)과 렌더링을 분리한다. 자산(HTML, CSS, 이미지)은 먼저 로컬에 캐싱된다(예: Kiwix ZIM 아카이브 또는 비동기 크롤링을 통해).
• 렌더링: 페이지는 고정된 뷰포트 너비(875px)에서 Playwright(headless Chromium)를 사용하여 오프라인으로 렌더링된다. 비콘텐츠 요소(내비게이션, 사이드바)는 제거된다.
• 타일링: 전체 페이지 스크린샷은 겹치지 않는 타일(높이 1024px)로 슬라이스된다. 이를 통해 위키피디아에서는 약 3,000만 개의 타일을, 뉴스 코퍼스에서는 약 360만 개의 타일을 얻는다.

2. 인덱스 구축

• 시각적 임베딩: 시스템은 규모 관리를 위해 단일 벡터 검색 방법을 사용한다(3,000만 개 타일). 각 타일을 2048차원 벡터로 인코딩하기 위해 Qwen3-VL-Embedding 모델(2B 파라미터)을 채택한다.
• 대조 학습 미세 조정(Contrastive Fine-Tuning): 베이스 임베딩 모델은 합성 대조 학습 파이프라인을 통해 스크린샷 데이터스토어에 대해 미세 조정된다:
  • 합성 쿼리 생성: LLM이 타일의 시각적 콘텐츠를 기반으로 자연어 질문을 생성하며, 이때 정답이 시각적으로 완전히 드러나도록 보장한다.
  • 동적 하드 네거티브 마이닝(Dynamic Hard-Negative Mining): 시스템은 쿼리에 대해 상위 K개의 후보를 검색한다. LLM이 판사 역할을 하여 "거짓 부정(false negatives, 질문에 답할 수 있는 타일)"을 필터링하고, "하드 네거티브(topically related but non-answering tiles, 주제는 관련 있으나 답은 없는 타일)"를 유지한다.
  • 학습: 모델은 LLM 백본과 ViT(Vision Transformer) 모두에 대해 LoRA를 사용하여 미세 조정되며, 이를 통해 표 구조와 같은 미세한 시각적 디테일을 구별하는 능력을 향상시킨다.
• 인덱싱: FAISS IVF 인덱스가 근사 최근접 이웃(approximate nearest-neighbor) 검색을 지원하여 효율적인 검색과 점진적 업데이트를 가능하게 한다.

3. 런타임 검색 및 생성

• 쿼리 처리: 사용자 쿼리는 동일한 시각적 임베딩 모델을 사용하여 임베딩된다.
• 검색: 코사인 유사도에 따라 상위 K개의 스크린샷 타일이 검색된다.
• 생성: 검색된 타일들은 중간 텍스트 변환 없이 직접 픽셀 입력으로서 시각-언어 모델(VLM) 리더(예: Qwen3.5-4B)에 전달되어 답변을 생성한다.

주요 기여

1. 최초의 웹 스케일 픽셀 RAG: PIXELRAG는 HTML-to-text 파싱 단계를 제거하고 전체 위키피디아 코퍼스(700만 개 문서, 3,000만 개 타일) 및 뉴스 코퍼스 상에서 완전히 픽셀 공간에서 작동하는 최초의 시스템이다.
2. 확장 가능한 파이프라인 및 학습: 저자들은 합성 QA 쌍과 동적 하드 네거티브 마이닝을 사용하는 확장 가능한 오프라인 렌더링 파이프라인과 대조 학습 레시피를 개발하여 시각적 임베딩 모델을 웹 스크린샷에 적응시켰다.
3. 성능 우위: 본 시스템은 다양한 벤치마크(텍스트 중심 작업인 NQ, SimpleQA 및 멀티모달 작업인 MMSearch, LiveVQA 포함)에서 픽셀 공간 검색이 텍스트 기반 RAG 베이스라인보다 일관되게 우수한 성능을 보임을 입증한다.
4. 압축을 통한 효율성: 본 논문은 이미지 해상도를 새로운 효율성 레버로 식별한다. VLM 리더가 낮은 해상도를 견딜 수 있도록 학습함으로써, PIXELRAG는 정확도를 유지하면서 최대 3배의 토큰 비용 절감을 달전한다.

실험 결과

본 논문은 6개의 벤치마크에 대해 "검색 없음(No Retrieval)" 및 텍스트 기반 RAG 베이스라인(Trafilatura 및 mwparserfromhell 파서 사용)을 대상으로 PIXELRAG를 평가한다:

• 텍스트 중심 작업 (NQ, SimpleQA): 놀랍게게도 PIXELRG는 질문이 텍스트만으로 답변 가능한 작업에서도 텍스트 기반 RAG를 능가한다.
  • SimpleQA에서 PIXELRAG(미세 조정됨)는 **78.8%**의 정확도를 달성하여, 최상의 텍스트 베이스라인(Trafilatura, 71.6%)을 앞질렀다.
  • NQ-Tables에서 격차는 상당하다(48.8% vs 35.9%). 이는 파서가 파괴하는 표 구조를 보존했기 때문이다.
• 멀티모달 및 노이즈가 있는 작업:
  • LiveVQA (노이즈가 있는 뉴스 코퍼스): PIXELRAG는 텍스트 베이스라인 대비 정확도를 11.3% 개선했다.
  • MMSearch 및 Encyclopedic VQA: PIXELRAG는 특히 검색 재현율(recall) 측면에서 강력한 이득을 보인다 (예: EVQA에서 +5배).
• 실패 분석: 저자들은 텍스트 기반 RAG의 세 가지 실패 모드를 식별했다:
  1. 파서 손실(Parser Loss): 구조화된 콘텐츠(표)가 평탄화되거나 완전히 소실된다.
  2. 순위 손실(Rank Loss): 답변을 담은 텍스트가 존재하지만, "인포박스 배치(infobox displacement)"로 인해 순위가 낮게 매겨진다 (선형화된 인포박스는 키워드는 일치하지만 특정 답은 결여됨).
  3. 리더 손실(Reader Loss): 선형화된 리스트/표가 행(row)을 헤더(header)에 매핑하는 리더의 능력을 혼란스럽게 한다.
     PIXELRAG는 2D 시각적 구조를 보존함으로써 이를 완화한다.
• 확장성: 성능은 VLM의 능력에 따라 확장된다. 더 강력한 시각적 텍스트 읽기 능력을 갖춘 모델(예: Qwen3-VL-4B 이상)은 픽셀 검색이 텍스트 검색을 추월하는 교차 지점을 보여준다.
• 에이전틱 검색(Agentic Search): 멀티홉 QA 벤치마크인 MoNaCo에서 PIXELRAG는 검색 단계당 정보 밀도가 더 높기 때문에 가장 낮은 비용(텍스트 베이스라인보다 2~4배 저렴)으로 가장 높은 F1 점수를 달성한다.

의의 및 주장

본 논문은 웹 RAG가 웹의 고유한 시각적 형태에서 직접 작동할 수 있음을 주장하며, 텍스트 표현의 필요성에 도전한다.

• 성능: 픽셀 표현은 텍스트 파서가 필연적으로 저하시키는 결정적인 2D 구조적 단서(표, 인포박스, 레이아웃)를 보존하여, 검색 및 생성 정확도를 높인다.
• 효율성: 이미지 압축은 정확도를 희생하지 않으면서도 상당한 토큰 비용 절감을 가능하게 하여, RAG 시스템을 최적화하는 새로운 차원을 제공한다.
• 패러다임 전환: VLM이 픽셀로 렌더링된 텍스트를 읽는 능력이 계속 발전함에 따라, 픽셀 기반 RAG와 텍스트 기반 RAG 사이의 격차는 더욱 벌어질 것이며, 이는 웹 스케일 지식을 위한 네이티브 시각적 검색으로의 전환을 시사한다.

저자들은 현재의 LLM에게 텍스트 파싱이 필수적인 전처리 단계였을지라도, VLM의 발전은 픽셀 네이티브 파이프라인을 실현 가능할 뿐만 아니라 성능과 효율성 모두에서 우수하게 만든다고 결론짓는다.