기술 요약: DiffSpot

문제 정의

비전 - 언어 모델 (VLM) 은 고수준의 이미지 - 텍스트 정렬 및 언어 기반 추론에서 상당한 진전을 이루었습니다. 그러나 세밀한 시각적 차이를 인지하는 능력은 여전히 제한적입니다. 이 한계는 GUI 에이전트 및 디자인 도구와 같이 렌더링된 웹 인터페이스에서 작동하는 시스템에 치명적입니다. 이러한 시스템은 화면이 변경되었는지뿐만 아니라 어떤 시각적 속성이, 어디에서, 그리고 변경이 의도된 요소에 국한되었는지까지 정확히 확인해야 하기 때문입니다.

기존 VLM 벤치마크는 웹 인터페이스를 위한 전용 "차이 찾기 (spot-the-difference)" 체제가 크게 부재합니다. 현재 접근 방식은 두 가지 병목 현상에 직면해 있습니다:

1. 데이터 부족: 실제 웹 페이지는 요소, 속성, 난이도 수준에 걸쳐 균형을 이루며, 하나의 작은 UI 속성만 달라지는 거의 동일한 전후 스크린샷을 제공하는 경우가 드뭅니다.
2. 주석 편향: 인간 라벨링은 선택적이고 주의력에 의존하여, 눈에 띄거나 의미론적으로 중요한 변화를 과대평가하는 반면 미묘한 속성 수준의 시각적 차이는 놓치는 경향이 있습니다.

방법론: DiffSpot 파이프라인

저자들은 웹 인터페이스에서의 오픈 엔디드 차이 찾기 작업을 위한 코드 기반 벤치마크인 DiffSpot을 소개합니다. 핵심 통찰력은 차이 구성을 이미지 공간에서 코드 공간으로 이동시키는 것입니다. 웹 인터페이스는 HTML/CSS에서 생성된 프로그래밍적 산물이므로, 시각적 차이는 렌더링 발생 전 정의되고 제어될 수 있습니다.

구축 파이프라인은 다섯 단계로 구성됩니다:

1. 코퍼스 큐레이션:

   • 시드 (Seeds) 는 Chrome User Experience Report 와 Majestic Top-1M 도메인 (2M 개 도메인) 에서 추출됩니다.
   • URL 은 사이트맵을 통해 확장되고 HTML 구조 지문으로 필터링되어 구조적 고유성을 보장합니다.
   • 페이지는 헤드리스 Chromium(1280×800 뷰포트) 에서 렌더링되며, 서드파티 종속성을 제거하기 위해 LLM 에 의해 재생성된 자체 포함 HTML 과 짝을 이룹니다.
   • 쌍은 CLIP 유사도 (≥0.70) 로 필터링되어 재생성된 HTML 이 원래 시각적 구조와 일치하도록 합니다.

2. 프로그래밍적 변이 (Mutation):

   • 시스템은 단일 대상 요소의 단일 CSS 속성에 원자적이고 국소화된 변이를 적용합니다.
   • 네 가지 계열에 걸쳐 13 가지 CSS 속성 연산자가 정의됩니다: 타이포그래피 (font_weight, font_size, letter_spacing, line_height, text), 색상 (color, opacity, gradient), 레이아웃 (position, spacing, justify), 모양 (border, rounded).
   • 변이는 Tailwind CSS 클래스 교체 또는 인라인 스타일 오버라이드를 통해 실행됩니다.
   • 난이도 계층화: 각 연산자는 변화의 크기 (예: 이산 속성의 경우 Tailwind 스케일 단계, 연속 속성의 경우 em 오프셋) 에 따라 Easy, Medium, Hard 등급으로 나뉩니다.

3. 그라운딩 게이트 검증:

   • 변이가 깨끗하고 국소화된 시각적 변화에 해당하는지 확인하기 위해 "그라운딩 게이트"가 렌더링된 결과를 검증합니다.
   • 세 가지 술어를 확인합니다:
     1. 효과성: 대상 바운딩 박스 (bbox) 내부의 픽셀 변화가 0 이 아님.
     2. 국소성: 대상 bbox 외부의 픽셀 변화가 0 임 (레이아웃 리플로우 오염 없음).
     3. 선택자 해결: 대상 요소가 DOM 에서 올바르게 해결되어야 함.
   • 모든 술어를 통과한 쌍만 유지됩니다.

4. 다듬기 및 필터링:

   • 구조화된 변이 레코드는 LLM 을 사용하여 자연어 설명으로 변환됩니다.
   • 콘텐츠 필터는 텍스트 잘림, 뷰포트 오버플로우, 또는 폰트 렌더링 문제가 있는 사례를 제거합니다.

5. 계층적 샘플링 및 No-Diff 제어:

   • 최종 데이터셋은 4,400 개의 이미지 쌍으로 구성됩니다:
     • 3,900 개 "has-diff" 쌍: 13 개 연산자 × 3 개 난이도 등급에 걸쳐 셀당 100 쌍.
     • 500 개 "no-diff" 쌍: 할루시네이션 비율을 측정하기 위해 두 번 렌더링된 동일한 스크린샷.

평가 설정

• 모델: 13 개의 최첨단 VLM 이 제로샷 (zero-shot) 으로 평가되었으며, 여기에는 독점 API(Gemini 3.1 Pro, GPT-5.4, Claude Opus 4.7) 와 오픈 가중치 모델 (Kimi K2.5, Qwen3.5-VL, GLM-4.6V, InternVL3.5) 이 포함됩니다.
• 작업: 모델은 전후 스크린샷을 제공받고 예시나 힌트 없이 모든 관찰된 시각적 차이를 나열하도록 요청받습니다.
• 지표:
  • 정확도 (Accuracy): (TP + TN) / 총계.
  • 재현율 (Recall): 식별된 실제 변이의 비율 (난이도 등급별로 세분화).
  • No-Diff 정확도 (특이도): 변경이 없는 쌍을 변경이 없는 것으로 올바르게 식별한 비율 (1 - 할루시네이션 비율).
• 판정: 응답은 시각적 효과 동등성 기준을 사용하여 paraphrasing 을 허용하는 LLM 판정자 (gpt-oss-120b) 에 의해 평가됩니다. 두 명의 다른 판정자를 통한 견고성 검증을 통해 순위 안정성이 확인되었습니다.

주요 결과

1. 세밀한 인지의 낮은 천장

가장 성능이 좋은 모델인 Gemini 3.1 Pro조차 실제 시각적 변화에 대해 40.7% 재현율만 달성했습니다.

• Hard 등급 재현율은 평가된 모든 모델에서 23% 미만이었습니다.
• 13 개 모델 중 7 개 모델이 전체 정확도 30% 미만으로 떨어졌습니다.
• 일부 모델 (예: InternVL3.5) 은 사소한 "항상 차이 없음" 기준선을 barely 초과하여, 정밀도 부족이 아니라 변화 감지 실패를 나타냈습니다.

2. 속성별 실패 모드

성능은 변화가 어디에 나타났는지보다 무엇이 변경되었는지에 크게 의존합니다.

• 높은 재현율 연산자: justify(Gemini 3.1 Pro 기준 87.0%), text(Claude Opus 4.7 기준 70.3%), opacity(Kimi K2.5 기준 58.3%) 는 더 쉽게 감지됩니다.
• 낮은 재현율 연산자: gradient(최대 26.7%), line_height(중앙값 4.0%), rounded(중앙값 13.3%) 는 여전히 매우 어렵습니다.
• 도메인 독립성: 재현율은 15 개 소스 도메인 간에 최소로 변동되었습니다 (최대 차이 7.1%p). 반면 연산자 간 변동은 유의미했습니다. 이는 능력 격차가 도메인 특이적이 아니라 속성 특이적임을 시사합니다.

3. 시각적 크기가 난이도를 예측하지 못함

이 논문은 픽셀 크기나 CLIP 거리가 모델 성능을 신뢰성 있게 예측하지 못함을 보여줍니다:

• 픽셀 변화: 큰 픽셀 변화를 가진 연산자 (예: gradient, line_height) 는 종종 낮은 재현율을 보이는 반면, 작은 픽셀 변화를 가진 연산자 (예: text, position) 는 높은 재현율을 보입니다. 상관관계 $r \approx -0.08$.
• CLIP 거리: CLIP 임베딩 거리는 압축되어 있으며 재현율과 거의 0 에 가까운 상관관계 ($r \approx +0.06$) 를 보입니다.
• 결론: 모델은 단순히 큰 이미지 차이를 감지하지 못하는 것이 아니라, 특정 CSS 수준의 시각적 속성을 인지하고 명명하는 데 어려움을 겪고 있습니다.

4. 민감도 - 억제 트레이드오프

"no-diff" 쌍은 중요한 트레이드오프를 드러냈습니다:

• 공격적 보고자: GLM-4.6V-Flash 와 같은 모델은 no-diff 쌍의 24.2% 에서 변화를 할루시네이션했습니다.
• 과도한 보수주의: InternVL3.5 와 같은 모델은 거의 아무것도 보고하지 않아 100% 특이도를 달성했으나 재현율은 거의 0 이었습니다.
• 파레토 프론티어: 세 개의 독점 모델 (Gemini 3.1 Pro, Claude Opus 4.7, GPT-5.4) 만 "정확하고 억제된" 영역 (재현율 ≥30%, 할루시네이션 ≤5%) 에 도달했습니다. 오픈 가중치 모델은 이 균형을 달성하지 못했습니다.

5. 확장 및 추론

• 추론 모드: Qwen3-VL 계열의 경우 "Thinking" 모드로 전환하는 것은 30B 에서가 아니라 더 큰 규모 (235B 파라미터) 에서만 성능을 크게 향상시켰습니다.
• 확장: 파라미터 크기만 증가시키는 것 (예: Instruct 모드에서 Qwen3-VL 30B 에서 235B 로) 은 성능을 향상시키지 못했습니다. 이는 이 작업에 대해 특정 아키텍처 또는 훈련 조정 없이 규모만 늘리는 것은 불충분함을 시사합니다.

중요성과 주장

이 논문은 DiffSpot이 렌더링된 웹 인터페이스에 대한 오픈 엔디드 차이 찾기를 위한 최초의 벤치마크라고 주장합니다. 그 중요성은 다음과 같습니다:

1. 방법론적 전환: 인간이 주석을 단 이미지 쌍에서 코드 기반 프로그래밍적 변이로 이동함으로써 통제되고 균형 잡히며 편향 없는 진실 (ground truth) 을 보장합니다.
2. 진단 정밀도: 현재 VLM 은 세밀한 시각적 인지에서 취약하며, 성능이 변이된 특정 CSS 속성에 크게 좌우됨을 드러냅니다.
3. 실용적 관련성: 이 벤치마크는 GUI 에이전트 및 디자인 도구의 요구 사항을 직접적으로 다루며, 현재 모델이 국소화된 UI 변경 사항을 신뢰할 수 있게 검증할 수 없음을 강조합니다.
4. 평가 엄격성: "no-diff" 제어를 포함함으로써 실제 시각적 민감도와 할루시네이션을 분리하여, 집계 지표가 종종 숨기는 민감도 - 억제 트레이드오프를 노출합니다.

저자들은 웹 인터페이스에서의 세밀한 시각적 차이 감지는 "아직 해결되지 않았다"고 결론지으며, 가장 강력한 모델조차 특히 Hard 등급 시나리오에서 실제 시각적 변화 5 개 중 약 3 개를 놓치고 있다고 말합니다.