A Cross-Model VLM-Judge Protocol for Single-Image 3D Mesh Quality (and Why Cheap Proxies Fall Short)

기술 요약: 단일 이미지 3D 메쉬 품질 측정을 위한 교차 모델 VLM-Judge 프로토콜

문제 정의
단일 이미지 기반 3D 생성 기술은 빠르게 발전하고 있으나, 생성된 메쉬 중 어느 것이 더 우수한지를 판단하기 위한 합의된 인간 없는(human-free) 방법론이 부재한 상태이다. 실무자들은 현재 렌더링 공간의 CLIP 유사도(render-space CLIP similarity) 및 메쉬 기하학적 유효성 통계(예: watertightness, manifoldness, normal consistency)와 같은 "저렴한" 자동 프록시(proxy)에 의존하고 있다. 그러나 이러한 프록시들이 실제 사용자와 랭커, 그리고 학습 신호에 중요한 요소인 '인지된 메쉬 품질(perceived mesh quality)'을 얼마나 잘 추적하는지는 아직 확립되지 않았다. 핵심 문제는 이러한 저비용 지표들이 고충실도 품질 평가를 대체할 수 있는 신뢰할 만한 대안이 될 수 있는지 여부이다.

방법론
저자들은 레퍼런스 오라클(reference oracle) 역할을 수행하도록 설계된 시각-언어 모델(VLM) 판사(judge)를 중심으로 한 재현 가능한 평가 프로토콜을 제안하고 검증한다.

• 평가 프로토콜:

  • 입력: 단일 이미지에서 생성된 정규화된 메쉬에 대해 고정된 24-뷰 헤드리스 렌더링 리그(headless render rig)를 적용한다.
  • 판사(Judges): 두 개의 독립적인 오픈 VLM 제품군이 사용된다. 하나는 "오라클" 판사(Qwen2.5-VL-7B-Instruct)이며, 다른 하나는 별도의 검증 판사(InternVL3-8B)이다. 두 개의 서로 다른 모델을 사용하는 것은 단일 모델의 편향에 의존하는 대신 교차 모델 합의(cross-model agreement)를 확인하기 위함이다.
  • 위치 편향 교정(Position-Bias Correction): VLM이 제시 순서에 따른 편향을 보인다는 점을 인식하여, 프로토콜은 각 쌍을 두 가지 순서(A vs B 및 B vs A)로 모두 질의한다. 순서를 바꿨을 때 일관된 판결만 유지하며, 불일치하는 판결은 폐기한다. 이 교정은 매우 중요한데, 가공되지 않은(raw) 판결에서는 약 26%의 불일치가 나타났기 때문이다.
  • 테스트된 프록시: 프로토콜은 네 가지 프록시 전략을 오라클 판사의 라벨에 대해 검증한다:
    1. 기하학 전용 점수 (watertightness, manifoldness, non-self-intersection, normal consistency 기반).
    2. 렌더-CLIP 유사도 점수.
    3. 위 항목들의 고정 가중치 합성 점수.
    4. 다섯 가지 특징값에 가중치를 부여하기 위해 오라클 판사의 라벨로 학습된 Bradley–Terry 헤드(로지스틱 회귀).

• 실험 설정:

  • 데이터: Google Scanned Objects의 60개 객체.
  • 생성기(Generators): 두 가지 피드포워드 생성기(Stable Fast 3D 및 TripoSR)와 각 생성기의 품질 저하 버전인 "face-drop" 변형 모델을 사용하여 품질 스펙트럼을 생성한다.
  • 분할(Splits): 엄격한 객체 단위 분할을 통해 특정 객체가 훈련/테스트 세트에 걸쳐 있지 않도록 보장한다. 학습된 헤드는 하위 집합에서 학습되며, 홀드아웃(held-out) 쌍에 대해 검증 판사를 대상으로 평가된다.
  • 통계: 합의도는 우연한 일치 기준(0.5)에 대한 Cohen's $\kappa$ 및 Wilson 95% 신뢰 구간을 포함한 비율을 사용하여 측정한다. 객체 수준의 클러스터링을 고려하기 위해 클러스터 부트스트래핑(cluster bootstrapping)을 사용한다.

주요 기여

1. 검증된 VLM-Judge 프로토콜: 저자들은 고정된 렌더링 리그, 이중 독립 판사, 필수적인 위치 편향 교정을 특징으로 하는 재현 가능한 인간 없는 평가 프레임워크를 구축하였다. 두 판사 제품군은 상당한 합의($\kappa=0.66$, raw agreement 0.83)를 달នូវ하며, 이는 우연한 일치 수준을 크게 상회한다.
2. 위치 편향의 정량화: 본 연구는 위치 편향이 주요 실패 요인임을 입증한다. 가공되지 않은 판결의 약 26%가 제시 순서에 따라 뒤바뀐다. 이 편향을 교정하는 것이 필수적이며, 이를 통해 합의 추정치를 사소한 수준(예: 0.333)에서 상당한 수준(0.714)으로 끌어올린다.
3. 저렴한 프록시의 실패: VLM 판사를 그라운드 트루스(ground truth)로 사용할 때, 저렴한 프록시들이 판사를 대체할 수 없음을 보여준다:
   • 기하학적 유효성: 우연한 일치보다는 높지만(0.62), 여전히 약하며 사전 등록된 목표치($\approx \ge 0.75$)에 미치지 못한다.
   • 렌더-CLIP: 우연한 일치 수준(0.48)에서 성능을 보이며, 유용한 품질 신호를 전혀 담고 있지 않다.
   • 학습된 가중치: 학습된 Bradley–Terry 헤드가 단일 manifoldness 통계치로 붕괴되어(렌더-CLIP에 음수 가중치 부여), 기하학 전용 점수와 동일한 랭킹을 생성한다. 특징 가중치를 학습하는 것은 추가적인 이득을 주지 못한다.
4. 양봉적(Bimodal) 프록시 동작: 하위 그룹 분석 결과, 프록시들은 양봉적 행동을 보인다. 가시적인 기하학적 결함이 있는 대조군(예: 생성기 간 비교 또는 명확한 구멍)에서는 우연한 일치보다 유의미하게 높은 성능을 보이지만, 모호한 품질 판단 상황에서는 우연한 일치 수준으로 떨어진다. 이는 프록시가 시각적으로 두드러지는 결함이 있을 때만 판사와 궤를 같이함을 시사한다.

결과

• 신뢰성: 두 VLM 판사 사이의 교차 모델 합의는 견고하다(0.83 agreement, $\kappa=0.66$), 이는 프로토콜의 신뢰성을 확인시켜 준다.
• 프록시 성능:
  • 기하학: 전체 코퍼스에 대해 0.62의 합의를 보인다 (95% CI [0.56, 0.68]).
  • 렌더-CLIP: 0.48의 합의를 보이며 (95% CI [0.42, 0.54]), 우연한 일치와 구별되지 않는다.
  • 학습된 헤드: 기하학 전용 점수와 정확히 일치한다 (홀드아웃 데이터에서 0.52). 이는 특징 집합 자체가 성능을 제한하는 것이지 모델 아키텍처의 문제가 아님을 나타낸다.
• 하위 그룹 분석: 기하학적 유효성은 생성기 간 대조군에서 0.91, TripoSR 저하 모델 내 대조군(가시적인 구멍이 있는 경우)에서 0.80의 합의를 보인다. 그러나 생성기 혼합 쌍(모호한 사례)에서는 0.53으로 떨어진다. 렌더-CLIP은 모든 하위 그룹에서 약한 성능(0.37–0.70)을 보인다.

의의 및 주장
본 논문은 특정 조건(Google Scanned Objects 데이터셋에서의 두 가지 피드포워드 생성기와 face-drop 저하 방식) 하에서, 제안된 교차 모델 및 위치 편향 교정 VLM-judge 프로토콜이 신뢰할 수 있고 재현 가능한 인간 없는 평가 도구라고 주장한다.

반대로, 저자들은 기하학적 유효성이나 렌더-CLIP 프록시를 최적화 대상이나 보상 신호로 사용하는 것에 대해 경고한다. 이러한 프록시들은 단순히 약한 신호일 뿐만 아니라, 시각적 결함이 있는 대조군에서는 "매혹적으로 좋아 보이지만", 랭킹이나 모델 최적화에 결정적인 모호한 비교에서는 실패한다. 저자들은 보상 기반의 전문화(reward-based specialization)가 프록시(예: manifoldness를 극대화하여 생성기가 만족할 수 있는 지표)에 의해 주도되는 것이 아니라, 디바이어싱(de-biased)된 VLM-judge의 선호도에 의해 직접적으로 이루어져야 한다고 제唆한다.

한계점
저자들은 VLM 판사가 오라클로 취급된다는 점을 언급하면서도, 교차 모델 합의를 요구함으로써 이를 완화하였다. 본 연구는 좁은 범위(두 가지 생성기, 하나의 데이터셋, 특정 저하 유형)에 국한되어 있으며, 얇은 구조나 투명도와 같은 자연스러운 실패 사례를 다루지 않는다. 또한, "Stable Fast 3D 내부"의 하위 그룹은 face-dropping이 열린 쉘(open shells)에 적용되었을 때 거의 보이지 않았기 때문에, 판사 자신의 판결조차 모호해져서 혼동(confounded)이 발생했다.