기술 요약: StereoGenBench

문제 제기

스테레오 이미지 및 비디오 생성, 스테레오 기하 추정, 조건 제어 뷰 합성은 본질적으로 카메라 베이스라인, 내부 파라미터, 장면 깊이, 카메라 운동과 같은 쌍안 기하를 지배하는 변수들이 알려져 있고 제어 가능해야 하는 페어된 데이터를 필요로 합니다. 기존 자료들은 다음과 같은 두 가지 주요 방식으로 이 요구 사항을 충족하지 못합니다:

1. 실제 세계 벤치마크(예: KITTI, Cityscapes, DrivingStereo)는 촬영 시 카메라 리그 베이스라인과 내부 파라미터를 고정합니다. 이는 가치가 있지만, 방법의 스테레오 스케일 행동을 촬영 시 사용된 특정 장면 분포와 고정된 하드웨어 구성과 혼동시킵니다. 메트릭 깊이는 종종 희소하거나 부재합니다.
2. 합성 자료(예: Scene Flow, SimStereo, StereoCarla)는 밀집된 렌더링된 감독 신호를 제공하지만, 일반적으로 고정된 리그 구성과 내부 파라미터를 유지합니다. 베이스라인이 고정된 귀찮은 매개변수가 아닌 제어된 변수인 장면 페어된 보정된 멀티베이스라인 정답을 제공하지 않습니다.

저자들은 베이스라인이 귀찮은 변수가 아니라고 주장합니다. 보정된 스테레오 페어의 경우, 시차는 $d = B f_x z^{-1}$로 스케일링됩니다. 고정된 베이스라인에서만 방법을 훈련하고 평가하는 것은 성능이 실현된 베이스라인에 따라 변하는지, 또는 생성된 뷰가 지정된 목표 카메라와 일치하는지 여부를 가립니다. 단일 제어된 소스에서 장면 페어된 보정된 멀티베이스라인 오른쪽 뷰 정답과 함께 공동으로 기록된 내부 파라미터, 밀집된 메트릭 깊이, 프레임별 포즈를 제공하는 자료가 부족합니다.

방법론: StereoGenBench

StereoGenBench 는 Unreal Engine 을 사용하여 생성된 합성 벤치마크로, 일치된 장면 콘텐츠 하에서 베이스라인 영역 민감도와 목표 카메라 일관성을 측정 가능하게 하도록 설계되었습니다.

데이터 생성 파이프라인

• 6-카메라 리그: 각 장면은 동기화된 6 개의 카메라로 구성된 강체 보정된 측면 배열을 사용하여 렌더링됩니다. 이 구성은 장면당 최대 $\binom{6}{2} = 15$개의 보정된 뷰 페어를 생성합니다.
• 제어된 변수: 이전 합성 데이터셋과 달리 StereoGenBench 는 페어된 정답을 유지하면서 단일 소스 내에서 네 가지 축을 변화시킵니다:
  • 베이스라인: 인접 간격은 특정 영역에서 샘플링됩니다.
  • 내부 파라미터: 초점 거리와 센서 치수가 독립적으로 샘플링되어 기록됩니다.
  • 깊이: 모든 카메라에 대해 밀집된 메트릭 깊이가 렌더링됩니다.
  • 포즈: 프레임별 6-카메라 포즈가 기록됩니다.
• 베이스라인 샘플링 패밀리:
  • IPD_Gaussian: 6.38 cm(안구 간 거리) 를 중심으로 절단된 가우시안에서 인접 간격을 샘플링하여 좁은 베이스라인 영역을 반영합니다.
  • Uniform: $U[1.0, 150.0]$ cm 의 균일 분포에서 인접 간격을 샘플링하여 넓은 베이스라인 평가 분기를 정의합니다.
  • Pairwise_Uniform: 6-카메라 리그가 모든 15 개 페어로 확장될 때 모든 페어 베이스라인 커버리지를 개선하도록 설계된 훈련 전용 패밀리입니다.
• 장면 구성: 장면은 25 개의 맵(실내, 실외, 도시, 자연, SF, 스타일라이즈드), 15 개의 캐릭터 FBX 파일, 30 개의 액션 FBX 파일을 포함하는 제안 및 필터 프로세스를 통해 구성됩니다. 궤적은 유효한 시점을 샘플링하여 81 프레임 경로로 연결하고, 유효하지 않은 전환에 대해서는 재시작 및 스플라이스 절차를 수행하여 생성됩니다.
• 출력: 각 장면에는 6 개의 RGB 비디오, 6 개의 메트릭 깊이 비디오, 내부 파라미터, 베이스라인, 포즈가 포함된 메타데이터 파일 (baseline.json, trajectory.json) 이 포함됩니다. 해상도는 15 fps 에서 1280 $\times$ 1280 입니다.

벤치마크 프로토콜

이 벤치마크는 서로 다른 연구 질문을 분리하기 위해 세 가지 다른 추론 조건 (티어) 하에서 오른쪽 뷰 생성을 평가합니다:

• 티어 G0(오라클 기하 조건부): 방법들은 왼쪽 뷰($I_L$) 와 목표 뷰 기하(예: 정답 시차, 깊이, 또는 왜곡된 오른쪽 뷰) 를 받습니다. 이는 알려진 기하 하에서 합성 품질을 측정합니다.
• 티어 G1(보정된 목표 카메라): 방법들은 $I_L$과 목표 카메라 메타데이터(베이스라인 $B$와 내부 파라미터 $K$) 를 받지만 정답 깊이는 받지 않습니다.
• 티어 G2(정렬되지 않은 단안): 방법들은 $I_L$만 받고 자체 암시적 기하에 의존합니다.

평가 지표

결과는 세 가지 그룹의 지표를 사용하여 보고됩니다:

1. 재구성 품질: 생성된($\hat{I}_R$) 및 렌더링된 목표($I_R$) 뷰를 비교하는 PSNR, SSIM, LPIPS.
2. 스테레오 기하 진단:
   • $E_{Match}$: 렌더링된 오른쪽 뷰를 생성된 것으로 대체할 때 스테레오 매칭 가능한 왼쪽 이미지 구조 집합의 변화를 측정합니다.
   • P-PSNR: 로컬 텍스처 유사성을 측정하는 목표 없는 일관성 진단 지표입니다.
   • SD(스케일 편차): $D_{gt} \approx a \hat{D} + b$를 피팅하고 $|a - 1|$을 보고하여 시차 스케일 충실도를 측정합니다.
3. 분포 지표: 생성된 및 렌더링된 목표 분포를 비교하는 FID(이미지) 및 FVD(비디오).

주요 기여

이 논문은 다음을 기여합니다:

1. StereoGenBench 데이터셋: 6-카메라 보정된 리그, 밀집된 메트릭 깊이, 내부 파라미터, 페어별 베이스라인, 프레임별 포즈를 특징으로 하는 장면 페어된 합성 자료.
2. 분할 설계: 좁은 IPD 스케일 평가, 넓은 베이스라인 평가, 베이스라인 커버리지를 개선하기 위한 훈련 전용 모든 페어 패밀리의 분리.
3. 벤치마크 프로토콜: 오라클 기하 조건부, 보정된 목표 카메라, 정렬되지 않은 단안 추론 설정을 구분하는 티어형 평가 프레임워크.
4. 공개 릴리스: 데이터셋, 평가 코드, 참조 결과, Croissant 메타데이터, 전체 생성 파이프라인의 공개로, 사용자 정의 에셋을 통한 확장을 가능하게 함.

참조 결과

저자들은 대표적인 공개 방법을 사용하여 739 개의 평가 장면(본 맵과 미본 맵 하위 집합으로 분할) 에 대한 결과를 보고합니다.

• 티어 차이: 예상대로, 오라클 기하 조건부 방법(G0) 은 입력이 정답에 고정되어 있기 때문에 더 강력한 픽셀 정렬(더 높은 PSNR/SSIM) 을 달성합니다. 정렬되지 않은 단안 방법(G2) 은 출력이 벤치마크 목표 카메라에 고정되어 있지 않기 때문에 더 큰 시차 스케일 드리프트(더 높은 SD) 를 보입니다.
• 베이스라인 민감도: 벤치마크는 베이스라인 효과를 성공적으로 분리합니다. 예를 들어, Uniform 분기에서 G2 방법인 Mono2Stereo의 SD 는 [1, 10) cm 에서 2.63 에서 [100, 150] cm 에서 50.85 로 단조 증가합니다. 반면, G0 방법인 GenStereo는 동일한 구간에서 0.03~0.09 로 안정적으로 유지됩니다.
• 난이도: Uniform 분기(넓은 베이스라인) 는 일반적으로 더 큰 실현된 시차와 더 많은 가림 해제를 반영하여 IPD_Gaussian 분기보다 일반적으로 더 어렵습니다.
• 일반화: 미본 맵 결과는 매칭 가능성($E_{Match}$) 은 상대적으로 안정적이지만, 분포 지표(FID/FVD) 는 본 맵과 미본 맵 사이에 더 큰 격차를 보여 시각적 사전 지식에 대한 민감도를 나타냅니다.

중요성 및 주장

이 논문은 StereoGenBench 를 기존 실제 세계 및 합성 벤치마크의 대체가 아닌 보완 자료로 위치시킵니다. 그 주요 중요성은 스테레오 생성 평가를 위해 베이스라인 변수를 분리하는 데 있습니다. 서로 다른 보정된 베이스라인 영역 하에서 일치된 장면 콘텐츠를 렌더링함으로써, 이 벤치마크는 연구자들이 다음을 가능하게 합니다:

• 성능이 실현된 베이스라인에 따라 변하는지 확인합니다.
• 생성된 오른쪽 뷰가 지정된 목표 카메라와 일치하는지 검증합니다.
• 방법들이 보정된 목표 카메라 인터페이스를 사용하는지, 아니면 선호되는 암시적 스케일에서 스테레오를 생성하는지 진단합니다.

저자들은 명시적으로 이 합성 데이터셋의 결과가 별도의 상관 연구 없이 실제 세계 성능의 직접적인 증거로 취급되어서는 안 된다고 명시합니다. 이 벤치마크는 감시, 생체 인식 식별, 인구 통계 분석이 아닌 제어된 조건 하에서 기하 인식 작업(스테레오 생성, 매칭, 깊이 추정) 을 평가하기 위해 고안되었습니다. 이 릴리스는 베이스라인 조건부, 멀티페어 스테레오 생성, 시뮬레이션 - 실제 상관 관계에 대한 향후 연구를 가능하게 합니다.