💻 computer science

StereoGenBench: A Synthetic Multi-Camera Benchmark for Stereo Generation under Controlled Baseline Regimes

O artigo apresenta o StereoGenBench, um benchmark sintético em Unreal Engine que utiliza um arranjo rígido de seis câmeras para fornecer dados estéreo multi-baseline pareados com a cena e calibrados, com metadados geométricos completos (RGB, profundidade métrica, parâmetros intrínsecos e poses), a fim de permitir uma avaliação controlada da geração estéreo sob regimes de baseline variados.

Autores originais: Yangzhi Cui, Feng Qiao, Nathan Jacobs

Publicado 2026-05-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yangzhi Cui, Feng Qiao, Nathan Jacobs

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a ver o mundo em 3D, assim como os humanos fazem com dois olhos. Para fazer isso, o robô precisa entender a visão estéreo: como a distância entre seus olhos (a "linha de base") altera a aparência dos objetos.

O problema é que a maioria dos dados de treinamento existentes para esses robôs é como um álbum de fotos onde cada imagem foi tirada com exatamente a mesma configuração de câmera. A distância entre as lentes nunca muda, o zoom nunca muda e a profundidade é frequentemente estimada em vez de medida. Se você treinar um robô apenas nessas fotos fixas, ele fica confuso quando vê uma cena do mundo real onde o espaçamento entre as câmeras é diferente. É como ensinar alguém a dirigir apenas em uma estrada reta e vazia a 48 km/h e, em seguida, esperar que ele lide com uma estrada de montanha sinuosa a 160 km/h.

StereoGenBench é uma nova "escola de direção" sintética (gerada por computador) projetada para corrigir isso. Veja como funciona, usando analogias simples:

1. O Rig de Câmeras de "Seis Olhos"

Em vez de usar uma configuração padrão de duas câmeras, os pesquisadores construíram um rig virtual com seis câmeras alinhadas lado a lado, como uma fileira de câmeras de segurança ou uma fileira de olhos em um inseto.

A Magia: Como há seis câmeras, eles podem criar 15 pares diferentes de visões de "olho esquerdo" e "olho direito" a partir da mesma cena exata.
O Controle: Eles podem misturar e combinar essas câmeras para simular distâncias minúsculas entre os olhos (como olhos humanos) ou distâncias enormes (como câmeras em lados opostos de um quarto). Isso permite testar o quão bem um robô lida com diferentes "espaçamentos entre os olhos".

2. O Mundo "Perfeitamente Rotulado"

No mundo real, é muito difícil saber exatamente quão longe um objeto está ou exatamente como a câmera se moveu.

A Solução: O StereoGenBench é construído dentro de um motor de jogo (Unreal Engine). Como o computador criou a cena, ele conhece a verdade exata.
Os Dados: Para cada quadro único de vídeo, o conjunto de dados fornece:
- A imagem de cor RGB (o que o olho vê).
- Profundidade Métrica: A distância exata para cada pixel (como uma varredura a laser).
- Parâmetros Intrínsecos: As configurações exatas da "lente" (distância focal).
- Poses: A posição e o ângulo exatos de cada câmera.
A Analogia: Imagine um espelho mágico que não apenas mostra um reflexo, mas também diz a você a distância exata para cada objeto no reflexo, o tipo exato de vidro usado e o ângulo exato em que o espelho está inclinado. É isso que este conjunto de dados fornece.

3. Três "Provas" Diferentes

O artigo não apenas despeja os dados; ele estabelece três maneiras específicas de testar os robôs (modelos de IA), dependendo de quais informações eles têm permissão para usar:

A Prova da "Cola" (Nível G0): O robô recebe a imagem esquerda mais o gabarito exato (a profundidade real ou uma versão distorcida da imagem direita). Isso testa se o robô pode renderizar uma imagem corretamente quando já conhece a geometria.
A Prova do "Dica" (Nível G1): O robô recebe a imagem esquerda e uma dica sobre as configurações da câmera (por exemplo, "os olhos estão a 10 cm de distância"), mas não conhece a profundidade exata. Isso testa se o robô pode usar metadados da câmera para adivinhar a forma 3D.
A Prova "Cega" (Nível G2): O robô recebe apenas a imagem esquerda e tem que adivinhar a imagem direita usando seu próprio poder cerebral interno. Este é o teste mais difícil, verificando se o robô aprendeu as regras gerais da visão 3D ou se apenas memorizou os dados de treinamento.

4. Por Que Isso Importa

O artigo mostra que, quando você testa esses robôs neste novo benchmark, seu desempenho muda drasticamente com base no "espaçamento entre os olhos" (linha de base).

A Descoberta: Alguns robôs que parecem ótimos em testes padrão desmoronam quando o espaçamento entre as câmeras fica mais amplo. Eles perdem o senso de escala.
A Analogia: É como um músico que pode tocar uma música perfeitamente em um quarto pequeno, mas se perde quando o quarto fica enorme. O StereoGenBench prova que o "tamanho do quarto" (a linha de base) é uma variável crítica que os modelos de IA atuais frequentemente ignoram.

5. O Que Eles Lançaram

Os autores não apenas escreveram um artigo; eles abriram as portas para toda a "escola de direção". Eles lançaram:

O conjunto de dados (mais de 8.000 cenas).
O código para gerar novas cenas.
O código para executar os testes.
Uma lista de "pontuações de referência" mostrando como os principais modelos de IA atuais se saem neste novo teste.

Em resumo: O StereoGenBench é um playground sintético e controlado onde os pesquisadores podem finalmente isolar e medir o quão bem a IA entende o espaço 3D quando as configurações da câmera mudam, algo que era impossível fazer de forma limpa com dados do mundo real antes.

Resumo Técnico: StereoGenBench

Declaração do Problema

A geração de imagens e vídeos estéreo, a estimativa de geometria estéreo e a síntese de vistas controladas por condições exigem fundamentalmente dados emparelhados onde as variáveis que governam a geometria binocular — especificamente a linha de base da câmera, os parâmetros intrínsecos, a profundidade da cena e o movimento da câmera — são conhecidos e controláveis. Os recursos existentes são insuficientes para atender a esse requisito de duas maneiras principais:

Benchmarks do mundo real (por exemplo, KITTI, Cityscapes, DrivingStereo) fixam a linha de base e os intrínsecos do suporte de câmeras no momento da captura. Embora valiosos, eles confundem o comportamento de escala estéreo de um método com a distribuição específica da cena e a configuração de hardware fixa utilizadas durante a captura. A profundidade métrica é frequentemente esparsa ou ausente.
Recursos sintéticos (por exemplo, Scene Flow, SimStereo, StereoCarla) fornecem supervisão renderizada densa, mas tipicamente mantêm configurações de suporte fixas e intrínsecos. Eles não oferecem uma verdade fundamental calibrada de múltiplas linhas de base emparelhada por cena, onde a linha de base é uma variável controlada e não um parâmetro de incômodo fixo.

Os autores argumentam que a linha de base não é uma variável de incômodo; para um par estéreo retificado, a disparidade escala como $d = B f_x z^{-1}$ . Treinar e avaliar métodos apenas em uma linha de base fixa obscurece se o desempenho muda com a linha de base realizada ou se uma vista gerada corresponde a uma câmera alvo especificada. Há uma falta de recursos que forneçam uma verdade fundamental de vista direita calibrada de múltiplas linhas de base emparelhada por cena, com intrínsecos registrados conjuntamente, profundidade métrica densa e poses por quadro em uma única fonte controlada.

Metodologia: StereoGenBench

O StereoGenBench é um benchmark sintético gerado usando a Unreal Engine, projetado para tornar mensurável a sensibilidade ao regime de linha de base e a consistência da câmera-alvo sob conteúdo de cena correspondente.

Pipeline de Geração de Dados

Suporte de Seis Câmeras: Cada cena é renderizada usando um array lateral rígido e retificado de seis câmeras sincronizadas. Essa configuração produz até $\binom{6}{2} = 15$ pares de vistas calibrados por cena.
Variáveis Controladas: Diferentemente de conjuntos de dados sintéticos anteriores, o StereoGenBench varia quatro eixos dentro de uma única fonte, preservando a verdade fundamental emparelhada:
- Linha de Base: Espaçamentos adjacentes são amostrados de regimes específicos.
- Intrínsecos: Comprimento focal e dimensões do sensor são amostrados independentemente e registrados.
- Profundidade: Profundidade métrica densa é renderizada para cada câmera.
- Pose: Poses de seis câmeras por quadro são registradas.
Famílias de Amostragem de Linha de Base:
- IPD_Gaussian: Amostra espaçamentos adjacentes de uma Gaussiana truncada centrada em 6,38 cm (distância interpupilar), refletindo regimes de linha de base estreita.
- Uniforme: Amostra espaçamentos adjacentes de uma distribuição uniforme $U[1,0, 150,0]$ cm, definindo uma ramificação de avaliação de linha de base larga.
- Pairwise_Uniform: Uma família apenas de treinamento projetada para melhorar a cobertura de linha de base de todos os pares quando o suporte de seis câmeras é expandido para todos os 15 pares.
Construção de Cena: As cenas são construídas por meio de um processo de proposta e filtragem envolvendo 25 mapas (interior, exterior, urbano, natural, ficção científica, estilizado), 15 arquivos FBX de personagens e 30 arquivos FBX de ações. As trajetórias são geradas amostrando pontos de vista válidos e conectando-os em caminhos de 81 quadros, com procedimentos de reinício e emenda para transições inválidas.
Saída: Cada cena inclui seis vídeos RGB, seis vídeos de profundidade métrica e arquivos de metadados (baseline.json, trajectory.json) contendo intrínsecos, linhas de base e poses. A resolução é de 1280 $\times$ 1280 a 15 fps.

Protocolo de Benchmark

O benchmark avalia a geração de vista direita sob três condições distintas de inferência (níveis) para separar diferentes questões de pesquisa:

Nível G0 (Geometria Condicionada por Oráculo): Os métodos recebem a vista esquerda ( $I_L$ ) mais a geometria da vista-alvo (por exemplo, disparidade, profundidade ou uma vista direita deformada da verdade fundamental). Isso mede a qualidade da síntese sob geometria conhecida.
Nível G1 (Câmera-Alvo Calibrada): Os métodos recebem $I_L$ e metadados da câmera-alvo (linha de base $B$ e intrínsecos $K$ ), mas nenhuma profundidade da verdade fundamental.
Nível G2 (Monocular Não Alinhado): Os métodos recebem apenas $I_L$ e dependem de sua própria geometria implícita.

Métricas de Avaliação

Os resultados são relatados usando três grupos de métricas:

Qualidade de Reconstrução: PSNR, SSIM e LPIPS comparando as vistas geradas ( $\hat{I}_R$ ) e renderizadas alvo ( $I_R$ ).
Diagnósticos de Geometria Estéreo:
- $E_{Match}$ : Mede a mudança no conjunto de estruturas da imagem esquerda que podem ser emparelhadas estereoscopicamente ao substituir a vista direita renderizada pela gerada.
- P-PSNR: Um diagnóstico de consistência livre de alvo que mede a similaridade de textura local.
- SD (Desvio de Escala): Mede a fidelidade da escala de disparidade ajustando $D_{gt} \approx a \hat{D} + b$ e relatando $|a - 1|$ .
Métricas Distribucionais: FID (imagem) e FVD (vídeo) comparando as distribuições geradas e renderizadas alvo.

Contribuições Principais

O artigo contribui com:

Conjunto de Dados StereoGenBench: Um recurso sintético emparelhado por cena apresentando um suporte calibrado de seis câmeras, profundidade métrica densa, intrínsecos, linhas de base por par e poses por quadro.
Design de Divisão: Uma separação entre avaliação de escala IPD estreita, avaliação de linha de base larga e uma família de todos os pares apenas de treinamento para melhorar a cobertura de linha de base.
Protocolo de Benchmark: Uma estrutura de avaliação em níveis que distingue entre configurações de inferência condicionadas por geometria de oráculo, câmera-alvo calibrada e monocular não alinhada.
Lançamento Aberto: Disponibilidade pública do conjunto de dados, código de avaliação, resultados de referência, metadados Croissant e o pipeline completo de geração, permitindo extensões com ativos personalizados.

Resultados de Referência

Os autores relatam resultados em 739 cenas de avaliação (divididas em subconjuntos de mapas vistos e não vistos) usando métodos públicos representativos.

Diferenças entre Níveis: Como esperado, métodos condicionados por geometria de oráculo (G0) alcançam um alinhamento de pixels mais forte (maior PSNR/SSIM) porque suas entradas estão ancoradas à verdade fundamental. Métodos monoculares não alinhados (G2) exibem maior deriva de escala de disparidade (maior SD) porque suas saídas não estão ancoradas à câmera alvo do benchmark.
Sensibilidade à Linha de Base: O benchmark isola com sucesso os efeitos da linha de base. Por exemplo, na ramificação Uniforme, o SD do método G2 Mono2Stereo aumenta monotonicamente de 2,63 em [1, 10) cm para 50,85 em [100, 150] cm. Em contraste, o método G0 GenStereo permanece estável (0,03–0,09) nos mesmos intervalos.
Dificuldade: A ramificação Uniforme (linha de base larga) é geralmente mais difícil que a ramificação IPD_Gaussian, refletindo disparidades realizadas maiores e mais oclusões.
Generalização: Os resultados de mapas não vistos mostram que, embora a capacidade de emparelhamento ( $E_{Match}$ ) permaneça relativamente estável, as métricas distribucionais (FID/FVD) mostram lacunas maiores entre mapas vistos e não vistos, indicando sensibilidade a priores visuais.

Significado e Alegações

O artigo posiciona o StereoGenBench como um recurso complementar aos benchmarks existentes do mundo real e sintéticos, e não como um substituto. Seu significado principal reside em isolar a variável de linha de base para a avaliação de geração estéreo. Ao renderizar conteúdo de cena correspondente sob diferentes regimes calibrados de linha de base, o benchmark permite que os pesquisadores:

Determinem se o desempenho muda com a linha de base realizada.
Verifiquem se uma vista direita gerada corresponde a uma câmera alvo especificada.
Diagnosticarem se os métodos usam interfaces de câmera-alvo calibradas ou produzem estéreo em uma escala implícita preferida.

Os autores afirmam explicitamente que os resultados neste conjunto de dados sintético não devem ser tratados como evidência direta de desempenho no mundo real sem estudos de correlação separados. O benchmark destina-se a avaliar tarefas conscientes de geometria (geração estéreo, emparelhamento, estimativa de profundidade) sob condições controladas, e não para vigilância, identificação biométrica ou análise demográfica. O lançamento permite estudos futuros sobre condicionamento de linha de base, geração estéreo de múltiplos pares e correlação sim-para-real.