Resumo Técnico: ParaScale

Problema

O controle de câmera baseado em referência em vídeo generativo visa transferir o movimento cinematográfico de um clipe de referência para uma nova cena alvo gerada. No entanto, existe uma incompatibilidade geométrica fundamental entre cenas de referência e alvo arbitrárias: elas frequentemente operam em escalas físicas vastamente diferentes (por exemplo, uma câmera varrendo uma galáxia versus um pequeno movimento sobre uma mesa).

Os métodos atuais tipicamente extraem uma trajetória de câmera (translação $T$ e rotação $\omega$) de uma referência e a injetam diretamente em um gerador de alvo. Essa transferência "ingênua" falha porque a reconstrução monocular recupera a translação e a profundidade apenas até um fator de escala global desconhecido (uma transformação de semelhança). Consequentemente, a magnitude absoluta da translação $\|T\|$ é sem sentido sem um $Z$ correspondente de escala de profundidade. Quando uma trajetória de referência é aplicada a um alvo com uma escala de cena diferente, o movimento resultante é ou imperceptível (se o alvo for "maior" que a referência) ou violentamente exagerado (se o alvo for "menor"), quebrando a fidelidade visual da geração.

Metodologia: O Número de Paralaxe e o ParaScale

Fundamentação Teórica

O artigo estabelece que a força percebida do movimento de translação é governada não pelo vetor de translação bruto, mas pela razão entre a translação e a profundidade. Com base na equação de projeção para um ponto na profundidade $Z$, o movimento de imagem induzido por translação escala como $\|T\|/Z$.

Os autores definem o Número de Paralaxe ($\Pi$) como um descritor adimensional e invariante de calibre:
$$\Pi_t = \frac{\|\Delta T_t\|}{\bar{Z}_t}$$
Onde:

• $\|\Delta T_t\|$ é a linha de base inter-frame da câmera (magnitude de translação).
• $\bar{Z}_t$ é a profundidade de cena mediana robusta para aquele frame.

O artigo prova que $\Pi$ é invariante sob o calibre de escala de profundidade (escalar tanto $T$ quanto $Z$ por um fator $s$ deixa $\Pi$ inalterado). Portanto, $\Pi$, em vez da trajetória bruta $T$, é a quantidade única que deve ser preservada para alcançar uma transferência de movimento fiel à escala.

O Módulo ParaScale

O ParaScale é um módulo plug-and-play, livre de treinamento, inserido entre a extração de pose e a injeção de pose em um pipeline generativo. Ele opera da seguinte forma:

1. Extração: A partir do vídeo de referência, ele estima a trajetória da câmera e uma profundidade mediana robusta $\bar{Z}^{ref}_t$ usando Structure-from-Motion (SfM) monocular e um estimador de profundidade. Ele calcula o Número de Paralaxe invariante de calibre $\Pi^{ref}_t$.
2. Estimativa do Alvo: Para a cena alvo, ele estima a profundidade mediana $\bar{Z}^{tgt}_t$ a partir da imagem de condicionamento ou do primeiro latente.
3. Re-realização: Ele calcula um ganho de translação por frame $\alpha_t$ para combinar o Número de Paralaxe da referência com a profundidade do alvo:
   $$\alpha_t = \frac{\bar{Z}^{tgt}_t}{\bar{Z}^{ref}_t}$$
   A translação calibrada é $T^{cal}_t = \alpha_t T^{ref}_t$, enquanto a rotação $R^{cal}_t$ é passada sem alterações ($R^{ref}_t$).
4. Injeção: As extrínsecas calibradas são convertidas para o formato exigido pelo gerador (por exemplo, mapas de Plücker ou matrizes $RT$ brutas) e alimentadas em um modelo de difusão condicionado a pose e congelado.

Provas teóricas no artigo demonstram que essa adaptação por frame é necessária e suficiente para preservar o perfil de paralaxe temporal, enquanto o escalonamento global ou a ausência de escalonamento falham quando a profundidade da cena varia ao longo do tempo ou difere significativamente entre cenas.

Métrica de Avaliação: PCE

Para quantificar a fidelidade de escala, os autores introduzem o Erro de Consistência de Paralaxe (PCE):
$$\text{PCE} = \frac{1}{N} \sum_{t=1}^{N} \left| \log \frac{\Pi^{out}_t}{\Pi^{ref}_t} \right|$$
Diferente das métricas padrão como TransErr (que dependem de alinhamento de semelhança e podem ocultar discrepâncias de escala global), o PCE é simétrico em escala e invariante de calibre. Ele expõe diretamente as discrepâncias na força do movimento percebido.

Principais Contribuições

1. Princípio Invariante de Calibre: A identificação do Número de Paralaxe ($\Pi$) como o invariante correto para transferência de movimento, provando que preservar trajetórias brutas é geometricamente falho.
2. ParaScale: Um módulo de inferência plug-and-play, independente de gerador e livre de treinamento, que re-realiza $\Pi$ por frame contra a profundidade da cena alvo, sem exigir o retreinamento do backbone generativo.
3. Métrica PCE: Uma nova métrica de avaliação que mede especificamente a fidelidade de escala e expõe discrepâncias de escala de cena que as métricas tradicionais perdem.
4. Validação Empírica: Demonstração através de quatro ordens de magnitude em escala de cena (mesa, humano/quarto, arquitetura e cósmica) e múltiplos architectures de backbone.

Resultados

Experimentos foram conduzidos utilizando um backbone de transformador de difusão Wan2.1 com condicionamento de Plücker, comparando o ParaScale contra o Raw transfer, Global-norm scaling, MotionMaster e a calibração de escala em tempo de treinamento do CameraCtrl II.

• Fidelidade de Escala: O ParaScale é o único método que mantém o Número de Paralaxe realizado na linha de identidade em todos os regimes de escala. O Raw transfer sub-estimou significativamente cenas cósmicas e super-estimou cenas de mesa.
• Redução de Erro: O ParaScale reduz o Erro de Consistência de Paralaxe (PCE) em mais de 3$\times$ em comparação ao Raw transfer não calibrado e supera os métodos de Global-norm e de calibração em tempo de treinamento.
• Fidelidade Visual: O método alcança esses ganhos sem perda de qualidade visual; os escores FVD (Fréchet Video Distance) e CLIP-SIM são preservados ou melhorados em relação aos baselines.
• Generalidade: O módulo funciona efetivamente através de diferentes tipos de geradores (condicionados por Plücker e condicionados por Matriz) sem necessidade de retreinamento.

Significância e Alegações

O artigo afirma que o ParaScale aborda uma "suposição silenciosa" nos controladores baseados em referência: que os números de trajetória são diretamente reutilizáveis. Ao formalizar o fato geométrico de que o movimento induzido por translação é dependente da profundidade, os autores fornecem uma solução rigorosa para o problema de incompatibilidade de escala.

A significância reside em permitir que criadores reutilizem movimentos de câmera cinematográficos através de contextos vastamente diferentes (do macro ao cósmico) sem intervenção manual ou retreinamento. O artigo afirma que o ParaScale é o primeiro método a expor e re-realizar o Número de Paralaxe invariante de calibre em tempo de inferência entre referências e alvos arbitrários.

Limitações: Os autores observam que o método depende de estimativas de profundidade monocular (onde erros propagam-se linearmente para o ganho $\alpha_t$) e assume uma geometria de cena rígida conforme o modelo de projeção subjacente. A extensão da abordagem para cenas dinâmicas e campos de escala anisotrópicos é identificada como trabalho futuro.