Resumo Técnico: CRePE para Geração de Vídeo Controlada por Câmera Unificada

Declaração do Problema

A geração de vídeo condicionada à câmera exige que os modelos sintetizem vídeos que aderam a trajetórias de câmera e configurações de lentes específicas. Embora as abordagens recentes tenham migrado para codificação posicional em nível de atenção para modelar relações relativas entre tokens sob mudanças de visão, os métodos existentes enfrentam limitações significativas:

1. Limitações de Raio Único: Métodos como UCPE codificam a direção do raio de visão, mas não especificam a posição do conteúdo da cena ao longo desse raio. Isso é insuficiente para modelar correspondências de tokens quando a câmera se move, pois as correspondências dependem tanto da direção do raio quanto da profundidade da cena.
2. Viés de Câmera Estenopeica: Muitas codificações existentes dependem da geometria de câmera estenopeica, que falha em capturar a geometria de projeção não linear inerente a lentes grande-angulares e olho-de-peixe (Modelo de Câmera Unificada ou UCM).
3. Falta de Consciência de Profundidade: As codificações posicionais atuais não integram efetivamente a geometria da cena, limitando a capacidade do modelo de lidar com diversos modelos de lentes e refinar relações de tokens durante mudanças de visão.

Metodologia: CRePE

Os autores propõem a Codificação Posicional de Expectativa de Raio Curvo (CRePE), uma codificação posicional compatível com o Modelo de Câmera Unificada (UCM) que representa cada token de imagem não apenas por seu raio de visão, mas como uma distribuição posicional consciente de profundidade ao longo desse raio.

Componentes Principais

1. RoPE de Raio Curvo Esperado:

   • Em vez de assumir um único ponto final, o CRePE modela a posição do token como uma distribuição uniforme na distância radial logarítmica ($z = \log r$), definida por um centro previsto ($\mu$) e largura de intervalo ($\sigma$).
   • Esta distribuição é discretizada em $K$ pontos de ruptura. Cada ponto de ruptura é elevado ao longo do raio UCM de origem, transformado no quadro da câmera de consulta e projetado para frente.
   • Como a projeção UCM induz um caminho curvo na visão de consulta para um intervalo de raio de origem, o CRePE integra analiticamente o fasor de Codificação Posicional Rotativa (RoPE) sobre este caminho curvo por partes lineares. Isso produz um coeficiente de modulação esperado que captura a incerteza da posição do raio sob projeção não estenopeica.
   • A configuração padrão utiliza $K=5$ pontos de ruptura para equilibrar precisão geométrica e eficiência computacional.

2. Adaptador de Atenção Geométrica:

   • O CRePE é implementado por meio de um Adaptador de Atenção Geométrica adicionado a um Transformer de Difusão de Vídeo (DiT) congelado.
   • Uma cabeça de geometria compartilhada ($g_\phi$) prevê os parâmetros de distância radial logarítmica ($\mu, \sigma$) a partir de características de tokens do lado-chave.
   • Essas previsões são convertidas em coeficientes de modulação RoPE esperados, que modulam as características-chave em camadas intermediárias selecionadas do DiT.
   • O design preserva o sinal de câmera "apenas raio" estável nas camadas iniciais e finais (usando UCPE padrão), enquanto injeta modulação de caminho projetado consciente de profundidade nas camadas intermediárias, onde a informação de distância radial é mais recuperável.

3. Supervisão de Distância Radial e Radial MixForcing:

   • Para estabilizar a previsão de geometria, o modelo é supervisionado com mapas de distância radial pseudo gerados por um modelo fundamental de geometria monocular (UniK3D).
   • Um filtro de validade exclui previsões não confiáveis (por exemplo, valores não finitos, distâncias >20m).
   • Radial MixForcing: Um algoritmo de substituição de professor durante o treinamento permite que o modelo aceite mapas radiais fornecidos externamente durante a inferência. Se um mapa externo for válido, ele substitui a distribuição prevista; caso contrário, o modelo recua para sua própria previsão. Isso permite controle de geometria externo sem retreinamento.

Contribuições Principais

1. Codificação Posicional Consciente de Profundidade: O CRePE introduz uma codificação posicional que considera não apenas a direção do raio, mas também possíveis posições da cena ao longo do raio, permitindo codificação consciente de profundidade para geometria de caminho projetado curvo sob o Modelo de Câmera Unificada.
2. Implementação Baseada em Adaptador: Os autores aplicam o CRePE a DiTs de vídeo congelados por meio de um Adaptador de Atenção Geométrica, incorporando a distância da cena token a token nos mecanismos de atenção e estabilizando previsões com supervisão de distância radial pseudo.
3. Controle de Geometria Externa: Ao estender o caminho de codificação posicional, o CRePE suporta controle de mapa radial externo para geração condicionada à geometria da cena e transferência de movimento de vídeo de origem via Radial MixForcing.

Resultados Experimentais

Os autores avaliaram o CRePE contra baselines incluindo ReCamMaster (controle de trajetória externa) e UCPE (codificação de raio de câmera unificada) no conjunto de dados PanShot, que abrange configurações estenopeicas, grande-angulares e olho-de-peixe.

• Controle de Câmera e Geometria: O CRePE supera significativamente as baselines em métricas de controlabilidade da câmera (CamMC, erro de rotação, erro de translação) e métricas de distorção de lente ($k_1, k_2$), particularmente sob condições de grande-angular e olho-de-peixe, onde as suposições estenopeicas falham.
• Estudos de Ablação: Ao comparar o CRePE com uma baseline de PE de ponto final estilo RayRoPE (que aproxima o intervalo de raio com apenas dois pontos finais), o CRePE alcança uma classificação média geral melhor. Isso confirma que a integração sobre o caminho projetado curvo (via $K>2$ pontos de ruptura) fornece benefícios além de aproximações simples de ponto final.
• Qualidade de Vídeo: Embora o CRePE melhore métricas conscientes de geometria e perceptuais (VBench, qualidade estética), ele permanece competitivo em métricas padrão de qualidade de vídeo (FVD, FID). Em algumas métricas de qualidade de vídeo completa (por exemplo, FVD, Pontuação de Inception), a baseline apenas raio (UCPE) permanece ligeiramente mais forte, sugerindo uma compensação entre adesão geométrica estrita e qualidade distribucional de vídeo.
• Posicionamento de Camadas: Experimentos mostram que aplicar o CRePE aos 10 blocos do meio do DiT fornece a melhor compensação entre controle geométrico e qualidade de geração, superando a aplicação em todas as camadas ou apenas em camadas iniciais/finais.

Significado e Alegações

O artigo afirma que o CRePE representa um passo significativo em direção ao controle de câmera unificado que é robusto em diversas configurações de lentes, incluindo lentes não estenopeicas. Ao migrar de codificação apenas raio para expectativa de raio curvo, o método captura melhor a geometria de projeção não linear de câmeras grande-angulares e olho-de-peixe.

Os autores posicionam o CRePE como um bloco de construção para geração de vídeo controlada por câmera e consciente de geometria. Eles enfatizam que o método melhora a capacidade do modelo de seguir trajetórias de câmera e manter a consistência da cena sob mudanças de visão sem exigir vídeos de origem ou imagens de referência durante a inferência. Além disso, a extensão para Radial MixForcing demonstra um caminho para unificar o controle de câmera e o controle de geometria da cena externa dentro de uma única estrutura de adaptador, permitindo tarefas como transferência de movimento e manipulação de layout de cena via mapas radiais externos.

O trabalho é apresentado como um pré-impresso, e os autores reconhecem limitações, como a dependência da qualidade da pseudo-supervisão de modelos de geometria monoculares e o foco atual em modelos de câmera central (UCM) em vez de modelos de obturador rolante ou não centrais.