Video Reconstruction using Diffusion-based Image-to-Video Generation with Trajectory Guidance

Resumo Técnico: Reconstrução de Vídeo usando Geração de Imagem para Vídeo baseada em Difusão com Orientação por Trajetória

Declaração do Problema
Este artigo aborda o desafio de reconstruir quadros ausentes ou perdidos em filmagens de drones em visão de cima de Veículos de Superfície Autônomos (ASVs) realizando manobras marítimas. O contexto específico envolve ambientes de águas abertas com baixa textura, onde os objetos (pequenas embarcações) são pequenos em relação ao campo de visão. Em tais cenários, os sinais visuais isolados são frequentemente insuficientes para determinar o movimento preciso dos objetos, levando a falhas em métodos de interpolação tradicionais que dependem de movimento previsível e suave ou de priors puramente baseados em dados. Além disso, abordagens padrão de aprendizado profundo frequentemente produzem saídas borradas ou falham em sintetizar texturas plausíveis quando condicionadas a observações esparsas. A dificuldade central reside em preencher a lacuna entre dados de telemetria esparsos e não visuais (registros de GPS) e a geração de sequências de vídeo temporalmente coerentes e de alta fidelidade, sem exigir ajuste fino do modelo específico de domínio.

Metodologia
Os autores propõem um pipeline que converte telemetria GPS bruta e um único quadro de vídeo de referência em uma sequência de vídeo orientada por trajetória usando um modelo de difusão imagem-para-vídeo pré-treinado, especificamente SG-I2V (construído sobre o Stable Video Diffusion). O pipeline opera através de quatro etapas distintas:

1. Construção de Entrada e Inicialização de Caixas Delimitadoras:
   Dado um quadro de referência, o usuário inicializa manualmente as caixas delimitadoras para as embarcações. Embora a detecção automatizada (por exemplo, YOLO) seja possível, os autores optam pela inicialização manual para garantir uma atribuição confiável e consistente de identidade das trajetórias de GPS a embarcações específicas, evitando erros de reidentificação em cenários de proximidade. Adicionalmente, quatro caixas delimitadoras de canto são colocadas para codificar o movimento global da câmera (mantido constante neste experimento específico, pois o drone estava estacionário).

2. Projeção de GPS para Pixels:
   Uma função de mapeamento personalizada converte coordenadas geográficas em pistas de movimento no espaço da imagem. Este processo envolve:

   • Transformação Geográfica para Métrica: Conversão de fixações de GPS (longitude, latitude) em deslocamentos métricos locais Leste-Norte usando uma aproximação equiretangular.
   • Rotação: Alinhamento do quadro métrico com os eixos da imagem usando um guinada de câmera estimada (derivada do Rumo sobre o Solo da embarcação e inspeção visual).
   • Estimativa de Escala: Cálculo de uma escala de pixels por metro ($s$) comparando a distância métrica entre as embarcações (derivada do GPS) contra a distância em pixels no quadro de referência.
   • Projeção por Quadro: Interpolação dos registros de GPS para os carimbos de tempo do vídeo e projeção deles no espaço de pixels para gerar arrays de trajetória ($T_i$) para cada embarcação.

3. Geração Condicionada por Trajetória:
   A carga útil construída — consistindo na imagem de referência e arrays de trajetória por objeto — é alimentada no modelo SG-I2V. O modelo gera os 14 quadros subsequentes condicionados tanto ao conteúdo visual quanto à orientação de trajetória incorporada. Notavelmente, os autores aplicam nenhum ajuste fino específico de domínio ao modelo pré-treinado, confiando, em vez disso, em um estudo de ablação sistemático de hiperparâmetros (iterações de otimização latente, dispersão do mapa de calor, mistura de frequência FFT) para otimizar a qualidade visual e a coerência temporal.

4. Linhas de Base de Avaliação:
   O método proposto é comparado com:

   • Extrapolação de Fluxo Óptico: Distorção do quadro de referência para frente usando fluxo óptico de Farneback.
   • RIFE (Estimativa de Fluxo Intermediário em Tempo Real): Um método de interpolação de aprendizado profundo que condiciona ambas as extremidades temporais (o que é uma vantagem não disponível em cenários reais de quadros ausentes).

Principais Contribuições
O artigo delineia três contribuições primárias:

1. Esquema de Projeção de GPS para Imagem: Um método para converter dados de rastreamento esparsos em pistas de movimento espaciais que são diretamente consumíveis por modelos generativos prontos para uso.
2. Pipeline sem Ajuste Fino: Um fluxo de trabalho completo de reconstrução que alcança síntese fisicamente plausível sem retreinar o modelo de difusão subjacente em dados marítimos.
3. Benchmarking Sistemático: Uma avaliação quantitativa em filmagens marítimas reais demonstrando as vantagens da síntese generativa orientada por trajetória sobre métodos tradicionais de interpolação e extrapolação, particularmente sob condições desafiadoras de objetos pequenos.

Resultados
A avaliação compara os métodos usando métricas perceptuais (LPIPS), temporais (suavidade), de qualidade sem referência (BRISQUE) e de precisão de trajetória contra a verdade fundamental:

• Qualidade Perceptual: O SG-I2V produziu os quadros de aparência mais natural entre os métodos de síntese, com uma pontuação BRISQUE de 25,52, mais próxima da pontuação da verdade fundamental de 23,64. Em contraste, o RIFE obteve 42,46, indicando saídas super-suavizadas.
• Consistência Temporal: O SG-I2V alcançou uma suavidade temporal de 1,14 px/quadro, correspondendo estreitamente à verdade fundamental de 1,42. O fluxo óptico (0,39) e o RIFE (0,59) subestimaram a magnitude do movimento.
• Adesão à Trajetória: O SG-I2V demonstrou a maior adesão às trajetórias de GPS com um erro de 9,31 pixels. Isso é significativamente menor que o próprio erro de alinhamento do vídeo de verdade fundamental de 28,70 pixels (atribuído ao alinhamento temporal manual aproximado entre filmagens e registros), indicando que o modelo incorporou com sucesso pistas de movimento derivadas do GPS.
• LPIPS: Embora o Fluxo Óptico tenha alcançado o LPIPS mais baixo (0,110), os autores observam que isso reflete a preservação das estatísticas originais da imagem via distorção em vez de uma geração genuína de qualidade perceptual.

Significado e Alegações
O artigo afirma que a síntese de difusão orientada por trajetória é uma abordagem viável para reconstrução de vídeo marítimo, especificamente em condições de baixa textura e objetos pequenos onde os sinais visuais são ambíguos. O significado reside na capacidade de direcionar a síntese de vídeo para resultados fisicamente plausíveis usando dados de sensores auxiliares (GPS) sem a necessidade de retreinamento caro e específico de domínio do modelo.

Os autores modestamente reconhecem limitações, notando que a avaliação está restrita a um único clipe de dois segundos, o que limita a generalizabilidade das descobertas quantitativas. Eles não afirmam superioridade universal sobre todas as tarefas de reconstrução de vídeo, mas destacam a eficácia específica de sua abordagem em cenários onde o movimento do objeto é conhecido via telemetria, mas visualmente difícil de rastrear. Trabalhos futuros são propostos para estender o pipeline para sequências mais longas, automatizar a sincronização e a inicialização de caixas delimitadoras, e incorporar dados de Velocidade sobre o Solo (SOG) para codificar a magnitude do deslocamento com maior precisão.