3D-LENS: A 3D Lifting-based Elevated Novel-view Synthesis method for Single-View Aerial-Ground Re-Identification

1. Definição do Problema: Re-ID Aéreo-Terrestre de Vista Única (SV AG-ReID)

Contexto: A Re-Identificação Aéreo-Terrestre (AG-ReID) visa corresponder identidades entre imagens aéreas (VANTs) e de nível do solo (CCTV/Vestíveis). Isso é crítico para aplicações como Busca e Resgate (SAR) e monitoramento da vida selvagem.
O Desafio:

• Lacuna de Ponto de Vista: Mudanças drásticas de elevação causam oclusão severa e distorção de características (ex.: o rosto de um pedestre é visível do solo, mas oculto em uma vista aérea de cima para baixo).
• Escassez de Dados: Métodos existentes dependem de anotações emparelhadas aéreo-terrestres ou adaptação não supervisionada que requer dados do domínio-alvo. Em cenários reais de início frio (ex.: uma missão SAR repentina), apenas dados de vista única (ex.: referências de nível do solo) estão disponíveis.
• Limitações das Soluções Atuais:
  • Modelos Generativos 2D: Frequentemente produzem visualizações geometricamente inconsistentes (alucinando diferentes texturas para o mesmo objeto entre vistas) e falham em simular oclusão estrutural.
  • Métodos Paramétricos 3D: Dependem de modelos específicos por classe (ex.: SMPL para humanos, CAD para carros), falhando em generalizar para categorias diversas ou capturar detalhes granulares como objetos carregados (mochilas, ferramentas).

Formalização: Os autores introduzem o SV AG-ReID, um cenário onde um modelo é treinado exclusivamente em uma única vista (ex.: Solo) e deve generalizar para uma vista-alvo não vista (ex.: Aérea) sem qualquer supervisão cruzada de vistas emparelhada.

2. Metodologia: O Framework 3D-LENS

A solução proposta, 3D-LENS, é um framework unificado consistindo de duas etapas principais: Síntese de Nova Vista Geometricamente Consistente e Aprendizado de Representação Robusto.

A. Síntese de Nova Vista Geometricamente Consistente

Esta etapa gera imagens sintéticas de vista-alvo a partir de imagens de fonte única usando geometria 3D explícita.

1. Levantamento Calibrado 2D para 3D:
   • Uma imagem de origem é segmentada para extrair o primeiro plano.
   • Um modelo de reconstrução 3D de grande escala e agnóstico à classe (Hunyuan3D) eleva a imagem 2D para uma malha 3D texturizada, unificando geometria e aparência.
   • Calibração de Pose: Como a malha reconstruída existe em um espaço de coordenadas arbitrário, a pose da câmera virtual é otimizada para alinhar o silhueta renderizada da malha com a máscara de entrada original (maximizando a IoU).
2. Síntese de Vista:
   • Novas vistas são renderizadas perturbando a pose da câmera calibrada (deslocando elevação $\Delta\theta$ e azimute $\Delta\phi$).
   • Restrição: Ângulos de síntese são restritos para preservar a fidelidade visual (ex.: limitando deslocamentos de elevação para evitar alucinar regiões ocluídas não vistas).
3. Alinhamento de Domínio Sintético para Real:
   • Composição de Fundo: Primeiros planos renderizados são compostos em fundos reais (usando inpainting para remover o sujeito original).
   • Transferência de Estilo: Um módulo de transferência de estilo alinha as características visuais do primeiro plano sintético com o fundo real para eliminar artefatos de renderização e inconsistências de iluminação.

B. Aprendizado de Representação Robusto

Para treinar efetivamente em uma mistura de dados reais e sintéticos, o framework emprega estratégias específicas de aprendizado:

1. Agendador de Currículo:
   • A dificuldade do treinamento é controlada pela magnitude do deslocamento de elevação ($\Delta\theta$).
   • Inicialmente, o modelo é treinado apenas em vistas sintéticas "fáceis" (pequenos deslocamentos). À medida que o treinamento progride (período de aquecimento), a probabilidade de rejeição para pontos de vista extremos diminui, permitindo que o modelo aprenda gradualmente a lacuna completa de pontos de vista.
2. Amostragem Balanceada:
   • Como uma imagem real pode gerar muitas vistas sintéticas, a amostragem ingênua leva ao domínio dos dados sintéticos.
   • Uma proporção fixa ($\rho$) de amostras reais para sintéticas é imposta em cada mini-lote para evitar o sobreajuste a artefatos sintéticos.
3. Funções de Perda:
   • Perdas padrão de Re-ID (Entropia Cruzada de Identidade e Perda de Tripla).
   • Perda de Classificação de Domínio: Um token de domínio é adicionado ao backbone ViT para distinguir explicitamente entre domínios reais e sintéticos, incentivando o modelo a aprender características de identidade que são invariantes à lacuna de domínio.

3. Contribuições Principais

1. Cenário SV AG-ReID: A primeira formalização e solução para AG-ReID onde os modelos devem generalizar a partir de uma única vista sem dados cruzados de vistas emparelhados.
2. Síntese 3D Agnóstica à Classe: Pioneira no uso de reconstrução 3D genérica de grande escala (em vez de modelos específicos por categoria) para Re-ID. Isso permite que o método lide com categorias diversas (humanos, animais, veículos) e capture detalhes específicos da instância (ex.: mochilas) que modelos paramétricos perdem.
3. Consistência Geométrica: Ao elevar para malha 3D e renderizar, o método garante consistência multi-vista, resolvendo o problema de inconsistência de identidade inerente aos modelos generativos 2D.
4. Estratégia de Treinamento Robusta: Introduz uma abordagem de aprendizado de currículo e amostragem balanceada para efetivamente atravessar a lacuna de domínio sintético para real.

4. Resultados Experimentais

O método foi avaliado em três benchmarks: AG-ReID, AG-ReID.v2 e MOO (conjunto de dados de gado).

• Desempenho: O 3D-LENS alcança resultados State-of-the-Art (SOTA) em todos os cenários.
  • No AG-ReID, supera o melhor método anterior (DCAC) em 14,30 pontos percentuais (pp) em mAP para o cenário Solo-para-Aéreo.
  • No AG-ReID.v2, supera a melhor linha de base (PASS) em 21,20 pp em mAP para o cenário CCTV-para-Aéreo.
  • No MOO (gado), supera a linha de base equivariante à rotação (RotTrans) em 10,0 pp, demonstrando generalização além de humanos.
• Estudos de Ablação:
  • Síntese de nova vista bruta sem alinhamento prejudica o desempenho.
  • Composição de fundo e transferência de estilo são cruciais para fechar a lacuna de aparência.
  • A combinação de aprendizado de currículo e amostragem balanceada é essencial para estabilizar o treinamento e prevenir o sobreajuste sintético.

5. Significado e Trabalho Futuro

• Significado: O 3D-LENS demonstra que a geometria 3D explícita é um caminho viável para resolver lacunas extremas de ponto de vista em Re-ID sem exigir dados emparelhados caros. Permite recuperação cruzada de vistas robusta em cenários reais de "início frio", como resposta a desastres.
• Limitações e Direções Futuras: A qualidade das vistas sintetizadas é limitada pela resolução da imagem de origem e oclusão. Trabalhos futuros devem focar em mecanismos automatizados de controle de qualidade para filtrar vistas sintéticas de baixa qualidade durante o treinamento, garantindo que os dados gerados auxiliem consistentemente, em vez de prejudicar, o desempenho do modelo.

Disponibilidade de Código: Os autores planejam liberar o código e os dados em https://github.com/TurtleSmoke/3D-LENS.