Camera Control for Text-to-Image Generation via Learning Viewpoint Tokens

1. O Problema

Os modelos atuais de geração de imagem a partir de texto (Text-to-Image ou T2I) demonstraram avanços notáveis em realismo visual e fidelidade semântica. No entanto, eles falham consistentemente ao seguir instruções geométricas precisas de ponto de vista (câmera) fornecidas apenas por linguagem natural.

• Ambiguidade da Linguagem: Termos como "vista traseira", "30° à esquerda" ou "perspectiva de cima" são inerentemente ambíguos e discretos para os modelos.
• Falhas Comuns: Os modelos tendem a alucinar poses incorretas, colapsar para ângulos canônicos enviesados (geralmente frontais) ou produzir geometria inconsistente entre tentativas.
• Limitações de Métodos Anteriores:
  • Modelos 3D-aware ou de síntese de nova visão (NVS) geralmente exigem imagens de entrada adicionais, não sendo puramente baseados em texto.
  • Métodos baseados em tokens (como Compass Control) muitas vezes superajustam (overfitting) a aparências específicas de objetos de treinamento, falhando em generalizar para novas categorias e restringindo o controle a apenas um eixo de rotação (azimute).

2. Metodologia

A proposta dos autores é um framework que integra tokens de ponto de vista paramétricos aos prompts de texto, permitindo um controle de câmera preciso e global sem a necessidade de imagens de referência ou dados geométricos explícitos durante a inferência.

A. Parametrização do Ponto de Vista

O sistema adota uma abordagem centrada no objeto, onde o objeto é fixado na origem e sua frente aponta para o eixo X positivo. A câmera é parametrizada por um vetor de 5 parâmetros ($\theta$):

1. Azimute ($\theta_{az}$): Posição angular horizontal.
2. Elevação ($\theta_{el}$): Posição angular vertical.
3. Raio ($r$): Distância do objeto (normalizada pelo diâmetro do objeto).
4. Pitch ($\theta_{pitch}$): Inclinação da câmera (para cima/baixo).
5. Yaw ($\theta_{yaw}$): Rotação lateral da câmera.

B. Codificação de Tokens

• Os 5 parâmetros são codificados em um embedding aprendível usando um MLP (Multi-Layer Perceptron) leve.
• O azimute é codificado via seno e cosseno para lidar com periodicidade.
• O token resultante é concatenado aos embeddings de texto e inserido adjacente à descrição do objeto no modelo de geração.
• O modelo de geração de imagem (backbone) é ajustado (fine-tuned) em conjunto com o encoder de tokens de ponto de vista.

C. Estratégia de Treinamento e Dataset

Para evitar o colapso do modelo (esquecer como renderizar cenas complexas) e garantir generalização, os autores utilizam um dataset de duas partes:

1. Dataset Renderizado (Geometria Pura): 373.000 imagens renderizadas de 3.111 objetos 3D (animais, veículos, pessoas, móveis) com fundos transparentes. Isso fornece supervisão geométrica densa e precisa.
2. Dataset Fotorealista Aumentado (Realismo e Diversidade): 6.600 imagens geradas usando um modelo comercial (Nano Banana/Gemini) para pegar objetos renderizados em poses conhecidas e inseri-los em cenários fotorealistas com fundos diversos. Isso mantém a fidelidade de aparência e a diversidade de prompts.

• Durante o treinamento, amostras são extraídas igualmente de ambos os conjuntos.

3. Contribuições Principais

1. Controle de Câmera de Estado da Arte: Alcança maior precisão e amplitude de controle (azimute, elevação, distância, pitch, yaw) do que métodos anteriores, mantendo a qualidade da imagem e a fidelidade ao prompt.
2. Entendimento Global da Cena: Diferente de métodos que focam apenas em recortes de objetos, a abordagem aprende a relação entre o objeto e o fundo, permitindo uma compreensão geométrica global.
3. Generalização Robusta: Os tokens de ponto de vista aprendem representações geométricas fatorizadas, independentes da identidade ou forma do objeto, permitindo que o modelo generalize para categorias de objetos nunca vistas durante o treinamento.
4. Design de Dataset Híbrido: A combinação de renderização 3D (para geometria) e aumento fotorealista (para aparência) resolve o dilema entre precisão geométrica e realismo visual.

4. Resultados Experimentais

Os autores avaliaram o método (baseado no modelo Harmon) comparando-o com ControlNet-Depth, Stable-Virtual-Camera e Compass Control.

• Precisão de Ponto de Vista: O método alcançou o menor erro angular médio em todos os parâmetros (Azimute: ~18.11° vs 31.07° do Compass Control; Elevação: ~7.62° vs 14.49°).
• Fidelidade ao Prompt (GenEval e CLIP): O método manteve pontuações altas em benchmarks de alinhamento texto-imagem, superando o Compass Control, que frequentemente falhava em gerar o objeto ou cor corretos devido ao superajuste.
• Generalização: Em testes com 26 objetos "diversos" (incluindo criaturas míticas e objetos não presentes no treino), o método manteve baixa taxa de erro. Em contraste, o Compass Control superajustou massivamente, gerando, por exemplo, um "Papai Noel" como um animal ou um "golfinho" como um bicho de pelúcia.
• Cenários Desafiadores: O método demonstrou robustez em ângulos extremos (vistas traseiras e elevações altas), onde outros métodos falhavam em seguir o prompt ou a geometria.

5. Significado e Conclusão

Este trabalho demonstra que é possível endowir espaços latentes de texto-visão com estrutura 3D explícita através de uma codificação paramétrica simples.

• Impacto: Abre um caminho para sistemas de geração de imagem "geometricamente conscientes", onde prompts de texto podem controlar não apenas o conteúdo semântico, mas também a composição espacial e a perspectiva da cena de forma precisa.
• Aplicabilidade: O método é extensível a diferentes backbones de modelos de difusão e não requer imagens de referência na inferência, tornando-o altamente utilizável para aplicações criativas e de design que exigem controle preciso de câmera a partir de descrições textuais.

Em suma, o artigo resolve a lacuna entre a expressividade da linguagem natural e a precisão geométrica necessária para o controle de câmera, superando as limitações de superajuste e falta de generalização dos trabalhos anteriores.