Resumo Técnico: CapFrame – Grounding de Ponto de Vista Instruído por Texto em Cenas de Gaussianas 3D

1. Definição do Problema

Embora o 3D Gaussian Splatting (3DGS) possibilite a síntese de novos visores fotorrealistas e em tempo real, o processo de posicionar uma câmera virtual para capturar um quadro específico desejado permanece amplamente manual. Os métodos existentes guiados por linguagem concentram-se primariamente no grounding centrado no objeto (determinar o que observar), mas falham em abordar restrições composicionais (determinar como a cena deve aparecer). Instruções do mundo real frequentemente especificam atributos fotográficos complexos, como orientação do sujeito (ex: "vista à esquerda"), layout espacial (ex: "no lado direito") e inclinação da câmera, que os métodos atuais de geração de trajetória ou localização de objetos não conseguem impor.

Para abordar isso, os autores formalizam uma nova tarefa: Text-Instructed Viewpoint Grounding (TIVG). O objetivo é identificar uma pose de câmera de 6-DoF ($T_{CW} \in SE(3)$) dentro de uma cena de Gaussianas 3D, de modo que o quadro renderizado se alinhe a uma instrução de linguagem natural descrevendo a presença do sujeito, composição e ponto de vista.

2. Metodologia: CapFrame

Os autores propõem o CapFrame, um framework parcialmente diferenciável que converte instruções de linguagem em pseudo-rótulos geométricos para otimização da pose da câmera. O framework opera através de um pipeline de três estágios: Retrieve–Translate–Refine (Recuperar–Traduzir–Refinar):

Estágio 1: Retrieve (Inicialização Sensível ao Semântico)

Como a busca exaustiva no espaço contínuo $SE(3)$ é computacionalmente proibitiva, o CapFrame inicializa a otimização usando um subespaço discreto de imagens de treinamento.

• Filtragem Grosseira (Coarse Filtering): O sistema utiliza o FG-CLIP para realizar o alinhamento semântico global entre a instrução de texto e as visões de treinamento, retendo os $M$ melhores candidatos.
• Avaliação por Questionamento (QE - Question-Evaluation): Para superar as limitações de embeddings holísticos em cenas com muitos elementos, um Modelo de Linguagem de Grande Escala Multimodal (MLLM) decompõe a instrução em perguntas específicas (ex: "O sujeito está à direita?", "A vista à esquerda é visível?"). O MLLM avalia cada visão candidata em relação a essas perguntas para gerar pontuações granulares, selecionando os $K$ melhores visões como pontos de inicialização de alta qualidade.

Estágio 2: Translate (Linguagem para Pseudo-Rótulos Geométricos)

A linguagem natural raramente fornece alvos de otimização numéricos. O CapFrame traduz instruções composicionais em pseudo-rótulos geométricos estruturados:

• Associação Sujeito-Gaussiana: O MLLM identifica os sujeitos principais. Usando o Grounded SAM nas imagens recuperadas e o depth do 3DGS, o sistema faz o back-projection de máscaras 2D para o espaço 3D para associar subconjuntos específicos de Gaussianas a cada sujeito.
• Pseudo-Rótulos de Orientação: Para sujeitos assimétricos, o MLLM infere offsets de orientação relativa (azimute, elevação, roll) a partir do texto. Estes são combinados com orientações estimadas do sujeito (via Orient Anything) para criar vetores de orientação alvo.
• Pseudo-Rótulos de Layout: O MLLM infere caixas delimitadoras (bounding boxes) 2D alvo para os sujeitos dentro do quadro de imagem normalizado. Estas caixas são ajustadas para o roll da câmera para garantir consistência com as restrições de orientação.

Estágio 3: Refine (Otimização Baseada em Gradiente)

Partindo da pose recuperada, o CapFrame realiza a otimização diferenciável no 3DGS para encontrar a pose de câmera ideal.

• Renderização Diferenciável: O sistema explora a diferenciabilidade da rasterização 3DGS para realizar o backpropagation das perdas diretamente para os parâmetros da pose da câmera ($\tau \in \mathfrak{se}(3)$).
• Função de Perda (Loss Function): A otimização minimiza uma perda multi-objetivo $\mathcal{L} = \mathcal{L}_{\text{layout}} + \mathcal{L}_{\text{orient}}$:
  • Perda de Layout: Impõe o posicionamento do sujeito penalizando desvios do centroide suave do sujeito em relação à caixa de layout alvo, bem como penalizando o vazamento de máscara fora da caixa e a falta de cobertura dentro dela.
  • Perda de Orientação: Impõe restrições de ponto de vista através de três termos: um termo de gravidade (para câmera vertical), um termo de face frontal (alinhando a direção da câmera com a orientação alvo do sujeito) e um termo de "olhar para" (mantendo o centroide do sujeito em visão).

3. Principais Contribuições

1. Nova Formulação de Tarefa: O artigo introduz o TIVG, mudando o foco da localização de objetos para o alinhamento composicional de quadro completo em cenas 3D.
2. Framework CapFrame: Um pipeline inovador que utiliza MLLMs para gerar pseudo-rótulos geométricos (orientação e layout) a partir de texto, preenchendo a lacuna entre instruções abstratas e otimização 3D diferenciável.
3. Estratégia de Avaliação por Questionamento (QE): Um mecanismo de recuperação que usa MLLMs para decompor instruções em perguntas específicas, fornecendo uma inicialização mais robusta do que a pontuação de similaridade padrão de VLMs.
4. Otimização Diferenciável: Um método para refinar poses de câmera em 3DGS usando perdas de layout e orientação derivadas de pseudo-rótulos, evitando a necessidade de treinamento adicional da representação 3D.

4. Resultados Experimentais

Os autores avaliaram o CapFrame em 38 cenas do mundo real (de Mip-NeRF 360, Deep Blending, Tanks and Temples, LERF-OVS e DL3DV-10K) com 135 instruções de texto curadas.

• Baselines: O método foi comparado com métodos de busca heurística (Busca de Ponto de Vista Baseada em Interpolação, Busca de Ponto de Vista Baseada em Amostragem) e métodos adaptados de geração de trajetória (ChatCam, SplaTraj).
• Desempenho Quantitativo: O CapFrame alcançou as pontuações mais altas em todas as métricas:
  • Métricas VLM: Maiores pontuações de similaridade texto-imagem (CLIP e SigLIP2).
  • Juízes MLLM: Maiores pontuações de alinhamento (AS) e taxas de vitória (WR) quando avaliado por GPT-5.4-mini e Gemini-2.5-Flash.
  • Estudo com Usuários: 33 participantes, cada um completando questionários com 12 grupos, preferiram os outputs do CapFrame sobre os baselines em 77,7% dos casos, com uma classificação média de 4,50/5,0.
• Estudos de Ablação:
  • Remover a estratégia QE resultou em uma inicialização ruim, muitas vezes perdendo o sujeito alvo.
  • Remover a perda de orientação fez com que a câmera falhasse em atingir o ponto de vista especificado (ex: ângulo errado).
  • Remover a perda de layout fez com que os sujeitos se desviassem de suas posições pretendidas.
  • O estágio Refine melhorou consistentemente os scores de alinhamento sobre as visões recuperadas inicialmente em todos os datasets.
• Sensibilidade: O sistema mostrou robustez a textos parafraseados e ruído moderado nos pseudo-rótulos, embora o desempenho tenha degradado ligeiramente quando inicializado a partir de imagens de ranking inferior (Top-5).

5. Significância e Alegações

O artigo afirma que o CapFrame permite a exploração intuitiva, guiada por linguagem, de ambientes 3D complexos ao automatizar a seleção de pontos de vista que satisfaçam restrições composicionais. Ao contrário de métodos anteriores que focam no "o quê" ver, o CapFrame aborda o "como" enquadrar a cena.

Os autores posicionam este trabalho como a primeira solução para a tarefa de TIVG. Eles reconhecem limitações, observando que a dependência de MLLMs introduz sensibilidade à qualidade do prompt e que a abordagem atual não envolve o treinamento adicional do modelo 3DGS em si. Sugere-se que trabalhos futuros explorem estratégias de prompting mais robustas e otimização de prompts. O código é disponibilizado para facilitar pesquisas adicionais nesta direção.