Revisiting an Old Perspective Projection for Monocular 3D Morphable Models Regression

Each language version is independently generated for its own context, not a direct translation.

Imagine que você está tentando criar um boneco 3D perfeito que se pareça exatamente com uma foto de uma pessoa. Isso é o que os cientistas chamam de "Modelos Morfáveis 3D" (3DMM). É como se fosse um molde de argila digital que você pode esculpir para imitar qualquer rosto.

Por muito tempo, os computadores usavam uma regra simples para transformar esse boneco 3D em uma imagem 2D (como a sua foto de celular): eles usavam uma projeção ortográfica.

O Problema: O "Efeito Planície"

Pense na projeção ortográfica como se você estivesse olhando para o mundo através de uma janela de trem que não tem profundidade. Tudo parece plano e do mesmo tamanho, não importa se está perto ou longe.

O que acontecia: Se você tirasse uma foto bem de perto (um "close-up" ou selfie), o computador ainda tratava o rosto como se estivesse longe. O resultado? O nariz, que é a parte que mais se projeta para fora, ficava parecendo um botão minúsculo. A testa parecia gigante e o queixo parecia flutuar. Era como se o computador tivesse esquecido que a foto foi tirada de perto.

A Solução: O "Botão de Zoom Mágico"

Os autores deste paper (Toby Chong e Ryota Nakajima) disseram: "E se pudéssemos ensinar o computador a entender que, quando algo está perto, ele parece maior?"

Eles criaram um novo "botão" (um parâmetro matemático chamado $\rho$ , que chamaremos de Botão de Encolhimento).

Como funciona: Imagine que o computador já sabe desenhar o rosto perfeitamente, mas de forma "plana". Agora, eles adicionaram esse botão que, quando girado, aplica um efeito de "lente de peixe" suave. Ele faz o nariz parecer maior e a testa parecer menor, exatamente como acontece na vida real quando alguém tira uma selfie.
O Pulo do Gato: O grande trunfo deles é que esse botão é compatível. Eles não precisaram recriar todo o computador do zero. Eles pegaram os modelos antigos (que já eram bons) e apenas "apertaram" esse novo botão para ajustá-los a fotos de perto. É como pegar um carro antigo e instalar um turbo novo: o motor continua o mesmo, mas agora ele corre muito melhor em curvas fechadas.

O Treinamento: A Câmera na Cabeça

Para ensinar esse novo botão a funcionar, eles precisavam de fotos onde o efeito de "perto" fosse muito forte.

Eles criaram um banco de dados especial (HMC1M) usando câmeras presas na cabeça de atores. Imagine um ator andando, falando e fazendo caretas com uma câmera colada na testa dele. Nessas fotos, o nariz é enorme e a boca está muito perto da lente.
Eles usaram essas fotos para "afinar" o botão de encolhimento. O computador aprendeu: "Ah, quando o nariz ocupa metade da tela, eu preciso aumentar o valor desse botão para que o modelo 3D fique realista."

O Resultado: Mais Realismo, Menos Estranheza

O que eles descobriram?

Em fotos de perto (Selfies e Câmeras na Cabeça): O novo método é muito melhor. O nariz não parece um botão de camisa, e o rosto não parece que o cérebro está explodindo para fora da cabeça (um efeito estranho que os métodos antigos causavam).
Em fotos normais (de longe): O método novo não estraga nada. Ele continua funcionando bem, apenas ajustando-se automaticamente se a foto tiver um pouco de profundidade.

Resumo da Ópera

Pense nisso como se você tivesse um óculos de realidade aumentada. Antigamente, esse óculos via o mundo todo plano, como um desenho animado. Agora, com essa nova tecnologia, o óculos entende que quando você chega perto de algo, ele deve "esticar" a imagem para parecer real.

Eles pegaram uma tecnologia que já era boa para o dia a dia e deram a ela "olhos" para ver a profundidade em fotos de perto, sem precisar trocar todo o sistema. É uma atualização inteligente que faz a diferença entre um rosto 3D que parece um boneco de plástico e um que parece uma pessoa de verdade.

Each language version is independently generated for its own context, not a direct translation.

Título: Revisitando uma Velha Perspectiva: Projeção para Regressão de Modelos Morfáveis 3D Monoculares

1. O Problema

A regressão de Modelos Morfáveis 3D (3DMMs) a partir de imagens monoculares é uma técnica fundamental para a criação de conteúdo, permitindo o ajuste rápido e preciso de modelos 3D a imagens 2D. No entanto, a maioria dos métodos baseados em deep learning (como DECA, EMOCA e SMIRK) utiliza projeção ortográfica para mapear o modelo 3D para o espaço da imagem.

Limitação da Projeção Ortográfica: Embora a projeção ortográfica elimine a ambiguidade entre a distância do objeto e o comprimento focal (f), ela ignora a distorção de perspectiva.
Consequências em Close-ups: Em imagens de close-up (como as capturadas por câmeras montadas na cabeça ou selfies), a falta de modelagem de perspectiva resulta em artefatos visuais indesejados:
- Narizes reconstruídos significativamente menores do que o real.
- Linhas da mandíbula "levitadas" ou distorcidas.
- Um efeito de "cérebro expansivo" (expanding brain), onde a parte superior do modelo 3D se curva para fora, exagerando a região parietal da cabeça.
Desafio da Projeção de Perspectiva Completa: Métodos que tentam usar projeção de perspectiva completa (estimando comprimento focal $f$ e distância $t_z$ ) frequentemente falham devido à alta ambiguidade entre esses parâmetros, dificultando a convergência do treinamento.

2. Metodologia

Os autores propõem um novo modelo de câmera que estende a projeção ortográfica tradicional para capturar efeitos de distorção de perspectiva de forma controlada e compatível com modelos existentes.

A. Modelo de Câmera Pseudo-Perspectiva

Em vez de estimar $f$ e $t_z$ separadamente (o que é instável), os autores introduzem um parâmetro de encolhimento ( $\rho$ ) aprendível post hoc.

Equação de Projeção: A projeção é modificada para:
$\begin{pmatrix} u \\ v \end{pmatrix} = \begin{pmatrix} S\frac {v_x}{1+\rho v_z}\\ S\frac {v_y}{1+\rho v_z} \end{pmatrix}$
Onde:
- Se $\rho = 0$ , a projeção é puramente ortográfica.
- À medida que $\rho$ aumenta, o efeito torna-se mais parecido com a projeção de perspectiva (semelhante a um comprimento focal curto ou objeto próximo).
- Este parâmetro isola o efeito de encolhimento da perspectiva, permitindo um ajuste suave via backpropagation.

B. Técnicas de Fine-tuning (Ajuste Fino)

Para adaptar modelos pré-treinados com projeção ortográfica para este novo modelo, os autores desenvolveram um processo de fine-tuning que inclui:

Adição de Camada Linear: Uma camada linear simples é adicionada ao codificador de pose ( $E_\beta$ ) para regredir o parâmetro $\rho$ , seguida por uma ativação sigmoid.
Priori de Dataset ( $\rho_{prior}$ ): Como muitas imagens de close-up (especialmente de câmeras montadas na cabeça) não são calibradas, eles utilizam um termo de perda L2 para guiar o $\rho$ predito para um valor priorizado empiricamente (ex: $\rho_{prior} = 4.0$ para o dataset HMC1M).
Máscara de Ambiguidade: Para resolver a ambiguidade na região do nariz e do contorno do rosto (onde a distorção é mais crítica), eles modificam a técnica de mascaramento do SMIRK, removendo pixels específicos ao redor do nariz e do contorno durante o treinamento para evitar que o modelo aprenda artefatos incorretos nessas áreas.

C. Dataset HMC1M

Os autores criaram um novo dataset interno chamado HMC1M, contendo 1 milhão de imagens capturadas com câmeras montadas na cabeça (Head-Mounted Cameras) de cerca de 200 atores profissionais. As imagens estão a uma distância de 15 a 30 cm, apresentando forte distorção de perspectiva, ideal para validar a proposta.

3. Contribuições Principais

Novo Modelo de Câmera: Uma extensão da projeção ortográfica que incorpora um parâmetro de encolhimento ( $\rho$ ) para capturar distorção de perspectiva sem a instabilidade da regressão direta de $f$ e $t_z$ .
Técnicas de Compatibilidade: Métodos de fine-tuning que permitem converter modelos existentes (treinados com ortografia) para o novo modelo de câmera usando imagens não calibradas.
Dataset Especializado: Introdução do HMC1M, focado em close-ups extremos, preenchendo uma lacuna em datasets públicos que são majoritariamente de distância média.
Validação Empírica: Demonstração de que é possível melhorar a qualidade de reconstrução geométrica em close-ups sem degradar o desempenho em imagens de "mundo real" (in-the-wild) mais distantes.

4. Resultados e Avaliação

Os resultados foram avaliados quantitativamente e qualitativamente em datasets como MEAD, CelebA, FFHQ, NoW e o novo HMC1M.

Reconstrução de Landmarks 2D: No dataset HMC1M, o método proposto ("Ours") alcançou a melhor qualidade de reconstrução em todas as regiões de landmarks, superando o SMIRK re-treinado (smirkr) e o pré-treinado (smirkp).
Reconstrução 3D (NoW Dataset): O método superou o smirkp na subconjunto "Selfie" do dataset NoW, onde a distorção de perspectiva é mais forte. O erro de reconstrução foi menor (1.2143 vs 1.2718).
Estudo de Percepção (Crowdsourcing): Em um teste com 619 respostas via Amazon Mechanical Turk, o método proposto foi preferido em 44.4% das vezes, superando o smirkp (23.4%) e o smirkr (32.1%).
Análise Visual: As comparações mostram que o método proposto corrige o nariz pequeno e o efeito de "cérebro expansivo" presentes nos modelos base, especialmente em imagens de close-up (HMC1M).
Estabilidade: Diferente de tentativas de regressão direta de $f$ e $t_z$ (que falharam em estabilizar), o modelo com $\rho$ manteve a estabilidade do treinamento ortográfico original.

5. Significado e Conclusão

Este trabalho demonstra que a simplificação excessiva da projeção ortográfica, embora útil para estabilidade, é um gargalo para aplicações de close-up. A proposta de um parâmetro de encolhimento aprendível oferece um equilíbrio ideal:

Compatibilidade: Pode ser aplicado a arquiteturas existentes sem reestruturação completa.
Eficácia: Resolve artefatos geométricos críticos em cenários de câmeras próximas (como VR/AR, câmeras de ação e selfies).
Generalização: Não degrada o desempenho em imagens de distância padrão, validando que a correção de perspectiva é benéfica mesmo quando a distorção é moderada.

Em suma, os autores provam que é possível "revisitar" a perspectiva em modelos 3DMM de forma prática, melhorando significativamente a fidelidade geométrica em cenários de close-up sem sacrificar a robustez dos métodos atuais.