Frequency-Decomposed Avatar Representation for Varying Camera Distances

Imagine tentar capturar uma pessoa em um mundo digital de forma tão perfeita que você possa se aproximar dela, inspecionar a trama de sua camisa ou se afastar para ver todo o seu corpo em uma sala lotada. Durante anos, cientistas da computação lutaram para criar esses "humanos digitais" que pareçam reais em qualquer distância. O problema é um compromisso: métodos que parecem nítidos quando você está perto costumam ficar borrados ou com falhas quando você se afasta, enquanto métodos que funcionam bem de longe perdem os detalhes finos necessários para uma visão de perto. Essa limitação tem freado aplicações em realidade virtual, videogames e telepresença, onde os usuários precisam interagir com pessoas digitais naturalmente, movendo-se livremente sem que a imagem se desfaça.

A solução para este problema tem sido, por muito tempo, um conceito conhecido como "nível de detalhe", uma técnica usada em computação gráfica para simplificar objetos complexos quando estão longe e adicionar detalhes quando estão perto. No entanto, os métodos existentes para criar avatares humanos animados não conseguiram aplicar essa ideia de forma suave. Eles ou dependem de formas 3D rígidas que carecem de textura, ou usam milhares de pequenos pontos flutuantes que se tornam bagunçados e lentos quando a câmera chega muito perto. Uma equipe de pesquisadores desenvolveu agora uma nova maneira de construir esses humanos digitais que resolve esse problema de distância, permitindo uma representação única e de alta qualidade que parece realista quer você esteja a centímetros de distância ou do outro lado da sala.

Os pesquisadores, trabalhando com dados de câmeras de alta resolução, criaram um sistema que chamam de CloseUpAvatar. Em vez de tentar construir a pessoa a partir de uma malha sólida ou de uma nuvem de milhões de pontos, eles representam o corpo humano como uma coleção de pequenos quadrados planos e texturizados. Pense nesses quadrados como pequenos outdoors flexíveis que cobrem a superfície do corpo. Cada um desses outdoors carrega sua própria imagem, que pode mudar conforme a pessoa se move. A inovação fundamental reside em como essas imagens são armazenadas. A equipe percebeu que um único arquivo de imagem não consegue lidar tanto com as cores amplas de um rosto quanto com os detalhes nítidos de um poro da pele ao mesmo tempo sem se confundir.

Para corrigir isso, eles dividiram a informação visual em duas camadas separadas para cada um desses outdoors. Uma camada contém os detalhes de baixa frequência, que são as cores e formas suaves que definem o aspecto geral da pessoa. A segunda camada contém os detalhes de alta frequência, que são as texturas nítidas e precisas, como rugas, poros e padrões de tecido. O sistema é projetado para ser inteligente sobre quando usar qual camada. Quando a câmera está longe, o sistema mostra apenas a camada de baixa frequência, que é eficiente e parece perfeita à distância. À medida que a câmera se aproxima, o sistema automaticamente e gradualmente mistura a camada de alta frequência nítida. Essa transição acontece de forma tão suave que o espectador nunca nota a troca; a imagem simplesmente torna-se mais nítida conforme se aproxima, sem saltos repentinos ou embaçamento.

Os pesquisadores testaram essa abordagem usando um grande conjunto de dados de pessoas reais filmadas de vários ângulos, incluindo filmagens de alta resolução que permitiram simular close-ups extremos. Eles compararam seu novo método com as melhores técnicas atuais na área. Os resultados mostraram que, enquanto outros métodos tinham dificuldade em produzir uma imagem clara quando a câmera dava zoom, muitas vezes resultando em rostos borrados ou distorcidos, o novo sistema manteve uma qualidade fotorrealista. Na verdade, o novo método foi capaz de renderizar esses avatares detalhados a uma velocidade de mais de 200 quadros por segundo, o que é rápido o suficiente para interação em tempo real em realidade virtual. Essa velocidade foi alcançada usando muito menos blocos de construção do que os métodos anteriores, provando que ter menos peças, porém mais inteligentes, é mais eficaz do que ter milhões de peças simples.

Uma das descobertas mais significativas foi que o sistema pôde aprender a lidar com essas variações de distância durante seu processo de treinamento. Os pesquisadores ensinaram o computador mostrando a mesma pessoa tanto de muito perto quanto de muito longe, uma técnica que fez com que outros métodos falhassem ou produzam artefatos estranhos. Ao usar sua abordagem de divisão de frequência, o sistema aprendeu a separar a forma geral dos detalhes finos, permitindo que se adaptasse instantaneamente à posição da câmera. Isso significa que um humano digital criado com este método pode ser contornado, inspecionado de perto e visualizado à distância sem que a qualidade da imagem jamais se degrade.

O trabalho demonstra que é possível ter um humano digital que seja ao mesmo tempo eficiente e incrivelmente detalhado. Os pesquisadores observaram que, embora seu sistema seja altamente eficaz para o corpo e características gerais, ele ainda enfrenta desafios com detalhes extremamente finos, como dedos individuais ou expressões faciais complexas, que permanecem como uma área para melhorias futuras. No entanto, para a tarefa ampla de criar pessoas digitais realistas e interativas, esta nova abordagem oferece um salto significativo à frente. Ela remove a barreira entre o usuário e o mundo digital, garantindo que, não importa o quão perto você chegue, a pessoa na tela pareça tão real quanto parece de longe.