Resumo Técnico: Segmentação de Ativos 3D Baseada em Atlas com Humano no Ciclo para Fluxos de Trabalho de Conteúdo Interativo

Declaração do Problema

Segmentar ativos 3D em regiões significativas continua sendo um desafio significativo, particularmente quando os critérios de segmentação dependem da aplicação e exigem controle do usuário. Os métodos existentes de segmentação 3D enfrentam várias limitações:

• Especificidade de Conjunto de Dados: Muitas abordagens exigem retreinamento para novas categorias de objetos.
• Premissas Geométricas: Decomposições baseadas em primitivas assumem formas simples e têm dificuldade com superfícies complexas, orgânicas ou irregulares do mundo real.
• Falta de Controle do Usuário: Métodos recentes de zero-shot que transferem características de modelos de fundação 2D para backbones 3D dependem de rotulagem semântica automática, oferecendo suporte limitado para fronteiras definidas pelo usuário ou definições de segmento específicas de aplicação.

Para fluxos de trabalho de mídia interativa, jogos e XR, a segmentação é frequentemente uma representação intermediária controlável necessária para edição de materiais, estilização ou operações de espaço de textura, em vez de um objetivo final. Embora os modelos de fundação 2D (ex: SAM 2) tenham avançado na segmentação de imagens, a aplicação 3D totalmente automática permanece insuficiente devido a máscaras incompletas, sobresegmentação e a variabilidade do que constitui um segmento "significativo" entre diferentes domínios (ex: conservação de patrimônio cultural vs. criação de ativos de jogos). Além disso, os fluxos de trabalho baseados em atlas existentes muitas vezes carecem de otimização explícita de viewpoint para cobertura e não suportam correção interativa.

Metodologia

Os autores propõem um pipeline de humano no ciclo (human-in-the-loop) para gerar um atlas parametrizado 2D a partir de um modelo 3D. O pipeline consiste em quatro estágios:

1. Seleção de View (Inspirada em Planejamento de Trajetória)

Para garantir a cobertura total da superfície com um conjunto mínimo de viewpoints, os autores formulam o problema como um problema de cobertura de conjuntos sobre a superfície do modelo, inspirado em tarefas de inspeção de braços robóticos.

• Processo: O modelo 3D é envolvido em uma esfera delimitadora (bounding sphere), e uma esfera de câmera é construída em um raio fixo. O modelo é remeshado para gerar pontos de amostragem uniformes.
• Mapeamento de Visibilidade: O raycasting é realizado de cada ponto da superfície para cada posição de câmera candidata para construir mapas de visibilidade.
• Seleção Gananciosa (Greedy): Uma estratégia gananciosa seleciona iterativamente a posição da câmera que cobre o número máximo de pontos de superfície previamente não cobertos. Isso continua até que todos os pontos amostrados estejam cobertos.
• Saída: Um conjunto mínimo de posições de câmera é usado para renderizar imagens, que são então usadas para as etapas subsequentes.

2. Segmentação Assistida por IA

As visualizações renderizadas são segmentadas usando um fluxo de trabalho interativo integrando Label Studio e o modelo de fundação SAM 2.

• Interação: Usuários fornecem prompts mínimos (cliques de ponto ou caixas delimitadoras) para indicar regiões de interesse. O SAM 2 gera máscaras iniciais.
• Refinamento: Usuários refinam iterativamente as previsões para corrigir erros (ex: máscaras incompletas, fronteiras incorretas) e adaptar a segmentação a critérios específicos do domínio.
• Consistência: As previsões são refinadas através do conjunto de visualizações para garantir consistência entre as vistas antes da retroprojeção.

3. Retroprojeção no Atlas UV

As imagens coloridas segmentadas são projetadas de volta no atlas parametrizado 2D do modelo (mapa UV).

• Correspondência: Para cada pixel em uma imagem segmentada, a face correspondente da malha é identificada usando uma passagem de índice renderizada a partir do mesmo viewpoint.
• Mapeamento: A cor do segmento é escrita na localização correspondente no espaço UV usando as coordenadas de textura da face.
• Fusão: As imagens parciais do atlas de todas as visualizações selecionadas são fundidas em um único atlas segmentado unificado. A seleção de visualização gananciosa garante que a união das projeções forneça cobertura completa do atlas UV.

4. Aplicações Downstream

O atlas segmentado resultante permite várias tarefas no espaço UV, incluindo:

• Atribuição de material por segmento (ex: rugosidade, metalicidade, albedo distintos).
• Transferência de estilo por região.
• Síntese de textura restrita aos segmentos.
• Anotação de superfície 3D automatizada para geração de datasets.

Principais Contribuições

1. Algoritmo de Seleção de View: Um algoritmo inspirado em planejamento de trajetória que formula o planejamento de viewpoint como um problema de cobertura de conjuntos, usando uma estratégia gananciosa para obter um conjunto compacto de posições de câmera que garantem cobertura total da superfície.
2. Pipeline End-to-End com Humano no Ciclo: Um fluxo de trabalho completo integrando SAM 2 e Label Studio para refinamento iterativo de previsões de segmentação, produzindo um atlas parametrizado 2D segmentado adequado para edição de espaço de textura downstream.
3. Avaliação Baseada em Demonstração: Uma avaliação em oito objetos diversos de patrimônio cultural caracterizando o esforço de anotação, adequação da saída e modos de falha recorrentes através de diferentes geometrias e condições de aparência.

Resultados e Avaliação

O pipeline foi avaliado em oito objetos de patrimônio cultural (ex: cabeça de David de Michelangelo, busto de Nefertiti, cadeira vitoriana, espada medieval) com variadas geometrias e aparências. A avaliação foi uma avaliação técnica baseada em demonstração, em vez de um estudo de usuário com participantes.

• Desempenho: O pipeline gerou com sucesso atlas segmentados utilizáveis para todos os objetos. O tempo total de anotação variou de aproximadamente 15 a 35 minutos por objeto (média de ~21 minutos).
• Casos de Sucesso: Objetos mais simples com geometria clara (ex: espada medieval) exigiram correção mínima. Regiões contíguas maiores com pistas de aparência claras foram segmentadas de forma confiável pelo SAM 2.
• Desafios e Modos de Falha:
  • Estruturas Finas: Detalhes pequenos (ex: olhos da estátua de David, asas de um anjo) frequentemente exigiram anotação manual ou refinamento.
  • Fronteiras Fracas: Objetos com baixa textura/contraste (ex: superfícies de mármore) ou fronteiras de aparência fracas apresentaram dificuldades para a segmentação automática.
  • Cavidades e Oclusão: Cavidades inferiores (ex: cadeira vitoriana) e estruturas estreitas (ex: tiras em um escudo) foram desafiadoras, às vezes exigindo correção manual de fronteira devido a ângulos de visão desfavoráveis ou limitações de ferramentas.
  • Artefatos de Projeção: Artefatos localizados ocorreram em regiões com ângulos de visão rasos ou auto-oclusão.

Significância e Alegações

O artigo afirma que esta abordagem oferece uma solução prática para fluxos de trabalho de conteúdo interativo onde os critérios de segmentação não são estáticos, mas dependem da intenção do usuário e das necessidades da aplicação. Ao combinar uma estratégia de seleção de viewpoint matematicamente otimizada com um fluxo de trabalho de anotação com humano no ciclo, o método preenche a lacuna entre a eficiência dos modelos de fundação e a necessidade de controle humano.

Os autores afirmam modestamente que, embora o pipeline gere atlas utilizáveis em diversos ativos, ele ainda não alcança a segmentação totalmente automática para casos complexos. O valor principal reside na redução do esforço manual para grandes regiões, ao mesmo tempo em que fornece um mecanismo estruturado para o refinamento guiado por especialistas em áreas difíceis. O trabalho sugere que os dados anotados produzidos poderiam eventualmente ser usados para incorporar conhecimentos (priors) específicos de tarefas nos modelos de fundação, potencialmente reduzindo a intervenção humana no futuro.