SeeClear: Reliable Transparent Object Depth Estimation via Generative Opacification

Resumo Técnico: SeeClear

1. O Problema

A estimativa de profundidade monoculares (a partir de uma única imagem) é fundamental para tarefas como reconstrução 3D, navegação robótica e manipulação. No entanto, objetos transparentes representam um desafio significativo para os modelos de última geração.

• Causa Raiz: Objetos transparentes (como vidro e plástico) exibem efeitos ópticos complexos, como refração e transmissão, que violam as suposições fotométricas padrão (correspondência aparência-geometria) utilizadas pelas redes de profundidade.
• Consequência: Os modelos atuais frequentemente produzem previsões de profundidade instáveis, incorretas ou "translúcidas" para materiais transparentes, o que pode levar a falhas críticas em tarefas downstream, como colisão ou manipulação física.
• Limitações das Abordagens Atuais: Métodos anteriores que tentam resolver isso geralmente exigem o fine-tuning (ajuste fino) de modelos específicos para objetos transparentes usando grandes conjuntos de dados pareados (RGB-Profundidade), o que é difícil de obter no mundo real e não é compatível com a rápida evolução dos modelos de base (foundation models) de profundidade.

2. Metodologia (SeeClear)

O SeeClear propõe uma solução inovadora: em vez de treinar um novo modelo de profundidade, ele transforma a aparência transparente do objeto em uma aparência opaca geometricamente consistente antes da estimativa de profundidade. O framework funciona em duas etapas principais:

A. Opacificação Gerativa (Generative Opacification)

• Segmentação: O sistema primeiro localiza as regiões transparentes na imagem de entrada utilizando modelos de segmentação (Trans4Trans e SAM 3) para obter uma máscara do objeto ($M_{seg}$).
• Modelo de Difusão Latente: Um modelo de difusão condicional é utilizado para transformar a aparência refrativa do objeto em uma textura difusa opaca.
  • Condição Espacial: A máscara do objeto guia o modelo para preservar a geometria e os limites do objeto enquanto remove as distorções de refração.
  • Condição Semântica: Utiliza o token de classe de um encoder CLIP (baseado na imagem original transparente) para garantir que a identidade semântica do objeto seja mantida na nova textura opaca.
  • Objetivo de Treinamento: O modelo é treinado para prever o ruído adicionado (objetivo DDPM) e minimizar uma perda perceptual (LPIPS) no espaço de pixels para garantir alta fidelidade de textura e bordas.

B. Composição e Refinamento de Máscara

• Módulo de Refinamento de Máscara (MRM): Como a geração via difusão pode introduzir halos ou desvios de cor nas bordas, um módulo leve de rede convolucional refina a máscara de segmentação, criando uma máscara de mistura suave ($\hat{M}_{refine}$).
• Composição Alpha: A imagem gerada opaca é combinada com a imagem original de fundo usando a máscara refinada. Isso preserva o contexto da cena original enquanto substitui apenas a região do objeto transparente por uma versão opaca plausível.

C. Estimativa de Profundidade

• A imagem final composta (objeto opaco + fundo original) é alimentada em um modelo de profundidade monoculares off-the-shelf (como Depth Anything V3 ou MoGe-2).
• Vantagem: O modelo de profundidade não precisa ser re-treinado ou ajustado; ele apenas processa uma imagem onde o objeto transparente agora se comporta como um objeto opaco padrão, respeitando as suposições de treinamento do modelo.

3. Contribuições Principais

1. Framework SeeClear: Uma abordagem "plug-and-play" que converte objetos transparentes em representações opacas geometricamente consistentes, permitindo que modelos de profundidade genéricos funcionem com alta precisão nesses objetos.
2. SeeClear-396k: A criação de um novo conjunto de dados sintético em larga escala contendo 396.000 pares de renderizações (transparente-opaco) com alinhamento perfeito de profundidade, normais e máscaras. Este dataset foi projetado para cobrir desafios como distorção de refração, ambiguidade de profundidade e oclusões complexas.
3. Validação Robusta: Demonstração de que a opacificação gerativa supera métodos especializados e modelos de base em cenários sintéticos e do mundo real, sem a necessidade de fine-tuning do modelo de profundidade.

4. Resultados Experimentais

Os experimentos foram conduzidos em conjuntos de dados reais (ClearGrasp) e sintéticos (TransPhy3D), comparando o SeeClear com métodos de ponta (DKT, Depth4ToM, Marigold, etc.).

• Desempenho Quantitativo:
  • No conjunto de dados ClearGrasp (real), o SeeClear superou todos os baselines na região de objetos transparentes (ToM) e nas regiões de fundo, mesmo em comparação com o DKT (que foi ajustado especificamente para esse dataset).
  • Ao usar o MoGe-2 como base, o erro RMSE foi reduzido drasticamente de 56,83 mm para 26,62 mm na região transparente, e a precisão ($\delta_{<1.025}$) saltou de 5,63% para 42,75%.
  • No conjunto TransPhy3D (sintético), o método alcançou o melhor desempenho em 6 de 8 métricas, superando até mesmo modelos ajustados especificamente para o dataset.
• Desempenho Qualitativo:
  • Modelos convencionais tendem a prever superfícies transparentes como translúcidas ou fundo, perdendo detalhes geométricos (como aberturas de copos ou garrafas).
  • O SeeClear recupera com precisão a geometria da superfície, incluindo bordas, aberturas e oclusões, produzindo mapas de profundidade estáveis e contínuos sem artefatos de "translucidez".
• Estudos de Ablação: Confirmaram que o uso de máscaras precisas (em vez de caixas delimitadoras), o token CLIP para condição semântica e a perda perceptual (LPIPS) são componentes críticos para o sucesso. A simples pintura de cor sólida (sem geração) resultou em desempenho inferior, destacando a importância da geração de texturas realistas.

5. Significado e Impacto

O trabalho SeeClear representa um avanço significativo na compreensão de cenas físicas complexas.

• Generalização: Ao desacoplar a tarefa de "opacificação" da "estimativa de profundidade", o método permite que os avanços contínuos em modelos de profundidade de base (foundation models) sejam aplicados imediatamente a objetos transparentes, sem a necessidade de retreinamento custoso.
• Aplicações Práticas: Melhora a segurança e a precisão em robótica (pegar objetos de vidro), realidade aumentada e simulação, onde a estimativa incorreta de profundidade de materiais transparentes pode levar a colisões ou falhas de manipulação.
• Inovação Técnica: Introduz uma nova perspectiva de tratar a estimativa de profundidade de materiais não-Lambertianos como um problema de edição de imagem generativa, preenchendo a lacuna entre a geração de imagens e a visão computacional geométrica.