MTPano: Multi-Task Panoramic Scene Understanding via Label-Free Integration of Dense Prediction Priors

1. Declaração do Problema

A compreensão de cenas panorâmicas é crítica para aplicações imersivas (RV, robótica), mas enfrenta dois gargalos principais:

• Escassez de Dados: Anotações de alta resolução, pixel a pixel, para imagens panorâmicas de 360° em múltiplas tarefas (segmentação semântica, profundidade, normais de superfície) são proibitivamente caras e trabalhosas de criar.
• Conflitos Geométricos e de Tarefa:
  • Distorção: Modelos fundamentais de perspectiva padrão falham quando aplicados diretamente a dados panorâmicos devido a severas distorções da Projeção Equiretangular (ERP) (estiramento polar).
  • Interferência de Tarefa: No Aprendizado Multi-Tarefa (MTL), diferentes tarefas de predição densa possuem propriedades geométricas conflitantes. Tarefas invariantes à rotação (ex.: segmentação semântica, profundidade) dependem do contexto espacial relativo, enquanto tarefas variantes à rotação (ex.: normais de superfície) estão estritamente ligadas à orientação absoluta da câmera. Compartilhar características de forma ingênua entre esses grupos leva a uma "transferência negativa", onde as tarefas degradam o desempenho umas das outras.

2. Metodologia

Os autores propõem o MTPano, um framework unificado que combina um Pipeline de Treinamento Sem Rótulos com uma arquitetura inovadora chamada Panorama-Dual-BridgeNet (PD-BridgeNet).

A. Pipeline de Treinamento Sem Rótulos

Para superar a falta de dados panorâmicos anotados, o MTPano aproveita modelos fundamentais de perspectiva pré-treinados poderosos (ex.: InternImage-H, MoGe-2) como professores.

1. Projeções Recíprocas: Imagens panorâmicas não rotuladas são projetadas em múltiplos patches de perspectiva aleatórios (simulando câmeras virtuais com campo de visão, guinada e inclinação aleatórios).
2. Geração de Pseudo-rótulos: Modelos de perspectiva prontos para uso geram predições densas de alta qualidade nesses patches livres de distorção.
3. Supervisão por Patch: Em vez de costurar predições (o que causa artefatos), os pseudo-rótulos são reprojetados de volta para o domínio esférico. O modelo é treinado usando uma estratégia de supervisão por patch aleatorizada, forçando a rede a aprender uma distribuição consistente entre as visualizações, ao mesmo tempo que filtra o ruído de projeção.

B. Panorama-Dual-BridgeNet (PD-BridgeNet)

A arquitetura é projetada para lidar com a distorção ERP e resolver conflitos de tarefa através de três componentes-chave:

1. Desemaranhamento de Características Consciente da Geometria:

   • A rede se divide em dois fluxos paralelos: um Fluxo Invariante ($M_{inv}$) para tarefas invariantes à rotação (segmentação, profundidade) e um Fluxo Variante ($M_{var}$) para tarefas variantes à rotação (normais).
   • Fluxo Invariante: Foca em propriedades intrínsecas do objeto sem priores de orientação absoluta.
   • Fluxo Variante: Injeta priores de coordenadas esféricas absolutas (direção e posição do raio 3D) através de camadas de Modulação Consciente da Geometria (FiLM). Isso permite que a rede entenda atributos sensíveis à orientação, como normais de superfície.

2. Misturador de Tokens ERP:

   • Para abordar a distorção não uniforme em imagens ERP, emprega-se uma estratégia de duplo kernel adaptativa à latitude. Ela funde dinamicamente kernels padrão $3\times3$ (para regiões equatoriais) e kernels largos $3\times9$ (para regiões polares) com base na latitude do pixel, garantindo agregação espacial uniforme.

3. Mecanismo de Ponte com Gradiente Truncado:

   • Para permitir interação inter-tarefa benéfica sem transferência negativa, os fluxos são conectados via um BridgeNet.
   • Tarefas Auxiliares: Tarefas auxiliares densas (Gradiente de Imagem, Campo de Distância de Borda, Mapa de Pontos Métricos) fornecem pistas estruturais ricas.
   • Fluxo de Gradiente Truncado: Uma inovação crítica onde características de fluxo cruzado são agregadas via Atenção Cruzada para propagação direta (compartilhando contexto), mas desconectadas durante a retropropagação. Isso bloqueia gradientes conflitantes de fluir entre os fluxos invariante e variante, prevenindo interferência na otimização.

3. Contribuições Principais

1. Modelo Fundamental Sem Rótulos: O MTPano é o primeiro modelo fundamental panorâmico multi-tarefa treinado sem anotações manuais, efetivamente destilando conhecimento de modelos fundamentais de perspectiva para o domínio esférico.
2. Resolução de Conflitos Geométricos: O artigo identifica e resolve o conflito fundamental entre tarefas invariantes e variantes à rotação no MTL panorâmico através da arquitetura PD-BridgeNet.
3. Componentes Arquiteturais Inovadores:
   • PD-BridgeNet: Uma arquitetura de fluxo duplo com modulação consciente da geometria.
   • Misturador de Tokens ERP: Um mecanismo consciente de distorção para extração de características esféricas.
   • Fluxo de Gradiente Truncado: Um mecanismo para facilitar a troca de informações sinérgica enquanto isola gradientes conflitantes.
4. Integração de Tarefas Auxiliares: A introdução de tarefas auxiliares densas específicas (Gradiente, EDF, Mapa de Pontos) para fertilizar o aprendizado inter-tarefa.

4. Resultados Experimentais

O MTPano foi avaliado em benchmarks padrão: Structured3D (sintético), Stanford2D3D (mundo real) e Matterport3D.

• Desempenho State-of-the-Art: O MTPano supera tanto especialistas de tarefa única quanto bases de referência multi-tarefa existentes em todas as métricas.
  • Segmentação Semântica: Alcançou 75,66% mIoU no Structured3D (superando o melhor anterior em +3,69%).
  • Estimativa de Profundidade: Reduziu o erro Relativo Absoluto para 0,0248 no Structured3D (vs. 0,0341 para o especialista DAP).
  • Normais de Superfície: Alcançou um erro angular médio de 3,85° no Structured3D (vs. 5,56° para PanoNormal).
• Robustez: O modelo demonstra forte generalização em conjuntos de dados do mundo real (Stanford2D3D) e em dados sintéticos "in-the-wild", mantendo alta fidelidade geométrica.
• Estudos de Ablação:
  • Remover o desemaranhamento de características ou o truncamento de gradiente leva a quedas significativas de desempenho (transferência negativa), validando a necessidade do design de fluxo duplo.
  • Escalar os dados de treinamento (até 140 mil panoramas) melhora consistentemente a generalização.
  • Usar DINOv3 como backbone produz resultados superiores em comparação com inicialização ImageNet.

5. Significado

O MTPano representa uma mudança de paradigma na compreensão de cenas panorâmicas ao:

• Eliminar Dependência de Anotação: Provar que modelos panorâmicos multi-tarefa de alta fidelidade podem ser construídos usando apenas dados não rotulados e priores de perspectiva.
• Resolver Conflitos Geométricos: Fornecer uma solução teórica e arquitetônica para os desafios específicos da geometria esférica no aprendizado multi-tarefa, que métodos anteriores ignoraram.
• Escalabilidade: Oferecer um modelo fundamental robusto e escalável que pode ser facilmente adaptado a novas tarefas ou domínios, abrindo caminho para sistemas de visão 360° mais imersivos e inteligentes.

O código e os modelos são lançados publicamente, facilitando pesquisas futuras em visão computacional esférica.